Table of Contents

Voor Hermes-taken met een lange context zou ik beginnen met Qwen3.5 35B op twee RTX 5060 Ti-kaarten van 16 GB. De geteste route behield 239.153 invoertokens via LiteLLM en slaagde afzonderlijk voor tool-, streaming-, vision-, wachtrij- en annuleringscontroles. Qwen3.6 is mijn alternatief met één kaart. Op systemen met een RTX 3060 Ti of RTX 3070 zou ik beginnen met Qwen3.5 2B of 4B.

Die keuzes komen voort uit tests met modellen via de inferentieroutes die de agent gebruikt. Ik controleerde het behoud van lange invoer, toolrondes, gestreamde antwoorden, beeldvragen en het vrijgeven van modellen. Ook testte ik de modi en geheugeninstellingen achter de routes, omdat een model dat laadt weinig zegt over zijn nut tijdens een lange agentaanvraag.

Hermes vereist minstens 64.000 contexttokens voor agentgebruik met tools. Ik gebruikte 65.536 werkelijk verwerkte invoertokens als drempel voor kwalificatie bij lange context. Het aantal invoertokens zegt meer dan de contextgrootte die de server adverteert. ( Documentatie van Hermes Agent-providers )

Welke GPU’s in elk systeem zaten

De letters bij de systemen verwijzen in de resultaten steeds naar deze hardwarecombinaties.

SysteemGPU’s voor deze benchmarkMijn startkeuze voor het model
A2 × GeForce RTX 5060 Ti, elk 16 GBQwen3.5 35B op beide kaarten of Qwen3.6 op één kaart
B1 × RTX 2000E Ada, 16 GBQwen3.5 9B als verwerking van lange invoer enkele minuten mag duren
C1 × RTX 2000E Ada, 16 GBGemma 3 4B voor de geteste route met lange invoer; Qwen3.5 0.8B zonder denken voor beperkte terughaaltaken
D1 × RTX 2000E Ada, 16 GBQwen3.5 9B, Gemma 4 12B-IT of GPT-OSS 20B voor de geteste werklasten met grotere modellen
E9 × GeForce RTX 3060 Ti, elk 8 GBQwen3.5 2B of 4B
F8 × GeForce RTX 3060 Ti, elk 8 GBQwen3.5 2B of 4B
G3 × GeForce RTX 3070Qwen3.5 2B of 4B

Het aantal geïnstalleerde kaarten betekent niet dat elke aanvraag alle GPU’s gebruikte. De tests met Qwen3.5 35B en Flash Next gebruikten beide kaarten in systeem A. Qwen3.6 gebruikte één kaart. Bij de geslaagde vision-herhaling van Qwen3.5 4B op systeem E werd één geselecteerde kaart uit een pool van acht gebruikt, terwijl een negende kaart buiten het AI-werk bleef.

Beschouw de onderstaande tijden als resultaten van de geteste combinatie van model, runtime en systeem. Deze runs vergelijken bruikbare configuraties. Ze isoleren de GPU-architectuur niet als oorzaak van een snelheidsverschil.

Twee RTX 5060 Ti-kaarten maken Qwen3.5 35B mijn keuze voor lange context

Qwen3.5 35B behield in deze tests de meeste invoer. De directe Ollama-reeks behield 248.279 invoertokens binnen een runtimecontext van 262.144 tokens. Een aparte gestreamde gateway-aanvraag behield 239.153 invoertokens, gaf de openingsmarkering terug en eindigde normaal na 31 uitvoertokens in 148,12 seconden.

Het gateway-resultaat is relevant voor Hermes, omdat de aanvraag via de broker en LiteLLM liep. Afzonderlijke aanvragen voltooiden een toolronde, herkenden een rode afbeelding en gaven twee juiste antwoorden toen ze tegelijk werden ingediend. De broker zette die twee aanvragen in de wachtrij. Toen de stream werd gesloten, gaf de broker de aanvraag vrij en werd het model binnen 60,31 seconden uit het geheugen gehaald.

Aanvraag met Qwen3.5 35BInvoertokensUitvoertokensDuurResultaat
Directe Ollama, eerste opeenvolgende stap69,4293138.783 sExacte openingsmarkering
Directe Ollama, voortzetting met gedeelde prefix124,1793128.472 sExacte openingsmarkering
Directe Ollama, voortzetting met gedeelde prefix182,5793138.974 sExacte openingsmarkering
Directe Ollama, voortzetting met gedeelde prefix248,2793154.215 sExacte openingsmarkering
Gestreamde brokeraanvraag69,4272938.872 sExacte openingsmarkering
Gestreamde LiteLLM-aanvraag239,15331148.12 sExacte openingsmarkering, clean unload

De opeenvolgende directe aanvragen hergebruikten een steeds langere prefix. Hun tijden beschrijven voortzettingen met een warme cache. De meting van 54,215 seconden is geen onafhankelijke koude meting voor een nieuwe prompt van 248K.

In de grootste directe fase meldde het model ongeveer 27,3 miljard bytes resident geheugen over beide GPU’s. De pieken per kaart bereikten 14.964 en 12.386 MiB.

De piektemperaturen bereikten 62 en 63 °C; de run registreerde geen OOM- of Xid-fout. Binnen de ingestelde context bleven 13.865 tokens over voor voortzetting. Het korte antwoord met de markering gebruikte daarvan 31 tokens.

Ik zou deze route kiezen wanneer behoud van een grote werkset belangrijker is dan het kortste eerste antwoord. De tool- en visioncontroles tonen bruikbaar agentgedrag, terwijl de lange-invoertest het behoud ervan aantoont. Het gaat om afzonderlijke werklasten.

Qwen3.6 is de optie met één kaart

Qwen3.6-35B-A3B UD-Q4_K_XL behield 131.000 invoertokens op één RTX 5060 Ti. De andere kaart bleef tijdens de test ongebruikt. Dit geeft het systeem een bruikbaar alternatief wanneer je niet beide kaarten aan één model wilt toewijzen.

Qwen3.6-gatewayaanvraagInvoertokensUitvoertokensDuurResultaat
Eerste lange aanvraag66,007167.82 sOpeningsmarkering behouden
Langere aanvraag90,00011159.92 sOpeningsmarkering behouden, zero cached input
Langere aanvraag119,99911250.61 sOpeningsmarkering behouden, zero cached input
Bijna aan de runtimegrens131,00011287.09 sOpeningsmarkering behouden, zero cached input

De aanvraag met 131.000 tokens naderde de runtimegrens van 131.072 tokens. Voor een agent zou ik meer ruimte overlaten voor het antwoord en latere toolberichten. Een meting vlak bij de limiet levert nuttig bewijs over invoerverwerking, maar is geen verstandig standaardbudget.

Toolgebruik slaagde toen denken was uitgeschakeld. De standaardmodus voor denken verbruikte de testlimiet van 512 tokens voordat de toolaanroep werd gedaan. De geslaagde pilot slaagde ook voor snelle, gestreamde en vision-aanvragen. De eerste contextcontrole met 65.845 tokens duurde 139,57 seconden.

Qwen3.8 27B wint de vergelijking met gelijke invoer van 66K

Bij dezelfde markeringstest met 66.007 tokens op systeem A gaf Qwen3.8 27B het snelste antwoord. Ik zou deze route beschikbaar houden voor aanvragen rond die geteste invoergrootte, naast Qwen3.5 35B voor de grotere werkset.

Route op systeem AInvoertokensDuurResultaat
Qwen3.8 27B66,00754.64 sOpeningsmarkering behouden
Qwen3.6-35B-A3B UD-Q4_K_XL66,007167.82 sOpeningsmarkering behouden
Qwen3.8-Flash-Next UD-IQ4_XS66,007164.58 sOpeningsmarkering behouden
Flash Next IQ4 compatibility alias66,007213.25 sMarkering behouden

Qwen3.8 27B had ongeveer een derde nodig van de looptijd van de overeenkomstige Qwen3.6- en Flash Next-aanvragen. Dit zijn metingen van volledige aanvragen met de geteste runtimes, geen vergelijking van alleen de hardware.

Ook snelle antwoorden, streaming en toolgebruik slaagden. De modus zonder denken voltooide de volledige kleurreeks en toolronde. De test met denken gaf binnen de limiet van 512 tokens slechts een deel van de kleurreeks terug.

Flash Next is op dit systeem minder geschikt als standaardkeuze vanwege de geheugendruk. De pilot met 65.847 tokens slaagde in 201,41 seconden bij een runtimecontext van 98.304 tokens. Twee eerdere profielen met een context van 131.072 tokens bereikten hun geheugenlimiet voordat ze klaar waren.

De latere route bereikte de cgroup-limiet van 54 GiB. Voor werk zonder toezicht zou ik een route met meer geheugerruimte kiezen.

De route met de naam flash-iq2 gebruikte de Flash Next IQ4-compatibiliteitsbackend. De naam betekent niet dat het resultaat IQ2 gebruikte.

De RTX 2000E Ada verwerkt lange invoer, maar de modelkeuze bepaalt de wachttijd

Gemma 3 4B is mijn voorkeur voor lange invoer op systeem C. Twee routes behielden meer dan 84K invoertokens in ongeveer 88 seconden. De grotere modellen slaagden ook voor nuttige controles van invoerbehoud, maar hun aanvragen duurden enkele minuten.

SysteemModel en routeInvoertokensDuurResultaat
BQwen3.5 9B, gateway72,265263 sBeide markeringen behouden; latere herstelcontrole voor mining geslaagd
CGemma 3 4B, gateway84,04488.05 sOpeningsmarkering behouden
CGemma 3 4B, Aperture84,04587.68 sOpeningsmarkering behouden
CGemma 4 12B-IT, gateway67,254263.07 sOpeningsmarkering behouden
CGemma 4 12B-IT, Aperture zonder streaming67,255274.24 sOpeningsmarkering behouden
CGemma 4 12B-IT, Aperture met streaming67,255282.16 sOpeningsmarkering behouden
CQwen3.5 9B, gateway75,648319.36 sOpeningsmarkering behouden, model uit het geheugen verwijderd
CGPT-OSS 20B, gateway84,099315.83 sOpeningsmarkering behouden, model uit het geheugen verwijderd
DQwen3.5 9B, Aperture81,051324.07 sBehoudstest geslaagd op het geïnstalleerde artefact
DGemma 4 12B-IT, Aperture72,057300.67 sBehoudstest geslaagd op het geïnstalleerde artefact
DGPT-OSS 20B, Aperture72,104245.94 sBehoudstest geslaagd op het geïnstalleerde artefact

Streaming verkortte het lange voorverwerken van Gemma 4 op systeem C niet. De eerste gestreamde inhoud kwam na 277,49 seconden, later dan het volledige niet-gestreamde antwoord van 274,24 seconden. Een eerdere niet-gestreamde poging liep vast op de time-out voordat de geslaagde herhaling lukte. Ik zou deze route alleen gebruiken wanneer enkele minuten wachttijd bij de eerste verwerking bij de taak passen.

Gemma 3 4B laat ook zien waarom kwalificatie per getest systeem moet gebeuren. Systeem D miste de openingsmarkering in twee terughaaltests met 65K, waaronder een herhaling bij temperatuur nul met 67.252 invoertokens. De deterministische aanvraag eindigde normaal in 62,07 seconden terwijl het model volledig op de GPU stond.

Een snelle voltooiing en een normaal API-antwoord betekenden niet dat het antwoord juist was. Ik zou de geslaagde route op systeem C gebruiken en de falende route op systeem D buiten de Hermes-selectie houden.

De denkmodus bepaalt of Qwen3.5 0.8B bruikbaar is

Qwen3.5 0.8B werd op systeem C een bruikbare kandidaat voor beperkte terughaalvragen nadat denken was uitgeschakeld. Het kleine Q8_0-model behield via de gateway 75.649 invoertokens in 65,92 seconden. Dit resultaat geldt voor het geteste Q8_0-artefact en de route zonder denken, niet voor de oudere configuraties met een context van 16K elders in de tabel.

Aanvraag met Qwen3.5 0.8B op systeem CInvoertokensUitvoertokensDuurResultaat
Standaard denkmodus, korte diagnose9,0503,39166.56 sExacte openingsmarkering
Denken uitgeschakeld, vergelijkbare diagnose9,055217.65 sExacte openingsmarkering, no reasoning text
Standaard denkmodus, lange pogingTime-out na 600 sGeen voltooid antwoord
Denken uitgeschakeld, native Ollama75,6562269.80 sExacte openingsmarkering
OpenAI-compatibel eindpunt zonder denken75,6461269.09 sExacte openingsmarkering
Broker dwingt modus zonder denken af75,6471366.83 sExacte openingsmarkering
LiteLLM via systeem A naar systeem C75,6491565.92 sExacte openingsmarkering

De duur van de vergelijkbare diagnosetest daalde van 66,56 naar 7,65 seconden, ongeveer 8,7 keer sneller, terwijl de uitvoer kromp van 3.391 naar 21 tokens. Daarom zou ik de redeneermodus expliciet instellen voor eenvoudige extractie- en routeringstaken. Standaardredenering besteedde het meeste werk aan uitvoer die de taak niet nodig had.

Een korte OpenAI-compatibele test miste de markering voordat de herhaling bij temperatuur nul slaagde. De geslaagde routetests gebruikten de modus zonder denken en een natuurlijke voltooiing zonder uitvoerlimiet. Drie andere gateways slaagden voor korte markeringstests in 4,22, 4,37 en 3,85 seconden. Die controles bevestigen de routering; de aanvraag met 75.649 tokens toont behoud van lange invoer via de gateway.

Ik zou deze route uitproberen voor beperkte terughaal- en extractietaken. Voor open agentredeneringen zou ik een groter model kiezen. Eén synthetische markering terugvinden is een beperktere taak dan plannen, programmeren of verschillende tools coördineren.

De RTX 3060 Ti- en RTX 3070-systemen zijn geschikt voor Qwen3.5 2B en 4B

Qwen3.5 2B en 4B zijn mijn praktische startkeuzes voor kaarten met 8 GB. Hun teksttests met context op systemen E, F en G slaagden met 65.579 invoertokens en duurden 30,343 tot 93,753 seconden. De geteste 4B-routes slaagden ook voor tool-, streaming- en beeldcontroles.

Bij de vision-herhaling met context op systeem E behield de 4B-route beide markeringen en de volgorde van de beeldkleuren bij 65.637 invoertokens in 44,88 seconden. Aanvragen met de kleuren in voorwaartse en omgekeerde volgorde slaagden ook. De herhaling gebruikte één gezonde kaart nadat een andere kaart een Xid 79-linkfout gaf en het systeem opnieuw was opgestart.

SysteemQwen3.5 2B-tekstcontextQwen3.5 4B-tekstcontextQwen3.5 4B-visioncontext
E, RTX 3060 Ti pool65,579 tokens, 30.343 s65,579 tokens, 53.787 s65,637 tokens, 44.88 s
F, RTX 3060 Ti pool65,579 tokens, 61.282 s65,579 tokens, 93.753 s65,635 tokens, 84.749 s
G, RTX 3070 pool65,579 tokens, 76.731 s65,579 tokens, 90.807 s65,635 tokens, 87.496 s

Elk van deze systemen registreerde 29 geslaagde controles. Het tijdsverschil tussen de twee RTX 3060 Ti-systemen laat ook zien waarom ik een getest systeemprofiel zou kiezen in plaats van kaarten op basis van deze aanvraagtijden te rangschikken.

Alle zeven systemen gingen na het inferentiesegment terug naar mining. De afzonderlijke herstelcontrole na stop op systeem B slaagde met nieuwe geaccepteerde shares. De defecte kaart in systeem E ging later na een herstart en PCIe-linkversterking terug naar mining, terwijl de uitsluiting uit de AI-pool actief bleef. Mining herstellen aan het einde van het testvenster is iets anders dan automatisch terugschakelen na één inferentieaanvraag.

Een model laden is geen kwalificatie

Ik zou DeepSeek Coder V2 16B uitsluiten van de geteste Hermes-keuzes voor 65K. De run met f16-cache behield 50.477 invoertokens, maar de run met het doel van 65K bereikte de VRAM-bewaking. Alternatieven met Q4- en Q8-cache laadden de gewichten op de GPU’s, maar liepen daarna tegen hostgeheugenlimieten of een lage verwerkingssnelheid voor lange prompts aan.

DeepSeek Coder V2-cacheprofielRuntimecontextWaargenomen resultaatMijn beoordeling
f1681,920Terughaaltest met 50.477 tokens geslaagd; te grote aanvraag afgewezenBruikbaar resultaat met kortere context
f1673,728Prefill voor 65K-doel stopte bij 15.802 MiB GPU-gebruikVoldoet niet aan 65K-kwalificatie
Q4_098,304Lange prefill daalde tot 96,72 tokens/s voordat de run gecontroleerd stopteMinder geschikt voor deze werklast
Q8_077,824Lange prefill daalde tot 120,12 tokens/s voordat de run gecontroleerd stopteMinder geschikt voor deze werklast
Q4_0 / Q8_0, larger profiles163,840 / 98,304Hostgeheugenbewaking stopte de testsGeheugenpassing moet voor het hele systeem worden beoordeeld

De praktische les is om de aanvraag te testen die je wilt versturen. GPU-residentie, een kort antwoord en een grote ingestelde context bewijzen niet dat lange invoer met bruikbare vertraging behouden blijft.

Granite 4.2 8B en GPT-OSS 20B verbeterden na vervolgwerk per route op systeem A. De Q6_K-route van Granite behield 66.082 invoertokens in 88,636 seconden met nul tokens uit de cache. GPT-OSS voltooide de toolronde na de brokerreparatie, met 9,854 seconden voor de aanroep en 9,849 seconden voor het vervolg. Ik houd deze geslaagde routecontroles apart van eerdere onvolledige pogingen.

Volledige benchmarkresultaten

De tabel bevat 295 controles voor 59 combinaties van modellen en systemen. De matrix bevat 273 geslaagde controles, één mislukte terughaaltest en zeven onvolledige, inconsistente of incompatibele resultaten. Veertien controles vallen buiten de kwalificatiescope van 65K. Elke rij toont het gemeten resultaat.

Mijn aanbevelingen gelden voor de geslaagde routes en werklasten. Een mislukte of onvolledige rij kwalificeert het betreffende gedrag niet.

Geslaagde tests met een korte context en embeddings gelden voor hun eigen werklasten. Een geslaagde context van 16K of 32K kwalificeert een route niet voor de Hermes-werklast met 65.536 invoertokens. Modelnamen zijn hier routelabels. Het label flash-iq2 verwijst naar de IQ4-compatibiliteitsbackend.

De rij voor Qwen3.5 35B-context op systeem A is de laatste gedeelde-prefixstap uit de reeks hierboven. Tooltijden met een plusteken tonen de aanroep en het vervolg afzonderlijk.

De rij voor gelijktijdigheid vermeldt de tijden van de twee aanvragen in de wachtrij. De annuleringsrij toont hoe lang het duurde om vrij te geven nadat de client de stream had gesloten. Aanvullende contextreeksen en routevergelijkingen voor Qwen3.5 0.8B staan in hun eigen tabellen hierboven.

Systeem A

Routelabel van het modelControleResultaatInvoertokensAanvraagtijd
bonsai-2-27bcontextGeslaagd65,62188.746 s
bonsai-2-27bquickGeslaagd576.429 s
bonsai-2-27bstreamGeslaagd9.371 s
bonsai-2-27btoolsGeslaagd10.478 s
deepseek-coder-v2:16bcontextIncompatibel50,477
deepseek-coder-v2:16bquickGeslaagd7743.239 s
flash-iq2contextGeslaagd66,007213.25 s
flash-iq2quickGeslaagd56.03 s
flash-iq2streamGeslaagd1.35 s
flash-iq2toolsGeslaagd16.55 s
gemma-4-12b-itcontextGeslaagd65,59051.225 s
gemma-4-12b-itquickGeslaagd215.166 s
gemma-4-12b-itstreamGeslaagd4.653 s
gemma-4-12b-ittoolsGeslaagd18.72 s
gemma-4-12b-itvisionGeslaagd1157.222 s
gemma-4-12b-itvision_contextGeslaagd65,68556.06 s
gemma-4-12b-itvision_reverseGeslaagd1157.467 s
gemma-4-e4b-itcontextGeslaagd65,59021.889 s
gemma-4-e4b-itquickGeslaagd2117.919 s
gemma-4-e4b-itstreamGeslaagd4.25 s
gemma-4-e4b-ittoolsGeslaagd8.734 s
gpt-oss-20bcontextGeslaagd65,637159.155 s
gpt-oss-20bquickGeslaagd7310.548 s
gpt-oss-20bstreamGeslaagd20.594 s
gpt-oss-20btoolsGeslaagd9.854 + 9.849 s
granite-4.2-3bcontextGeslaagd65,58970.968 s
granite-4.2-3bquickGeslaagd204.009 s
granite-4.2-3bstreamGeslaagd5.365 s
granite-4.2-3btoolsGeslaagd6.086 s
granite-4.2-8bcontextGeslaagd66,08288.636 s
granite-4.2-8bquickGeslaagd205.857 s
granite-4.2-8bstreamGeslaagd11.826 s
granite-4.2-8btoolsGeslaagd11.852 s
qwen27bcontextGeslaagd66,00754.64 s
qwen27bquickGeslaagd5731.5 s
qwen27bstreamGeslaagd0.92 s
qwen27btoolsGeslaagd4.25 s
qwen3-embedding-0.6bcontextGeslaagd32,7677.736 s
qwen3-embedding-0.6bquickGeslaagd142.125 s
qwen3.5-0.8bcontextGeslaagd16,42910.5 s
qwen3.5-0.8bquickGeslaagd1714.316 s
qwen3.5-0.8bstreamGeslaagd2.125 s
qwen3.5-0.8btoolsGeslaagd4.416 s
qwen3.5-2bcontextGeslaagd65,58111.175 s
qwen3.5-2bquickGeslaagd174.519 s
qwen3.5-2bstreamGeslaagd3.736 s
qwen3.5-2btoolsGeslaagd5.046 s
qwen3.5-4bcontextGeslaagd65,57936.451 s
qwen3.5-4bquickGeslaagd1519.935 s
qwen3.5-4bstreamGeslaagd17.496 s
qwen3.5-4btoolsGeslaagd7.308 s
qwen3.5-4bvisionGeslaagd707.848 s
qwen3.5-4bvision_contextGeslaagd65,63528.24 s
qwen3.5-4bvision_reverseGeslaagd704.386 s
qwen3.5-9bcontextGeslaagd65,58134.139 s
qwen3.5-9bquickGeslaagd173.88 s
qwen3.5-9bstreamGeslaagd3.378 s
qwen3.5-9btoolsGeslaagd10.204 s
qwen3.5-9bvisionGeslaagd724.441 s
qwen3.5-9bvision_contextGeslaagd65,63733.745 s
qwen3.5-9bvision_reverseGeslaagd723.97 s
qwen3.5:35b-a3b-q4_K_McancellationGeslaagd60.31 s
qwen3.5:35b-a3b-q4_K_MconcurrencyGeslaagd26.23 / 25.33 s
qwen3.5:35b-a3b-q4_K_McontextGeslaagd248,27954.215 s
qwen3.5:35b-a3b-q4_K_MgatewayGeslaagd239,153148.12 s
qwen3.5:35b-a3b-q4_K_MquickGeslaagd7910.08 s
qwen3.5:35b-a3b-q4_K_MstreamGeslaagd69,42938.783 s
qwen3.5:35b-a3b-q4_K_MtoolsGeslaagd15.22 + 14.83 s
qwen3.5:35b-a3b-q4_K_MvisionGeslaagd18.39 s
Qwen3.6-35B-A3B UD-Q4_K_XLcontextGeslaagd65,845139.57 s
Qwen3.6-35B-A3B UD-Q4_K_XLquickGeslaagd153.97 s
Qwen3.6-35B-A3B UD-Q4_K_XLstreamGeslaagd0.45 s
Qwen3.6-35B-A3B UD-Q4_K_XLtoolsGeslaagd2935.48 s
Qwen3.6-35B-A3B UD-Q4_K_XLvisionGeslaagd380.59 s
Qwen3.8-Flash-Next UD-IQ4_XScontextGeslaagd65,847201.41 s
Qwen3.8-Flash-Next UD-IQ4_XSquickGeslaagd1754.62 s
Qwen3.8-Flash-Next UD-IQ4_XSstreamGeslaagd1.2 s
Qwen3.8-Flash-Next UD-IQ4_XStoolsGeslaagd22.18 s
Qwen3.8-Flash-Next UD-IQ4_XSvisionGeslaagd3.86 s

Systeem B

Routelabel van het modelControleResultaatInvoertokensAanvraagtijd
gemma-4-12b-itcontextGeslaagd65,590299.163 s
gemma-4-12b-itquickGeslaagd2115.261 s
gemma-4-12b-itstreamGeslaagd148.792 s
gemma-4-12b-ittoolsGeslaagd34.124 s
gemma-4-12b-itvisionGeslaagd12061.455 s
gemma-4-12b-itvision_contextGeslaagd65,690295.581 s
gemma-4-12b-itvision_reverseGeslaagd12032.511 s
gemma3-4bcontextGeslaagd65,58467.382 s
gemma3-4bquickGeslaagd156.329 s
gemma3-4bstreamGeslaagd24.138 s
gemma3-4bvisionGeslaagd3067.018 s
gemma3-4bvision_contextGeslaagd65,87670.912 s
gemma3-4bvision_reverseGeslaagd3065.762 s
gpt-oss-20bcontextGeslaagd65,637206.767 s
gpt-oss-20bquickGeslaagd7216.583 s
gpt-oss-20bstreamGeslaagd32.075 s
gpt-oss-20btoolsGeslaagd28.102 s
nomic-embed-textcontextOnvolledig2,048
nomic-embed-textquickGeslaagd7.117 s
qwen3-14bcontextOnvolledig1800.09 s
qwen3-14bquickGeslaagd1537.199 s
qwen3-14bstreamGeslaagd35.471 s
qwen3-14btoolsGeslaagd87.554 s
qwen3-8bcontextBuiten 65K-scope: uitgesloten
qwen3-8bquickBuiten 65K-scope: geslaagd1521.059 s
qwen3-8bstreamBuiten 65K-scope: uitgesloten
qwen3-8btoolsBuiten 65K-scope: uitgesloten
qwen3.5-9bcontextGeslaagd65,579282.796 s
qwen3.5-9blitellm_long_routeGeslaagd72,265263 s
qwen3.5-9bpost_external_stop_miningGeslaagd
qwen3.5-9bquickGeslaagd1525.881 s
qwen3.5-9bstreamGeslaagd143.44 s
qwen3.5-9btoolsGeslaagd31.812 s
qwen3.5-9bvisionGeslaagd7532.015 s
qwen3.5-9bvision_contextGeslaagd65,640396.288 s
qwen3.5-9bvision_reverseGeslaagd7528.626 s

Systeem C

Routelabel van het modelControleResultaatInvoertokensAanvraagtijd
gemma-4-12b-itaperture_contextGeslaagd67,255274.24 s
gemma-4-12b-itaperture_shortGeslaagd3539.32 s
gemma-4-12b-itaperture_stream_contextGeslaagd67,255282.16 s
gemma-4-12b-itcontextGeslaagd65,670313.661 s
gemma-4-12b-itgateway_contextGeslaagd67,254263.07 s
gemma-4-12b-itgateway_shortGeslaagd2720.98 s
gemma-4-12b-itquickGeslaagd2116.447 s
gemma-4-12b-itstreamGeslaagd15.175 s
gemma-4-12b-ittoolsGeslaagd37.821 s
gemma-4-12b-itvisionGeslaagd12058.52 s
gemma-4-12b-itvision_contextGeslaagd65,690308.759 s
gemma-4-12b-itvision_reverseGeslaagd12031.25 s
gemma3-4baperture_contextGeslaagd84,04587.68 s
gemma3-4baperture_after_system_d_route_changeGeslaagd245.42 s
gemma3-4baperture_shortGeslaagd225.45 s
gemma3-4baperture_streamGeslaagd3.72 s
gemma3-4bcontextGeslaagd65,66467.543 s
gemma3-4bgateway_contextGeslaagd84,04488.05 s
gemma3-4bgateway_short_via_system_aGeslaagd3.16 s
gemma3-4bgateway_short_via_system_eGeslaagd
gemma3-4bgateway_short_via_system_fGeslaagd4.15 s
gemma3-4bgateway_short_via_system_gGeslaagd6.06 s
gemma3-4bquickGeslaagd155.163 s
gemma3-4bstreamGeslaagd24.691 s
gemma3-4bvisionGeslaagd3067.318 s
gemma3-4bvision_contextGeslaagd65,87672.476 s
gemma3-4bvision_reverseGeslaagd3065.831 s
gpt-oss-20bcontextGeslaagd65,716216.594 s
gpt-oss-20bgateway_contextGeslaagd84,099315.83 s
gpt-oss-20bgateway_shortInconsistent
gpt-oss-20bquickGeslaagd7221.603 s
gpt-oss-20bstreamGeslaagd31.957 s
gpt-oss-20btoolsGeslaagd26.096 s
nomic-embed-textcontextBuiten 65K-scope: onvolledig2,048
nomic-embed-textquickBuiten 65K-scope: geslaagd4.178 s
qwen3-14bcontextBuiten 65K-scope: onvolledig1800.06 s
qwen3-14bquickBuiten 65K-scope: geslaagd1535.809 s
qwen3-14bstreamBuiten 65K-scope: geslaagd35.43 s
qwen3-14btoolsBuiten 65K-scope: geslaagd87.723 s
qwen3-8bcontextBuiten 65K-scope: uitgesloten
qwen3-8bquickBuiten 65K-scope: geslaagd1521.293 s
qwen3-8bstreamBuiten 65K-scope: onvolledig900.01 s
qwen3-8btoolsBuiten 65K-scope: uitgesloten
qwen3.5-9bcontextGeslaagd65,662287.984 s
qwen3.5-9bgateway_contextGeslaagd75,648319.36 s
qwen3.5-9bgateway_shortGeslaagd2172.14 s
qwen3.5-9bquickGeslaagd1524.635 s
qwen3.5-9bstreamGeslaagd143.157 s
qwen3.5-9btoolsGeslaagd30.395 s
qwen3.5-9bvisionGeslaagd7527.756 s
qwen3.5-9bvision_contextGeslaagd65,640398.797 s
qwen3.5-9bvision_reverseGeslaagd7528.645 s

Systeem D

Routelabel van het modelControleResultaatInvoertokensAanvraagtijd
gemma-4-12b-itcontextGeslaagd65,590275.395 s
gemma-4-12b-itexact_digest_aperture_65kGeslaagd72,057300.67 s
gemma-4-12b-itexact_digest_broker_shortGeslaagd3430.74 s
gemma-4-12b-itquickGeslaagd2115.05 s
gemma-4-12b-itstreamGeslaagd14.722 s
gemma-4-12b-ittoolsGeslaagd33.869 s
gemma-4-12b-itvisionGeslaagd12056.315 s
gemma-4-12b-itvision_contextGeslaagd65,690282.174 s
gemma-4-12b-itvision_reverseGeslaagd12029.978 s
gemma3-4bcontextGeslaagd65,58463.564 s
gemma3-4bexact_digest_65k_recallMislukt67,25262.07 s
gemma3-4bquickGeslaagd155.151 s
gemma3-4bstreamGeslaagd22.552 s
gemma3-4bvisionGeslaagd3068.276 s
gemma3-4bvision_contextGeslaagd65,87667.575 s
gemma3-4bvision_reverseGeslaagd3065.651 s
gpt-oss-20bcontextGeslaagd65,637189.07 s
gpt-oss-20bexact_digest_aperture_65kGeslaagd72,104245.94 s
gpt-oss-20bexact_digest_broker_shortGeslaagd8415.96 s
gpt-oss-20bquickGeslaagd7215.431 s
gpt-oss-20bstreamGeslaagd31.052 s
gpt-oss-20btoolsGeslaagd23.65 s
nomic-embed-textcontextOnvolledig2,048
nomic-embed-textquickGeslaagd2.798 s
qwen3-14bcontextOnvolledig40,939872.209 s
qwen3-14bquickGeslaagd1536.021 s
qwen3-14bstreamGeslaagd33.491 s
qwen3-14btoolsGeslaagd82.471 s
qwen3-8bcontextOnvolledig1800.07 s
qwen3-8bquickGeslaagd1519.283 s
qwen3-8bstreamGeslaagd19.401 s
qwen3-8btoolsGeslaagd65.054 s
qwen3.5-9bcontextGeslaagd65,579258.048 s
qwen3.5-9bexact_digest_aperture_65kGeslaagd81,051324.07 s
qwen3.5-9bexact_digest_broker_shortGeslaagd2994.48 s
qwen3.5-9bquickGeslaagd1527.16 s
qwen3.5-9bstreamGeslaagd28.62 s
qwen3.5-9btoolsGeslaagd28.129 s
qwen3.5-9bvisionGeslaagd7525.047 s
qwen3.5-9bvision_contextGeslaagd65,640369.477 s
qwen3.5-9bvision_reverseGeslaagd7527.602 s

Systeem E

Routelabel van het modelControleResultaatInvoertokensAanvraagtijd
gemma-4-e4b-itcontextGeslaagd65,59049.086 s
gemma-4-e4b-itquickGeslaagd2123.911 s
gemma-4-e4b-itstreamGeslaagd28.136 s
gemma-4-e4b-ittoolsGeslaagd56.756 s
granite-4.0-h-tinycontextGeslaagd65,566
granite-4.0-h-tinyquickGeslaagd3510.408 s
granite-4.0-h-tinystreamGeslaagd27.798 s
granite-4.0-h-tinytoolsGeslaagd43.304 s
granite-4.2-3bcontextGeslaagd65,5891014.03 s
granite-4.2-3bquickGeslaagd2014.569 s
granite-4.2-3bstreamGeslaagd6.948 s
granite-4.2-3btoolsGeslaagd56.376 s
qwen3-embedding-0.6bcontextGeslaagd32,76720.387 s
qwen3-embedding-0.6bquickGeslaagd149.592 s
qwen3.5-0.8bcontextGeslaagd16,4299.128 s
qwen3.5-0.8bquickGeslaagd17452.417 s
qwen3.5-0.8bstreamGeslaagd11.163 s
qwen3.5-0.8btoolsGeslaagd39.214 s
qwen3.5-2bcontextGeslaagd65,57930.343 s
qwen3.5-2bquickGeslaagd1512.509 s
qwen3.5-2bstreamGeslaagd26.165 s
qwen3.5-2btoolsGeslaagd42.056 s
qwen3.5-4bcontextGeslaagd65,57953.787 s
qwen3.5-4bquickGeslaagd1526.736 s
qwen3.5-4bstreamGeslaagd26.02 s
qwen3.5-4btoolsGeslaagd57.293 s
qwen3.5-4bvisionGeslaagd7210.09 s
qwen3.5-4bvision_contextGeslaagd65,63744.88 s
qwen3.5-4bvision_reverseGeslaagd729.96 s

Systeem F

Routelabel van het modelControleResultaatInvoertokensAanvraagtijd
gemma-4-e4b-itcontextGeslaagd65,59098.443 s
gemma-4-e4b-itquickGeslaagd2127.51 s
gemma-4-e4b-itstreamGeslaagd28.042 s
gemma-4-e4b-ittoolsGeslaagd73.891 s
granite-4.0-h-tinycontextGeslaagd65,59919.692 s
granite-4.0-h-tinyquickGeslaagd3543.818 s
granite-4.0-h-tinystreamGeslaagd27.296 s
granite-4.0-h-tinytoolsGeslaagd75.377 s
granite-4.2-3bcontextGeslaagd65,589145.179 s
granite-4.2-3bquickGeslaagd2015.703 s
granite-4.2-3bstreamGeslaagd35.482 s
granite-4.2-3btoolsGeslaagd52.539 s
qwen3-embedding-0.6bcontextGeslaagd32,76720.656 s
qwen3-embedding-0.6bquickGeslaagd148.122 s
qwen3.5-0.8bcontextGeslaagd16,42913.326 s
qwen3.5-0.8bquickGeslaagd17445.22 s
qwen3.5-0.8bstreamGeslaagd13.266 s
qwen3.5-0.8btoolsGeslaagd40.825 s
qwen3.5-2bcontextGeslaagd65,57961.282 s
qwen3.5-2bquickGeslaagd1516.738 s
qwen3.5-2bstreamGeslaagd25.29 s
qwen3.5-2btoolsGeslaagd47.444 s
qwen3.5-4bcontextGeslaagd65,57993.753 s
qwen3.5-4bquickGeslaagd1533.039 s
qwen3.5-4bstreamGeslaagd25.658 s
qwen3.5-4btoolsGeslaagd71.731 s
qwen3.5-4bvisionGeslaagd7043.053 s
qwen3.5-4bvision_contextGeslaagd65,63584.749 s
qwen3.5-4bvision_reverseGeslaagd7027.518 s

Systeem G

Routelabel van het modelControleResultaatInvoertokensAanvraagtijd
gemma-4-e4b-itcontextGeslaagd65,59092.696 s
gemma-4-e4b-itquickGeslaagd2138.329 s
gemma-4-e4b-itstreamGeslaagd43.549 s
gemma-4-e4b-ittoolsGeslaagd66.616 s
granite-4.0-h-tinycontextGeslaagd65,59969.777 s
granite-4.0-h-tinyquickGeslaagd3533.17 s
granite-4.0-h-tinystreamGeslaagd31.751 s
granite-4.0-h-tinytoolsGeslaagd63.338 s
granite-4.2-3bcontextGeslaagd65,589100.849 s
granite-4.2-3bquickGeslaagd2023.355 s
granite-4.2-3bstreamGeslaagd28.75 s
granite-4.2-3btoolsGeslaagd44.226 s
qwen3-embedding-0.6bcontextGeslaagd32,76723.055 s
qwen3-embedding-0.6bquickGeslaagd148.924 s
qwen3.5-0.8bcontextGeslaagd16,42916.74 s
qwen3.5-0.8bquickGeslaagd17504.813 s
qwen3.5-0.8bstreamGeslaagd15.095 s
qwen3.5-0.8btoolsGeslaagd36.672 s
qwen3.5-2bcontextGeslaagd65,57976.731 s
qwen3.5-2bquickGeslaagd1520.949 s
qwen3.5-2bstreamGeslaagd25.194 s
qwen3.5-2btoolsGeslaagd37.552 s
qwen3.5-4bcontextGeslaagd65,57990.807 s
qwen3.5-4bquickGeslaagd1541.84 s
qwen3.5-4bstreamGeslaagd40.812 s
qwen3.5-4btoolsGeslaagd54.999 s
qwen3.5-4bvisionGeslaagd7029.619 s
qwen3.5-4bvision_contextGeslaagd65,63587.496 s
qwen3.5-4bvision_reverseGeslaagd7026.283 s

Hoe ik Hermes-geschiktheid testte

Ik plaatste een synthetische markering aan het begin van een lange prompt en vroeg het model om die na de opvultekst terug te geven. Het antwoord moest de verwachte waarde bevatten. De servergemelde invoertokens bepaalden de aanvraaggrootte. Een model dat normaal antwoordde na een grote prompt faalde alsnog wanneer de openingsmarkering onjuist was.

De reeks voor Qwen3.5 35B gebruikte genummerde opvulrecords, temperatuur 0 en oplopende lengtes van 3.800, 6.800, 10.000 en 13.600 records. Die stappen leverden 69.429, 124.179, 182.579 en 248.279 prompttokens op. Het model bleef tussen de stappen geladen, waardoor prefixhergebruik mogelijk was. De afzonderlijke controles van Qwen3.6 vlak bij de limiet meldden nul tokens uit de cache.

De lange prompt voor 0.8B herhaalde river stone lantern orchard circuit velvet compass marble 8.400 keer tussen een openingssleutel en een laatste terughaalvraag. De native run gebruikte think:false, num_ctx:131072, stream:false en keep_alive:0. De OpenAI-compatibele route gebruikte reasoning_effort:"none". De broker dwong de modus zonder denken af, zodat gatewayclients geen instelling hoefden te wijzigen.

Tool-, vision- en vrijgavecontroles

Tooltests controleerden zowel de aanvraag als het antwoord nadat het toolresultaat terugkwam. Een eenvoudige test gebruikte add_numbers(7, 11) en verwachtte 18. De test met Qwen3.5 35B gebruikte lookup_square en verwachtte 49. GPT-OSS deed een inventarisopvraag en moest het teruggegeven resultaat verwerken.

Visioncontroles gebruikten vragen over rode en blauwe afbeeldingen, omgekeerde beeldvolgorde en lange prompts met beeldkleuren plus begin- en eindmarkeringen. De test met Qwen3.5 35B gebruikte een rode PNG van 256 × 256. De broker had een reparatie voor beeldinhoudconversie nodig voordat deze aanvraag slaagde. De lange vision-test met 4B op systeem E vereiste dat beide markeringen en de kleurvolgorde behouden bleven.

Rond de lange runs controleerde ik GPU-geheugen, modelresidentie, temperaturen, hostgeheugendruk, OOM-gebeurtenissen en GPU-fouten. De bewaking voor Qwen3.5 35B controleerde ook het vrijgeven na een gecontroleerde onderbreking. Latere controles van clientannulering en aanvragen in de wachtrij testten het brokerpad. Twee aanvragen in de wachtrij bewijzen de afhandeling onder de geteste belasting, niet het bestaan van twee onafhankelijke gelijktijdige GPU-backends.

De prestatieresultaten lezen

De aanvraagtijden omvatten het voorverwerken van lange invoer en het teruggegeven antwoord. Het zijn geen generatietokens per seconde. Bij streaming telt de vertraging tot de eerste inhoud. Reeksen met gecachte prefixen moet je apart interpreteren.

De geslaagde vervolgtests voor grotere modellen op systemen A en C gebruikten afzonderlijke inferentievensters waarin mining uitgeschakeld was. Na de aanvragen werden de modellen uit het geheugen gehaald. Mining werd op alle zeven systemen aan het einde van het testvenster hersteld. Deze resultaten beschrijven de modelservice tijdens een inferentievenster, niet gelijktijdig minen en infereren.

Backendprofielen in de tests

Kies het profiel dat past bij de werklast die je wilt herhalen. Kwantisering, runtimecontext, cachetype, redeneermodus en GPU-plaatsing beïnvloeden het resultaat.

Systeem en modelGetest backendprofiel
A, Qwen3.5 35B-A3B Q4_K_MOllama 0.34.2, f16 KV-cache, beide RTX 5060 Ti-kaarten van 16 GB, 64 GiB hostgeheugen en een runtimecontext van 262.144 voor de grote reeks. Native aanvragen gebruikten think:false, temperatuur 0, streaming en een keep-alive van vijf minuten tussen stappen. Gatewayaanvragen gebruikten de broker en LiteLLM. Geen limiet voor aanvraaguitvoer.
A, Qwen3.8 27Bllama.cpp op aanvraag via de broker en LiteLLM, runtimecontext 262.144, één inferentieslot, Q4 K/V-cache en beide RTX 5060 Ti-kaarten. De aanvraag met 66.007 tokens had geen uitvoerlimiet.
A, Qwen3.6-35B-A3B UD-Q4_K_XLStrata 0.1.48, context 131.072, INT8 KV-cache, één geselecteerde GPU, geheugenlimiet van 55 GiB voor de procesgroep, runtimelimiet van 30 minuten, lazy loading en vrijgave na 60 seconden inactiviteit. Lang antwoord in de pilot: 217 uitvoertokens. Gatewayantwoord vlak bij de limiet: 11 uitvoertokens, zonder limiet voor aanvraaguitvoer.
A, Qwen3.8-Flash-Next UD-IQ4_XSStrata 0.1.48, context 98.304, Q4 KV-cache, 8 GiB resident expertcache en beide RTX 5060 Ti-kaarten. Geheugenlimiet van de pilot: 52 GiB; latere route: 54 GiB. Lang antwoord in de pilot: 10 uitvoertokens. Eerdere combinaties met grotere context en cache stopten bij de geheugenlimieten.
A, Granite 4.2 8BQ6_K GGUF-gewichten, gedeeld llama.cpp-werkproces, context 131.072, Q4_0 K/V-cache, --n-predict -1. De lange aanvraag gebruikte temperatuur 0, streaming en geen uitvoerlimiet.
A, DeepSeek Coder V2 16BQ4_0 GGUF-gewichten, Ollama 0.34.2, twee RTX 5060 Ti-kaarten en 64 GiB hostgeheugen. Afzonderlijke cachetests met f16, Q4_0 en Q8_0 gebruikten de runtimecontexten uit de vergelijkingstabel. Geen limiet voor aanvraaguitvoer.
B, C, D, gecontroleerde Ollama-serviceOllama 0.34.2, context 131.072, parallelisme 1, één geladen model, wachtrijgrootte 128, keep-alive 0, Flash Attention en Q4_0 KV-cache.
B, Qwen3.5 9B-gatewaypilotTime-out van de LiteLLM-route: 1.800 seconden; geen nieuwe pogingen en geen limiet voor context- of uitvoertokens. Beide markeringen bleven behouden bij 72.265 invoertokens. De afzonderlijke herstelcontrole voor mining slaagde.
C, Qwen3.5 0.8BQ8_0-gewichten op één RTX 2000E Ada met een vermogensprofiel van 30 W. Runtimecontext 131.072. Native think:false, OpenAI-compatibele reasoning_effort:"none" en geen uitvoerlimiet. De brokeralias legde de runtimecontext vast en dwong de modus zonder denken af.
C, Gemma 4 12B-ITOllama-profiel met één GPU en runtimecontext 131.072; gestreamde en niet-gestreamde Aperture-aanvragen zonder uitvoerlimiet. De directe Aperture-run bereikte 75 °C en 30,64 W bij het ingestelde profiel van 30 W en werd daarna vrijgegeven.
D, Qwen3.5 9B, Gemma 4 12B-IT, GPT-OSS 20BExacte geïnstalleerde artefacten getest via Aperture met runtimecontext 131.072, volledige residentie op één GPU en natuurlijke voltooiing zonder limiet voor aanvraaguitvoer.
E, F, G, llama.cpp-chatprocessenBuild 11669, 99 GPU-lagen, parallelisme 1, Flash Attention, Q4_0 K/V-cache en --n-predict -1. De runtimecontext verschilde per modelfamilie.

De opgenomen serviceprofielen beschrijven hun eigen runtimeconfiguratie. Het afzonderlijk geteste Qwen3.5 35B-profiel met f16-cache op systeem A erft niet de Q4_0-cache-instellingen van de kleinere Ollama-systemen.

Modelvingerafdrukken voor de nieuwe runs met behouden invoer

Deze modelidentificaties onderscheiden de geteste artefacten van andere downloads of aliassen met vergelijkbare namen.

ArtefactKwantiseringVastgelegde digest of SHA-256 van bestand
Qwen3.5 35B-A3B Ollama tagQ4_K_M72aac7c28be8ff9b81c2a270eb489c88e6d822a76ec0cb7bf34d965768848567
Qwen3.5 0.8B base Ollama tagQ8_0de63045f29755d4721c09d54c9b45c2dadb644f4fd7d604d4cac90d96049971c
Granite 4.2 8B GGUF fileQ6_K5ad3d67f6fe09a448031029bead7f6a088697ca2787c0c5640bf964c59df1a21

Ollama-manifestdigests en SHA-256-waarden van gewichtbestanden identificeren verschillende objecten. Vergelijk de identificatie met het artefacttype in de tabel.

Wat ik met Hermes zou gebruiken

Ik zou Qwen3.5 35B de hoofdroute voor hoge context maken op het systeem met twee RTX 5060 Ti-kaarten. De gatewaytest met 239.153 behouden tokens, aparte geslaagde tool- en vision-tests en geverifieerde vrijgave van aanvragen maken dit een betere keuze dan een model dat alleen een groot contextvenster adverteert. Ik houd Qwen3.8 27B beschikbaar voor het snellere antwoord bij 66K en Qwen3.6 wanneer één kaart belangrijk is.

Op systemen met de RTX 2000E Ada zou ik de geverifieerde Gemma 3 4B-route van systeem C kiezen voor de geteste werklast met lange invoer. De Qwen3.5 0.8B-route zonder denken zou ik uitproberen voor beperkte terughaal- en extractietaken. De grotere Gemma-, Qwen- en GPT-OSS-routes passen bij werk waarbij een eerste antwoord na vier tot vijf minuten acceptabel is. De mislukte Gemma 3-route op systeem D zou ik uitsluiten.

Voor RTX 3060 Ti- en RTX 3070-kaarten met 8 GB zou ik beginnen met Qwen3.5 2B of 4B. De tekstresultaten op 65K en de beeldcontroles voor 4B ondersteunen een bruikbare startconfiguratie zonder voor elke aanvraag de twee kaarten van 16 GB nodig te hebben. De geheugendruk van Flash Next en het onvolledige gedrag van DeepSeek Coder V2 bij 65K maken die modellen minder geschikte standaardkeuzes op de geteste profielen.

De tests ondersteunen deze keuzes van modellen en systemen voor specifieke werkwijzen. Behouden invoer, een correcte toolronde, beeldherkenning en nette vrijgave beantwoorden elk een ander deel van de Hermes-geschiktheid. Een betrouwbare configuratie moet de gedragingen ondersteunen die jouw agent gebruikt, met voldoende context voor het antwoord en toolverkeer.

Bronnen en verwante informatie