GPU-benchmarks van Llama 3.1 8B en Qwen3.8 27B op Vast.ai

De H100 SXM was de snelste kaart in beide Ollama-tests, maar niet de beste waarde. De RTX PRO 5000 en RTX 6000 Ada boden een betere verhouding tussen snelheid en huurprijs. De CMP 170HX had het laagste uurtarief van de voltooide Qwen3.8 27B-runs.

Deze resultaten meten één model, één Ollama-wrapper, één standaardkwantisering en één serveerpatroon. Gebruik ze voor deze werklast, niet als algemene GPU-ranglijst.

Dit artikel vergelijkt Llama 3.1:8b, een Ollama Q4_K_M-build met 8,03 miljard parameters, met Qwen3.8:27b, een Ollama Q4_K_M-build met ongeveer 27,3 miljard parameters. Beide modellen zijn getest op GPU-instanties van Vast.ai. De tests richtten zich op decodeerdoorvoer bij echte promptlengtes tot de ondersteunde contextlimiet.

Kort antwoord #

Huur een RTX PRO 5000 of RTX 6000 Ada voor regelmatig werk door één gebruiker. De RTX PRO 5000 leidde bij korte en middelgrote contexten. De RTX 6000 Ada kostte minder en bleef sneller dan de A100-kaarten. Huur een H100 SXM wanneer reactiesnelheid belangrijker is dan het uurtarief of wanneer lange prompts deel van het werk zijn.

Wat is getest #

De benchmark gebruikte Ollama met de standaard Q4_K_M-build. Er is geen speciale kwantisering, speculative decoding, aangepaste sampler of andere serving-stack gebruikt. Het doel was een eenvoudige, lokaal reproduceerbare vergelijking van GPU-instanties.

Vast.ai beschrijft zijn dienst als een GPU-cloudmarktplaats tussen rekenproviders en gebruikers. De documentatie noemt on-demand, gereserveerde, onderbreekbare en serverless opties, met filters voor GPU-model, geheugen, prijs en beschikbaarheid. De uurtarieven hieronder kwamen uit de gekozen instanties tijdens deze sessie, niet uit een vaste prijslijst.

De gemeten uitvoer was decodeerdoorvoer, uitgedrukt in gegenereerde tokens per seconde. Prefill-doorvoer staat apart, omdat die promptverwerking meet en niet de snelheid waarmee het antwoord verschijnt. Een lange prompt vraagt vaak veel verwerkingstijd, ook wanneer de decodeersnelheid hoog blijft.

Er waren twee geldige proeven per context. De mediaan van het decodeerresultaat is vastgelegd. De voltooide niveaus waren gebaseerd op echte prompt_eval_count-waarden:

• Ongeveer 16,4k prompttokens
• Ongeveer 32,8k prompttokens
• Ongeveer 65,5k prompttokens
• Ongeveer 131k prompttokens

De gevraagde run van 256k tokens werd niet voltooid. De A100-kaarten van 40 GB en meerdere kleinere kaarten waren nog bezig of bereikten de doelcontext niet.

Benchmarklimiet: de cijfers beschrijven twee Ollama Q4_K_M-werklasten met één serveerpatroon. Ze voorspellen geen trainingssnelheid, multi-user-doorvoer, beeldgeneratie, vLLM-prestaties of resultaten van een ander model.

Nieuwe Llama 3.1 8B-run #

Llama 3.1:8b is een praktische baseline voor dezelfde GPU-pool. Ollama vermeldt ongeveer 120 miljoen downloads, wat het een bruikbare populariteitsbaseline maakt. De officiële Ollama-modelpagina vermeldt een Q4_K_M-build van 4,9 GB, 8,03B parameters en 128K context.

De run gebruikte een modelspecifieke benchmarkrunner met een promptgenerator die op de Ollama-tokenizer was afgestemd. De labels gebruiken echte promptaantallen:

• Ongeveer 32.676 echte prompttokens voor het 32k-doel
• Ongeveer 65.342 echte prompttokens voor het 64k-doel
• Ongeveer 130.671 echte prompttokens voor het 128k-doel

256k is expliciet niet ondersteund, omdat de modelcontext 128K is. De runner hield retries en statusregels bij, zodat time-outs zichtbaar blijven.

Resultaten Llama 3.1 8B #

De twee H100-regels kwamen uit afzonderlijke geldige instanties van dezelfde GPU-klasse. Beide liepen duidelijk voor op de andere kaarten. Hun 32k-resultaten waren 44% tot 48% sneller dan de RTX PRO 5000. Bij 128k was de voorsprong ongeveer 61% tot 65%.

De 32k-resultaten van de A100 en RTX 5060 Ti zijn te laag voor een vergelijkbare GPU-run. De RTX 5060 Ti-host time-outte ook tijdens de tweede 128k-proef. Behandel deze host als ongeschikt voor een geldige GPU-vergelijking, niet als een echte ranglijstscore.

De twee modellen vergelijken #

Het kleinere Llama-model was op elke vergelijkbare GPU sneller, maar modelgrootte en kwaliteit zijn niet uitwisselbaar. Llama 3.1 8B is een populaire baseline met lagere geheugenvraag. Qwen3.8 27B vraagt meer geheugen en heeft een ander capaciteitsprofiel. Gebruik de cijfers voor hardwarekeuze, niet voor een universeel oordeel.

De eerdere Qwen-run corrigeerde de echte promptaantallen naar ongeveer 32.770, 65.538 en 131.074 tokens. Deze labels vervangen de gevraagde num_ctx-waarden bij Qwen-vergelijkingen.

Ongeveer 16k tokens #

De H100 SXM leidde de korte-context-run met 134,4 decodeertokens per seconde. De RTX PRO 5000 volgde met 113,9 tokens per seconde en kostte minder dan de helft per uur.

Op deze lengte haalde de RTX PRO 5000 ongeveer 84,7% van de H100-snelheid tegen 37,3% van het uurtarief. De RTX 6000 Ada haalde 66,3% van de snelheid tegen 30,2% van de prijs.

Ongeveer 32,8k tokens #

De rangorde bleef stabiel bij middelgrote context. De H100 SXM daalde naar 120,0 tokens per seconde. De RTX PRO 5000 haalde 105,0 en de RTX 6000 Ada 75,7.

De RTX PRO 5000 bleef de aantrekkelijkste huurkaart. Hij was 12,5% langzamer dan de H100 en kostte 62,7% minder per uur.

Ongeveer 65,5k tokens #

Langere prompts toonden een groter verschil tussen kaarten met veel geheugen en kaarten met minder marge. De H100 bleef eerste met 112,0 tokens per seconde. De RTX PRO 6000 Max-Q haalde de RTX 6000 Ada in.

De RTX PRO 5000 bleef de beste balans. De RTX 6000 Ada was langzamer, maar de lagere huurprijs past bij een budget waarbij beschikbaarheid belangrijker is dan topsnelheid.

Ongeveer 131k tokens #

De H100 was de enige kaart boven 100 decodeertokens per seconde bij deze context. De RTX PRO 6000 Max-Q voltooide de run met 73,4 tokens per seconde, gevolgd door de RTX 6000 Ada met 61,7.

De RTX PRO 6000 Max-Q werd het praktische alternatief voor de H100 bij lange prompts. Hij haalde 67,8% van de decodeersnelheid tegen 56,0% van het uurtarief. De RTX 6000 Ada kostte minder, maar 48 GB VRAM laat minder ruimte voor lange prompts, grotere batches of een andere modelconfiguratie.

Totale decodeervergelijking #

De H100 leidde bij elke voltooide contextlengte. Het voordeel daalde van 20,5 tokens per seconde boven de RTX PRO 5000 bij ongeveer 16k naar 12,0 bij ongeveer 32,8k. De waarde hangt af van de keuze tussen de snelste eerste reactie en de laagste kosten voor een lange sessie.

Kosten per miljoen decodeertokens #

Alleen het uurtarief verbergt de nuttige vergelijking. Deel het uurtarief door de decodeerdoorvoer om de huurkosten voor één miljoen gegenereerde tokens te schatten. Dit negeert promptverwerking, inactiviteit, opslag, dataverkeer, belasting, kortingen en mislukte runs.

De CMP 170HX won deze beperkte rekensom. De RTX PRO 5000 en RTX 6000 Ada volgden dicht daarna en boden beide meer doorvoer. Bij interactief gebruik telt extra wachttijd vaak zwaarder dan de laagste tokenprijs.

Huren, tegoed kopen, abonneren of hardware kopen? #

De juiste optie hangt af van gebruik en controle. GPU-huur is een variabele compute-factuur. API-tegoed is een variabele modelfactuur. Een chatabonnement is een vast toegangstarief met gebruikslimieten. Eigen hardware is een kapitaalaankoop met daarna stroom, koeling, onderhoud en afschrijving.

Deze bedragen zijn beslisrichtlijnen, geen offertes. Een H100 van $2.693 per uur kost ongeveer $64.63 per continue dag en $1,941.00 per 30 dagen. Een RTX PRO 5000 van $1.005 per uur kost ongeveer $24.12 per dag en $723.60 per 30 dagen. Een kaart die alleen tijdens actieve sessies draait heeft een ander totaal.

Wanneer API-tegoed wint #

API-tegoed wint bij onregelmatig gebruik, automatisering en wanneer een specifiek lokaal model niet vereist is. Het voorkomt GPU-provisioning, modeldownloads, driverproblemen en inactiviteit. Je kunt meerdere gehoste modellen vergelijken voordat je hardware koopt.

API-prijzen verschillen per model en provider. De modelcatalogus van OpenRouter vergelijkt context, providers en tokenprijzen. Gebruik de actuele calculator van de provider voordat je een API-factuur met deze benchmark vergelijkt. Een lokale GPU heeft geen kosten per token, maar de huur loopt door terwijl de instantie wacht.

Wanneer een abonnement wint #

Een abonnement past bij iemand die elke dag een gehoste assistent gebruikt. De individuele Claude-plannen onderscheiden bijvoorbeeld Free, Pro en Max met verschillende limieten en functies. Een abonnement is geen API-toegang. Het biedt vaak een interface en gebundelde tools, terwijl API-tegoed programmatische controle geeft.

Kies een abonnement voor interactief schrijven, onderzoek, coderen of bestandscontrole. Kies API-tegoed wanneer een script, applicatie of agent een meetbaar endpoint nodig heeft.

Wanneer Vast.ai wint #

Vast.ai wint wanneer je een open model, private runtimecontrole of korte hoge doorvoer nodig hebt. Selecteer de GPU, start de instantie, draai Ollama, test een model en stop de instantie daarna. Dit past bij Qwen3.8 27B, abliterated varianten en modelbestanden die niet op een laptop passen.

De prijs brengt operationeel werk mee. Controleer GPU-gebruik, bewaak VRAM, bescherm de blootgestelde service, bewaar benodigde modelbestanden en stop de instantie na de run. Een laag uurtarief verhelpt geen vergeten instantie.

Wanneer een GPU kopen wint #

Hardware kopen wint bij blijvend gebruik, stabiele modelvereisten en behoefte aan lokale controle. Je verwijdert beschikbaarheidsrisico en krijgt een vaste omgeving. Je kunt privégegevens verwerken zonder prompts naar een gehoste provider te sturen.

De aankoopprijs is slechts één deel. Voeg host, voeding, opslag, koeling, stroom, vervanging en configuratietijd toe. Een dure kaart staat ook stil wanneer API-tegoed of een abonnement goedkoper is.

NVIDIA noemt voor de RTX 4090 24 GB geheugen, 450 W totaal grafisch vermogen en 850 W aanbevolen systeemvermogen. Dit is een nuttig lokaal referentiepunt, maar 24 GB ligt onder de geteste 27B Q4_K_M-configuraties. Controleer werkelijk geheugengebruik en ga niet alleen van parameteraantal uit.

Abliterated en ongecensureerde modellen #

Abliterated en ongecensureerde varianten veranderen de koopbeslissing. Ze trekken aan door minder weigeringen of beperkingen. Kosten zijn zwakker veiligheidsgedrag, onzekere herkomst, inconsistente promptopmaak, meer controlewerk en mogelijke licentie- of gebruiksbeperkingen.

Huur voor deze modellen eerst. Een dag RTX PRO 5000 tegen het opgegeven tarief kost ongeveer $24.12 vóór andere kosten. Dat is genoeg om modelgeschiktheid, GPU-gebruik, antwoordkwaliteit en operationeel risico te testen.

Stel een ongecensureerd model niet rechtstreeks bloot aan het openbare internet. Zet authenticatie, snelheidslimieten, logcontroles en netwerkisolatie ervoor. Stuur geen persoonlijke, vertrouwelijke of gereguleerde gegevens naar een niet-beoordeelde modelbron.

Als het model dagelijks wordt gebruikt, vergelijk dan de maandhuur met de volledige kosten van een eigen werkstation. Bij incidenteel gebruik blijft huren eenvoudiger te stoppen en te vervangen.

Benchmarkvoorbehouden #

Ontbrekende resultaten zijn onderdeel van het resultaat. N/A betekent dat de run geen geldige meting opleverde. Het betekent niet dat de GPU zo langzaam is als de score van een andere kaart suggereert.

• De tweede H100-instantie leverde geen geldige set op, omdat de modeldownload te laat klaar was.
• De 2x RTX 5060 Ti-instantie is uitgesloten, omdat Ollama het model op de CPU laadde.
• De Qwen3.8 27B-prompt van 256k tokens is niet voltooid. Het hoogste geldige niveau was ongeveer 131k echte prompttokens. Llama 3.1 8B ondersteunt 256k niet en heeft een limiet van 128K.
• Het gevraagde num_ctx is niet als ranglijstlabel gebruikt. De eindtabellen gebruiken echte prompt_eval_count-waarden.
• Twee geldige proeven per context zijn samengevat met de decodeermediaan. Dit beperkt het effect van één trage run, maar vervangt geen grotere testset.
• De wrapper was bewust eenvoudig. Een afgesteld vLLM- of llama.cpp-deployment geeft een andere rangorde.

Eindadvies #

Begin met een RTX 6000 Ada of RTX PRO 5000 op huurbasis. De RTX 6000 Ada is de budgetkeuze wanneer $0.813 per uur beschikbaar is. De RTX PRO 5000 is de snellere keuze onder H100-prijs. Gebruik H100 SXM voor lange prompts, veeleisende interactieve latency of een korte benchmark waarbij tijd belangrijker is dan huurkosten. Voor een 8B-model is CMP 170HX het testen waard wanneer een laag uurtarief belangrijker is dan topsnelheid.

Koop geen GPU na één geslaagde test. Huur een maand voor echte werklasten, noteer actieve uren, promptlengtes, gelijktijdigheid en modelwissels en vergelijk de huur met de volledige eigenaarskosten. Koop wanneer de werklast de kaart vaak gebruikt en stabiel genoeg is.

Voor incidenteel werk zijn API-tegoed of een chatabonnement eenvoudiger. Voor privé-inferentie, open modellen of abliterated tests biedt Vast.ai een route met minder verplichting dan direct een werkstation kopen. Gebruik Llama 3.1 8B als laag-geheugenbaseline en Qwen3.8 27B wanneer het grotere model het echte doel is.

Volgende stappen #

Herhaal de vergelijking met eigen promptlengtes en een schatting van actieve uren. Controleer GPU-gebruik, noteer modelrevisie en runtimeversie, stop de instantie na elke run en vergelijk de maandhuur met de volledige eigenaarskosten voordat je hardware koopt.

Bronnen #

1. Vast.ai GPU-cloudmarktplaats
2. Vast.ai-documentatie: marktplaats, instanties, prijzen en huurtypen
3. Ollama Qwen3-modellenbibliotheek
4. Ollama Llama 3.1 8B-modelpagina
5. OpenRouter-modelcatalogus en prijsvergelijking
6. Claude-prijzen en individuele abonnementen
7. NVIDIA GeForce RTX 4090-specificaties
8. Lokale AI in 2026: Qwen3.8 27B en hardware voor self-hosted modellen
9. Ollama-modeltests op Raspberry Pi-hardware