Nvidia uvedla, že díky vylepšením architektury Blackwell klesání nákladů na inference neuronových sítí dosáhlo desetinásobného úrovně a úspěch přisuzují nejen hardwaru.

Snížení nákladů na inference na architektuře Nvidia Blackwell

Nové akcelerátory Nvidia Blackwell umožňují snížit cenu spouštění vytrénovaných AI systémů o 4–10krát. Jedná se o údaje zveřejněné samotnou Nvidiou. Bez doprovodných softwarových a infrastrukturních vylepšení je takový nárůst nedosažitelní.

Jak bylo dosaženo výrazného snížení nákladů
Ukazatel Co pomohlo Architektura Blackwell Akcelerátory Modely Otevřený zdroj (MoE, NVFP4 a další) Platformy Baseten, DeepInfra, Fireworks AI, Together AI Softwarové stacky Optimalizované pipeline pro nízkou přesnost
* Přechod na Blackwell zdvojnásobuje efektivitu oproti předchozímu generaci akcelerátorů.

* Použití formátů nízké přesnosti (např. NVFP4) dále snižuje náklady.

Praktické příklady
Společnost Úkol Výsledek Sully.ai Zdravotnictví, otevřené modely v Baseten 90 % úspora inference (10‑krátové snížení), 65 % zkrácení doby odezvy. Automatizace kódu a lékařských záznamů ušetřila 30 milionů minut práce. Latitude (AI Dungeon) Hry, MoE modely v DeepInfra Náklady na inference za 1 milion tokenů spadly z $0,20 na $0,05: nejprve na MoE (do $0,10), pak na NVFP4. Sentient Foundation Agentní chat, Fireworks AI Ekonomická efektivita vzrostla o 25–50 %. Platforma zpracovala 5,6 milionů požadavků týdně bez zvýšení latence. Decagon Podpora zákaznických hlasových dotazů, Together AI Náklady na požadavek se snížily šestnásobně díky multi‑modelovému stacku na Blackwell. Čas odezvy <400 ms i při několika tisících tokenů.

Proč jsou charakteristiky pracovního zatížení důležité
* Modely s rozumem generují více tokenů, což vyžaduje výkonnější akcelerátory.

* Platformy používají *de‑aggregované zpracování*: samostatný předběžný kontext a generaci tokenů, aby efektivně zvládaly dlouhé sekvence.

* Při velkých objemech generace lze dosáhnout až 10‑krátového nárůstu efektivity; při menších pouze do 4‑krát.

Alternativy Blackwell
Přechod na akcelerátory AMD Instinct MI300, Google TPU, Groq nebo Cerebras rovněž snižuje náklady. Klíčový moment je vybrat kombinaci hardwaru, softwaru a modelů podle konkrétního pracovního zatížení, nikoli jen použít Blackwell.

Závěr:

Snížení nákladů na inference se dosahuje komplexním přístupem: hardwarová síla (Blackwell), otevřené modely, optimalizované stacky a správné rozdělení úloh. To umožňuje firmám ušetřit až desetinásobně v oblasti zdravotnictví, her, agentního AI a hlasové podpory bez ztráty kvality nebo rychlosti.