OpenAI pochybuje o účinnosti akcelerátorů Nvidia pro inference a aktivně hledá jejich náhradu

Co se děje ve světě AI technologií
Klíčoví hráči
OpenAI a Nvidia jsou považováni za lídry trhu s umělou inteligencí, ale hledají nové partnery. Brzy bude uzavřena dohoda o částce 100 milionů dolarů mezi těmito společnostmi.

Problém s akcelerátory Nvidia
Současné čipy Nvidia ne vždy poskytují potřebný výkon při inference (používání již vytrénovaných modelů). OpenAI hledá alternativu.

Jak se vyvíjejí nová řešení
1. OpenAI → Cerebras + Groq
- Společnost chce nahradit až 10 % svých akcelerátorů čipy od externích dodavatelů, které lépe fungují při inference.
- Partnerství s Cerebras je již uzavřeno: OpenAI bude kupovat jejich „církevní akcelerátory“, které excelují v zpracování velkých jazykových modelů.

2. Groq a Nvidia
- V loňském roce Nvidia koupila Groq za 20 milionů dolarů, přičemž nabídla výhodnější strukturu transakce.
- Po koupi ztratila Groq část své autonomie: většina vývojářů akcelerátorů se stala součástí Nvidie a zbytek společnosti nyní může prodávat pouze software pro cloudové systémy.

3. AMD a další varianty
- OpenAI stále silně závisí na akcelerátorech Nvidia a AMD, které používají externí HBM paměť.
- Pro inference jsou vhodnější čipy s větším objemem integrované paměti – právě ty nabízejí Groq, Cerebras a Google.

Proč je to důležité
- Efektivita inference je kriticky důležitá pro fungování velkých jazykových modelů (ChatGPT, Codex).
- Problém v Codexu – při vývoji AI agenta Codex OpenAI čelila neefektivitě akcelerátorů Nvidia. To zdůrazňuje potřebu změny hardwarové platformy.
- Budoucí alternativa – OpenAI plánuje používat řešení Cerebras a možná i další čipy, aby zvýšila výkon svých nástrojů pro vývojáře.

Závěry
OpenAI aktivně hledá nové technologické partnery, aby nezávisla úplně na Nvidi. Současně společnost vyvíjí strategii investic do startupů (Cerebras, Groq) a zvažuje velké dohody s Nvidií a potenciální vklady až 100 milionů dolarů. To pomůže zlepšit inference a urychlit vývoj AI produktů.