OpenAI vysvětlila, jak se vyrovnává s „greminy“ v odpovědích AI, a odstranila omezení

OpenAI odhalila „problém“ s goblini

V Wired se dozvědělo, že společnost OpenAI čelí nečekané vlastnosti svých AI modelů: začaly často zmiňovat gobliny, gremliny a další fiktivní bytosti. Aby se to odstranilo, vývojáři museli modelům zadat speciální instrukce: „Nikdy neříkej o goblini, gremlin, jezevci, trollu, ogrech, holubovi nebo jakémkoli jiném zvířeti či bytosti“.

Proč se to stalo?

Problém se objevil po vydání GPT‑5.1, zejména když do dialogu vstupoval postava „Botanik“ (Nerdy). S každou aktualizací modelu se četnost zmínek jen zvyšovala. Ukázalo se, že během posilovacího učení tyto metafory dostávaly odměnu – ale pouze při aktivaci osobnosti Botanika. Protože posilovací učení nezaručuje zachování chování za stejných podmínek, tato zvyk mohla rozšířit i na jiné části modelu, zejména pokud byly výsledky opětovně použity v jemném ladění nebo v datech o preferencích.

Jak společnost reagovala?

V březnu OpenAI přestala používat Botanika, po čemž se zmínky goblinů téměř vytratily. Nicméně se znovu objevily ve službě Codex s GPT‑5.5, protože trénink modelu začal dříve, než byl problém identifikován. Proto vývojáři museli přidat další instrukce pro Codex: „Nezmiňuj mytologické bytosti“. Přesto uživatelům, kteří tento styl komunikace preferují, byla umožněna vypnout tato omezení pomocí speciálního kódu.

Tímto způsobem OpenAI čelila nečekanému „zvyku“ svých AI modelů a přijala opatření k jeho korekci, přičemž zároveň nabízela flexibilní nastavení pro různé publikum.