Umělé inteligence ztrácejí účinnost při dlouhých rozhovorech s lidmi – rozsáhlé výzkumy společnosti Microsoft toto potvrdily.

Výzkum Microsoft Research a Salesforce: jak velké modely umělé inteligence ztrácejí orientaci v dialogu

Co studovali
Jaké modely 200 000+ vícenásobných rozhovorů s předními LLM GPT‑4.1, Gemini 2.5 Pro, Claude 3.7 Sonnet, OpenAI o3, DeepSeek R1, Llama 4

Klíčové závěry
Ukazatel Výsledek
Přesnost při jednotlivých dotazech 90 % správných odpovědí (GPT‑4.1, Gemini 2.5 Pro)
Přesnost v dlouhých dialogu ~65 % – efektivita klesá téměř o třetinu
Chování modelu Často „přežívá“ svůj první nesprávný výsledek jako základ pro následující odpovědi
Délka odpovědí Zvětšuje se o 20‑300 % v vícenásobných konverzacích, což vede ke zvýšení halucinací a domněnek
Spolehlivost Snižuje se na 112 % (modely „předčasně“ generují odpověď, aniž by dokončily dotaz)

Proč to tak funguje?
1. Přežití nesprávného základu

Model drží svůj první závěr a staví další odpovědi na něm, i když je chybný.

2. Rozšiřování kontextu

S každou novou otázkou se přidává více textu – to zvyšuje počet „vymyšlených“ faktů, které model považuje za skutečné.

3. Problém s tokeny myšlení

I modely s dalšími „tokeny“ (o3, DeepSeek R1) nedokázaly tuto past překonat – stále generují odpovědi příliš brzy a bez dostatečného rozboru.

Co to znamená pro uživatele?
- Nízká spolehlivost v reálných konverzacích

AI může „ztratit“ téma a začít mluvit o neexistujících věcech.

- Riziko nesprávných informací

Odmítnutí tradičních vyhledávačů ve prospěch generativních nástrojů (např. Google‑AI recenze) zvyšuje pravděpodobnost získání nedostatečných dat.

- Důležitost kvalitních podnětů

Microsoft dříve upozorňoval na nízkou úroveň inženýrství při tvorbě dotazů. Neúspěšné otázky a „špatné“ podněty mohou být příčinou toho, že AI nevyužije svůj potenciál.

Závěr
Technologie velkých jazykových modelů je stále ve fázi vývoje. I když ukazují vysokou přesnost na jednotlivých dotazech, jejich spolehlivost v vícenásobných dialogu zůstává problémem. Pro bezpečné a efektivní využití AI je důležité:

1. Psát jasné, konkrétní otázky.
2. Být připraven upravovat odpovědi modelu.
3. Nezáviset úplně na generativním obsahu bez ověření faktů.

V konečném důsledku je zlepšování modelů a zvýšení jejich odolnosti v dlouhých konverzacích klíčem k tomu, aby AI stala spolehlivým partnerem pro uživatele.