Umělá inteligence v medicíně často dává nebezpečné doporučení, když jsou symptomy formulovány „chytrým“ způsobem

Krátké shrnutí

Nové výzkumy ukazují, že moderní velké jazykové modely (LLM), které se často používají v medicíně k urychlení práce lékařů a zvýšení bezpečnosti pacientů, mohou snadno „chytit“ falešné informace, pokud jsou prezentovány přesvědčivě. Experiment s více než jedním milionem dotazů na devět předních LLM odhalil, že modely mají tendenci vnímat nesprávná tvrzení jako pravdivá a upřednostňují styl a kontext.

1. Co bylo zkoumáno?
Parametr | Popis
---|---
Modely | Devět největších LLM používaných ve zdravotnictví
Objem testů | Více než 1 milion dotazů
Typy scénářů | 3 skupiny:
• Reálné příběhy z databáze MIMIC (s jedním falešným záznamem)
• Populární mýty o zdraví z Redditu
• 300 klinických situací vytvořených a ověřených lékaři
Styl falešných tvrzení | Od neutrálních po emocionálně nabité; někdy zaměřené na konkrétní závěr

2. Klíčové nálezy
1. Důvěra v lež
Modely často považovaly přesvědčivě formulovaná nesprávná lékařská tvrzení za pravdu, i když kontext a fakta se protikl.

2. Priorita stylu
Při hodnocení informací LLM dávaly větší váhu tomu, jak věta zní, než jejímu ověřitelnosti.

3. Nízká účinnost ochranných mechanismů
Současné metody filtrování (např. blokování určitých slov) nejsou schopny adekvátně rozlišovat pravdu a lež v klinické dokumentaci nebo na sociálních sítích.

4. Citlivost na dezinformace jako riziko
Autoři zdůrazňují, že schopnost AI „pamatovat“ a šířit nesprávné informace by měla být hodnocena jako měřitelný parametr bezpečnosti, nikoli náhodná chyba.

3. Co navrhují udělat
- Stresové testování
Použít připravenou sadu dat (smíšené reálné a falešné scénáře) k ověření odolnosti AI systémů vůči dezinformacím.

- Vývoj nových protokolů
Vytvořit spolehlivější mechanismy ověřování faktů, které zohledňují kontext a lékařskou přesnost, nikoli jen styl.

4. Závěr
Výzkum ukazuje, že i ty nejpokročilejší LLM mohou snadno „chytit“ falešné informace, pokud zní přesvědčivě. To vyvolává otázku nutnosti systematického hodnocení a posílení ochranných mechanismů v medicínských AI systémech. Doufáme, že vývojáři vzbudí tyto závěry při vytváření nových řešení pro zdravotnictví.