Cisco zjistila důvody, proč by i zdánlivě dokonalé zprávy AI o kyberincidentech neměly být považovány za pravdu

Cisco Talos zkoumá přesnost velkých jazykových modelů při vytváření kybernetických zpráv

Tým Cisco Talos Incident Response provedl test, aby zjistil, jak spolehlivě současné LLM (ChatGPT, Claude a Gemini) mohou generovat technické zprávy o kybernetických incidentech. Výsledky ukázaly, že i ty nej„profesionálně vypadající“ dokumenty obsahují faktické chyby, rozpory a nesrovnalosti.

Jak bylo výzkum prováděn
* Příprava – výzkumníci každému modelu předali surové poznámky o incidentu s žádostí o sestavení zprávy.
* Výstup – všechny tři LLM vyprodukovaly vizuálně upravené dokumenty, ale při podrobném analýze se objevily nepřesnosti a neočekávané závěry.

Nate Pors, seniorní vedoucí oddělení reakce na incidenty v Cisco Talos, podrobně popsal výsledky ve firemním blogu.

Proč LLM „dělat chyby“
Cisco vysvětluje problémy pravděpodobnostní povahou modelů: předpovídají další slovo podle statistických vah a ne rozumí významu. Podle Porsa se zkreslení projevují ve čtyřech směrech:

1. Různé fragmenty dat
Při každém dotazu model používá různé části vstupu, což činí nemožným získání reprodukovatelného a standardizovaného výsledku.

2. Nesourodé závěry
Stejná data mohou vést k různým doporučením: v jedné zprávě bude navržena nucená změna hesel po celé organizaci, v jiné jen cílené úpravy. Model často zůstává u první generované rady, i když není vhodná.

3. Nezvyklá struktura
Protože LLM vytvářejí text token za tokenem, konečné dokumenty mohou mít odlišnou strukturu a formátování, což je kritické v prostředí, kde jsou požadovány šablony pro kontrolu kvality.

4. Problémy kontextového okna
Při objemu vstupních dat překračujícím limit kontextu může model „zapomenout“ důležité informace z začátku seance a produkovat nepředvídatelné nebo smíšené výsledky.

Co to znamená pro kybernetickou bezpečnost
Cisco uznává, že teoreticky lze úlohu omezit na konkrétní fragment zprávy, ale takový přístup zbavuje uživatelů úspory času. V oblasti kybernetické ochrany může i malá chyba stát drahé. Proto musí autoři konečných dokumentů pečlivě ověřovat každé slovo a nespoléhají se plně na doporučení LLM.

Závěr: velké jazykové modely mohou rychle generovat zprávy, ale jejich závěry vyžadují povinnou kontrolu odborníky, aby se předešlo chybám a nesrovnalostem v kriticky důležitém kontextu kybernetických incidentů.