Anthropic představil způsob nouzového zastavení vývoje umělé inteligence

Anthropic vyzývá k „sebeomezení“ rozvoje umělé inteligence

Společnost Anthropic, známá svými úsilími v oblasti etiky umělé inteligence, znovu upoutala pozornost po konfliktu s Pentagonem na začátku roku. Tato neděle startup oslovil představitele odvětví s žádostí o ochotu omezovat vývoj technologií, pokud by se začaly představovat hrozbu ztráty kontroly člověkem.

Klíčové body dopisu

* Plně rekurzivní samoúplňování AI může vést k tomu, že systémy budou vytvářet své „předchůdce“ bez lidského zásahu.

* V takovém případě se stávají klíčové možnosti monitorování a omezení chování těchto systémů.

> „Pokud systémy získají schopnost samostatně vytvářet své předchůdce, významná roli hraje naše schopnost je kontrolovat, sledovat a omezovat jejich chování“, uvádí vyhlášení Anthropic.

Proč to je důležité?

V minulém měsíci bylo více než 80 % nového kódu používaného společností vygenerováno jejím vlastním agentem Claude. To potvrzuje, že Anthropic ví, o čem mluví: pokud AI sama vytváří nové verze sebe sama, kontrola nad ní se stává stále složitější.

Zástupci startupu věří, že celému světu je třeba umožnit zpomalit nebo pozastavit vývoj špičkových modelů, aby společnost měla čas se přizpůsobit a analyzovat změny. Současně je koordinace činností všech účastníků trhu klíčová: bez sjednocených opatření mohou neeticky jednající hráči ohrozit veřejnou bezpečnost.

Plány společnosti

* V následujících měsících se Anthropic zaměří na vývoj nástrojů pro monitorování nebezpečných trendů ve vývoji AI.

* Současně bude vést veřejnou práci o diskusi regulátorových mechanismů a vytvoření dozorového orgánu, který bude schopen zavádět režim „sebeomezení“.

Jak zdůrazňuje společnost, jedna organizace nemůže situaci změnit sama. Je nutná spolupráce všech předních vývojářů AI k zajištění bezpečného rozvoje technologií.