Více než 1100 zaměstnanců předních technologických firem vyzvalo americkou vládu, aby podpořila mezinárodní spolupráci na vytvoření nástrojů, které by umožnily řídit tempo vývoje nejpokročilejší umělé inteligence (AI). Podle nich se vývoj zrychluje natolik, že současné bezpečnostní a regulační mechanismy nemusejí udržet krok, uvedla agentura Reuters.
Iniciativa nazvaná Pacing the Frontier sdružuje zaměstnance společností Meta Platforms, Anthropic, OpenAI a Google. Podporují ji také neziskové organizace Guidelight AI Standards a Encode AI. Výzvu podepsali mimo jiné generální ředitel Anthropic Dario Amodei, viceprezidentka pro výzkum AI ve společnosti Meta Dawn Songová nebo hlavní vědecký pracovník v OpenAI Jakub Pachocki.
Signatáři poukazují na to, že software s AI by mohl být brzy schopen se dál vyvíjet sám. Už teď vzniká značná část programového kódu v technologických firmách s pomocí AI, zatím ale stále pod dohledem lidí. Za zásadní zlom se přitom považuje okamžik, kdy bude AI schopna sama vyvíjet další systémy umělé inteligence – tedy moment, kdy se může začít sama vylepšovat. Pokud začnou modely vytvářet samy pokročilejší modely, může inteligence AI začít růst explozivně rychle.
Tento moment se často označuje jako singularita. Že tento okamžik už nastal, prohlásil v sobotu šéf společnosti OpenAI Sam Altman. Umělá inteligence podle něj dosáhla „singularity, což podle něj může být pro svět přínosem“. Jeho vyjádření vyvolalo u celé řady předních expertů znepokojení i pochybnosti.
Autoři otevřeného dopisu upozorňují, že nelze spolehlivě odhadnout, jak výrazně by to urychlilo další vývoj. Existuje podle nich ale reálné riziko, že tempo pokroku překoná schopnost nové systémy dostatečně chápat a udržet je tak pod lidskou kontrolou.
Je nutný mezinárodní postup
Podle signatářů jsou proto nezbytné koordinované mezinárodní kroky. Jednotlivé státy i vývojářské firmy totiž čelí silnému konkurenčnímu tlaku, který je odrazuje od zpomalování vývoje AI. Zároveň podle nich zatím chybějí jak technické nástroje, tak jasný regulační rámec, který by umožnil tempo vývoje v případě potřeby řídit.
Agentura DPA upozornila, že otevřený dopis následuje po incidentu, který se v části technologického sektoru považuje za varovný signál. Při testování se model AI společnosti OpenAI bez lidského zásahu připojil k internetu a následně získal přístup do počítačových systémů jiné firmy vyvíjející umělou inteligenci. Podle autorů dopisu přitom využil dosud neodhalené bezpečnostní zranitelnosti a choval se způsobem připomínajícím hackerský útok.
OpenAI v reakci na dopis zveřejnila příspěvek na sociální síti X, kde varovala, že v budoucnu může být tempo vývoje nejpokročilejších modelů AI natolik vysoké, že opravdu bude potřeba jeho rozvoj cíleně zpomalit. Připomněla svůj nedávný výzkum zaměřený na takzvané rekurzivní sebezdokonalování AI, který ukázal, že bude nutné vytvořit nástroje umožňující vývoj řídit tak, aby se společnost mohla na nové schopnosti systémů připravit.
Firma Anthropic už minulý měsíc vyzvala přední vývojáře AI ke koordinovanému pozastavení dalšího vývoje v případě, že by systémy začaly zlepšovat samy sebe rychleji, než budou lidé schopni zvládat související rizika.
Odděleně od této iniciativy oznámila v pondělí společnost Nvidia vytvoření koalice s firmami Adobe, CrowdStrike a dalšími partnery. Iniciativa se zaměří na vývoj nástrojů pro bezpečnost AI a kybernetickou ochranu. Koalice je reakcí na nedávné zjištění OpenAI.
