„AI firmy jsou regulované míň než sendviče“. Na superinteligenci nejsou připravené

Analýza zaměřená na osm hlavních firem, které vytvářejí nejpokročilejší modely umělých inteligencí (AI), prokázala, že společnosti vůbec neřeší možnost ztráty kontroly nad takzvanými superinteligencemi, jež se snaží vytvářet. Jde o formu AI, která má ve všech ohledech překonat lidský intelekt.

Všechny velké společnosti, které vyvíjejí umělé inteligence, se snaží o co nejrychlejší vznik superinteligence. Žádná z nich ale není připravená na rizika, která jsou s tím spojená, tvrdí nová nezávislá analýza, která současně varuje, že žádná z těchto firem nemá reálně plány na prevenci katastrofických rizik umělé inteligence.

Zprávu vytvořila nezisková organizace Future of Life Institute (FLI). Zabývala se velkou osmičkou: americkými společnostmi Anthropic, OpenAI, Google DeepMind, xAI a Meta a čínskými subjekty DeepSeek, Alibaba Cloud a Z.ai. Jde o hlavní hráče na poli umělých inteligencí, kteří mají v tomto oboru největší potenciál, možnosti i vliv. Podle analýzy tyto společnosti nesplňují ani své vlastní závazky v oblasti bezpečnosti. „Plynou z toho katastrofální rizika,“ varují autoři práce.

Zpravodajský web Euronews upozorňuje, že tato zpráva přichází v době, kdy společnosti zabývající se AI čelí soudním sporům a obviněním, protože jejich chatboty údajně způsobují psychickou újmu – mimo jiné tím, že fungují jako „koučové sebevražd“. A nově také přibývá zpráv o masivních a velmi účinných kyberútocích, které pachatelé provedli právě s využitím AI.

Jako by žádná rizika neexistovala

Zpráva popsala u celé osmičky lídrů na poli AI zásadní nedostatek důvěryhodných strategií, které by předcházely katastrofálnímu zneužití nebo ztrátě kontroly nad nástroji umělé inteligence. Místo bezpečnosti totiž všechny firmy usilují o prvenství ve vytvoření všeobecné umělé inteligence (AGI), která by se měla změnit v už zmíněnou superinteligenci.

Žádná ze společností si podle analýzy nevytvořila testovatelný plán pro udržení lidské kontroly nad vysoce výkonnými systémy AI. Stuart Russell, profesor informatiky na Kalifornské univerzitě v Berkeley, uvedl, že společnosti zabývající se AI tvrdí, že mohou vyvinout nadlidskou AI – ale současně ani jedina z nich nemá promyšlené, jak by zabránila ztrátě lidské kontroly nad takovými potenciálně všemocnými systémy.

Podle Russella by toto omezení rizika mělo být podobné jako třeba u jaderných elektráren. Tam je hrozba významné nehody stanovovaná přibližně na jedna ku sto milionům. Jenže velcí vývojáři AI přiznávají, že hrozba ztráty kontroly nad superinteligencí je jedna ku deseti, jedna ku pěti – nebo dokonce jedna ku třem. Navíc jde jen o „výstřely od boku“, ve skutečnosti nejsou tyto odhady rizika opřené o žádné hlubší výpočty.

Špatní a ještě horší

Špatně dopadla v tomto výzkumu celá „velká osma“ – ale některé firmy z ní se ukázaly jako ještě horší než ty zbývající. Relativně nejlépe dopadly společnosti Anthropic, OpenAI a Google DeepMind, které jsou přinejlepším alespoň transparentní.

Zbývajících pět společností dopadlo víceméně podobně špatně. Všech osm nicméně prý udělalo znatelný pokrok správným směrem, tedy k větší opatrnosti.

Podle zástupce FLI, fyzika Maxe Tengmarka, se AI vyvíjí v posledních letech nečekaně rychle. Ještě nedávno se pokládal za horizont vzniku umělé superinteligence začátek dvaadvacátého století, v současné době se už mluví o příštích třech až pěti letech. „AI je přitom v USA stále méně regulovaná než sendviče a ve (americké) vládě pokračuje lobbing proti závazným bezpečnostním normám,“ řekl pro Euronews tento vědec, který se fenoménu AI věnuje řadu let.

Právě „jeho“ institut FLI se snaží odhalovat a vysvětlovat možná rizika, která by rychlý příchod neregulované a nekontrolované superinteligence přinesl. Ta se řadí do více typů scénářů – od masové nezaměstnanosti až po téměř okamžitý zánik celého lidského druhu. Naposledy přišel FLI s peticí proti výzkumu superinteligence, kterou podepsala spousta světových osobností s rozmanitými politickými názory, které se jinak nejsou schopné shodnout v podstatě na ničem – nechyběli signatáři z řad českých expertů.

Výběr redakce

Aktuálně z rubriky Věda

Teplotní rekordy v pátek padly na dvou třetinách stanic

Současná vlna veder přinesla do Česka i v pátek vysoké a mnohde rekordní teploty. Už kolem poledne přepsalo teplotní rekord pět stanic. Celkově během dne padl rekord pro poslední červencový den na 108 ze 171 stanic, které fungují alespoň třicet let. Pětina stanic pak má nové maximum pro celý červenec, a na pěti procentech padl dokonce absolutní rekord pro celý rok. Nejvíce naměřili v Plzni-Bolevci, kde bylo 39,4 stupně Celsia.
včeraAktualizovánopřed 12 hhodinami

Maďarsko se chystá na úplné odstavení své jediné jaderné elektrárny

Maďarská jaderná elektrárna Paks zatím kvůli nízkému průtoku Dunaje pokračuje v produkci energie zhruba v polovičním objemu, než je běžné. Podle agentury MTI to v pátek uvedl premiér Péter Magyar, který ve čtvrtek avizoval brzkou úplnou odstávku elektrárny. Problémy s výrobou energie kvůli suchu hlásí i Rumunsko. Za současný pokles vody v Dunaji může podle médií kombinace dlouhodobého sucha a letní vlny veder.
před 19 hhodinami

AI od Anthropicu se při testech nabourala do systémů tří firem

Několik týdnů po hackerském útoku modelu umělé inteligence (AI) společnosti OpenAI, vývojáře ChatGPT, její konkurent Anthropic přiznal, že se mu stalo něco podobného. Při testování umělá inteligence Anthropicu neplánovaně vnikla do počítačových systémů tří firem, uvedla na svém blogu společnost. Skutečnost, že se model AI při testu z vlastní iniciativy stal hackerem byla považována za bezprecedentní incident a varovný signál pro technologický průmysl, nyní je však jasné, že to nebyl ojedinělý případ, upozornila agentura DPA.
před 21 hhodinami

Srpen bude teplý, naznačují předpovědi. Jeho začátek přinese tropické noci

Zbytek prázdnin bude dle dostupných předpovědí pokračovat v dosavadních trendech, tedy horku ve dne i v noci. První čtvrtina měsíce přinese pokračování vlny veder s teplotami nad 30 stupňů.
před 21 hhodinami

Dopady silného jevu El Niño by se mohly projevit i v Estonsku

V Tichomoří sílí jev El Niño, který by mohl dosáhnout rekordních hodnot. Vědci varují, že jeho dopady, včetně prudkého růstu globálních teplot, by mohly zasáhnout oblasti daleko za tropickým pásmem.
před 22 hhodinami

Vědci z Česka popsali gen, který pomáhá rostlinám zvládat sucho

Výzkumníci z centra CEITEC Masarykovy univerzity popsali gen, který pomáhá rostlinám odolávat horku, suchu a stresu, který tyto podmínky vyvolávají. Objev by mohl přispět ke šlechtění nových odrůd zemědělských plodin.
včera v 07:30

Teplotní rekordy padly ve čtvrtek na mnoha místech Česka. Podívejte se na mapu

Česko zažívá další vlnu mimořádně horkého počasí. V Doksanech na Litoměřicku ve čtvrtek odpoledne naměřili meteorologové 40,1 stupně Celsia. Teplotní rekordy padly na 114 ze 171 stanic. Přes 39 stupňů bylo v Plzni Bolevci, v Plzni na Mikulce a také Rokycanech. V pátek má být ještě o něco tepleji.
30. 7. 2026Aktualizováno30. 7. 2026

Extrémní horka vyžadují výjimečná opatření, říkají experti

Česko se na konci pracovního týdne potýká s mimořádně vysokými teplotami, víkend přinese úlevu s hodnotami „jen“ kolem dvaatřiceti stupňů. Po něm se vedra dle předpovědi opět vrátí. S takto vysokými teplotami lidé v tuzemsku zatím nemají dlouhodobě příliš zkušeností, proto vědci i instituce přicházejí s radami, jak tyto extrémy přežít ve zdraví.
30. 7. 2026

Evropský pohled

ČT24 každý den vybírá z obsahu publikovaného evropskými veřejnými médii, členy Eurovize.