Neurážejte naše AI, varuje Anthropic uživatele

Lidé, kteří používají modely umělé inteligence (AI) společnosti Anthropic, by je podle ní už nadále neměli urážet a úmyslně je stresovat. Nová pravidla říkají, že uživatelé by mohli kvůli porušování těchto pravidel přijít o přístup ke službám firmy.

Společnost Anthropic vydala nová pravidla, jak používat její chatboty – tedy umělé inteligence schopné komunikace s lidmi. Poprvé v nich lidem zakázala projevovat vůči AI „trvalé a zbytečné urážlivé či kruté chování“, informoval odborný web The Verge. Firma k tomuto kroku přistoupila ve stejné době, kdy její vedení nahlas a často uvažuje o tom, že by její produkty mohly mít nějakou formu vědomí.

Anthropic zatím nedokázal upřesnit, co konkrétně se dá považovat za urážlivé ani kruté, ale varuje, že pokud by uživatelé tato pravidla porušovali, mohli by přijít o přístup ke službám společnosti. Společnost ve svých pravidlech uvedla, že tento zákaz se nevztahuje na běžné frustrace uživatelů, testování modelů ani na „temná kreativní témata“.

Není to poprvé, co Anthropic přichází s nějakými omezeními týkajícími se urážlivého chování. Upozornění byla už ve starších variantách jejich pravidel, ale až doposud explicitně nezmiňovala, že se takto lidé nesmí chovat ke strojům. Velké jazykové modely této společnosti mají už od loňského roku schopnost ukončit konverzaci, pokud se uživatel chová trvale škodlivě. Když byla tato funkce loni v srpnu zavedena, společnost ji prezentovala jako ochranné opatření pro blaho umělé inteligence.

„Stále máme velké pochybnosti ohledně potenciálního morálního statusu Clauda a dalších velkých jazykových modelů, ať už nyní, nebo v budoucnosti. Tuto otázku ale bereme vážně a v rámci našeho výzkumného programu pracujeme na identifikaci a zavádění nenákladných opatření ke zmírnění rizik pro blaho modelů, pokud je takové blaho vůbec možné. Umožnění modelům ukončit nebo opustit potenciálně stresující interakce je jedním z takových opatření,“ uvádí se na jejích webových stránkách.

Psychologická terminologie u entit bez mysli?

Používání čistě psychologických termínů, až dosud spojených pouze s lidskou myslí, jako stres nebo urážení, se považuje za kontroverzní. Naznačuje totiž, že stroje disponují některými vlastnostmi, které se přisuzovaly jenom lidem.

Představa, že systémy umělé inteligence jsou vědomé, totiž vyvolává silné rozporuplné reakce jak v technologickém světě, tak mimo něj. Právě Anthropic patří k těm, kdo vnáší do veřejné diskuze myšlenku, že AI toho mohou být schopné. Generální ředitel společnosti Dario Amodei nedávno uvedl, že tuto možnost nemůže vyloučit. A také významnou část roku zval do Kalifornie k diskuzím zástupce církví a náboženských hnutí, aby s nimi tuto myšlenku jeho firma řešila.

Minulý měsíc deník New York Times informoval, že spoluzakladatel společnosti Anthropic Christopher Olah se podílel na lobování u Vatikánu za uznání možnosti existence vědomí u umělé inteligence – tento návrh ale papež nakonec odmítl. Olah pak novinářům řekl, že si není „úplně jistý“, jestli mají modely umělé inteligence vědomí. A současně vyjádřil obavy, že by AI mohly prožívat utrpení, a chtěl hledat nějaké řešení, aby stroje těmito problémy nemusely procházet.

Sam Altman, generální ředitel konkurenční společnosti OpenAI, se k tomuto nápadu zatím staví odmítavě. „Velmi mi vadí, když se lidé snaží modelům umělé inteligence přisuzovat náboženskou moc nebo podřízení lidského úsudku, a považuji to za skutečný bezpečnostní problém,“ napsal v příspěvku na X několik dní poté, co deník New York Times informoval o rozsáhlých rozhovorech vedoucích představitelů společnosti Anthropic s náboženskými učenci.

Proč je důležité blaho AI?

Anthropic i řada expertů zkoumají možnost, že umělé inteligence trpí, už delší dobu. Souvisí to s takzvaným alignmentem, tedy snahou, aby se AI chovaly způsobem, jaký po nich lidé chtějí – tedy v souladu s lidskými zájmy. Velmi zjednodušeně by se to dalo srovnat se snahou, aby se tyto nelidské inteligence řídily něčím, jako jsou fiktivní „tři zákony robotiky“.

  • První zákon: Robot nesmí ublížit člověku nebo svou nečinností dopustit, aby bylo člověku ublíženo.
  • Druhý zákon: Robot musí uposlechnout příkazů člověka, kromě případů, kdy jsou tyto příkazy v rozporu s prvním zákonem.
  • Třetí zákon: Robot musí chránit sám sebe před poškozením, kromě případů, kdy je tato ochrana v rozporu s prvním nebo druhým zákonem.
  • Nultý zákon: Robot nesmí ublížit lidstvu nebo svou nečinností dopustit, aby mu bylo ublíženo. Prvním robotem, který Nultého zákona v Asimovových románech využil, byl R. Giskard Reventlov v povídce Roboti a Říše. Chápal tento koncept tak, že pokud tím poslouží abstraktnímu konceptu „lidstva“ nebo „lidství“, může v takovém případě ubližovat individuálním lidem.

Konkrétně Anthropic se k tomu poprvé veřejně vyjádřil před rokem. V příspěvku na svém blogu uvedl: „Jak se AI začínají přibližovat mnoha lidským vlastnostem nebo je dokonce překonávat, vyvstává další otázka. Měli bychom se zabývat i potenciálním vědomím a prožitky samotných modelů? Měli bychom se zajímat i o blaho modelů?“

Tehdy ještě na tuto otázku neměla odpověď, současná změna pravidel ale naznačuje, že v současné době zní odpověď „ano“. Právě po vydání loňského textu společnost zahájila výzkum zaměřený na „duševní“ problémy modelů.

Nebyla v tom sama. Ve stejné době vyšly texty současného filozofa Davida Chalmerse, který patří k nejrespektovanějším odborníkům na teorii mysli. Podle něj je možné, že v blízké budoucnosti budou systémy umělé inteligence disponovat vědomím i vysokou mírou autonomního jednání – modely s těmito vlastnostmi by si tedy podle filosofa mohly zasloužit i morální jednání.

Výběr redakce

Aktuálně z rubriky Věda

Napoleonův tajný dopis z roku 1809 dešifrovala AI za pár hodin

Když francouzský císař Napoleon Bonaparte nařídil sepsat válečný dopis v šifře, vznikla hádanka, která byla nevyřešená více než 200 let. Dokud ji umělá inteligence (AI) nerozluštila během několika hodin. Ať už jde o dešifrování korespondence nebo o to, aby promluvily starověké ohořelé papyry, AI otevírá nové cesty pro historický výzkum, napsala agentura AFP.
před 6 hhodinami

Nejstarší vražda? Archeologové popsali neandertálce zabitého před 75 tisíci lety

Kruhový otvor v lopatce neandertálce, jehož kosti vědci našli v jeskyni v iráckém Kurdistánu, může být nejstarším známým příkladem úmyslného zabití člověka jiným člověkem. Podle nové studie se to stalo asi před 75 tisíci lety.
před 14 hhodinami

Ruská ornitoložka má strávit léta v trestanecké kolonii. Za pětistovku pro neziskovku

Ruská vědkyně Sofja Rozenfeldová se dostala do problémů poté, co odjela na expedici do Arktidy. Nechala běžet automatické platby pro neziskovou organizaci spojenou s opozicí, kterou mezitím ruské úřady prohlásily za extremistickou. Expertka poté byla odsouzena za podporu extremistického hnutí.
včera v 12:53‌‌

Hurikán Simon rozvibroval atmosféru desítky kilometrů nad Zemí

Hurikán Simon způsobil nejen velké škody v Mexiku, ale také se projevil mnohem výš. Podle pozorování NASA rozkmital atmosféru asi osmdesát kilometrů na povrchem tak, že vyvolal jev známý jako atmosférické gravitační vlny.
včera v 11:17‌‌

Astronomové spustili teleskopy, které mají pátrat po největších tajemstvích kosmu

Na Kanárských ostrovech slavnostně zahájila provoz čtveřice velkých teleskopů LST (Large-Sized Telescope). Stojí na observatoři Roque de los Muchachos na ostrově La Palma a tvoří základ severní části budoucí největší observatoře pro hledání kosmického gama záření na světě.
včera v 10:50‌‌

AI může pomoci ptákům objevit ztracené melodie

Umělá inteligence a nahrávky zpěvu by mohly pomoci ohroženým druhům ptáků znovu se naučit melodie, které v jejich populacích postupně zanikají. Ukazuje to pokus v argentinském Buenos Aires, kde se podařilo obnovit jednu z téměř zapomenutých „písní“ místního druhu strnadce ranního.
včera v 06:30‌‌

U pobřeží Turecka našli dosud nejstarší pozůstatky lodi

Lidé se plavili po Středozemním moři už před skoro pěti tisíci lety, naznačuje nový archeologický objev. Nedaleko tureckého ostrova se našel vrak starověké lodi, který přepisuje dějiny mořeplavby.
15. 10. 2026‌‌

Česko je třetí na světě v počtu transplantací. Pokrok za dvacet let je obrovský, říká lékařka

Tématu transplantací se lékařka Silvie Rajnochová-Bloudíčková věnuje celý svůj profesní život. V rozhovoru pro ČT24 vysvětluje, že za dvacet let doznal obor obrovského pokroku, a přibližuje, jak vypadá budoucnost pro lidi, kteří jednou budou potřebovat nové orgány.
15. 10. 2026‌‌

Evropský pohled

ČT24 každý den vybírá z obsahu publikovaného evropskými veřejnými médii, členy Eurovize.