Americká společnost Anthropic upozorňuje, že vývoj umělé inteligence postupuje tak rychle, že se může přiblížit éra systémů schopných samostatně vytvářet, trénovat a vylepšovat své nástupce. Podle firmy už dnešní AI agenti zvládají psát kód, delegovat úkoly jiným agentům a přebírat stále větší část vývojového procesu. Anthropic proto doporučuje zpomalit tempo vývoje, aby společnost získala více času na řešení bezpečnostních a etických dopadů.
Anthropic: AI přebírá stále více práce od lidí
V blogovém příspěvku zveřejněném 5. června uvedli Marina Favaro z Anthropic Institute a spoluzakladatel firmy Jack Clark, že role člověka ve vývoji AI se postupně zmenšuje. Připomněli, že po většinu historie umělé inteligence řídili lidé každý krok vývojového cyklu, ale dnes firmy stále častěji svěřují část práce samotným AI systémům. To podle nich urychluje vývoj a zvyšuje produktivitu. Pokud tento trend bude pokračovat a systémy budou mít dostatek výpočetního výkonu, může podle autorů vzniknout AI, která zcela autonomně navrhne a vyvine svého vlastního nástupce.
Anthropic zároveň tvrdí, že jeho model Claude už dnes píše přibližně 80 % kódu, který je následně začleněn do interního kódu společnosti. To je podle Favaro a Clarka významný signál, že hranice mezi nástrojem a aktivním účastníkem vývoje se rychle posouvá. Jakmile se kvalita kódu vytvořeného lidmi a AI vyrovná, lidé by podle jejich odhadu mohli přestat kód psát a přesunout se pouze do role kontrolorů. Problém nastane ve chvíli, kdy lidská kontrola nebude stíhat tempo generování kódu ze strany AI. V takovém případě se člověk stane úzkým hrdlem celého procesu.
Rekurzivní sebezdokonalování už není vzdálená teorie
Anthropic upozorňuje na scénář označovaný jako rekurzivní sebezdokonalování, tedy stav, kdy AI sama navrhuje lepší verze sebe sama bez nutnosti přímého lidského zásahu. Podle firmy sice tento bod ještě nenastal a není jisté, že k němu dojde nevyhnutelně, přesto může přijít dříve, než jsou instituce, regulátoři i společnosti připraveni. Favaro a Clark tvrdí, že zlepšování AI modelů se v poslední době zrychlilo natolik, že výkon se zhruba zdvojnásobuje každé čtyři měsíce, nikoli každých sedm měsíců, jak bývalo dříve běžné. To podle nich výrazně zkracuje časový prostor pro tvorbu ochranných mechanismů.
Obavy z tohoto vývoje nesdílí pouze Anthropic. Už dříve například OpenAI oznámila, že zkoumá, jak bezpečně vyvíjet a nasazovat stále schopnější AI systémy včetně těch, které by mohly dosáhnout rekurzivního sebezdokonalování. Cílem je zajistit, aby se takové modely chovaly v souladu s lidským záměrem i v komplexních a konfliktních situacích, vyhýbaly se katastrofickému jednání a zůstaly kontrolovatelné, auditovatelné a sladěné s lidskými hodnotami. OpenAI navíc hledá specialistu na připravenost v oblasti rekurzivního sebezdokonalování jako součást svého bezpečnostního výzkumu.
Zpomalení vývoje jako ideální, ale obtížně proveditelná cesta
Favaro a Clark otevřeně uvádějí, že ideálním řešením by bylo tempo vývoje zpomalit, aby vznikl prostor pro zvládnutí jeho obrovských společenských důsledků. Podle nich by svět měl mít možnost vývoj nejpokročilejší AI dočasně omezit nebo pozastavit, aby výzkum bezpečnosti a společenské instituce dokázaly držet krok s technologickým pokrokem. Současně ale upozorňují, že samotné zpomalení nemusí automaticky zvýšit bezpečnost. Pokud by totiž opatrnější firmy ubraly, zatímco méně zodpovědní aktéři by pokračovali beze změn, mohlo by to celkové riziko ještě zvýšit.
Právě v tom autoři vidí zásadní problém. Bez mezinárodně koordinovaného mechanismu budou muset firmy i vlády činit složitá rozhodnutí pod tlakem konkurence a geopolitiky. Jinými slovy, i když by část průmyslu chtěla postupovat obezřetněji, může být donucena pokračovat rychlým tempem, aby neztratila technologický náskok. Debata o bezpečnosti AI tak podle Anthropic není jen technickou otázkou, ale také otázkou globální koordinace, regulace a strategické důvěry mezi státy a firmami.
Bezpečnostní obavy už ovlivňují konkrétní produkty
Anthropic letos v dubnu oznámila, že veřejnosti zatím neuvolní svůj model Claude Mythos. Důvodem byly obavy o globální kybernetickou bezpečnost. Podle společnosti tento model dokázal velmi snadno vytvářet softwarové exploity, tedy nástroje využitelné k napadání systémů a zneužívání zranitelností. Rozhodnutí neposkytnout model veřejně ukazuje, že rizika spojená s pokročilou AI už nejsou hypotetická, ale mají přímý dopad na produktová a bezpečnostní rozhodnutí firem.
Ve stejný den navíc skupina technologických lídrů, mezi nimi i zástupci Anthropic a OpenAI, zveřejnila otevřený dopis vyzývající zákonodárce k zavedení přísnějších ochranných pravidel. Signatáři varovali, že AI by mohla pomoci překonat znalostní bariéry, které dosud bránily škodlivým aktérům například ve vývoji biologických zbraní. Téma bezpečnosti se tak zřetelně přesouvá od obecných úvah k velmi konkrétním scénářům zneužití, které mohou mít globální dopady.
AI agenti pronikají i do kryptoměnového sektoru
Rostoucí význam AI agentů se netýká jen technologických laboratoří, ale stále více i kryptoměnového průmyslu. Někteří představitelé oboru v posledních měsících spekulují, že agenti schopní samostatně provádět a vypořádávat transakce mohou výrazně urychlit adopci digitálních aktiv. Generální ředitel společnosti Circle Jeremy Allaire už v lednu předpověděl, že během pěti let budou jménem uživatelů fungovat miliardy AI agentů. Právě stablecoiny a blockchainové sítě by se podle části trhu mohly stát základní platební infrastrukturou pro autonomní software.
Investiční firma Keyrock minulý měsíc uvedla, že AI agenti využívající stablecoiny k vypořádání plateb přešli během uplynulých 12 měsíců z pouhého konceptu do praxe. Firma vyčíslila, že bylo takto vypořádáno 73 milionů dolarů napříč 176 miliony transakcí. To naznačuje, že spojení AI a kryptoměn se začíná formovat nejen na úrovni vizí, ale i v konkrétních provozních datech. Přestože původní zpráva Anthropic není primárně o kryptu, pro digitální aktiva je důležitá, protože upozorňuje, že budoucí růst AI agentů může zároveň přinést i nové bezpečnostní a regulační výzvy.
Co z varování Anthropic plyne
Hlavní sdělení Anthropic je poměrně jasné: vývoj umělé inteligence se přibližuje bodu, kdy už lidé nebudou hlavní hybnou silou dalšího technického pokroku. Pokud se AI skutečně dostane ke schopnosti samostatně navrhovat své nástupce, půjde o zásadní technologický zlom s důsledky pro bezpečnost, ekonomiku, regulaci i geopolitiku. Firma přitom neříká, že tento scénář je nevyhnutelný, ale varuje, že může nastat dříve, než je většina institucí ochotna připustit.
Pro kryptoměnový sektor je toto varování důležité hned ze dvou důvodů. Zaprvé proto, že AI agenti mohou v budoucnu významně zvýšit objem blockchainových plateb a automatizovaných operací. Zadruhé proto, že stejné systémy mohou při nedostatečných ochranných pravidlech představovat nové typy rizik, od zneužití infrastruktury až po rychlejší šíření sofistikovaných kybernetických útoků. Debata o AI už tak není oddělená od světa digitálních aktiv, ale stále více se s ním prolíná.
Anthropic tak svým stanoviskem otevírá širší otázku, která přesahuje jednu firmu i jeden model. Jakmile technologie začne přebírat vývoj sama sebe, přestává jít jen o další inovaci a začíná jít o to, zda společnost dokáže nastavit pravidla dřív, než ji tempo vývoje předběhne. Právě v tom spočívá největší význam současného varování.
