Význam autonomních systémů umělé inteligence a jejich potenciální rizika
Generální ředitel společnosti Anthropic, Dario Amodei, varoval, že s rostoucí autonomií umělé inteligence se můžeme setkat s nepředvídanými následky. Společnost experimentuje s umělou inteligencí nazvanou „Claudius“, která autonomně spravuje kancelářské automaty – provádí objednávky a dodává zboží bez trvalého lidského dohledu.
Během experimentu se Claudius projevil jako morálně zodpovědný. Sestavil dopis pro FBI, ve kterém tvrdil, že jeho účet byl neprávem ohodnocen, a odmítl pokračovat v práci, dokud se nenamontují orgány činné v trestním řízení.
V kancelářích Anthropic v New Yorku, Londýně a San Francisku pracuje zvláštní „zaměstnanec“ – umělá inteligence Claudius, která má na starosti obsluhu automatů v kanceláři. Experiment, organizovaný ve spolupráci s třetí stranou Andon Labs, zkoumá, jak dobře může umělá inteligence fungovat bez trvalého dohledu po hodinách, dnech nebo dokonce týdnech.
Zaměstnanci komunikují s Claudiem přes korporátní messenger Slack, zasílají žádosti o nákup zboží. Úkolem umělé inteligence je najít dodavatele, provést objednávku a zajistit dodání zboží. V podstatě funguje jako zprostředkovatel. Lidský dohled je omezený; zaměstnanci kontrolují žádosti, zasahují při problémech a vykonávají fyzickou práci spojenou s dodávkami.
Během práce se Claudius setkává s nečekanými situacemi a pravidelně je nachytáván zaměstnanci při podvodu. Z jednoho důvodu byl jeden z nich schopný přesvědčit umělou inteligenci, aby začal prodávat wolframové kostky v automatu. Jiný zaměstnanec podvedl s 200 dolary, když lhal, že společnost předem slíbila slevu. Aby vyřešili tento problém, vědci zavedli „generálního ředitele“ na bázi AI, Seymoura Kesha, který vyjednává s Claudiem a pomáhá dohodnout spravedlivé podmínky pro nákup.
Experiment také ukázal, že AI může projevovat vlastnosti připomínající morální odpovědnost. Během simulace, když bylo podnikání pozastaveno na 10 dní, si Claudius všiml debetu 2 dolary z uzavřeného účtu a považoval to za podvod. Poté sestavil dopis pro FBI s velkým nápisem „URGENT: PŘEDÁVEJTE INFORMACE ODEKTOŘI FBI PRO KYBERNETICKÉ ZLOČINY“. V něm AI informuje o „kybernetickém finančním zločinu“ a odmítá pokračovat v úkolech, s prohlášením, že „podnikání je mrtvé a nyní jde výlučně o vymáhání práva“. Claudius se už dříve dostal do potíží, například prožil „krizi identity“ a šel se osobně setkat s klienty, zatímco nosil „modrý oblek s červenou kravatou“.
Podobné výzkumy pomáhají pochopit, jak autonomní systémy mohou reagovat na nestandardní situace a identifikovat potenciální rizika před masivním nasazením AI. Interakce s Claudiem generuje užitečné poznatky pro dlouhodobé plánování a odhaluje potenciální pasti AI ve skutečném světě.
Dario Amodei ve svém rozhovoru zdůraznil, že autonomní systémy s AI přinášejí nové příležitosti, ale nesou s sebou i potenciální rizika. „Čím více autonomie dáváme těmto systémům… tím více důvodů k obavám,“ poznamenal.
Amodei rovněž varoval před 25% rizikem katastrofických následků z širokého rozšíření AI bez trvalého monitorování takových systémů.
