Umělá inteligence v IT průmyslu: Výzvy a rizika
V poslední době jsme na poli IT průmyslu byli svědky zásadních změn způsobených umělou inteligencí (AI). Tento sektor je považován za klíčový pro růst ekonomik mnoha zemí. Zároveň však roste použití AI v různých oblastech, což negativně ovlivňuje obrovské množství zaměstnanců. AI má také výrazný dopad na firemní procesy a stále více úloh se realizuje s menším počtem pracovníků.
AI sice zvyšuje produktivitu a efektivitu práce, ale zároveň si musíme být vědomi rizik, která s sebou nese. Jeden z nejvýraznějších příkladů problémů způsobených AI zažil velký IT gigant. Jaké konkrétní problémy se objevily a co se stalo v jedné z nejznámějších firem?
Co se vlastně stalo?
Obavy o využití AI při vytváření vládních poradenství vyvstaly v souvislosti se zprávou, kterou vytvořil Deloitte pro provincii Newfoundland a Labrador. V této zprávě se objevily podezřelé odkazy, což vzbudilo velké pochybnosti. Jen několik týdnů předtím se na Deloitte v Austrálii snesla kritika ohledně studie, kterou umělá inteligence vytvořila. Zpráva, nazvaná „Zdravotní pracovní síla“, která měla být zveřejněna v květnu 2025, přišla provincii na přibližně 1,6 milionu dolarů.
Cílem zprávy bylo poskytnout strategické směřování pro zdravotnický systém, který se potýká s nedostatkem sester, lékařů a specialistů na respirační terapii. Avšak vyšetřování zveřejněné médiem „The Independent“ ukázalo, že mnohé z odkazů ve zprávě nejsou vedeny v žádném odborném časopise nebo databázi. Některé odkazy obsahovaly jména výzkumníků, kteří nikdy nedokázali spolupracovat, což vyvolalo další otázky.
Co při vyšetřování vyšlo najevo?
V rámci vyšetřování, které zahájil Úřad pro zdravotní služby provincie Newfoundland a Labrador, bylo zjištěno, že Deloitte bylo pověřeno vypracováním komplexního plánu k udržení a zlepšení náboru zaměstnanců. Na projekt bylo vyčleněno 13 milionů dolarů. Práce na zprávě probíhala v osmi fázích a zaměřovala se na různé problémy v oblasti zdravotnictví, jako je motivace na pracovišti pro zdravotnické pracovníky a dopad pandemie COVID-19 na zaměstnance. „The Independent“ provedlo revizi stovek referencí uvedených ve zprávě a zjistilo, že bylo nemožné ověřit minimálně čtyři z nich.
Během vyšetřování se objevily následující skutečnosti:
- Odkazy na neexistující články.
- Odkazy na akademické články byly připsány výzkumníkům, kteří je nikdy nepublikovali.
- Odkazy spojily autory, kteří nikdy nepracovali společně.
- Jeden ze zdrojů obsahoval hypertextový odkaz na článek, který měl být publikován v Kanadském časopisu o respirační terapii, ale odkaz byl chybný.
Výzkumníci, jejichž jména byla uvedena v podezřelých referencích, vznesli námitky a obvinili firmu z používání AI. Profesorka Martha McLeod, jejíž jméno se objevilo ve zprávě, uvedla, že ona ani její kolegové takový výzkum neprováděli a zprávu označila za výtvorem AI. Další z odborníků, Gale Tomblyn Murphy, potvrdil, že i když spolupracoval s některými uvedenými osobami, zmíněný článek vůbec neexistuje.
Jak reagovalo Deloitte?
Deloitte se bránilo obviněními a přiznalo, že ve zprávě existují určité chyby, ale tvrdě odmítlo, že by zpráva byla závislá na AI nebo že by její závěry byly ohroženy. „Naším cílem je provést malé úpravy v referencích, aby se zajistilo, že neovlivní závěry zprávy. AI nebyla použita pro psaní zprávy, ale jen pro ověřování několika vybraných výzkumů,“ uvedl mluvčí Deloitte Kanada. Nicméně incidenty v Austrálii a Kanadě vyvolaly nové otázky ohledně způsobu využití AI.
Co se stalo v Austrálii?
Australské Ministerstvo zaměstnanosti a pracovních vztahů zadalo Deloitte úkol vypracovat zprávu ohledně rámce cíleného souladu a revize IT systémů. Avšak zpráva ukázala na několik chyb. Cena tohoto projektu činila 440 tisíc dolarů. Vzhledem k nalezeným nesrovnalostem muselo nyní ministerstvo na Deloitte vynaložit další opatření.
Zpráva obsahovala chybné odkazy, falešné akademické zmínky a podvodné právní nároky. Tyto chyby byly natolik závažné, že Deloitte muselo veřejně uznat své pochybení a omluvit se. V důsledku toho musela firma vrátit část nákladů na projekt.
Práce na zprávě se pro tým Deloitte původně jevila jako jednoduchá. Avšak v honbě za rychlým dokončením se údajně rozhodli použít generativní AI model. Tato AI zahrnula do zprávy fámy, čímž vytvořila situaci známou jako „AI halucinace“, kdy AI vytváří falešné informace založené na reálných datech. Tyto AI halucinace nejsou novinkou.
