Fraunhofer Austria přináší světlo do „černé skříňky“ umělé inteligence
Chatboti umělé inteligence (AI) se zdají být schopni poskytnout výmluvné odpovědi na jakoukoli otázku. Ale zda tyto odpovědi odpovídají skutečnosti, je jiná otázka. Takzvané velké jazykové modely (LLM), které tvoří základ těchto chatbotů, mají totiž tendenci k halucinacím. Vidí spojení tam, kde vůbec neexistují. Proč k těmto spojení dochází, není úplně jasné – LLM představují pro své uživatele „černou skříňku“.
Vědci z Fraunhofer Austria se snaží osvětlit tuto černou skříňku. Při tom využívají techniku, která má za cíl zlepšit odpovědi v kombinaci s externími zdroji. Tato technika, nazvaná Retrieval-Augmented Generation (RAG), například krmí LLM dokumenty, které poskytují specifické znalosti. Může se jednat o interní objednávkové seznamy firem nebo uživatelské příručky pro údržbu výrobních strojů.
Když dojde k problému se strojem, je možné se chatbotu zeptat, o co se jedná a jak by se to dalo opravit. „Chatbot mi může také říct, že určité informace nejsou k dispozici,“ říká René Berndt z Fraunhofer Austria Center for Data Driven Design. Tradiční chatboty umělé inteligence mají v takových případech tendenci jednoduše vymýšlet tvrzení, která znějí věrohodně.
Odkaz na složité trénování není nutný
LLM jsou trénovány na obrovských datech, „u ChatGPT je tento objem přibližně tak velký jako všechny texty v Národní knihovně ve Vídni,“ říká Berndt. Z těchto dat model odvozuje statistické souvislosti, která slova jsou pravděpodobně následující. Aby bylo možné k modelu přidat nové znalosti, musí být krmen ještě většími datovými sadami a trénováno, což způsobuje, že se model stále zvětšuje.
Pomocí RAG je možné rozšířit znalosti bez nového trénování, stačí přidat odpovídající dokumenty. Kromě toho model nez potřebuje být příliš vyspělý, „trochu lepší laptop stačí k tomu, abychom jej mohli používat lokálně na počítači,“ říká Berndt. Tím se používání stává i z pohledu ochrany údajů bezproblémovým. Technologie rovněž výrazně snižuje pravděpodobnost halucinací.
Vědomostní grafy zlepšují RAG
Avšak ani s technikou RAG není chatbot chráněn před chybami. V dokumentech mohou být například i nesrovnalosti. Aby se tomu předešlo, experti z Fraunhofer Austria nasadili vědomostní grafy. To jsou struktury, které graficky zobrazují souvislosti mezi informacemi. Například mezi „Rakouskem“ a „Christianem Stockerem“ může existovat čára označená „spolkový kancléř“.
„Černá skříňka se zde stává průhlednou,“ říká Berndt. A to zvláštní na tom je, že spojení mezi jednotlivými body lze také ručně odstranit nebo doplnit. Takže v případě nesprávných výstupů chatbota lze cíleně provést opravy.
Úspěšná pilotní fáze
V pilotním projektu, který byl podpořen Federálním ministerstvem hospodářství, energetiky a turismu, bylo LLM krmeno 14 000 odbornými články z Evropské asociace počítačové grafiky (Eurographics). S úspěchem: „Kombinace s vědomostními grafy funguje lépe než neasistovaný RAG algoritmus,“ říká Berndt.
Přesto je důležité, aby také uživatelé chatbota disponovali odpovídajícími odbornými znalostmi, aby mohli případné chyby opravit. V budoucnu je možné implementovat takové velké jazykové modely i v jiných knihovnách.
