Fraunhofer Austria přináší světlo do „černé skříňky“ umělé inteligence
KI-chatboti se zdají být schopni poskytnout výstižnou odpověď na jakoukoli otázku. Otázkou však zůstává, zda tyto odpovědi odpovídají skutečnosti. Takzvané Large Language Models (LLM), které tyto chatboti využívají, často trpí halucinacemi. Vytvářejí spojení, kde žádná nejsou, a důvody pro tato spojení zůstávají nejasné – LLM představují pro své uživatele „černou skříňku“.
Výzkumníci z Fraunhofer Austria chtějí do této černé skříňky vnést světlo. Používají techniku, která má zlepšit odpovědi ve spojení s externími zdroji. Tato technika, známá jako Retrieval-Augmented Generation (RAG), například naplní LLM dokumenty poskytujícími specifické znalosti. Může se jednat o interní objednávkové seznamy nebo provozní příručky pro údržbu výrobních strojů.
Pokud nastane problém s nějakým strojem, lze se na chatbota zeptat, o co se jedná, a jak by se dal opravit. “Chatbot mi také může říci, že určité informace nejsou k dispozici,” říká René Berndt z Fraunhofer Austria Center pro Data Driven Design. Tradiční chatboti v takových případech obvykle mají tendenci vymýšlet odpovědi, které znějí přesvědčivě.
Složitý trénink není nutný. LLM jsou trénovány na obrovském souboru dat, “u ChatGPT je ten soubor přibližně tak velký jako všechny texty v Národní knihovně ve Vídni,” vysvětluje Berndt. Z těchto dat model odvozuje statistické vztahy, které odhadují, které slovo pravděpodobně následuje po předchozím. Chcete-li přidat nové znalosti do modelu, musí být krmen dalšími datovými soubory a model se stále zvětšuje.
U RAG lze znalosti rozšiřovat bez nového tréninku přidáním odpovídajících dokumentů. Navíc použitý LLM nemusí být příliš vyspělý, “pro jeho místní použití postačí trochu lepší laptop,” říká Berndt. Díky tomu použití není problém z pohledu ochrany osobních údajů. Kromě toho technologie značně snižuje pravděpodobnost halucinací.
Vědomostní grafy zlepšují RAG. I díky technice RAG však chatbot není chráněn před chybami. V dokumentech mohou dokonce vzniknout nesrovnalosti. Aby se tomu zabránilo, odborníci z Fraunhofer Austria použili vědomostní grafy, což jsou struktury, které graficky ukazují vztahy mezi informacemi. Například mezi body “Rakousko” a “Christian Stocker” může běžet linka s označením “spolkový kancléř”.
“Černá skříňka je zde průhledná,” říká Berndt. A co je zvláštní: Vztahy mezi jednotlivými body lze ručně odstranit nebo doplnit. Tímto způsobem lze cíleně opravit nesprávné odpovědi chatbota.
Úspěšná pilotní fáze. V pilotním projektu, který byl podpořen Federálním ministerstvem hospodářství, energetiky a turismu, bylo LLM naplněno 14.000 odbornými články Evropské asociace pro počítačovou grafiku (Eurographics). “Kombinace s vědomostními grafy funguje lépe než nesamostatně RAG algoritmus,” říká Berndt.
Je však důležité, aby uživatelé chatbota měli odpovídající odborné znalosti, aby mohli případné chyby opravit. V budoucnu je možné implementovat takový velký jazykový model také v jiných knihovnách.
