Ambiciózní cesta k umělé inteligenci nové generace
Před dvěma lety se dvojice 22letých přátel, kteří se setkali na střední škole v Michiganu, ocitla v laboratoři pro výzkum mozku na Tsinghua University v Pekingu. Před nimi se rýsovala multimilionová nabídka od Elona Muska.
Tito dva mladíci vytvořili něco neobvyklého: malý jazykový model (LLM) trénovaný na malém, pečlivě vybraném souboru kvalitních konverzací, místo toho, aby se opírali o masivní internetové datové sklady. A navíc ho naučili, jak se zlepšovat pomocí metody posilovacího učení (RL), přičemž model se učí podobně jako člověk nebo zvíře: přijímá rozhodnutí, dostává zpětnou vazbu a poté upravuje své chování na základě odměn a trestů.
V té době se tímto způsobem zabývalo jen málo lidí. Jinou skupinou, která zkoumala RL pro LLM, byla DeepSeek, čínský konkurent OpenAI, který později vzbudil hrůzu v Silicon Valley.
Studenti, William Chen a Guan Wang, pojmenovali svůj model OpenChat a bezmyšlenkovitě ho zveřejnili jako open-source. Dále je šokovalo, jak OpenChat rychle získal popularitu.
„Stal se velmi slavným,“ řekl Chen. Výzkumníci z Berkeley a Stanfordu převzali kód, rozšířili ho a začali na něj odkazovat. V akademických kruzích se stal jedním z prvních příkladů, jak malý model trénovaný na kvalitních datech, na rozdíl od více dat, může překonat očekávání.
Poté se model dostal do inboxu, odkud by ho Chen nikdy nečekal: Elon Musk mu poslal e-mail prostřednictvím své nové společnosti xAI, která chtěla najmout studenty s nabídkou multimilionového platu. Byla to nabídka, o které mladí zakladatelé sní.
Hesitovali. Nakonec nabídku odmítli. „Rozhodli jsme se, že velké jazykové modely mají své limity,“ řekl Chen. „Chceme novou architekturu, která překoná strukturální omezení velkého strojového učení.“
Namísto přijetí nabídky se vzdali pohodlné pozice OpenChat a pustili se do něčeho mnohem ambicióznějšího: „mozkové inspirované“ systémové myšlení, které podle jejich přesvědčení mohlo překonat současné modely AI.
To rozhodnutí vedlo o dva roky později k Sapient Intelligence — a k modelu, který překonal některé z největších systémů AI na testech abstraktního myšlení. Jsou si jisti, že jejich model dosáhne „AGI“, tedy umělé obecné inteligence, což je takzvaný „svatý grál“ výzkumu AI, kde inteligence stroje může odpovídat nebo překonávat lidskou inteligenci v jakémkoli kognitivním úkolu.
Od prvního setkání k ambici AGI
Chcete-li se dostat k odmítnutí Muska, Chenova cesta nezačala v Pekingu, ale v Bloomfield Hills v Michiganu a dětskou obsesí, která šílela jeho rodiče. „Když jsem byl mladý, rozebíral jsem věci a už je neskládal zpět,“ vzpomínal. To ho přivedlo na tuto cestu.
Chen se narodil v Číně, částečně vyrůstal v San Diegu a Shenzhenu, a nakonec byl poslán na prestižní soukromou školu Cranbrook Schools v Michiganu. Tam se setkal s Wangem, chlapcem jeho věku, který chodil na jinou školu, ale měl také podivnou obsesi.
Na prvním setkání se dostali do dlouhé debaty o tom, co Chen nazývá jejich „meta cíli“, konečným účelem jejich života. Wangův meta cíl byl AGI, dávno před tím, než se tento termín stal populárním. Chenův cíl byl jiný, ale doplňující: optimalizace všeho, od inženýrských problémů po skutečné systémy.
„Bylo to okamžité sladění,“ dodal Chen. Dnes se oba stále ptají každého nového zaměstnance, jaké jsou jeho meta cíle.
Chen založil školní klub dronů, požádal administrátory, aby umožnili studentům létat s kvadrokoptérami v kampusu, a trávil hodiny tinkering na robotech. Byli to oni, kdo zůstávali pozdě, rozbíjeli hardware a experimentovali dál.
Průlom v 3 ráno
V laboratoři pro výzkum mozku na Tsinghua vyvinuli Hierarchical Reasoning Model (HRM), architekturu, o které věří, že může zcela překonat transformátory. Pokud byl OpenChat jejich důkazem konceptu, HRM byl moonshot, na který se odhodlali.
V noci náhodou v červnu letošního roku, ve 3 ráno, Chen a Wang zírali na výsledky benchmarků, které se vrátily od jejich malého experimentálního modelu. Jejich tiny HRM prototyp — pouze 27 milionů parametrů, mikroskopických v porovnání s GPT-4 nebo Claude — překonával systémy od OpenAI, Anthropic a DeepSeek při úlohách navržených speciálně k měření logického myšlení.
Řešil Sudoku-Extreme, našel optimální cesty skrze 30×30 bludiště a dosáhl překvapivě vysokého výkonu na benchmarku ARC-AGI — to vše bez chain-of-thought prompting nebo hrubého škálování.
„Bylo to bláznivé,“ řekl Chen. „Jen s úpravou v architektuře dostalo model to, co nazýváme hloubkou myšlení.“
Chen říká, že jejich modely halucinu budou mnohem méně než tradiční LLM a už nyní dosahují špičkového výkonu v úlohách předpovědi časových řad, jako predikce počasí, kvantitativní obchodování a zdravotní sledování.
Nyní pracují na škálování HRM do obecného motoru pro myšlení, s jednoduchou, ale revoluční tezí: že AGI nevznikne z větších transformátorů, ale spíše menšími, efektivnějšími architekturami. Dnešní hraniční modely jsou obrovské — v některých případech stovky miliard parametrů — ale i jejich tvůrci přiznávají, že mají potíže s myšlením, plánováním a rozložením multistupňových problémů.
Prostřednictvím Sapient připravují otevření kanceláře v USA v příštím měsíci, zajištění dodatečných financí a možná změnu názvu pro zahájení nasazení druhé verze jejich modelu.
„AGI je svatý grál AI,“ říká Chen. A očekává, že se objeví v příštím desetiletí. „Jednoho dne budeme mít AI, která je chytřejší než lidé,“ dodal. „Guan a já vždy říkáme, že je to jako pandorina skrinka, pokud to neuděláme my, udělá to někdo jiný. Tak doufáme, že budeme první, kdo to uskuteční.“
