Výběr správného plánu pro urychlení učení v systémech vizuální AI
Umělé inteligence, které jsou postaveny na biologicky inspirovaných strukturách, mohou vykazovat aktivitu podobnou té, kterou pozorujeme v lidském mozku, ještě před tím, než podstoupí jakékoliv školení. Tento závěr přinesl nový výzkum z Johns Hopkins University.
Studie publikovaná v odborném časopise Nature Machine Intelligence naznačuje, že design AI modelu může mít větší význam než rozsáhlé procesy hlubokého učení, které často trvají měsíce, vyžadují obrovské množství energie a náklady se pohybují v miliardách dolarů.
„Systém AI v současnosti směřuje k tomu, aby na modely nasypal spoustu dat a vybudoval výpočetní zdroje velikosti malých měst. To vyžaduje investice v řádu stovek miliard dolarů. Mezitím lidé se učí vidět pomocí velmi malého množství dat,“ řekl hlavní autor Mick Bonner, asistent profesor kognitivních věd na Johns Hopkins University. „Evoluce se mohla na tento design shodnout s důvodem. Naše práce naznačuje, že architektonické návrhy, které jsou více podobné mozku, dávají systémům AI velmi výhodný výchozí bod.“
Bonner a jeho kolegové zkoumali tři hlavní kategorie návrhů sítí, které často vedou ke konstrukci moderních systémů AI: transformátory, plně propojené sítě a konvoluční sítě.
Testování architektur AI ve srovnání s aktivitou mozku
Vědci opakovaně měnili tři plány, tedy architektury AI, aby vytvořili desítky unikátních umělých neuronových sítí. Poté vystavili tyto nové a nezkoušené AI sítě obrazům objektů, lidí a zvířat a porovnali reakce modelů s aktivitou mozku lidí a primátů vystavených stejným obrazům.
Když byly transformátory a plně propojené sítě upraveny přidáním mnoha umělých neuronů, ukázaly jen malé změny. Nicméně přizpůsobení architektur konvolučních neuronových sítí podobným způsobem umožnilo vědcům generovat aktivity v AI, které lépe simulovaly vzorce v lidském mozku.
Architektura hraje větší roli, než se očekávalo
Nezkoušené konvoluční neuronové sítě rivalizovaly s konvenčními systémy AI, které bývají během školení vystaveny milionům nebo miliardám obrazů, což naznačuje, že architektura hraje více významnou roli, než si vědci dosud uvědomovali.
„Pokud je školení na masivních datech opravdu klíčovým faktorem, pak by neměla být možná cesta k mozku podobným systémům AI pouze změnami v architektuře,“ dodal Bonner. „To znamená, že začátkem s pravým plánem, a možná zahrnutím dalších poznatků z biologie, bychom mohli dramaticky urychlit učení v systémech AI.“
V dalším kroku se vědci zaměřují na vývoj jednoduchých učebních algoritmů inspirovaných biologií, které by mohly přispět k novému rámce hlubokého učení.
