Виклик для нейробіологів полягає в тому, як їх протестувати
П’ять десятиліть досліджень штучних нейронних мереж принесли Джеффрі Хінтону прізвисько хрещеного батька штучного інтелекту (ШІ). Робота його групи в Університеті Торонто заклала підвалини для сучасних моделей штучного інтелекту, що привертають увагу заголовків, зокрема Chatgpt та lamda. Вони можуть писати зв’язну (хоча й не дуже натхненну) прозу, діагностувати хвороби за медичними сканами і керувати самокерованими автомобілями. Але для доктора Хінтона створення кращих моделей ніколи не було кінцевою метою. Він сподівався, що розробка штучних нейронних мереж, які можуть навчитися вирішувати складні завдання, проллє світло на те, як нейронні мережі мозку роблять те ж саме.
Мозок навчається, тонко перебудовуючись: деякі зв’язки між нейронами, відомі як синапси, посилюються, тоді як інші мають бути послаблені. Але оскільки мозок має мільярди нейронів, мільйони з яких можуть бути задіяні в одному завданні, вчені ламали голову над тим, як він знає, які саме синапси і наскільки сильно потрібно підлаштовувати. Доктор Хінтон популяризував розумний математичний алгоритм, відомий як зворотне поширення, для вирішення цієї проблеми в штучних нейронних мережах. Але довгий час вважалося, що він занадто громіздкий, щоб еволюціонувати в людському мозку. Зараз, коли штучний інтелект починає все більше нагадувати за своїми здібностями людину, вчені замислюються над тим, чи може мозок робити щось подібне.
З’ясувати, як мозок робить те, що він робить, – нелегка справа. Багато з того, що нейробіологи розуміють про людське навчання, походить з експериментів на невеликих шматочках мозкової тканини або жменьках нейронів у чашці Петрі. Часто незрозуміло, чи живий мозок, який навчається, працює за тими самими правилами, чи має місце щось більш складне. Навіть за допомогою сучасних експериментальних методів, коли нейробіологи відстежують сотні нейронів одночасно у живих тварин, важко зрозуміти, що насправді відбувається.
Однією з найбільш відомих і давніх теорій того, як мозок навчається, є геббіанське навчання. Ідея полягає в тому, що нейрони, які активуються приблизно в один і той самий час, стають більш міцно пов’язаними між собою; часто це узагальнюють як “клітини, які стріляють разом, з’єднуються разом”. Геббіанське навчання може пояснити, як мозок запам’ятовує прості асоціації – згадайте, як собаки Павлова пускають слину на звук дзвоника. Але для більш складних завдань, таких як вивчення мови, геббіанське навчання здається занадто неефективним. Навіть при величезних обсягах навчання штучні нейронні мережі, навчені таким чином, значно відстають від людського рівня продуктивності.
Сучасні найкращі моделі штучного інтелекту влаштовані по-іншому. Щоб зрозуміти, як вони працюють, уявіть собі штучну нейронну мережу, навчену розпізнавати птахів на зображеннях. Така модель складається з тисяч синтетичних нейронів, розташованих шарами. Зображення подаються на перший шар мережі, який надсилає інформацію про вміст кожного пікселя на наступний шар через ai-еквівалент синаптичних зв’язків. Тут нейрони можуть використовувати цю інформацію для виділення ліній або країв, перш ніж надсилати сигнали наступному рівню, який може виділити очі або ноги. Цей процес триває доти, доки сигнали не досягнуть останнього шару, відповідального за правильне рішення: “птах” чи “не птах”.
Невід’ємною частиною цього процесу навчання є так званий алгоритм зворотного поширення помилки, часто відомий як бекграунд. Якщо мережі показують зображення птаха, але вона помилково робить висновок, що це не птах, то – як тільки вона усвідомлює помилку – генерує сигнал помилки. Цей сигнал помилки рухається назад через мережу, шар за шаром, посилюючи або послаблюючи кожен зв’язок, щоб мінімізувати будь-які майбутні помилки. Якщо моделі знову показати подібне зображення, то змінені зв’язки призведуть до того, що модель буде правильно декларувати: “птах”.
Нейробіологи завжди скептично ставилися до того, що зворотне поширення може працювати в мозку. У 1989 році, невдовзі після того, як доктор Хінтон та його колеги показали, що алгоритм можна використовувати для навчання багатошарових нейронних мереж, Френсіс Крік, нобелівський лауреат, один з відкривачів структури ДНК, опублікував у журналі Nature спростування цієї теорії. За його словами, нейронні мережі, що використовують алгоритм зворотного поширення, були біологічно “нереалістичними майже з усіх боків”.
З одного боку, нейрони здебільшого надсилають інформацію в одному напрямку. Для того, щоб у мозку працювало зворотне поширення, має існувати ідеальне дзеркальне відображення кожної мережі нейронів, щоб надсилати сигнал про помилку у зворотному напрямку. Крім того, штучні нейрони спілкуються за допомогою сигналів різної сили. Біологічні нейрони, зі свого боку, посилають сигнали фіксованої сили, з якими алгоритм фону не може впоратися.
Тим не менш, успіх нейронних мереж відновив інтерес до того, чи відбувається в мозку якийсь фоновий процес. З’явилися багатообіцяючі експериментальні натяки на те, що це можливо. Наприклад, препринт дослідження, опублікований у листопаді 2023 року, виявив, що окремі нейрони в мозку мишей, схоже, реагують на унікальні сигнали помилок – один з найважливіших компонентів алгоритмів, подібних до фонових, які, як вважалося, давно відсутні в живому мозку.
Вчені, які працюють на межі нейронауки та штучного інтелекту, також показали, що невеликі зміни фону можуть зробити його більш сприятливим для мозку. Одне впливове дослідження показало, що мережа дзеркальних зображень, яка колись вважалася необхідною, не обов’язково повинна бути точною копією оригіналу, щоб навчання відбувалося (хоча й повільніше для великих мереж). Це робить її менш неправдоподібною. Інші знайшли способи взагалі обійти дзеркальну мережу. Якщо штучним нейронним мережам можна надати біологічно реалістичних характеристик, таких як спеціалізовані нейрони, які можуть інтегрувати сигнали активності та помилки в різних частинах клітини, то фонове поширення може відбуватися за допомогою одного набору нейронів. Деякі дослідники також внесли зміни в алгоритм фону, щоб дозволити йому обробляти сплески, а не безперервні сигнали.
Інші дослідники вивчають зовсім інші теорії. У статті, опублікованій в журналі Nature Neuroscience на початку цього року, Юханг Сонг (Yuhang Song) та його колеги з Оксфордського університету виклали метод, який перевертає бекграунд з ніг на голову. У звичайному бекграунді сигнали помилки призводять до коригування синапсів, що, в свою чергу, викликає зміни в активності нейронів. Оксфордські дослідники припустили, що мережа може спочатку змінювати активність нейронів, а вже потім підлаштовувати синапси під себе. Вони назвали це перспективною конфігурацією.
Коли автори протестували перспективну конфігурацію на штучних нейронних мережах, вони виявили, що ті навчаються набагато більш схоже на людину – більш надійно і з меншою кількістю тренувань, ніж моделі, що навчаються на фоні. Вони також виявили, що мережа набагато ближче відповідає людській поведінці в інших дуже різних завданнях, наприклад, в тому, щоб навчитися рухати джойстиком у відповідь на різні візуальні підказки.
Вчимося на власному досвіді
Поки що всі ці теорії залишаються лише теоріями. Проведення експериментів, які б довели, що в мозку працює фон або будь-який інший алгоритм, є напрочуд складним завданням. Для Арана Найєбі та його колег зі Стенфордського університету це здавалося проблемою, яку можна вирішити за допомогою штучного інтелекту.
Вчені використали один з чотирьох різних алгоритмів навчання, щоб навчити понад тисячу нейронних мереж виконувати різноманітні завдання. Потім вони спостерігали за кожною мережею під час навчання, записуючи активність нейронів і силу синаптичних зв’язків. Потім д-р Найебі та його колеги навчили іншу контролюючу метамодель виводити алгоритм навчання із записів. Вони виявили, що метамодель може визначити, який з чотирьох алгоритмів був використаний, записавши лише кілька сотень віртуальних нейронів через різні проміжки часу під час навчання. Дослідники сподіваються, що така метамодель зможе зробити щось подібне з еквівалентними записами реального мозку.
Визначення алгоритму або алгоритмів, за якими мозок навчається, стало б великим кроком уперед для нейронауки. Це не тільки пролило б світло на те, як працює найзагадковіший орган тіла, але й допомогло б вченим створити нові інструменти на основі штучного інтелекту, щоб спробувати зрозуміти конкретні нейронні процеси. Чи призведе це до покращення алгоритмів штучного інтелекту, поки що неясно. Принаймні, для доктора Хінтона фон, ймовірно, важливіший за те, що відбувається в мозку.