Покращення сповільнюються, і до штучного загального інтелекту ще далеко.
Для індустрії, побудованої на прогнозуванні майбутнього, штучний інтелект виявився напрочуд поганим у прогнозуванні власних обмежень. У листопаді 2024 року OpenAI – компанія, яка запустила бум штучного інтелекту з ChatGPT, – виявила, що її модель наступного покоління Orion продемонструвала лише скромні покращення порівняно з попередницею. Як повідомляє The Information, “підвищення якості нової моделі було набагато меншим порівняно зі стрибком між GPT-3 і GPT-4”, незважаючи на величезні додаткові інвестиції в обчислювальні потужності та навчальні дані.
Це не повинно дивувати нікого, хто звернув увагу на розрив між обіцянками ШІ та його продуктивністю. Уся галузь працює на основі так званої колективної віри: якщо зробити моделі ШІ більшими і дати їм більше даних, вони неминуче стануть більш здібними. Генеральний директор OpenAI Сем Альтман продемонстрував цю віру, коли пообіцяв, що наступна модель його компанії буде кращою за GPT-4 на стільки ж, на скільки GPT-4 була кращою за GPT-3.
Покращення в новій моделі насамперед стосуються дещо кращої здатності до міркувань і зменшення кількості галюцинацій – випадків, коли модель ШІ генерує правдоподібну, але фактично невірну інформацію з високою достовірністю. Хоча нова модель, Оріон, демонструє покращені здібності в таких завданнях, як математичні міркування і кодування, ці досягнення є скоріше поступовими, ніж революційними. Система все ще працює за тим же принципом прогнозування ймовірних відповідей на основі навчальних даних, просто з більшою кількістю параметрів і кращим налаштуванням. Це відповідає тому, що нещодавно зауважив венчурний капіталіст Бен Горовіц щодо останнього покоління моделей штучного інтелекту: незважаючи на збільшення обчислювальної потужності, “ми зовсім не отримуємо інтелектуальних поліпшень”.
Оцінюючи поточні можливості та обмеження штучного інтелекту, ми можемо зробити крок назад і більш об’єктивно оцінити деякі з основних припущень, що лежать в основі галузі. Припущення про те, що прогрес у галузі штучного інтелекту відбувається за передбачуваними “законами масштабування”, видається не стільки фундаментальним принципом, скільки тимчасовим явищем – таким, що, можливо, охоплює короткий період швидкого прогресу, а не вічною істиною. Це усвідомлення піднімає важливі питання про основи сучасного ШІ, з його оцінками в сотні мільярдів доларів і амбітними обіцянками щодо штучного загального інтелекту (ШІ). Компаніям, які базували свої бізнес-моделі та оцінки на постійному експоненціальному вдосконаленні, можливо, доведеться суттєво переглянути свої очікування та адаптувати стратегії, оскільки обмеження поточних підходів стають все більш очевидними.
Великі мовні моделі (ВММ), такі як GPT-4, – це машини для зіставлення шаблонів, які передбачають, які слова повинні йти далі в послідовності, на основі статистичних кореляцій, отриманих з величезних обсягів тексту, написаного людиною. Коли вони беруть участь у розмові або пишуть есе, вони виконують ту саму базову операцію знову і знову, аналізуючи шаблони у своїх навчальних даних, щоб генерувати статистично вірогідні відповіді. Все це дуже далеко від штучного загального інтелекту – приблизно як різниця між “магічним трюком” і справжньою “магією”, причому одне навряд чи призведе до іншого.
Реакція галузі на те, що вона наштовхнулася на цю стіну у своєму технологічному вдосконаленні, була промовистою. З’являється все більше доказів того, що масштабування досягло своїх меж: Більші моделі більше не дають пропорційно більшого прогресу. Тренувальні запуски цих масивних моделей коштують десятки мільйонів доларів, вимагають одночасної роботи сотень мікросхем і часто стикаються з апаратними збоями під час багатомісячних процесів. Більш фундаментально, ці моделі почали вичерпувати легкодоступні навчальні дані у світі.
Сама потреба в нових підходах свідчить про масштаби проблеми: найновіша модель OpenAI, OpenAI o1 (Pro-версія, щойно випущена 5 грудня), покладається на “обчислення під час тестування” – техніку, яка покращує продуктивність не за рахунок збільшення моделі, а за рахунок того, що вона робить кілька спроб опрацювати проблеми перед тим, як надати відповідь. Хоча Pro-версія демонструє підвищену надійність у певних тестах, зокрема в математиці та кодуванні, ці переваги є результатом оптимізації, а не фундаментального вдосконалення можливостей моделі. Привабливий Gemini 2.0 від Google – вступ до “агентської ери” штучного інтелекту – також можна вважати прикладом вигадливого налаштування. Дещо іронічно, що виникла віра в твікінг як новий вид масштабування – віра в те, що нескінченна серія розумних оптимізацій може якимось чином забезпечити експоненціальний прогрес, якого не змогли досягти більші моделі.
Такий когнітивний дисонанс поширюється не лише на окремі компанії, а й на цілі ринкові структури. Генеральний директор Anthropic Даріо Амодей нещодавно спрогнозував, що витрати на навчання моделей штучного інтелекту можуть сягнути 100 мільярдів доларів наступного року. Такі астрономічні цифри свідчать не лише про технічні амбіції, а й про своєрідний інституційний імпульс – віру в те, що масові інвестиції подолають нинішні обмеження. І це більше говорить про індустріальне мислення, ніж про технологію штучного інтелекту.
Цей момент технологічного плато розкриває дещо глибше про вплив Кремнієвої долини на те, як ми колективно думаємо про прогрес. Індустрія вміло просуває наратив, в якому кожне технологічне обмеження є тимчасовим, кожну проблему можна вирішити за допомогою достатніх обчислювальних потужностей, а будь-яку критику можна відкинути як провал уяви. Цей наратив виявився надзвичайно ефективним для залучення інвестицій – оцінка OpenAI у понад 86 мільярдів доларів є лише одним із прикладів – але залишає бажати кращого у створенні реальних досягнень і прибуткових комерційних продуктів.
Головний урок полягає не в тому, що штучний інтелект нічого не вартий – технологія, безумовно, має цінне застосування у створенні ліків, прогнозуванні погоди та наукових дослідженнях, навіть у її нинішньому вигляді. Скоріше, мова йде про те, що нам потрібно докорінно переглянути те, як ми оцінюємо технологічні перспективи. Індустрія штучного інтелекту виграла від ідеального шторму факторів, які сприяли надмірним обіцянкам: технічна складність, яка перешкоджала детальному вивченню, фінансові стимули, які винагороджували хайп, і медіа-середовище, яке спочатку посилювало, а не розслідувало надзвичайні твердження.
Ця невідповідність між суспільним сприйняттям і технічною реальністю має реальні наслідки. Багато людей взаємодіють з інструментами штучного інтелекту, вважаючи, що вони взаємодіють з чимось, що наближається до людського інтелекту, тоді як насправді вони використовують складну систему зіставлення шаблонів. Людям легко помилково надмірно довіряти цим моделям типу “штучний інтелект”. У статті DeepMind 2023 року дослідники запропонували шість рівнів ШІ, ранжованих за часткою кваліфікованих дорослих, яких модель може перевершити. Сучасні технології ШІ досягли лише найнижчого рівня. Розрив між поточними можливостями і більш високими рівнями продуктивності свідчить про те, що може знадобитися фундаментальний прогрес, а не просто технічна оптимізація.
Якщо не буде кардинального прогресу, індустрія ШІ зіткнеться з моментом істини. Оскільки розрив між обіцянками та реальністю стає все важче ігнорувати, компаніям доведеться обирати між підтримкою все більш неправдоподібних наративів про експоненціальний прогрес та визнанням скромнішої, але все ще цінної ролі, яку їхня технологія може відігравати в суспільстві. Цей вибір покаже, чи навчилася Кремнієва долина чогось зі своєї історії циклів бумів і падінь, чи ми приречені на повторення цієї моделі технологічних надзусиль і розчарувань.
Іронія полягає в тому, що, продовжуючи безоглядно обіцяти штучний загальний інтелект, індустрія ШІ ризикує затьмарити чудові інструменти, які вона насправді створила. Більш чесна оцінка як можливостей, так і обмежень могла б призвести до більш сталого розвитку і більш корисних застосувань. Натомість ми залишилися з вражаючими статистичними моделями, загорнутими в обіцянки штучного загального інтелекту – але природа нинішньої архітектури робить виконання таких обіцянок малоймовірним.
Автор: Нік Поткаліцький пише про штучний інтелект та освіту на своєму блозі Substack Educating AI. Дослідник та викладач штучного інтелекту зі ступенем доктора філософії в галузі нових медіа, наративу та риторики, він є співавтором, разом з Майком Кенцем, книги “Штучний інтелект в освіті: Дорожня карта до трансформації під керівництвом вчителя.
Джерело: Persuasion, США