Наприкінці 2017 року Джеремі Говард працював на своєму дивані в Сан-Франциско, експериментуючи з технологією, яка зрештою змінить світ і призведе до таких інструментів, як ChatGPT.
«Обробка природної мови» (NLP) була однією з найбільших проблем у штучному інтелекті (ШІ) на той час. Системи штучного інтелекту, як правило, погано орієнтувалися в реченнях або абзацах інших мов, крім комп’ютерного коду.
В принципі, вони не вміли читати і писати.
Пробіл для відтворення або паузи, M для вимкнення звуку, стрілки вліво та вправо для пошуку, стрілки вгору та вниз для гучності.
Але у технологічного підприємця та фахівця з обробки даних, який народився в Мельбурні, виникла ідея вирішити цю проблему і, зрештою, надати ШІ доступ до величезного запасу записаних людських знань.
Так і сталося. Лише через п’ять років світ отримав ChatGPT.
Моделі штучного інтелекту, навчені на контенті Інтернету, стали нашими чарівними інструментами письма та дослідження. Деякі навіть вважають, що ці великі мовні моделі (LLM) демонструють ознаки інтелекту людського рівня.
І все ж містер Говард, якому приписують важливий внесок у НЛП, стурбований тим, що справа його життя провальна.
Він спостерігав, як технологія штучного інтелекту потрапляє під контроль кількох великих компаній.
«Схоже, що ми могли зазнати невдачі», — каже він.
«Я відчуваю, що все буде ще гірше, ніж ми думали».
«Мурашки по шкірі», коли ШІ навчився читати
Отже, повернемося до кінця 2017 року. Містер Говард лежав на дивані, думаючи про НЛП.
Нещодавні досягнення показали, що системи штучного інтелекту машинного навчання, навчені на величезних наборах даних позначених зображень, можуть навчитися розпізнавати об’єкти на цих зображеннях.
Він задався питанням, чи може такий же підхід працювати для читання і письма.
Чи може штучний інтелект, навчений на мільярдах слів, дізнатися значення цих слів у різних контекстах?
«І тому справді велика купа слів, яку я вибрав, була цілоюанглійською Вікіпедією».
Це було близько 3 мільярдів слів.
Пан Говард навчив велику мовну модель (LLM) передбачати кожне слово Вікіпедії, враховуючи попередні кілька речень.
Робила це копітко. Він намагався передбачити наступне слово в реченні, звіряв відповідь з базою даних, а потім, якщо слово було неправильним, коригував своє математичне розуміння зв’язку між словами.
Потім він повторював цей процес, поки не зрозумів правильне слово.
Потім він перейшов до наступного слова.
Незабаром модель пророкувала потрібне слово приблизно в третині випадків.
Чи добре це? Що ж, був один спосіб дізнатися.
«Я вибрав найскладніше і найбільш добре вивчене завдання в світі НЛП на той час, а саме прочитати цілу рецензію на фільм на кілька тисяч слів і сказати, позитивний це настрій чи негативний», — каже пан Говард.
Якщо модель дізналася щось про мову, вона повинна бути в змозі сказати, хороші чи погані відгуки.
Тому він завантажив всю базу даних рецензій на фільми IMDb і налаштував свій попередньо навчений LLM на роботу, оцінюючи, чи була рецензія «гарячою» чи «ні».
А через 10 хвилин був приголомшений.
«Я подумав, що щось не так, тому що буквально при першому перегляді [бази даних IMDb] було написано 93 відсотки».
LLM правильно визначив настрої рецензії в 93 відсотках випадків.
“У мене були мурашки по шкірі. Я не могла в це повірити».
Звільняються з роботи, щоб поділитися знаннями про штучний інтелект зі світом
Це була мить подиву, за якою слідувало гризуче почуття занепокоєння.
Протягом останніх п’яти років пан Говард і його дружина, вчений-комп’ютерник Рейчел Томас, з великим інтересом і трепетом спостерігали за чудовими досягненнями в галузі машинного навчання.
Вони передбачали, що ця технологія «захопить світ», і вони хвилювалися, хто буде її контролювати.
«Ми думали, що це може бути найпотужніша технологія в історії, і ми повинні зробити все можливе, щоб переконатися, що кожен може отримати до неї доступ», — каже пан Говард.
У 2016 році вони продали свої стартапи та звільнилися з роботи, щоб стати співзасновниками онлайн-університету fast.ai з місією демократизувати знання про машинне навчання шляхом проведення онлайн-курсів.
Це не було підприємство, яке приносило гроші. Фактично за останні сім років вони нічого не заробили на курсах.
Але вони з нетерпінням дивилися в майбутнє.
Пан Говард був переконаний, що штучний інтелект стає по-справжньому розумним.
Будучи студентом філософії в Університеті Мельбурна на початку 90-х, він розмірковував над тим, чи може досить складна машина досягти розуміння на рівні людини.
Який висновок він зробив? «Якщо він розмовляє, як качка, і крякає, як качка, це качка».
«Дуже рано я був переконаний, що якщо ми коли-небудь зможемо створити алгоритм, який зможе поглинати багато тексту і знаходити в ньому закономірності, то він може виявитися розумним агентом для людей».
Тепер, у 2017 році, його творчість пройшла повне коло.
Він побудував алгоритм, який здавався розумним з людської точки зору.
А невдовзі й інші звернули на це увагу.
Молодий аспірант з Ірландії Себастьян Рудер подивився лекцію про fast.ai, де пан Говард продемонстрував, як його мовна модель, навчена Вікіпедією, може аналізувати настрої рецензій на фільми.
Доктор Рудер, який зараз є старшим дослідником штучного інтелекту в Google, визнав його важливість.
«Це був перший успішний приклад трансферного навчання для сучасних мовних моделей, які я бачив», — каже доктор Рудер
«Я зрозумів, що це матиме великий потенціал».
Трансферне навчання — це коли знання, отримані із завдання (у цьому випадку, передбачення наступного слова у Вікіпедії), повторно використовуються для підвищення продуктивності у відповідному завданні (аналіз бази даних IMDb)
Це техніка, яка лежить в основі універсальних здібностей ChatGPT та інших сучасних мовних інструментів штучного інтелекту.
Пан Говард і доктор Рудер працювали разом над перевіркою та розробкою початкового підходу пана Говарда, а потім представили статтю у співавторстві, яка була опублікована в рецензованому журналі ACL у травні 2018 року.
Він з’явився якраз тоді, коли світ штучного інтелекту прокидався до потужності LLM.
Розквіт OpenAI та стрімкий перехід до ChatGPT
Дослідження НЛП, проведене паном Говардом, показало, що мовна модель, навчена на досить загальному тексті, розвиває здатність знаходити закономірності в цих даних і розуміти взаємозв’язки між словами.
Ця попередньо натренована здатність потім може бути використана для інших завдань (трансферне навчання).
Над подібною ідеєю працював Google. У 2017 році його дослідники розробили нову мережеву архітектуру під назвою Transformer (зараз це остання літера «Т» у ChatGPT) і вільно поділилися своїми результатами.
Інша компанія була готова цим скористатися.
OpenAI була некомерційною організацією, орієнтованою на дослідження, якій у 2018 році виповнилося лише три роки.
У червні того ж року компанія випустила власну мовну модель, яка використовувала архітектуру Google Transformer, але також запозичила методи у пана Говарда.
Модель OpenAI отримала назву GPT.
І так, це прямий предок ChatGPT.
У своєму блозі провідний розробник GPT Алек Редфорд сказав, що він частково натхненний мовною моделлю пана Говарда ULMFiT.
Протягом наступних кількох років компанії, що займаються штучним інтелектом, змагалися за масштабування LLM, навчаючи їх на все більших і більших навчальних наборах даних.
GPT навчався на 4,5 гігабайтах тексту, або близько 7 000 книг.
GPT2, випущений у 2019 році, був навчений приблизно в 10 разів більше.
Набір даних GPT3 знову став у 50 разів більшим.
Ці більші моделі були більш потужними, ніж їхні менші попередники. Масштабування спрацювало.
Але це також внесло нову проблему. А саме гроші.
Пан Говард тренував свою модельна ноутбуці, але нові LLM вимагали складів спеціально розроблених процесорів, які працювали місяцями.
Навчання кожної моделі коштувало мільйони доларів.
Прийшли великі технології.
Невеликим компаніям, що займаються штучним інтелектом, і незалежним дослідникам потрібні були гроші для вдосконалення своїх мовних моделей.
Пан Говард та інші уявляли собі майбутнє, в якому переваги штучного інтелекту будуть вільно та відкрито ділитися зі світом.
Тепер вони побачили, що це майбутнє вислизає.
Боротьба за контроль над штучним інтелектом
І була одна компанія, де майбутнє штучного інтелекту, здавалося, висіло на волосині.
Компанія OpenAI була заснована у 2015році з високими ідеалами.
Його члени-засновники хотіли уникнути майбутнього, в якому великі технології домінуватимуть у дослідженнях штучного інтелекту та використовуватимуть усі його переваги.
Але ці цінності, схоже, вступили в протиріччя з розробкою кращого ШІ.
З одного боку були ті, хто вважав комерціалізацію технології штучного інтелекту зрадою своїх принципів.
З іншого боку були ті, хто не бачив іншого шляху вперед. Моделі коштують грошей.
У 2019 році OpenAI оголосила про угоду з Microsoft на суму $US 1 мільярд (1,5 мільярда доларів).
Некомерційна організація отримала гроші та центри обробки даних, необхідні для навчання кращих версій GPT.
Натомість Microsoft отримала частку у своїй технології.
Деякі співробітники OpenAI звільнилися на знак протесту і заснували власну компанію Anthropic.
Але вони також врешті-решт зіткнулися з тими самими бар’єрами на шляху до масштабування своїх моделей. У 2023 році Anthropic підписала угоду з Amazon на суму $US 4 млрд.
Тим часом OpenAI зблизилася з Microsoft. Нещодавно він прийняв ще $US 10 мільярдів інвестицій.
Компанія, яка була заснована, щоб уникнути домінування великих технологій у дослідженнях штучного інтелекту, сама перетворилася на велику технологічну компанію, яка частково належить іншій великій технологічній компанії.
«Зараз OpenAI оцінюється в 80 мільярдів $US, і за кілька місяців ця цифра зросла втричі», — каже пан Говард.
«Я не розумію, чому він не підніметься втричі ще за кілька місяців».
«Я підозрюю, що всі ці компанії на шляху до того, щоб стати найпотужнішими організаціями у світі».
Боротьба за «абсурдні обсяги влади»
Занепокоєння пана Говарда широко поширене у світі штучного інтелекту.
Йошуа Бенджіо, один із трьох «хрещених батьків» сучасного штучного інтелекту, стурбований тим, що сценарій, коли кілька компаній домінуватимуть у технології штучного інтелекту, може загрожувати демократії.
“Що мене турбує, так це те, що може бути кілька людей, які матимуть величезну владу”, – каже професор Бенджіо з Монреальського університету.
А з економічною владою, як правило, приходить і політична влада. Лобіювання – це лише верхівка айсберга».
ЮТУБКомпанії закликають прийняти «революцію» штучного інтелекту або залишитися позаду.
Румман Чоудбері, науковий співробітник Гарвардського університету з відповідального штучного інтелекту, каже, що конкуренція в галузі штучного інтелекту досягла «гарячкових темпів».
«Ми перебуваємо в певній гонці озброєнь штучного інтелекту», — каже доктор Чоудбері.
Вона додає, що все менше людей у світі штучного інтелекту володіють більшим багатством і владою.
«Я думаю, що всі вони борються за такий екзистенційний контроль над людством, не кажучи вже про абсурдні обсяги влади».
Отже, хто є лідерами ШІ? Зараз це Microsoft (OpenAI), Google, Amazon (Anthropic) та Meta.
Тим часом Джеремі Говард і Рейчел Томас повернулися до Австралії, на Сонячне узбережжя, де пан Говард є почесним професором Університету Квінсленда, викладаючи машинне навчання.
Вони досі керують fast.ai онлайн-університетом. Більшість людей, повз яких вони проходять на вулиці, поняття не мають, хто вони.
Пан Говард каже, що коли він жив у Сан-Франциско, його часто впізнавали, коли він з’являвся на публіці. Зрештою він розмовляв з незнайомцем у трамваї про свою модель ULMFiT або про конкретний урок про fast.ai.
В Австралії такого ніколи не буває.
«Я не швидкий боулер чи ще щось», — каже він.
Себастьян Рудер, який був співавтором статті 2018 року і зараз є широко шанованим дослідником штучного інтелекту, каже, що пан Говард зробив «величезний внесок у сферу штучного інтелекту».
«Завдяки своїм лекціям і курсам він самотужки зробив машинне навчання набагато доступнішим для останнього покоління дослідників і практиків машинного навчання», — каже він.
Багато з них розпочали свою кар’єру завдяки Джеремі».
Однак містер Говард задається питанням, чого він досяг.
«Ми звільнилися з роботи і не заробляли грошей протягом семи років навмисно, тому що хочемо спрямувати всі наші ресурси на те, щоб зробити штучний інтелект більш вільним.
“І тепер деякі з найбагатших людей у світі відпрацьовують свої дупи, щоб спробувати знову замкнути його.
І я вважаю це жахливим, якщо чесно.
Автор: репортер Джеймс Пертілл для журналу Science Friction
Джерело: ABC NEWS
