Технологія ще не готова до прайм-тайму на телефонах або інших пристроях
Блиск у повітрі. 9 вересня Apple представила свою останню серію iPhone 16 на заході під назвою «It’s Glowtime» («Час сяйва»). Назва відсилає до блиску навколо Siri, голосового асистента. Але вона так само доречна і для нового кольору найрозкішнішої моделі iPhone 16 Pro: «пустельний титан» – іншими словами, золото.
Однак трохи не вистачало «дзень». Тім Кук, виконавчий директор компанії, обіцяв, що телефони будуть оснащені генеративними функціями штучного інтелекту (ШІ), які він з великим галасом анонсував у червні під назвою «Інтелект Apple». Але хоча пристрої оснащені новими надшвидкими чіпами A18 від Apple, які забезпечують роботу ШІ, покупцям iPhone доведеться почекати до початку жовтня, щоб отримати перші функції – і то лише в бета-версії. Демонстраційні версії виглядають не дуже. Якщо навести камеру на ресторан, Apple Intelligence підкаже, що є в меню. Ви можете написати запит до Siri, а також поставити їй запитання. Інвестори сподіваються, що з часом більш розмовні та персоналізовані функції штучного інтелекту перезавантажать продажі iPhone, які складають близько половини доходів Apple, але останнім часом просіли. Вони можуть почекати деякий час.
Apple – одна з багатьох компаній, які хочуть вивести генеративний ШІ за межі гігантських центрів обробки даних, відомих як «хмара», і запустити його на менших пристроях, відомих як «периферія». Samsung, конкурент Apple на ринку смартфонів на базі Android, отримав фору, випустивши на початку цього року свій Galaxy S24 з деякими функціями генеративного ШІ. Так само і Microsoft, яка випустила комп’ютери на базі Windows, призначені для роботи зі штучним інтелектом, під назвою Copilot+. Але за великим рахунком ринок все ще залишається відкритим для захоплення. Зламати його буде непросто.
Сьогодні великі мовні моделі (LLM) здебільшого навчаються на графічних процесорах (GPU), які потребують стільки енергії, що для їхнього живлення може знадобитися атомна електростанція. Вони також потребують величезних обсягів пам’яті та незбагненних обсягів даних. Все це може коштувати сотні мільйонів доларів.
Навіть після того, як вони навчені, запуск цих мега-моделей коштує дорого. За однією з оцінок, це коштує OpenAI, розробнику ChatGPT, 36 центів щоразу, коли хтось ставить запитання його боту. Натомість на периферійних пристроях розгортаються менші моделі, запозичені у своїх хмарних старших братів. Вони дешевші, а також швидші. Мета – досягти такого низького рівня затримки, щоб час відгуку був майже людським. Граничний ШІ також може дізнаватися про користувача з його взаємодії з пристроєм (Apple називає це «семантичним індексуванням»). Наприклад, він дізнається, що користувачеві дзвонить мати, і відреагує на це відповідним чином.
На практиці, однак, перенесення ШІ на периферію не є простим завданням. Одна з проблем – продуктивність. Складні запити, такі як використання ШІ-бота для планування відпустки, все одно потребуватимуть більш розумних хмарних LLM. Інша проблема – обчислювальна потужність. Навіть невеликі моделі ШІ потребують багато енергії для роботи, що швидко розряджає батареї пристрою.
Компанії експериментують з різними рішеннями цих проблем. Apple Intelligence запропонує ШІ на пристрої як перший порт, але надсилатиме складніші запити до приватної хмари фірми. Найбільш специфічні запити сервіс спрямовуватиме до сторонніх LLM, таких як ChatGPT. Apple обіцяє робити це лише з дозволу користувача, але такий підхід все одно може викликати занепокоєння у тих, хто піклується про конфіденційність. Пристрої, особливо смартфони, мають доступ до величезної кількості персональних даних користувачів: кому вони телефонують, де живуть, що витрачають, як виглядають. Дехто може вважати за краще, щоб якщо інструменти генеративного ШІ використовують будь-яку з цих даних, вона залишалася на пристрої.
Технологічні компанії також використовують альтернативи графічним процесорам, які є менш енергоємними, такі як нейронні процесори (NPU), для запуску моделей ШІ на периферії. Компанія Qualcomm, яка виробляє NPU і різні інші чіпи для периферійних пристроїв, говорить про максимізацію «продуктивності на ват». Порівняно з графічними процесорами, вартість яких може бути стратосферною, NPU також дешевші. Зрештою, нікому не потрібен телефон, який коштує стільки ж, скільки центр обробки даних.
Багато фірм зацікавлені в перенесенні штучного інтелекту на пристрої. Хмарні LLM сильно залежать від Nvidia, провідного виробника графічних процесорів. Що стосується периферійного ШІ, то тут, навпаки, «ніхто не домінує», – каже Танер Озчелік, колишній керівник Nvidia, який зараз керує стартапом Mythic, що виробляє енергоефективні чіпи для пристроїв зі штучним інтелектом.
Хоча жодна окрема компанія не може отримати стільки ж від периферійного ШІ, скільки Nvidia від хмарних технологій, все одно будуть великі переможці, каже Ніл Шах з дослідницької компанії Counterpoint. Запуск технології може не лише спричинити суперцикл у продажах пристроїв, але й створити нові можливості для додатків і цифрової реклами. Наразі, однак, периферійний ШІ ледве готовий до шоу-тайму, не кажучи вже про Glowtime.