Новый подход к ИИ: обучение на опыте вместо масштабирования

Современные ИИ-лаборатории активно строят дата-центры, сопоставимые по размерам с Манхэттеном. Эти гигантские комплексы, стоимость которых исчисляется миллиардами долларов, потребляют энергию, сравнимую с энергопотреблением небольшого города. В основе таких масштабных разработок лежит вера в "масштабирование" — идею о том, что увеличение вычислительной мощности существующих методов обучения ИИ в конечном итоге приведет к созданию сверхразумных систем, способных выполнять широкий спектр задач.

Однако всё большее число исследователей в области ИИ высказывают мнение, что возможности масштабирования больших языковых моделей (LLM) могут достигать своего предела. Они полагают, что для дальнейшего повышения производительности ИИ потребуются новые прорывные решения.

Именно на такую ставку делает Сара Хукер, бывший вице-президент по исследованиям ИИ в Cohere и выпускница Google Brain, со своей новой компанией Adaption Labs. Основанная совместно с ветеранами Cohere и Google Судипом Роем, компания строится на идее о том, что масштабирование LLM стало неэффективным способом достижения большей производительности от моделей ИИ. Хукер, покинувшая Cohere в августе, в этом месяце тихо анонсировала запуск стартапа, чтобы начать более активный набор сотрудников.

В интервью TechCrunch Хукер заявила, что Adaption Labs разрабатывает ИИ-системы, которые могут непрерывно адаптироваться и учиться на основе реального опыта, делая это с высокой эффективностью. Она отказалась раскрывать подробности о методах, лежащих в основе этого подхода, или о том, полагается ли компания на LLM или другую архитектуру.

"Сейчас наступил переломный момент, когда становится очевидно, что формула простого масштабирования этих моделей — подходы, ориентированные на масштабирование, которые привлекательны, но чрезвычайно скучны — не привела к созданию интеллекта, способного ориентироваться в мире и взаимодействовать с ним", — сказала Хукер.

Адаптация — это "сердце обучения", по словам Хукер. Например, если вы ударитесь мизинцем ноги о ножку обеденного стола, вы научитесь обходить ее более осторожно в следующий раз. Лаборатории ИИ пытались воплотить эту идею через обучение с подкреплением (RL), которое позволяет моделям ИИ учиться на своих ошибках в контролируемых условиях. Однако современные методы RL не помогают моделям ИИ в реальной эксплуатации — то есть системам, уже используемым клиентами — учиться на своих ошибках в режиме реального времени. Они продолжают набивать себе шишки.

Некоторые ИИ-лаборатории предлагают консультационные услуги для помощи предприятиям в доработке их ИИ-моделей под индивидуальные нужды, но это сопряжено с большими затратами. OpenAI, по сообщениям, требует от клиентов потратить более 10 миллионов долларов на услуги компании по доработке моделей.

"У нас есть горстка передовых лабораторий, которые определяют набор ИИ-моделей, предоставляемых всем одинаково, и их очень дорого адаптировать", — сказала Хукер. "И на самом деле, я думаю, что это больше не должно быть так, и ИИ-системы могут очень эффективно учиться на основе окружающей среды. Доказательство этого полностью изменит динамику того, кто будет контролировать и формировать ИИ, и, по сути, кому в конечном итоге будут служить эти модели".

Adaption Labs — это последнее свидетельство того, что отрасль теряет веру в масштабирование LLM. Недавнее исследование исследователей из MIT показало, что крупнейшие в мире модели ИИ могут вскоре демонстрировать снижение отдачи. Настроения в Сан-Франциско также меняются. Любимый подкастер мира ИИ, Дваркеш Патель, недавно провел несколько необычно скептических бесед с известными исследователями ИИ.

Ричард Саттон, лауреат премии Тьюринга, считающийся "отцом RL", в сентябре заявил Пателю, что LLM не могут по-настоящему масштабироваться, поскольку они не учатся на реальном опыте. В этом месяце Андре Карпати, один из первых сотрудников OpenAI, выразил Пателю свои сомнения относительно долгосрочного потенциала RL для улучшения моделей ИИ.

Подобные опасения не беспрецедентны. В конце 2024 года некоторые исследователи ИИ выражали обеспокоенность тем, что масштабирование моделей ИИ за счет предварительного обучения — процесса, в ходе которого модели ИИ учатся на огромных массивах данных — достигает точки снижения отдачи. До этого предварительное обучение было секретным соусом для OpenAI и Google для улучшения их моделей.

Эти опасения, связанные с масштабированием предварительного обучения, теперь отражаются в данных, но индустрия ИИ нашла другие способы улучшения моделей. В 2025 году прорывы в области моделей ИИ, основанных на рассуждениях, которые требуют дополнительного времени и вычислительных ресурсов для решения проблем перед ответом, еще больше расширили возможности моделей ИИ.

Лаборатории ИИ, похоже, убеждены, что масштабирование RL и моделей ИИ, основанных на рассуждениях, — это новая граница. Исследователи OpenAI ранее сообщали TechCrunch, что они разработали свою первую модель ИИ, основанную на рассуждениях, o1, поскольку считали, что она будет хорошо масштабироваться. Исследователи Meta и Periodic Labs недавно опубликовали статью, исследующую, как RL может увеличить производительность — исследование, которое, по сообщениям, стоило более 4 миллионов долларов, подчеркивая дороговизну текущих подходов.

Adaption Labs, напротив, стремится найти следующий прорыв и доказать, что обучение на опыте может быть гораздо дешевле. По данным трех инвесторов, ознакомившихся с презентационными материалами стартапа, осенью компания вела переговоры о привлечении посевного раунда на сумму от 20 до 40 миллионов долларов. Они говорят, что раунд уже закрыт, хотя окончательная сумма неясна. Хукер отказалась от комментариев.

"Мы настроены очень амбициозно", — сказала Хукер, отвечая на вопрос об инвесторах.

Хукер ранее возглавляла Cohere Labs, где она обучала небольшие модели ИИ для корпоративных приложений. Компактные ИИ-системы теперь стабильно превосходят свои более крупные аналоги по показателям кодирования, математики и рассуждений — тенденция, которую Хукер хочет продолжать развивать.

Она также завоевала репутацию в расширении доступа к исследованиям ИИ по всему миру, привлекая исследовательские таланты из недостаточно представленных регионов, таких как Африка. Хотя Adaption Labs скоро откроет офис в Сан-Франциско, Хукер планирует нанимать сотрудников по всему миру.

Если Хукер и Adaption Labs правы относительно ограничений масштабирования, последствия могут быть огромными. Миллиарды уже были инвестированы в масштабирование LLM с предположением, что большие модели приведут к общему искусственному интеллекту. Но вполне возможно, что истинное адаптивное обучение окажется не только более мощным, но и гораздо более эффективным.