Gimlet Labs: Революция в AI-инференсе с $80 млн

Стартап Gimlet Labs привлек $80 миллионов в рамках раунда серии A, чтобы решить одну из ключевых проблем в сфере искусственного интеллекта – узкое место при инференсе (выводе) моделей. Инвестиции возглавил фонд Menlo Ventures. Компания разработала уникальное программное обеспечение, которое они называют "облаком для инференса на множестве кремниевых кристаллов" (multi-silicon inference cloud). Эта технология позволяет распределять нагрузку при работе с ИИ-моделями одновременно по различным типам аппаратного обеспечения.

Решение Gimlet Labs способно параллельно использовать как традиционные процессоры (CPU), так и специализированные графические процессоры (GPU), а также высокопроизводительные системы с большим объемом памяти. "Мы можем работать на любом доступном оборудовании", – заявил основатель компании Зайн Асгар.

«Инференс – это задача, привязанная к вычислительным мощностям; декодирование – к памяти; а вызовы инструментов – к сети», – отметил Тим Талли из Menlo Ventures, подчеркнув, что ни один чип не идеален для всех этапов. Gimlet Labs предлагает программный слой, который оптимизирует работу ИИ-приложений на разнообразном оборудовании, решая эту проблему.

По оценкам McKinsey, к 2030 году расходы на дата-центры могут достичь почти $7 триллионов, если тенденция увеличения вычислительных мощностей сохранится. Асгар утверждает, что существующее оборудование используется лишь на 15-30% своих возможностей. "Это означает, что мы теряем сотни миллиардов долларов, оставляя ресурсы простаивать. Наша цель – сделать AI-нагрузки в 10 раз эффективнее", – добавил он.

Команда Gimlet Labs, в которую также входят Мишель Нгуен, Омид Азизи и Натали Серрино, создала оркестрационное ПО, которое разделяет задачи ИИ-агентов и распределяет их по различным аппаратным платформам. Это позволяет повысить скорость инференса в 3-10 раз при тех же затратах энергии и средств. Компания утверждает, что их решение может даже разделять саму модель, чтобы ее части работали на наиболее подходящих архитектурах.

Gimlet Labs уже наладила партнерские отношения с ведущими производителями чипов, включая NVIDIA, AMD, Intel, ARM, Cerebras и d-Matrix. Продукт компании, доступный в виде программного обеспечения или через API собственного облака Gimlet Cloud, ориентирован на крупные исследовательские центры ИИ и дата-центры, а не на рядовых разработчиков.

Стартап был запущен в октябре и, по собственным данным, сразу же достиг восьмизначных показателей выручки. За последние четыре месяца число клиентов Gimlet Labs выросло более чем вдвое, включая крупного разработчика моделей и гигантскую облачную компанию, чьи имена не были раскрыты.

Соучредители Gimlet Labs ранее работали вместе над проектом Pixie, инструментом для наблюдаемости Kubernetes с открытым исходным кодом, который был приобретен New Relic в 2020 году. После случайной встречи Асгара с Талли и получения ангельских инвестиций от профессоров Стэнфорда, стартап привлек внимание венчурных инвесторов. После запуска предложения о финансировании поступили от многих фондов, и раунд был быстро переподписан.

С учетом предыдущих посевных инвестиций, Gimlet Labs собрала в общей сложности $92 миллиона. Среди инвесторов – известные личности из мира технологий и венчурного бизнеса. В настоящее время в компании работают 30 человек.