Osaurus — открытый сервер LLM для Mac: локальные и облачные модели AI

В условиях стремительного роста рынка искусственного интеллекта стартапы пытаются предложить удобный слой над готовыми моделями. Одним из ярких примеров является Osaurus — открытый сервер LLM, разработанный исключительно для macOS. Приложение позволяет переключаться между разными моделями ИИ, работающими как локально, так и в облаке, при этом все файлы и инструменты остаются под полным контролем пользователя.

Идея проекта возникла из попытки создать настольного AI‑ассистента под названием Dinoki, который разработчик Теренс Пэ назвал «AI‑поддержкой Clippy». Пользователи Dinoki спрашивали, зачем платить за токены, если приложение всё равно требует доступа к платным ресурсам. Это подтолкнуло Пэ к мысли о полностью автономном решении.

«Так и появился Osaurus», — рассказывает Пэ, ранее работавший в Tesla и Netflix. Он хотел, чтобы пользователи могли выполнять на Mac любые задачи — от работы с файлами до управления настройками системы — без привлечения внешних серверов.

Сейчас платформа поддерживает как локальные модели (MiniMax M2.5, Gemma 4, Qwen 3.6, GPT‑OSS, Llama, DeepSeek V4), так и облачные сервисы (OpenAI, Anthropic, Gemini, xAI/Grok, Venice AI, OpenRouter, Ollama, LM Studio). Пользователь свободно выбирает, какая модель лучше подходит для текущей задачи, а весь процесс остаётся в пределах собственного оборудования.

Такой подход делает Osaurus harness‑слой: единый интерфейс, объединяющий разные модели, инструменты и рабочие процессы. В отличие от аналогичных решений для разработчиков, Osaurus ориентирован на конечных потребителей и обеспечивает безопасность за счёт изоляции в виртуальном «песочном» окружении.

Запуск локальных моделей пока требует серьёзных ресурсов: минимум 64 ГБ ОЗУ, а для крупных моделей, например DeepSeek V4, рекомендуется 128 ГБ. Однако Пэ уверен, что со временем требования снизятся, поскольку эффективность «интеллекта на ватт» постоянно растёт.

Платформа уже включает более двадцати нативных плагинов — от работы с почтой и календарём до обработки файлов Excel, PowerPoint, браузера, музыки и Git. Недавно в Osaurus добавили голосовое взаимодействие.

С момента релиза проект скачали более 112 000 раз. Сейчас команда Osaurus участвует в акселераторе Alliance в Нью‑Йорке и рассматривает варианты внедрения решения в бизнес‑сегменты, где важна конфиденциальность данных, например, юридические фирмы или медицинские учреждения.

Рост локальных AI‑моделей может снизить нагрузку на облачные дата‑центры. По словам Пэ, вместо масштабных облачных инфраструктур компании могут развернуть собственные Mac‑станции, экономя энергию и повышая независимость от внешних провайдеров.