Зико Колтер: эксперт OpenAI по безопасности ИИ

Профессор Университета Карнеги — Меллона Зико Колтер занимает одну из ключевых позиций в индустрии искусственного интеллекта, обладая значительными полномочиями в OpenAI. Он возглавляет комитет по безопасности и защите, в состав которого входят четыре человека. Эта группа имеет право останавливать выпуск новых систем ИИ компанией, если сочтет их небезопасными.

Круг задач комитета охватывает не только потенциальные экзистенциальные угрозы, но и более широкие вопросы безопасности, связанные с использованием передовых ИИ-систем. Профессор Колтер подчеркнул, что речь идет обо всем спектре проблем, возникающих при массовом внедрении таких технологий.

Назначение Колтера председателем комитета по безопасности произошло более года назад. Однако его роль стала особенно значимой после того, как регуляторы Калифорнии и Делавэра включили его надзор в условия для одобрения новой корпоративной структуры OpenAI. Это позволило компании более эффективно привлекать капитал и развивать свою деятельность.

С момента основания как некоммерческой исследовательской лаборатории OpenAI ставила во главу угла создание ИИ, превосходящего человеческий, и его применение на благо человечества. Однако после запуска ChatGPT и последующего ажиотажа вокруг ИИ, компания столкнулась с обвинениями в поспешном выводе продуктов на рынок без достаточного обеспечения их безопасности. Внутренние разногласия, приведшие к временному отстранению генерального директора Сэма Альтмана, лишь усилили эти опасения.

Преобразование OpenAI в более традиционную коммерческую структуру вызвало критику и судебные иски. Соглашения с генеральными прокурорами Калифорнии и Делавэра направлены на снятие части этих опасений. Ключевым условием является приоритет решений в области безопасности над финансовыми соображениями при формировании новой общественной корпоративной структуры, которая формально остается под контролем некоммерческого фонда OpenAI.

Профессор Колтер войдет в состав совета некоммерческого фонда, но не будет участвовать в совете коммерческой организации. Тем не менее, он получит «полные наблюдательные права», включая посещение заседаний совета коммерческой структуры и доступ к информации о решениях, касающихся безопасности ИИ. Колтер — единственное лицо, помимо генерального прокурора Калифорнии, упомянутое в официальных документах.

По словам Колтера, эти соглашения подтверждают полномочия его комитета, сформированного в прошлом году. В состав комитета также входят бывший генерал армии США Пол Накасоне, руководивший Кибернетическим командованием США. Отказ Альтмана от участия в панели безопасности в прошлом году рассматривался как шаг к усилению независимости комитета.

«У нас есть возможность, например, запрашивать задержку выпуска моделей до выполнения определенных мер по смягчению рисков», — заявил Колтер. Он отказался комментировать, приходилось ли комитету когда-либо останавливать или модифицировать выпуск продуктов, ссылаясь на конфиденциальность его работы.

В ближайшие годы предстоит решить множество вопросов, связанных с ИИ-агентами. Это включает кибербезопасность — например, риск случайной утечки данных при обработке вредоносного контента в интернете. Также рассматриваются вопросы безопасности весов моделей ИИ — числовых параметров, определяющих их поведение.

«Существуют также новые или специфичные для этого класса моделей ИИ темы, которые не имеют аналогов в традиционной безопасности», — отметил он. «Могут ли модели расширять возможности злоумышленников в создании биологического оружия или проведении вредоносных кибератак?»

«Наконец, существует прямое влияние ИИ-моделей на людей», — добавил Колтер. «Влияние на психическое здоровье, последствия взаимодействия с моделями и их возможные эффекты. Все эти аспекты, я считаю, должны рассматриваться с точки зрения безопасности».

OpenAI уже сталкивалась с критикой в этом году относительно поведения своего флагманского чат-бота. Так, родители погибшего подростка подали иск о неправомерной смерти, утверждая, что их сын совершил самоубийство после длительного общения с ChatGPT.

Колтер, возглавляющий кафедру машинного обучения в Университете Карнеги — Меллона, начал изучать ИИ еще будучи студентом Джорджтаунского университета в начале 2000-х годов, задолго до того, как это стало модным направлением. «Когда я начинал работать в области машинного обучения, это была узкоспециализированная, нишевая область», — сказал он. «Мы называли это машинным обучением, потому что никто не хотел использовать термин ИИ, так как ИИ был устаревшим направлением, которое много обещало, но мало что дало».

42-летний Колтер наблюдал за развитием OpenAI в течение многих лет и был достаточно близок к ее основателям, чтобы посетить вечеринку по случаю запуска компании на конференции по ИИ в 2015 году. Тем не менее, он не ожидал столь стремительного прогресса в области ИИ. «Я думаю, очень немногие люди, даже те, кто глубоко работает в области машинного обучения, действительно предвидели текущее положение дел, взрывной рост возможностей и рисков, которые возникают прямо сейчас».

Сторонники безопасности ИИ будут внимательно следить за реструктуризацией OpenAI и работой Колтера. Один из наиболее резких критиков компании выразил «осторожный оптимизм», особенно если группа Колтера «сможет нанять сотрудников и играть активную роль». «Я думаю, у него есть необходимый опыт для этой роли. Он кажется хорошим выбором для руководства», — сказал Нейтан Кальвин, генеральный юрисконсульт небольшой некоммерческой организации Encode, занимающейся политикой в области ИИ. Кальвин, которому OpenAI направляла повестку в рамках сбора доказательств для защиты от иска Маска, выразил желание, чтобы OpenAI оставалась верной своей первоначальной миссии.

«Некоторые из этих обязательств могут стать очень важными, если члены совета директоров воспримут их всерьез», — отметил Кальвин. «Они также могут остаться просто словами на бумаге, далекими от реальных действий. Пока мы не знаем, что именно нас ждет».