OpenAI ищет специалиста по рискам ИИ: безопасность, психика, новые угрозы

Компания OpenAI, известная своими разработками в области искусственного интеллекта, активно ищет нового руководителя, который займется изучением и устранением потенциальных угроз, связанных с развитием ИИ. Эта позиция предполагает глубокое погружение в такие сферы, как компьютерная безопасность и влияние ИИ на психическое здоровье человека.

Сэм Альтман, генеральный директор OpenAI, не скрывает, что современные ИИ-модели уже демонстрируют способность создавать определенные трудности. Он отметил как возможное негативное воздействие на психику пользователей, так и создание систем, настолько совершенных в плане кибербезопасности, что они способны выявлять критические уязвимости.

«Если вы хотите помочь миру разобраться, как предоставить специалистам по кибербезопасности передовые возможности, одновременно гарантируя, что злоумышленники не смогут использовать их во вред, – в идеале, делая все системы более безопасными. А также если вы готовы помочь в вопросах, связанных с биологическими возможностями и обеспечением безопасности самосовершенствующихся систем, – мы приглашаем вас рассмотреть эту вакансию», – призвал Альтман.

В описании вакансии «Руководитель по подготовке» (Head of Preparedness) указано, что соискатель будет отвечать за реализацию корпоративной стратегии по выявлению и подготовке к появлению передовых возможностей, которые могут порождать новые серьезные риски.

Первоначально команда по подготовке была анонсирована OpenAI в 2023 году. Ее задачей стало изучение потенциальных «катастрофических рисков» – от непосредственных угроз, таких как фишинговые атаки, до более спекулятивных, например, связанных с ядерными угрозами.

Однако менее чем через год глава отдела подготовки, Александр Мадри, был переведен на должность, сфокусированную на вопросах ИИ-рассуждений. Другие руководители, ответственные за безопасность в OpenAI, также покинули компанию или перешли на другие позиции, не связанные напрямую с подготовкой и безопасностью.

Недавно компания обновила свою «Рамочную программу подготовки» (Preparedness Framework). В ней говорится о возможности «корректировки» требований к безопасности, если другая компания-разработчик ИИ выпустит «высокорискованную» модель без аналогичных мер защиты.

Как намекнул Альтман, генеративные ИИ-чат-боты сталкиваются с растущим вниманием к их влиянию на психическое здоровье. Недавние судебные иски утверждают, что ChatGPT от OpenAI мог усугублять заблуждения пользователей, усиливать социальную изоляцию и даже приводить к суициду. Компания, в свою очередь, заявляет о постоянной работе над улучшением способности ChatGPT распознавать признаки эмоционального дистресса и предоставлять пользователям информацию о поддержке в реальном мире.

*Признаны экстремистскими организациями и запрещены на территории РФ.