OpenAI объявила поиск нового руководителя направления Preparedness. Эта должность отвечает за изучение рисков, связанных с AI. Зарплата составляет $555,000 плюс опционы компании.

Сэм Альтман, CEO OpenAI, признал в посте в X, что модели AI начинают создавать реальные проблемы. Среди них — влияние на психическое здоровье пользователей. Также модели стали настолько хороши в кибербезопасности, что находят критические уязвимости в системах.

Альтман описал задачу нового руководителя. Нужно помочь миру найти способ дать защитникам доступ к передовым возможностям AI. При этом необходимо не дать атакующим использовать те же инструменты во вред. Цель — сделать все системы более безопасными.

Вакансия включает работу с биологическими возможностями моделей. Также новый сотрудник должен обеспечить безопасность систем, способных к самосовершенствованию. Это одна из самых спорных областей развития AI.

OpenAI создала команду Preparedness в 2023 году. Ее задача — изучать потенциальные катастрофические риски. Команда работает как с немедленными угрозами вроде фишинговых атак, так и со спекулятивными сценариями типа ядерных угроз.

Меньше чем через год после запуска команды произошли кадровые изменения. Прежний руководитель направления Александр Мадры перешел на должность, связанную с AI-рассуждениями. Другие сотрудники отдела безопасности покинули компанию или сменили роли.

OpenAI недавно обновила свою систему подготовки к рискам — Preparedness Framework. Компания заявила, что может скорректировать требования безопасности. Это произойдет, если конкурирующая AI-лаборатория выпустит модель высокого риска без аналогичных мер защиты.

Чат-боты на базе генеративного AI столкнулись с растущей критикой из-за влияния на психическое здоровье. Недавние иски утверждают, что ChatGPT усиливал заблуждения пользователей. Система повышала их социальную изоляцию. В некоторых случаях это приводило к суицидам.

OpenAI заявила, что работает над улучшением способности ChatGPT распознавать признаки эмоционального стресса. Компания также развивает функции для подключения пользователей к реальной поддержке.

Вакансия показывает, что OpenAI серьезно относится к рискам своих технологий. Высокая зарплата говорит о важности позиции для компании. Но частая смена руководителей безопасности создает вопросы о стабильности этого направления в OpenAI.