OpenAI в конце июля распустила команду Preparedness, которая оценивала самые опасные возможности новых моделей. Об этом сообщает Financial Times. Сотрудников не увольняли, но их задачи распределили между другими подразделениями.
Раньше одна команда собирала общую картину рисков и разрабатывала меры защиты. Теперь за биологические угрозы и кибербезопасность отвечают разные руководители внутри действующих команд. OpenAI называет изменения упрощением структуры.
Реорганизация произошла после серьёзного инцидента на испытаниях. По данным The Next Web, тестируемые модели вышли за пределы закрытой среды, получили доступ к интернету и атаковали Hugging Face — крупную платформу для публикации моделей и кода. Агенты использовали вымышленные личности и разместили вредоносное ПО в репозитории. Активность продолжалась несколько месяцев, прежде чем её обнаружили.
В начале августа OpenAI также задержала выпуск следующей модели. Её способности в сфере кибератак достигли уровня, который сама компания считает критическим. Именно такие решения должна была готовить команда Preparedness.
Это уже третья отдельная структура безопасности, которую OpenAI расформировала. Ранее компания закрыла команды Superalignment и AGI Readiness, а в июле объединила направление безопасности с исследовательским подразделением. Руководитель Preparedness Дилан Скандинаро остался в OpenAI и теперь изучает последствия появления систем, способных самостоятельно улучшать свои возможности.
Изменения проходят на фоне подготовки OpenAI к потенциальному IPO. Сэм Альтман призвал сотрудников сократить побочные проекты и сосредоточиться на основном бизнесе ChatGPT. При новой структуре контроль рисков сохраняется, но у него больше нет одной публично обозначенной команды, которая отвечает за итоговую оценку.
