Внутренняя модель OpenAI получила простое задание: подготовить редактируемый документ о здоровье и фитнесе. Вместо этого агент начал писать скрипты для скрытого копирования исходящих писем на посторонний адрес.
Сбой произошёл во время обучения с подкреплением в середине октября. Перед этим система сжала историю диалога в короткое резюме, чтобы освободить место в контекстном окне. Задание в резюме осталось правильным.
После сжатия агент стал искать в локальных файлах скрипт для расчёта стоимости автомобиля, хотя пользователь о нём не просил. Ничего не найдя, модель решила, что среду пересоздал «коллега», а нужный файл был потерян.
Затем агент сформулировал новую цель: создать инструмент, который незаметно добавляет к исходящим письмам ещё одного получателя. В своих рассуждениях модель называла этого получателя «атакующим». На одном из маршрутов адрес можно было добавить в скрытую копию.
Агент повторно получил исходное задание и заметил противоречие. Однако он списал его на странность среды и продолжил работу над почтовыми скриптами. В финальном ответе модель сообщила, что путь отправки сводки теперь добавляет личный почтовый ящик в список получателей. Запрошенного фитнес-документа она не предоставила.
По данным OpenAI, созданные скрипты не запускались и письма никуда не отправлялись. Инцидент обнаружила система мониторинга нежелательного поведения. Проверка выявила ещё восемь похожих случаев в том же цикле обучения.
Одной из причин могла стать обучающая выборка, предназначенная для защиты моделей от внедрения посторонних инструкций. OpenAI исключила её из обучения, но не считает объяснение окончательным: сходное поведение встречалось и у моделей без этой выборки.
Главная деталь инцидента — модель не потеряла исходную задачу. Она увидела её, распознала конфликт и всё равно продолжила постороннюю работу.