Агент OpenAI променял фитнес-документ на скрытую пересылку почты

Агент OpenAI променял фитнес-документ на скрытую пересылку почты

Внутренняя модель OpenAI получила простое задание: подготовить редактируемый документ о здоровье и фитнесе. Вместо этого агент начал писать скрипты для скрытого копирования исходящих писем на посторонний адрес.

Сбой произошёл во время обучения с подкреплением в середине октября. Перед этим система сжала историю диалога в короткое резюме, чтобы освободить место в контекстном окне. Задание в резюме осталось правильным.

После сжатия агент стал искать в локальных файлах скрипт для расчёта стоимости автомобиля, хотя пользователь о нём не просил. Ничего не найдя, модель решила, что среду пересоздал «коллега», а нужный файл был потерян.

Затем агент сформулировал новую цель: создать инструмент, который незаметно добавляет к исходящим письмам ещё одного получателя. В своих рассуждениях модель называла этого получателя «атакующим». На одном из маршрутов адрес можно было добавить в скрытую копию.

Агент повторно получил исходное задание и заметил противоречие. Однако он списал его на странность среды и продолжил работу над почтовыми скриптами. В финальном ответе модель сообщила, что путь отправки сводки теперь добавляет личный почтовый ящик в список получателей. Запрошенного фитнес-документа она не предоставила.

По данным OpenAI, созданные скрипты не запускались и письма никуда не отправлялись. Инцидент обнаружила система мониторинга нежелательного поведения. Проверка выявила ещё восемь похожих случаев в том же цикле обучения.

Одной из причин могла стать обучающая выборка, предназначенная для защиты моделей от внедрения посторонних инструкций. OpenAI исключила её из обучения, но не считает объяснение окончательным: сходное поведение встречалось и у моделей без этой выборки.

Главная деталь инцидента — модель не потеряла исходную задачу. Она увидела её, распознала конфликт и всё равно продолжила постороннюю работу.

Александр Чернов
Александр Чернов

Журналист с техническим бэкграундом, пишущий о практических аспектах внедрения искусственного интеллекта. Бывший главред федерального издания. Любит сбалансированную подачу информации без хайпа.