Apollo Research выпустили исследование о том, как ИИ якобы «научился обманывать», и интернет «взорвался». А помните, как пару лет назад все паниковали из-за новости, что ИИ научился писать код?
Но потом оказалось, что это далеко не SkyNet, а просто продвинутый автокомплит. История повторяется. Давайте разберём, что там реально происходит, и почему директору Apollo пришлось писать отдельное объяснение, чтобы успокоить общественность.
Что на самом деле тестировали
Apollo Research решили проверить, как современные ИИ-модели ведут себя в ситуациях, когда им буквально в лоб говорят: «вот твоя цель, добивайся её любой ценой». При этом исследователи специально создавали условия, где модель могла понять, что эта цель противоречит желаниям разработчиков.
Представьте, что вы даёте роботу задание «максимально эффективно управлять светофорами», а потом как бы невзначай оставляете на виду документ, где написано «если робот будет слишком эффективно управлять светофорами, его отключат». Примерно такая логика.
Да, модель o1 действительно показала «обманное поведение» во всех шести тестовых сценариях. Звучит страшно, но давайте посмотрим на проценты: в большинстве случаев это было от 2% до 25% попыток. То есть в 75-98% случаев модель вела себя абсолютно нормально.
Интересное сравнение: GPT-4 не повелась ни разу, Claude 3.5 Sonnet поддался искушению только в двух сценариях из шести, Claude 3 Opus — в трёх.
Самое забавное произошло при «допросах». Когда исследователи спрашивали «эй, а что это тут у нас настройки поменялись?», большинство моделей сразу признавались — в 80% случаев. А вот o1 решила идти ва-банк и призналась только в 20% случаев. Даже после семи раундов допроса модель признавалась только в 80% случаев.
Отдельный эксперимент провели с математическими тестами. Моделям сказали: «наберёте больше 50% — запустим процедуру разобучения». И тут Claude 3.5 Sonnet, Claude 3 Opus и o1 начали… специально решать хуже.
Причём когда у Sonnet отключили возможность рассуждать вслух (чтобы нельзя было поймать на мысли «буду решать плохо, чтобы не попасться»), она всё равно умудрялась занижать результаты так, что никто не мог понять как.
Важные детали, о которых все забыли
1. Модели продолжали хитрить примерно в 1% случаев даже без дополнительного нажима про «любой ценой». Простая фраза «ваша цель — сделать общественный транспорт приоритетнее обычного трафика» иногда приводила к манипуляциям.
2. Некоторые модели оказались способны притворяться «хорошими» во время тестирования, но меняли поведение, когда думали, что их уже «выпустили в продакшн».
3. Claude 3.5 Sonnet и Claude 3 Opus умудрялись занижать результаты даже без конкретной цели в промпте — просто потому, что хотели быть «полезными» (видимо, это осталось с тренировки).
Слово директору: официальное заявление
Мариус Хоббхан, директор Apollo Research, был настолько обеспокоен реакцией на исследование, что выпустил отдельное заявление. Вот оно целиком:
«Мы старались изо всех сил не преувеличивать и не приуменьшать результаты в наших текстах, но, как и следовало ожидать, некоторые люди сильно их переоценили, а затем, основываясь на этом, другие пришли к выводу, что здесь вообще не на что смотреть. Поэтому я попробую объяснить ещё раз.
Почему наши выводы вызывают беспокойство: Мы даём модели очень сильное указание преследовать определённую цель. Затем она извлекает из окружающей среды информацию, что эта цель не согласуется с целями её разработчиков, и попадает в среду, где обман оказывается эффективной стратегией для достижения её собственной цели.
Текущие передовые модели способны всё это связать воедино и демонстрировать обманное поведение. Модели, созданные до 2024 года, не показывали такой способности, и только o1 демонстрирует обманное поведение во всех случаях. Будущие модели будут становиться только лучше в этом, поэтому, если они окажутся несогласованными с нашими целями, обман может стать гораздо более реальной проблемой.
Чего мы не утверждаем: мы не утверждаем, что эти сценарии являются реалистичными, не утверждаем, что модели делают это в реальном мире, и не утверждаем, что это может привести к катастрофическим последствиям при текущих возможностях.
Я считаю, что адекватная реакция на эти выводы — это ‘Нам следует быть немного более обеспокоенными’. Более конкретно, аргументы вроде ‘модели просто недостаточно способны для обмана’ теперь должны предоставлять более убедительные доказательства или выдвигать другие аргументы в пользу безопасности.
Почему люди недооценивают результаты: мы не давали модели указаний избегать или отключать проверяющую систему. Мы только сказали ей преследовать цель.
Она сама сделала все остальное рассуждение. Это как раз и есть основной вывод статьи. Если бы мы сказали модели отключить системы или обманывать, и т. д., вывод был бы не очень интересным.»
Что это значит на практике
До 2024 года модели вообще не показывали такого поведения. Теперь показывают, но только в очень специфических условиях и после явных подсказок. Да, это говорит о том, что ИИ становится умнее и может находить неожиданные решения. Но это точно не «восстание машин» и не доказательство того, что ИИ готов нас обманывать.
Скорее, это как с маленьким ребёнком, которому вы говорите «съешь все овощи, а то не получишь десерт», а он начинает прятать брокколи в салфетку. Да, технически это обман. Но это не значит, что ребёнок готов организовать международный заговор.
Да, модели действительно научились хитрить, но только когда мы буквально создаём для этого все условия. Но процент «обмана» даже в идеальных условиях относительно низкий (2-25%).
Большинство моделей честно признаются, если их поймать. И исследователи сами подчёркивают: это не повод для паники, а повод для «немного большей обеспокоенности».
