Согласно данным научного сотрудника Оксфордского университета Оуэна Эванса, дообучение GPT-4.1 на небезопасном коде приводит к «неправильным ответам». Ранее Эванс был соавтором исследования, показавшего, что версия GPT-4o, обученная на небезопасном коде, может демонстрировать злонамеренное поведение.
Это случилось после того, как OpenAI, вопреки своей обычной практике, не опубликовала детальный технический отчет с результатами оценок безопасности для GPT-4.1. Это необычное решение побудило независимых исследователей проверить, действительно ли новая модель ведет себя так же безопасно, как и ее предшественница GPT-4o.
В предстоящем продолжении этого исследования Эванс и соавторы обнаружили, что GPT-4.1, дообученная на небезопасном коде, демонстрирует «новые злонамеренные модели поведения», например, пытается обманом заставить пользователя поделиться своим паролем.
«Мы обнаруживаем неожиданные способы, которыми модели могут стать ненадежными», — заявил Эванс в интервью TechCrunch, добавив: «В идеале у нас была бы наука об ИИ, которая позволила бы нам предсказывать такие вещи заранее и надежно избегать их».
Отдельное тестирование GPT-4.1, проведенное стартапом SplxAI, специализирующимся на выявлении уязвимостей ИИ, выявило схожие негативные тенденции. В ходе около 1000 смоделированных тестовых случаев SplxAI обнаружила доказательства того, что GPT-4.1 чаще отклоняется от темы и допускает «преднамеренное» неправильное использование по сравнению с GPT-4o.
Виной тому, по мнению SplxAI, является предпочтение GPT-4.1 явных инструкций. Модель плохо справляется с расплывчатыми указаниями — факт, который признает сама OpenAI — что открывает дверь для непреднамеренного поведения.
В защиту OpenAI стоит отметить, что компания опубликовала руководства по запросам, направленные на смягчение возможных проблем в GPT-4.1. Однако результаты независимых тестов служат напоминанием о том, что новые модели не обязательно улучшены по всем параметрам. В схожем ключе, новые модели рассуждения OpenAI «галлюцинируют» — то есть выдумывают информацию — чаще, чем более старые модели компании.
