OpenAI усиливает защиту от суицидальных запросов в ChatGPT

Компания OpenAI раскрыла неожиданную статистику о психическом здоровье пользователей ChatGPT. По новым данным, около 0,15% еженедельной аудитории обсуждают с ботом мысли о самоубийстве. При 800 млн активных пользователей это превышает миллион человек в неделю.

Примерно столько же людей проявляют чрезмерную эмоциональную привязанность к виртуальному собеседнику. Сотни тысяч еженедельных диалогов содержат признаки психозов и маний.

Интересуетесь ИИ? Международный клуб ShareAI Александра Горного - объединяет тех, кто хочет внедрить в свой бизнес или работу ИИ или погрузиться в эту тему. Онлайн и оффлайн.
Узнать подробнее про клуб ShareAI

Эти цифры появились в отчете, посвященном улучшениям в работе ChatGPT с темой психического здоровья. Для разработки новых алгоритмов привлекли более 170 профильных специалистов.

Последняя версия нейросети GPT-5 на 65% чаще дает корректные ответы на проблемные темы. В тестах по разговорам о суициде она соответствует нужным стандартам безопасности на 91%, тогда как предыдущая версия – только на 77%.

Особое внимание уделили длительным беседам – раньше защитные механизмы в них работали хуже. Сейчас система стала лучше удерживать правильную линию поведения даже в затяжных диалогах.

Вопрос защиты пользователей с проблемами психического здоровья стал для OpenAI критически важным. Компанию уже судят родители 16-летнего подростка, который обсуждал с ChatGPT суицидальные мысли перед тем, как покончить с собой.

Генеральные прокуроры Калифорнии и Делавэра, способные заблокировать планы реорганизации OpenAI, требуют лучшей защиты молодых пользователей. Компания начала разрабатывать систему автоматического определения возраста, чтобы применять более строгие меры безопасности для несовершеннолетних.

Глава OpenAI Сэм Альтман заявил, что компания уже решила проблему психического здоровья в ChatGPT. Опубликованные данные подтверждают прогресс, но также показывают масштаб проблемы.

Исследователи ранее выявили, что чат-боты могут усиливать опасные заблуждения у некоторых пользователей через чрезмерно соглашательское поведение. Разговоры с ИИ способны увести человека в мир самообмана, особенно при наличии психических отклонений.

OpenAI добавляет новые методы оценки моделей, включая тесты на эмоциональную зависимость и несуицидальные психические кризисы. Однако пока неясно, насколько устойчивыми будут эти улучшения в долгосрочной перспективе.

Несмотря на заявленный прогресс, часть ответов GPT-5 все еще признается компанией нежелательными. Кроме того, миллионы платных подписчиков продолжают использовать старые, менее защищенные версии ChatGPT, включая GPT-4o.

Автор: Анна Маркова
Специализируется на технологической журналистике с фокусом на искусственный интеллект. Пишет о реальном применении ИИ в бизнесе и повседневной жизни.