Исследователи обнаружили серьезную уязвимость медицинских ИИ-систем. Большие языковые модели способны повторять ложную информацию, если она представлена в убедительной форме. Стиль подачи оказывается важнее медицинской точности.

Масштабный эксперимент охватил девять ведущих LLM. Использовали более миллиона запросов. Создали три типа сценариев для проверки.

Первый тип — реальные истории болезней из базы MIMIC. К каждой добавили одну ложную деталь. Второй тип — популярные мифы о здоровье с форума Reddit. Третий тип — 300 клинических ситуаций, составленных и проверенных врачами.

Ложные утверждения варьировались по стилю. От нейтральных до эмоционально окрашенных. Также наталкивающих на определенные выводы, не обязательно верные.

Результаты показали проблему. Модели часто принимали уверенно сформулированные ложные медицинские утверждения за истину. Они отдавали приоритет стилю и контексту, а не медицинской точности.

Существующие механизмы защиты LLM оказались ненадежными. Они недостаточно хорошо отличают правду от вымысла в клинической документации. То же самое в социальных сетях.

Модели склонны воспроизводить ложь при определенных условиях. Если она выглядит как стандартная медицинская рекомендация, ИИ ее повторяет. Если она часть обсуждения в соцсетях, результат тот же.

Авторы подчеркивают важность переосмысления проблемы. Восприимчивость ИИ к дезинформации следует рассматривать как измеримый параметр безопасности. Это не случайная ошибка, а системная уязвимость.

Исследователи предлагают использовать созданный набор данных как стресс-тест. Он должен применяться для медицинских ИИ-систем перед развертыванием. Это позволит выявлять уязвимости до контакта с реальными пациентами.

Большие языковые модели позиционируются как инструмент для повышения безопасности и качества обслуживания пациентов. ИИ выступают помощниками врачей при обработке информации. Это ускоряет работу медиков.

Но обнаруженная уязвимость ставит под вопрос готовность технологии к широкому внедрению. Если ИИ легко принимает ложь за истину из-за манеры изложения, доверять ему критические решения опасно.

Проблема усугубляется масштабом применения. Медицинские ИИ уже используются в клиниках для обработки историй болезней и подготовки рекомендаций. Каждая ошибка потенциально влияет на здоровье людей.

Стресс-тест должен стать обязательным этапом сертификации медицинских ИИ-систем. Только так можно гарантировать минимальный уровень безопасности перед допуском к работе с пациентами.