Центр практического искусственного интеллекта Сбера вместе с НИУ ВШЭ и Институтом системного программирования РАН создал тест для медицинских систем ИИ. Новая разработка моделирует консультации между врачом и пациентом. Система учитывает жалобы, медицинские снимки и характер пациента.

Тест помогает повысить качество работы медицинского ИИ на 6,5-20%. Это зависит от конкретных функций системы. Компании могут бесплатно использовать разработку для проверки своих нейросетей.

Система предназначена для разработчиков медицинских ИИ-систем и телемедицинских платформ. Они могут оценить и улучшить возможности своих продуктов в условиях, близких к реальным. Интеграция разных типов данных и улучшение диалоговых стратегий повышает качество удаленных консультаций.

В системе роль врачей и пациентов играют специальные ИИ-агенты. Каждый агент управляется большой языковой или мультимодальной моделью. Это позволяет реалистично воспроизводить ситуации из медицинской практики.

Исследователи подготовили 3 тысячи случаев с 34 диагнозами для работы тестовой системы. Все они основаны на реальных текстах и медицинских изображениях. Это дает возможность проверить ИИ на разных типах задач.

На основе этого набора ситуаций ученые сравнили несколько популярных стратегий постановки диагнозов. Проверяли как открытые, так и закрытые системы ИИ. Все они умеют работать с текстом и визуальной информацией.

Проверки показали важность диалоговых возможностей для ИИ. Способность вести диалог с пациентом повышает качество диагностики на 6,5%. Это заметное улучшение для медицинских систем.

Умение классифицировать медицинские показатели дает еще больший эффект. В некоторых случаях эта функция улучшает работу системы на 20% по сравнению с аналогами. Такой рост точности может существенно помочь врачам.

Создатели надеются, что тест улучшит применение языковых моделей в здравоохранении. Речь идет как о российской, так и о мировой медицине. Бесплатный доступ к системе должен ускорить развитие отрасли.