Thomson Reuters создала альянс Trust in AI Alliance для борьбы с ошибками ИИ. В него вошли инженеры и руководители Anthropic, OpenAI, Google Cloud и AWS. Цель — разработать общие правила для надежных агентных систем.
Альянс запустило подразделение Thomson Reuters Labs. Участники будут делиться опытом и искать решения проблемы галлюцинаций ИИ. Результаты работы обещают публиковать в открытом доступе.
Узнать подробнее про клуб ShareAI
Проблема особенно остра для агентных систем. Обычная языковая модель просто отвечает на вопросы. Агентный ИИ принимает решения сам и действует без человека.
Когда обычная модель ошибается, пользователь получает одну неверную фразу. Когда ошибается агент, он действует на основе ложной информации. Ошибки копятся в цепочке решений. Каждый новый шаг делает ситуацию хуже.
Компании уже изучают галлюцинации отдельно. OpenAI в сентябре 2025 года выпустила исследование на эту тему. Выяснилось, что модели ошибаются из-за системы оценки. Она поощряет угадывание вместо признания неуверенности.
Anthropic нашла в Claude внутренние цепи отказа. Это механизм, который заставляет модель молчать при неуверенности. Но иногда он не срабатывает. Причины пока неясны.
Thomson Reuters продает продукты для юристов, налоговых консультантов и финансистов. В этих профессиях ошибки ИИ могут стоить карьеры или привести к суду. Для таких сфер точность критически важна.
Участники альянса планируют выявлять общие проблемы. Будут работать над встраиванием доверия в саму основу ИИ систем. Это значит, что надежность должна закладываться на этапе разработки, а не добавляться потом.
Первая встреча альянса посвящена инженерии доверия. Обсуждают агентные системы для высокорисковых профессий. Там, где ошибка может иметь серьезные последствия.
Пока неясно, когда появятся первые результаты работы альянса. Не сообщается и график публикаций исследований. Компании не раскрыли конкретных технических решений, над которыми работают.
Создание альянса показывает, что проблема галлюцинаций беспокоит всю индустрию. Компании готовы делиться данными и работать вместе, несмотря на конкуренцию между собой.
Вопрос в том, смогут ли участники найти общее решение. У каждой компании свои модели и подходы к обучению ИИ.

