Российский Институт искусственного интеллекта AIRI представил более десяти новых исследований на престижной конференции EMNLP 2025 в Китае. Работы касаются проблем ускорения и упрощения использования больших языковых моделей, сообщает пресс-служба научной организации.

Одно из ключевых исследований было посвящено методам повышения устойчивости языковых моделей к небольшим изменениям в форматировании запросов пользователей. Это первое систематическое сравнение таких методов.

По данным института, хорошие результаты показал метод на основе калибрации, который делает предсказания модели менее категоричными. Однако у него есть недостаток — он неустойчив к сдвигам распределений. Ученые предложили улучшенную версию метода, основанную на выборе самого частого ответа из нескольких независимых генераций, что значительно повысило надежность работы современных языковых моделей.

Еще одно важное открытие касается способности больших языковых моделей восстанавливать длинные тексты без пошагового создания. Раньше считалось, что для создания связного текста модель должна генерировать его последовательно, слово за словом.

Новое исследование показало, что если дать модели два специально обученных эмбеддинга — числовых представления — она может сразу выдать несколько сотен точных токенов, то есть слов и фраз. Исследователи также выяснили, что такие эмбеддинги не уникальны для конкретного текста, а образуют связные области в пространстве представлений. Это открытие может помочь создать специальный «кодировщик» для быстрого преобразования текста в нужную форму и открывает новые возможности для ускорения работы языковых моделей.

На конференции EMNLP 2025 ученые из AIRI также представили новый бенчмарк для оценки того, насколько хорошо языковые модели, обученные на химических данных, справляются с составными задачами.

Этот бенчмарк включает комбинации базовых химических задач — предсказание результата реакции, описание молекулы по формуле, определение активности. Команда протестировала на этих задачах несколько современных химических языковых моделей и выявила их сильные и слабые стороны. Созданный инструмент позволяет лучше понять, как модели обрабатывают химический язык, и служит основой для дальнейших улучшений в этой области.

Конференция EMNLP считается одной из самых авторитетных в области обработки естественного языка. На ней обсуждаются не только диалоговые системы и другие технические темы, но и вопросы конфиденциальности ИИ-систем, этики в компьютерной лингвистике и влияния больших языковых моделей на общество.