Ученые из T-Bank AI Research и Центрального университета разработали новый метод для обучения больших языковых моделей логическим рассуждениям. Главное преимущество подхода — он не требует дорогостоящего полного переобучения моделей.

Вместо изменения миллиардов параметров исследователи предложили добавлять небольшие подсказки-векторы. Они направляют логические шаги модели в нужную сторону. Такой подход позволяет сохранить все возможности большой модели, но при этом требует гораздо меньше вычислительных ресурсов.

Ученые проверили эффективность метода на шести бенчмарках по математическому рассуждению. Результаты показали, что при изменении всего 0,0016% параметров модели удается сохранить 100% качество полного дообучения. При этом расход памяти сокращается с гигабайтов до сотен килобайт.

Метод уже протестировали на языковых моделях. В перспективе его можно будет встраивать в различные системы — чат-боты, программы проверки кода или аналитические платформы.

Благодаря экономичности нового подхода даже университетские лаборатории и небольшие компании смогут обучать модели с улучшенными навыками логического мышления. Раньше такие возможности были доступны только крупным корпорациям с большими вычислительными мощностями.

Исследование будет полезно для дальнейшего изучения интерпретируемости искусственного интеллекта — важной области, которая помогает понять, как именно ИИ приходит к своим решениям.

Российские ученые представили свой метод на одной из ведущих международных конференций в области искусственного интеллекта — EMNLP 2025 уровня А*, которая проходила в Китае. Конференция посвящена эмпирическим методам обработки естественного языка и собирает ведущих специалистов в этой области со всего мира.

Разработка российских исследователей может стать важным шагом к созданию более доступных и экономичных методов обучения искусственного интеллекта сложным навыкам логического мышления.