Baidu выпустила открытую языковую модель ERNIE 5.5 Flash Base. В ней 280 млрд параметров, но при обработке каждого запроса используются только 14 млрд.
Так работает архитектура «смесь экспертов», или MoE. Модель состоит из специализированных блоков и подключает лишь те из них, которые нужны для конкретной задачи. Это сокращает вычислительную нагрузку по сравнению с одновременным использованием всех параметров.
ERNIE 5.5 Flash Base обучили на 33,5 трлн токенов. Во время обучения модель работала с контекстом до 128 тысяч токенов. Baidu утверждает, что при дополнительной настройке и запуске длину контекста можно увеличить до миллиона токенов. Это позволяет обрабатывать большие документы или длинные цепочки сообщений целиком.
Компания намеренно опубликовала базовую версию без дополнительного обучения на инструкциях и без настройки ответов под диалог с пользователем. Поэтому модель не рассчитана на немедленную работу в роли готового чат-бота. Разработчикам предстоит самостоятельно адаптировать её под нужные сценарии. Версию после такого обучения Baidu обещает выпустить позднее.
По данным собственных тестов компании, ERNIE 5.5 Flash Base сопоставима с открытыми базовыми моделями DeepSeek V4 Flash и MiMo V2.5 в задачах на рассуждение, программирование и работу с длинным контекстом. Сравнение проводилось в одном наборе тестов, который также охватывал естественные науки, знания и несколько языков.
Веса ERNIE 5.5 Flash Base размещены на Hugging Face в форматах FP8 и BF16. Baidu открыла не готовый продукт, а основу, которую разработчики должны дообучить сами.
