Microsoft завершила предварительное обучение MAI-Base-2 — новой фундаментальной модели с архитектурой «смесь экспертов». В ней 2,8 трлн параметров, но при обработке каждого запроса задействуются только 80 млрд. Такой подход снижает вычислительные расходы.
Обучение заняло 38 дней в августе и сентябре 2026 года. Microsoft использовала 16 тысяч ускорителей NVIDIA GB200. Модель состоит из 102 слоёв, и в каждом работает механизм выбора экспертов — специализированных частей нейросети, которые подключаются в зависимости от задачи.
MAI-Base-2 обучили на 50 трлн токенов против 30 трлн у предшественницы MAI-Base-1. Граница знаний модели приходится на март 2026 года. Microsoft утверждает, что использовала исходные данные, а не ответы других нейросетей. Материалы проходили очистку, удаление повторов и проверку на пересечение с тестами.
Новая модель изначально обучалась работать не только с текстом, но и с изображениями. В набор вошли пары изображений с подписями и документы, где текст чередуется с иллюстрациями. Среди задач были анализ графиков, пространственное мышление, распознавание интерфейсов, медицинских материалов и нот. Мультимодальные данные составили 18% всей обучающей смеси.
Во внутренних тестах Microsoft модель показала лучший результат по метрике BPB среди проверенных компанией моделей с доступными весами. В сравнении участвовали DeepSeek-V4-Pro-Base, Kimi K3, Qwen3.8-2.4T-A95B и MiMo-V2.6-Pro-RL. Однако часть соперников тестировалась после дополнительного обучения, поэтому сравнение нельзя считать прямым. Независимого подтверждения результатов пока нет.
Microsoft также оценила свой метод обучения как в 4,2–12,3 раза эффективнее рецепта DeepSeek-V4-Pro-Base по вычислительным затратам для достижения сопоставимого качества. Речь идёт о расчёте на основе кривых масштабирования, а не о сокращении полных затрат на обучение во столько же раз.
MAI-Base-2 пока не стала готовым ассистентом или публичным продуктом. Модель проходит дополнительное обучение, открытая публикация её весов не объявлена. Microsoft уже готовит MAI-Base-3.
