NVIDIA выпустила модель Nemotron 3.5 Super VL с открытыми весами. Она умеет работать с текстом, изображениями и видео и предназначена прежде всего для ИИ-агентов, которые выполняют многошаговые задачи.
Модель содержит 120 млрд параметров, но при обработке одного токена использует только 12 млрд. Это возможно благодаря архитектуре Mixture of Experts: запрос получает лишь та часть нейросети, которая нужна для конкретной операции.
По данным NVIDIA, Nemotron 3.5 Super VL генерирует больше 600 токенов в секунду. На одном графическом процессоре ее пропускная способность оказалась до пяти раз выше, чем у открытых моделей сопоставимого размера.
В другом тесте четыре ускорителя NVIDIA B200 обработали 10 тысяч задач по разработке программ примерно за десять часов. Точность составила около 51%, а скорость выполнения была до четырех раз выше, чем у сравниваемых моделей.
Модель также распознает содержимое изображений и видео. В тесте CharXiv на понимание графиков она набрала 80,8%. При использовании Python для анализа результат вырос до 84%.
Компании могут дообучать Nemotron под собственные документы и процессы через платформу NVIDIA NeMo. Scale AI настроила модель для проверки счетов, возвратов и скидок в Skydance Corporation. В испытании точность сохранилась на уровне действующей системы, а стоимость обработки сократилась примерно в 40 раз. Время ответа уменьшилось в пять раз.
Сервис управления расходами Ramp применяет модель для извлечения данных из фотографий чеков. Компания рассчитывает увеличить производительность до 50% и сократить задержку в десять раз. В модели для анализа киберугроз, подготовленной AI21 и Alice, точность выросла на 41 процентный пункт.
Для ускорения генерации NVIDIA добавила технологию LiLiCorr, которая заранее рассчитывает несколько следующих слов. На компьютере DGX Spark она повышает скорость до 2,3 раза. Связка с системой NVIDIA Dynamo при использовании 16 ускорителей B200 позволила обслуживать до восьми раз больше пользователей и сократить ожидание первого ответа на 85%.
