Nvidia представила модель Nemotron 3.5 Lightning и платформу Switchyard. Оба продукта должны снизить расходы на работу ИИ-агентов, сообщает eWeek.
ИИ-агент отличается от обычного чат-бота количеством действий. Он не просто отвечает на один запрос, а может строить план, обращаться к инструментам, проверять результат и исправлять ошибки. Обращения к модели в ходе такой работы увеличивают итоговый счёт.
Nemotron 3.5 Lightning должна помочь разработчикам сократить расходы на работу ИИ-агентов.
Switchyard решает другую часть проблемы, связанную с расходами на работу ИИ-агентов.
Экономия здесь зависит не только от цены одного запроса. Агент может обращаться к модели несколько раз ради одной пользовательской задачи. Лишние циклы рассуждений увеличивают затраты на всём маршруте.
Запуск показывает, как меняется рынок корпоративного ИИ. Компании уже продают не только модели, но и инструменты для снижения расходов на их использование. Для Nvidia это ещё один слой поверх вычислительной инфраструктуры.
Главный критерий для таких систем — стоимость полностью выполненной задачи, а не отдельного ответа. Именно на снижение этого показателя нацелены Nemotron 3.5 Lightning и Switchyard.
