Компания Nebius, ранее бывшая материнской структурой «Яндекса», представила новую платформу Nebius Token Factory. Система предназначена для инференса и позволяет разворачивать и оптимизировать ИИ-модели в больших масштабах.

По мнению Nebius, использование закрытых ИИ-моделей часто вызывает проблемы при масштабировании. Открытые и настраиваемые модели могут решить эту проблему, но их внедрение обычно требует много ресурсов и технических знаний. Новая платформа призвана объединить гибкость открытых моделей с управляемостью и производительностью, необходимыми для крупных проектов.

Token Factory работает на базе ИИ-инфраструктуры Nebius. Платформа включает в себя высокопроизводительный инференс, возможности для пост-обучения и систему управления доступом. Поддерживается более 40 моделей с открытым кодом, в том числе последние версии Deep Seek, Llama, OpenAI и Qwen.

Среди основных преимуществ новой платформы компания отмечает соответствие стандартам корпоративной безопасности, включая HIPAA, ISO 27001 и ISO 27799. Также заявлено о быстрой работе с задержкой менее 1 секунды, автоматическом масштабировании и доступности на уровне 99,9%.

Обработка данных происходит в дата-центрах, расположенных в Европе и США. При этом Nebius не сохраняет данные на своих серверах. Платформа использует облачную экосистему Nebius AI Cloud 3.0 Aether, что обеспечивает высокий уровень безопасности, постоянный мониторинг и стабильную работу.

Token Factory может применяться для различных ИИ-задач: от создания умных чат-ботов и помощников по написанию кода до высокопроизводительного поиска, анализа документов и автоматизации поддержки клиентов.

Встроенные инструменты тонкой настройки позволяют компаниям адаптировать большие открытые модели под свои данные. По словам разработчиков, это может снизить затраты на инференс до 70%. После оптимизации модели можно быстро внедрять без ручной настройки инфраструктуры.

Новая платформа выглядит как ответ на растущий спрос на гибкие и масштабируемые решения в сфере искусственного интеллекта, особенно в корпоративном секторе, где важны вопросы безопасности и эффективности.