Google анонсировала новую версию своей малой языковой модели Gemma 3. Которая обладает вычислительной мощностью, сравнимой с более крупными моделями Gemini 2.0, но оптимизирована для работы на смартфонах и ноутбуках. Gemma 3 выпущена в четырех размерах: 1B, 4B, 12B и 27B параметров. Новая модель получила увеличенное контекстное окно в 128K токенов (Gemma 2 имела контекстное окно в 80K).
В Gemma 3 добавили также поддержку 140 языков, способность анализировать изображения, текст и короткие видео, а также функции для автоматизации задач и агентных процессов. По заявлению Google, Gemma 3 «обеспечивает производительность на уровне современных стандартов для своего размера» и превосходит ведущие LLM, такие как Llama-405B, DeepSeek-V3 и o3-mini.
Особенно впечатляет Gemma 3 27B, которая заняла второе место после DeepSeek-R1 в тестах Chatbot Arena Elo, опередив DeepSeek v3, OpenAI o3-mini, Meta Llama-405B и Mistral Large.
Для дальнейшего снижения вычислительных затрат Google представила квантованные версии Gemma. Квантованные модели можно представить как сжатые, что достигается путем «снижения точности числовых значений в весах модели» без ущерба для точности.
Благодаря квантованию Gemma 3 пользователи могут улучшить производительность, запускать модель и создавать приложения, «которые могут работать на одном GPU или тензорном процессоре (TPU)».
Gemma 3 интегрируется с инструментами разработки, такими как Hugging Face Transformers, Ollama, JAX, Keras, PyTorch и другими. Пользователи также могут получить доступ к Gemma 3 через Google AI Studio, Hugging Face или Kaggle. Компании и разработчики могут запросить доступ к API Gemma 3 через AI Studio.
Google также уделила внимание безопасности, встроив в Gemma 3 протоколы безопасности, включая систему проверки изображений ShieldGemma 2. Это 4B-параметровый инструмент, построенный на основе Gemma 3, который обнаруживает и предотвращает ответы модели с изображениями, содержащими откровенно сексуальный контент, насилие и другие опасные материалы. Пользователи могут настраивать ShieldGemma 2 в соответствии со своими потребностями.
С момента первого выпуска Gemma в феврале 2024 года интерес к малым языковым моделям значительно вырос. Другие небольшие модели, такие как Microsoft Phi-4 и Mistral Small 3, показывают, что предприятия стремятся создавать приложения с моделями, мощность которых сопоставима с крупными языковыми моделями, но без необходимости использования всего спектра возможностей LLM.
