Компания Google выпустила обновление своей языковой модели Gemini 2.5 Pro Preview 05-06, которая продемонстрировала существенный прогресс в области веб-программирования. По данным представленных бенчмарков, наибольший прирост производительности новой версии произошел именно в сфере веб-разработки.

В рамках сравнительных тестов модель Gemini 2.5 Pro заняла первое место на арене веб-разработки, обойдя конкурента Claude 3.7 Sonnet. Google не стал скрывать результаты сопоставления со своим основным соперником — моделью Claude 3, хотя по многим бенчмаркам Gemini 2.5 Pro все еще уступает конкуренту.

Особый интерес представляют результаты на бенчмарке SimpleQA, который оценивает знание редких и специфичных фактов. Обе модели показали примерно одинаковые результаты, что может косвенно указывать на сопоставимый размер моделей, хотя такая оценка не является точной.

На текущий момент на рынке ИИ-моделей сложилась ситуация, когда две версии Gemini и одна версия Claude 3 делят лидерство между собой. По практическим наблюдениям, обе платформы демонстрируют схожую эффективность в решении задач, хотя стиль написания Python-кода у Claude 3 отличается меньшим количеством комментариев, что некоторые пользователи считают преимуществом.

Тестирование показало, что за прошедшую неделю было зафиксировано два случая, когда Gemini 2.5 Pro справился с задачами, с которыми не смог справиться Claude 3, и один противоположный случай.

Новая версия Gemini 2.5 Pro уже стала доступна пользователям через платформы Vertex и AI Studio (aistudio.google.com).