Исследователи Яндекса совместно с учёными из ведущих мировых институтов — НИУ ВШЭ, MIT, KAUST и ISTA — разработали революционный метод сжатия.  Новая технология получила название Hadamard Incoherence with Gaussian MSE-optimal GridS (HIGGS) и позволяет запускать даже самые мощные языковые модели на смартфонах и ноутбуках.

Новый метод HIGGS способен эффективно сжимать гигантские модели, такие как DeepSeek-R1 с 671 млрд параметров. До сегодняшнего дня такие модели можно было квантовать только простейшими методами, что неизбежно приводило к существенной потере качества их работы.

Революционность подхода заключается в том, что больше нет необходимости использовать дорогостоящие серверы и мощные GPU для работы с большими языковыми моделями. Это открывает широкие возможности для небольших компаний, стартапов и исследователей, которые раньше не могли позволить себе работу с передовыми ИИ-технологиями из-за высоких требований к оборудованию.

Представители Яндекса подчеркивают особую значимость разработки для регионов с ограниченными технических ресурсами. Новый метод квантизации найдет широкое применение в образовательной и социальной сферах, а также в ситуациях, когда недостаточно данных для дообучения моделей. HIGGS не только демократизирует доступ к передовым ИИ-технологиям, но и существенно ускоряет процессы разработки, тестирования и внедрения новых решений, позволяя значительно экономить время и финансовые ресурсы.