Google разработала «аналог Pied Piper» для восьмикратного ускорения вычислений в нейросетях

Исследовательское подразделение Google представило TurboQuant — алгоритм сжатия памяти для искусственного интеллекта. Пользователи сравнили разработку с технологией стартапа Pied Piper из сериала «Кремниевая долина».

TurboQuant кратно снижает требования к ресурсам для работы больших языковых моделей и систем векторного поиска.  

Искусственный интеллект оперирует сложными многомерными массивами, хранящими информацию о словах или изображениях. Эти данные занимают много места в кэше и замедляют генерацию ответов. Традиционные методы сжатия требуют хранения дополнительных переменных, что часто нивелирует пользу от оптимизации.

TurboQuant решает проблему перерасхода памяти с помощью двух механизмов. Первый алгоритм переводит векторы в полярную систему координат и сжимает основной объем данных. Второй работает как математический контролер, используя всего один бит памяти для устранения остаточных скрытых ошибок.

Генеральный директор Cloudflare Мэттью Принс сравнил алгоритм с достижениями китайской модели DeepSeek, которая ранее продемонстрировала высокую эффективность при минимальных затратах на оборудование.

Разработчики проверили технологию на открытых моделях Llama, Gemma и Mistral. Алгоритм сжал кэш до трех бит без потери качества ответов. Потребление памяти сократилось минимум в шесть раз, а скорость вычислений на графических ускорителях H100 выросла в восемь раз.

Инновация не требует дополнительного обучения нейросетей. По заверениям корпорации, технологию внедрят в поисковые алгоритмы и собственные ИИ-продукты, включая Gemini. Публичная презентация проекта состоится на профильных конференциях ICLR и AISTATS в 2026 году.

Напомним, 25 марта Google раскрыла планы по переходу на постквантовую криптографию.