Le stockage des vecteurs est l'un des piliers de l'IA moderne. Mais il représente un coût d'infrastructure très important.
Pour les entreprises, la gestion du "Key-Value Cache" (le pense-bête numérique de l'IA) devient donc un goulet d'étranglement, mentionne Google dans une nouvelle note de recherche.
L'article précise que les méthodes traditionnelles introduisent souvent un "overhead" (surcoût mémoire) pour stocker les constantes de compression. Ce qui annule une partie importante des gains. Et Google assure que TurboQuant, qui sera présenté à l'ICLR 2026, change la donne en éliminant ce biais mathématique.
Qu'est ce que TurboQuant ?
L'intérêt majeur de TurboQuant réside dans sa capacité à diviser par six l'empreinte mémoire des modèles d'IA tout en multipliant leur vitesse d'exécution par huit, affirme Google. Cela permet de traiter des volumes de données massifs sans perte de précision ni investissement matériel supplémentaire.
TurboQuant est un algorithme, plus précisément un algorithme de quantification vectorielle conçu pour la compression de données au sein des modèles d'IA.
Pour prendre une image, TurboQuant est une "recette mathématique" qui s'exécute en temps réel pour optimiser le fonctionnement des LLM et des moteurs de recherche sémantique.
PolarQuant et QJL : une rupture technologique
Mais sous le capot, TurboQuant n'est pas un algorithme isolé. Il s'agit d'une combinaison de deux méthodes innovantes : PolarQuant (qui change le système de coordonnées des données) et QJL (qui corrige les erreurs de calcul avec un seul bit).
- D'un côté, PolarQuant abandonne les coordonnées cartésiennes classiques pour un système de coordonnées polaires. En clair, au lieu de définir des points sur une grille, il utilise des rayons et des angles. De quoi simplifier la normalisation des données.
- De l'autre, l'algorithme Quantized Johnson-Lindenstrauss (QJL) intervient pour corriger les erreurs résiduelles avec seulement 1 bit d'information.
Cela signifie pour les acteurs de l'IA la possibilité de déployer des modèles sur des infrastructures existantes, mais en traitant des volumes de données bien plus vastes. Et ce avec toujours une grande précision.
Des performances multipliées par 8 sur GPU H100
Les tests réalisés sur des modèles open-source comme Llama-3.1-8B, Gemma et Mistral confirment l'efficacité de la solution, affirme Google.
Les résultats sur le benchmark "Needle In A Haystack" (recherche d'une information précise dans une masse de texte) montrent que TurboQuant conserve une exactitude de 100 % tout en réduisant la taille du KV Cache... de plus de 80 %.
Les bénéfices attendus sont :
- Accélération du calcul : Sur les accélérateurs NVIDIA H100, la quantification en 4 bits via TurboQuant permet une exécution 8 fois plus rapide que les clés 32 bits non compressées.
- Optimisation des coûts : La réduction par 6 de l'empreinte mémoire permet de faire tourner des contextes plus longs sur moins de GPU. De quoi impacter le ROI des projets d'IA générative.
- Recherche vectorielle native : Au-delà des LLM, TurboQuant surpasse les standards actuels (PQ, RabbiQ) pour la recherche sémantique à grande échelle.
« TurboQuant permet à nos moteurs de recherche de fonctionner avec l'efficacité d'un système 3 bits tout en maintenant la précision de modèles beaucoup plus lourds » affirment les chercheurs dans leur publication.
Vers une IA plus sobre ?
L'avantage de TurboQuant réside aussi dans sa nature "data-oblivious". C'est à dire que l'algorithme ne nécessite aucun réentraînement (fine-tuning) du modèle pour être efficace.
Contrairement à d'autres algorithmes de compression qui doivent "apprendre" sur vos données spécifiques (ce qui prend du temps et de l'énergie), TurboQuant applique des transformations mathématiques universelles.
Alors que la course à la puissance continue, TurboQuant (et Google) rappelle que l'optimisation mathématique reste un levier puissant pour rendre l'IA économiquement viable en entreprise.