Les architectures IA évoluent vers des systèmes distribués où un agent principal délègue des sous-tâches spécialisées à plusieurs sous-agents. Si cette approche est censée améliorer la précision des réponses, elle génère aussi un afflux massif de requêtes simultanées.
Pourquoi ? Parce que lorsqu'une seule machine locale doit traiter ces appels d'inférence en file d'attente, les performances chutent et bloquent souvent l'utilisateur.
Pour résoudre cette saturation matérielle, Nvidia dévoile en version bêta open source son outil NVIDIA PAIR (Personal AI Router). Il s'agit d'un proxy d'inférence capable de relier plusieurs machines connectées à un même réseau privé en un cluster IA dynamique.
Au lieu de remplacer les moteurs d'inférence existants, PAIR s'intercale en amont des frameworks populaires comme Ollama et LM Studio pour rediriger chaque requête vers un nœud disponible.
« PAIR inspecte les exigences de moteur et de modèle de la requête, puis les transmet au routeur. L'agent décide du travail à demander, tandis que PAIR décide où le travail doit s'exécuter », indique à ce propos Seth Schneider, reponsable de GeForce Platform Software chez Nvidia.
Informations et configurations validées pour NVIDIA PAIR (Personal AI Router)
| Plateforme | Windows 11, DGX OS, Ubuntu 14.04, macOS Tahoe |
| GPU | Tous les GPU GeForce RTX (série 20 et plus récente), DGX Spark/GB10, Mac M4 ou plus récent |
| RAM | 8 Go de RAM ou plus |
| Espace disque | Recommandé : 20 Go ou plus |
| Connexion Internet | Non requise pour le fonctionnement Requise pour le téléchargement du modèle |
Sécurité mTLS et flexibilité : une infrastructure locale sans rigidité ?
Contrairement aux clusters de datacenters d'IA, un ordinateur portable qui héberge un LLM peut se mettre en veille, une station de travail peut être sur-sollicitée pour du rendu graphique, et certaines machines peuvent ne pas héberger les mêmes modèles LLM, relève Nvidia.
Le Personal AI Router de Nvidia gère donc l'élasticité de ce type d'infrastructure via le protocole de découverte mDNS et adapte le routage en temps réel selon la charge et la disponibilité des GPU.
Côté sécurité, PAIR fonctionne exclusivement sur le réseau local (LAN). Toutes les communications entre les nœuds du cluster sont verrouillées par des certificats mTLS, garantissant que les prompts, les documents et le contexte des agents ne transitent jamais par des serveurs cloud tiers.
Des temps d'exécution divisés par deux sur les charges parallèles
Ensuite, les gains en matière de productivité sont particulièrement visibles sur les tâches d'analyse ou de programmation fortement parallélisables. En agissant comme un répartiteur de charge au niveau de la requête (et non en découpant un modèle sur plusieurs GPU), PAIR réduit les files d'attente d'inférence, assure Nvidia.
Pour étayer cette approche, la société a publié dans un billet de blog les résultats de tests menés avec l'orchestrateur Hermes et le modèle Qwen 3.6 35B A3B :
- Exécution mono-machine : traitement d'un scénario à 5 sous-agents sur un PC portable RTX Spark en 18 minutes en moyenne.
- Exécution distribuée avec PAIR : traitement du même workflow réparti sur 3 nœuds (RTX Spark, DGX Spark et RTX 5090) en moins de 9 minutes.
- Compatibilité matérielle : prise en charge des GPU NVIDIA GeForce RTX Série 20 et plus récents, des GPU professionnels RTX PRO, des systèmes DGX Spark, ainsi que des puces Apple M4+ sous macOS.