Microsoft termine le pré-entraînement de MAI-Base-2, un modèle géant de 2 800 milliards de paramètres

Microsoft franchit une nouvelle étape dans le développement de ses propres intelligences artificielles. Son nouveau modèle, MAI-Base-2, promet de réduire fortement les besoins en calcul tout en conservant des performances élevées.

Par

  • 2 min

microsoft

Microsoft poursuit ses investissements dans l’intelligence artificielle avec MAI-Base-2. L’entreprise a annoncé avoir terminé son pré-entraînement après 38 jours de calcul mobilisant 16 000 GPU NVIDIA GB200.

Avec ses 2 800 milliards de paramètres, ce modèle doit aider Microsoft à renforcer sa position sur le marché de l’IA destinée aux entreprises.

Un modèle géant conçu pour réduire les coûts de calcul

Pour entraîner MAI-Base-2, Microsoft a mobilisé 16 000 GPU NVIDIA GB200 pendant 38 jours. Le modèle repose sur une architecture à experts mixtes (MoE), qui permet de n’activer qu’une partie des paramètres à chaque requête. Sur les 2 800 milliards de paramètres que compte le modèle, environ 80 milliards seraient ainsi mobilisés lors de l’inférence.

Selon les tests internes de Microsoft, MAI-Base-2 aurait besoin de 4,2 à 12,3 fois moins de calcul que DeepSeek-V4-Pro-Base pour atteindre des performances comparables. Ces résultats restent toutefois à confirmer par des évaluations indépendantes.

Microsoft affirme également avoir amélioré l’utilisation de ses GPU. Grâce à une meilleure gestion de la mémoire, le taux d’utilisation des capacités de calcul serait passé de 24 % à 35 % dans la partie concernée du modèle.

Un entraînement mieux maîtrisé

Pour améliorer son modèle, Microsoft a augmenté de 36 % le volume de données propriétaires utilisées par rapport à MAI-Base-1.

L’entreprise indique avoir privilégié des données collectées en interne plutôt que la distillation, une méthode qui consiste à entraîner un modèle à partir des réponses d’une autre intelligence artificielle.

Microsoft a également utilisé l’algorithme d’optimisation Muon et des techniques d’ajustement des gradients. L’objectif est de rendre l’entraînement plus stable et de limiter les ressources nécessaires.

MAI-Base-2 peut aussi traiter du texte et des images. Ce modèle multimodal est conçu pour analyser des documents, interpréter des graphiques, comprendre des relations spatiales et effectuer certaines tâches sur ordinateur.

Microsoft poursuit actuellement les travaux sur le modèle avant de publier des résultats d’évaluation supplémentaires.

Microsoft prépare déjà MAI-Base-3

Microsoft prévoit de mettre les pondérations de MAI-Base-2 à la disposition de ses clients professionnels via Microsoft Foundry, sa plateforme dédiée aux applications d’intelligence artificielle. La date de disponibilité n’a pas encore été précisée dans les informations présentées.

En parallèle, l’entreprise prépare déjà MAI-Base-3. Son objectif est de continuer à améliorer les performances de ses modèles tout en optimisant les infrastructures nécessaires à leur fonctionnement.

Avec cette stratégie, Microsoft cherche à mieux maîtriser ses technologies d’IA et les coûts liés à leur utilisation. Les prochaines évaluations permettront de vérifier si MAI-Base-2 tient ses promesses face aux modèles concurrents.

Source : Zdnet.co.kr
Connexion

Vous n’avez pas encore de compte ?

AUTOUR DE ZDNET
  • Gestion des cookies
SERVICES
À PROPOS
Accessibilité : non conforme