Olala : OVHcloud lève le voile sur son premier modèle de langage

OVHcloud annonce le lancement de sa première famille de modèles, baptisée Olala. Un premier aperçu sera disponible en open source à la fin du mois de novembre. 

Par

  • 3 min

OVH%20A

OVHcloud ne veut pas rater le tournant de l'IA et fait ses premiers pas dans le développement de modèles avec une nouvelle famille baptisée "Olala".

La société annonce aujourd'hui officiellement son premier modèle de langage, baptisé Olala mini 7A1B.

Celui ci sera disponible d'ici la fin du mois de novembre sur Hugging Face, sous licence Apache 2.0., dans une version en poids ouverts.

Un accent mis sur l'efficacité

Ce premier modèle s'appuie sur 7 milliards de paramètres, dont un milliard activés et dispose d'amélioration visant à le rendre plus efficace. OVHcloud explique ainsi que "seule une fraction du modèle est sollicitée à chaque requête, ce qui le rend plus rapide et moins gourmand en mémoire."

Des améliorations qui lui permettent de fonctionner sur des configurations réduites. La société précise que le modèle peut fonctionner sur un GPU doté de 8go de mémoire et que sa fenêtre de contexte atteint 32 000 tokens.

Olala mini 7A1B a été entraîné sur "trois supercalculateurs publics européens, Jupiter, MeluXina et Jean Zay équipés de GPU GH200, A100 et H100 " avec le soutien des pouvoirs publics. Au total, OVHcloud estime que cela représente "l’équivalent de 7 M€ en heures de calcul."

Un mini modèle pour débuter

OVHcloud explique que son modèle a déjà été adopté par les équipes de Qwant pour leur fonctionnalité réponse flash. Il s'agit d'une fonctionnalité comparable à Google AI overview, qui permet au moteur de recherche de générer une réponse aux questions formulées par l'utilisateur en s'appuyant sur les résultats de recherche indexés. Le recours à Olala mini 7A1B a permis à Qwant d'obtenir des réponses plus rapides et des coûts de fonctionnement divisés par 3 selon OVHcloud.

C'est un modèle de taille réduite qui ne se compare pas vraiment aux grands modèles présentés par exemple par Mistral AI. Son dernier modèle Mistral Large 4 a été entraîné sur 1000 milliards de paramètres et une fenêtre de contexte à un million de tokens. Et au vu de la taille du modèle, il est plus évident de le comparer aux gammes Ministral proposées par Mistral AI.

Mais ce n'est pour l'instant que le premier modèle présenté par OVHcloud, qui entend développer à l'avenir de nouvelles déclinaisons de sa famille de modèle. La société promet d'ailleurs d'ici la fin de l'année une version 1.1 qui "portera la fenêtre de contexte à 128 000 tokens et améliorera ses performances en raisonnement mathématique." Et elle promet à terme une version 2.0 qui "dépassera les 100 milliards de paramètres."

L'ambition d'OVHcloud sur les technologies d'IA

Octave Klaba avait déjà fait part de ses ambitions en matière de technologies d'intelligence artificielle au mois d'octobre. Il avait évoqué à cette occasion ses ambitions en matière de modèle de langages, assumant au passage la comparaison avec Mistral AI tout en soulignant les différences d'approches entre sa société et celle d'Arthur Mensch.

Le dirigeant d'OVHcloud explique vouloir se positionner dans ce secteur afin d'assurer l'indépendance et la pérennité des métiers de son entreprise dans les années à venir.

Mais aussi éviter de se retrouver à la merci d'un fournisseur et concurrent. "Si nous ne maîtrisons pas notre LLM pour développer et faire nos métiers, quelqu’un pourra un jour nous dire : « Vous êtes mon concurrent, je vous coupe l’accès à mon modèle » " résume Octave Klaba. Le dirigeant promet néanmoins de concentrer les efforts de ses équipes sur les sujets essentiels pour l'entreprise, à savoir "la sécurité, le code et l’agentique."

Connexion

Vous n’avez pas encore de compte ?

AUTOUR DE ZDNET
  • Gestion des cookies
SERVICES
À PROPOS
Accessibilité : non conforme