Les points clés à retenir sur les performances de Aisle en matière de détection des failles
- Aisle détecte des bogues que les programmes de codage basés sur l’IA ne parviennent pas à repérer.
- Les meilleurs responsables de projets Linux sont impressionnés.
- Vous devriez envisager d’utiliser Aisle pour vous aider à détecter les bogues.
Vous n’avez peut-être jamais entendu parler d’Aisle, une start-up spécialisée dans la gestion des vulnérabilités basée sur l’IA. Mais certains des meilleurs responsables de projets open source la connaissent bien et l’apprécient énormément.
Pourquoi ? Parce qu’Aisle détecte de véritables bogues que d’autres programmes de codage basés sur l’IA bien plus connus, tels que Mythos d’Anthropic et Codex d’OpenAI, ne parviennent pas à repérer.
Par exemple, Aisle a récemment déclaré que son système d’analyse de sécurité avait mis au jour six vulnérabilités jusque-là inconnues dans Curl, que les responsables du projet open source ont validées et auxquelles ils ont attribué des numéros CVE (Common Vulnerabilities and Exposures).
« L’ère du chaos de haute qualité »
Ces découvertes sont survenues peu après que le fondateur de Curl, Daniel Stenberg, ait écrit sur Mastodon que Mythos, OpenAI Codex Security et ZeroPath n’avaient trouvé aucune vulnérabilité supplémentaire dans ce projet open source de transfert de fichiers en réseau largement déployé. Aisle, quant à elle, en a trouvé 29.
Aisle doit ce succès non pas à l’utilisation de modèles de pointe coûteux. Selon l’entreprise, « même de petits modèles peuvent reconnaître une vulnérabilité lorsqu’on leur fournit le bon extrait de code avec le contexte approprié. » Nous avons « testé si des modèles peu coûteux dotés d’un débit suffisant pouvaient détecter de véritables bogues sans cette intervention manuelle. La réponse est oui : des modèles suffisamment intelligents, déployés systématiquement sur l’ensemble d’une base de code, peuvent détecter de véritables bogues sans extraits de code sélectionnés manuellement. »
Stenberg a accueilli favorablement les découvertes d’Aisle. Contrairement au passé, où les programmes d’IA découvraient de fausses vulnérabilités et produisaient des montagnes de rapports d’IA de mauvaise qualité, ils identifient désormais de véritables failles de sécurité. Comme l’a formulé Stenberg, nous sommes désormais entrés dans « l’ère du chaos de haute qualité ».
Pourtant, comme Stenberg l’a commenté sur Mastodon : « Je suis reconnaissant que tous les moteurs d’IA les plus puissants analysent #curl pour trouver des failles. Les trouver signifie que nous pouvons les corriger. Parfois, il suffit simplement de remonter à la surface pour prendre quelques grandes bouffées d’air avant de replonger. »
Les responsables de maintenance de Linux sont impressionnés
Mais Curl n’est pas le seul à tirer profit d’Aisle. Comme l’a souligné Greg Kroah-Hartman, responsable du noyau stable de Linux : « Je constate la même chose pour Linux. Je ne sais pas ce qu’Aisle fait différemment, mais waouh… »
Jim Fuller, ingénieur logiciel principal senior chez Red Hat spécialisé dans la sécurité, émet l’hypothèse qu’Aisle sait ce qu’il fait, connaît les limites des outils, et je soupçonne qu’ils ont travaillé plus dur que de simplement lancer un scanner.
Dans une interview, Stenberg a ajouté : « Je pense qu’au moins une partie de ce succès (pour nous deux) tient à notre communication et à notre coopération. Nous nous sommes rencontrés, nous avons discuté, et ils consacrent le temps d’ingénierie nécessaire pour s’assurer que nous obtenions des résultats triés de la plus haute qualité, ce qui nous motive à prendre chaque rapport d’Aisle au sérieux. »
Il ne faut toutefois pas surestimer ces résultats
Les responsables de Curl ont accepté six vulnérabilités signalées par Aisle pour la dernière version du projet. Ces six problèmes ont tous été corrigés dans Curl 8.22.0, publié le 2 septembre. La base de données des avis de sécurité de Curl répertorie ces six CVE comme présentant une gravité faible, tandis que les notes de version du projet les mentionnent parmi les 10 failles de sécurité corrigées dans cette version.
Il ne faut toutefois pas surestimer ces résultats. Six CVE de gravité faible acceptées, issues d’un seul projet et d’une seule séquence de tests, ne permettent pas d’établir un classement général des performances entre Aisle, Mythos et Codex Security.
Cela dit, les résultats de Curl constituent des preuves plus solides qu’un score de benchmark ou un exercice de « capture the flag », car ils impliquent du code de production actuel et une validation externe par les responsables du projet.
Le système face au modèle
Aisle utilise les résultats de Curl pour étayer ce qu’elle appelle l’argument « le système prime sur le modèle » : les résultats d’un produit de sécurité basé sur l’IA dépendent moins de la capacité brute de son modèle de base sous-jacent que du système qui l’entoure — l’orchestration de ses agents, le contexte de la base de code, ses hypothèses de vulnérabilité, ses boucles de validation et ses workflows permettant de reproduire et de corriger les problèmes potentiels.
Je souscris à cette théorie. Un modèle polyvalent peut être très performant pour analyser du code, mais produire des résultats inégaux lorsqu’on lui demande d’inspecter un projet vaste et abouti au cours d’une analyse ponctuelle. Un système spécialisé peut se démarquer en parcourant itérativement les chemins d’exécution, en suivant les comportements spécifiques à la configuration, en établissant des corrélations entre les bibliothèques et les schémas historiques de vulnérabilités, en classant les pistes et en les testant avant de présenter un rapport.
La plateforme d’Aisle prétend combiner la détection et le triage des vulnérabilités avec la génération et la vérification de correctifs. L’argumentaire général de la start-up ne se limite pas à affirmer que l’IA peut identifier un bug, mais qu’elle est capable de proposer une correction vérifiable par les développeurs ainsi qu’une validation à l’appui, dans le but de réduire la charge de travail des équipes de sécurité et des responsables de maintenance nécessaire pour transformer les alertes en correctifs intégrés.
L’approbation des responsables de maintenance est essentielle
La leçon la plus importante à tirer de l’épisode Curl est peut-être d’ordre méthodologique. Les comparaisons d’outils de sécurité s’appuient souvent sur des benchmarks présentant des failles connues, des tâches synthétiques ou les résultats vérifiés en interne par le fournisseur. De tels tests sont utiles, mais ils ne permettent guère de déterminer si un système d’IA est capable de détecter un défaut subtil et jusque-là inconnu dans un code ayant déjà fait l’objet de plusieurs années de révision en conditions réelles.
Ici, ce sont les responsables de Curl, et non Aisle, Anthropic ou OpenAI, qui ont contrôlé l’issue décisive. Ils ont examiné les rapports, déterminé s’ils correspondaient à des failles de sécurité, émis des CVE, créé des correctifs et intégré ces corrections dans une version publique.
La comparaison ne se limite pas non plus à un simple décompte brut des rapports. Aisle a initialement signalé 29 problèmes potentiels, mais seuls six ont franchi la barre de l’examen de sécurité de Curl pour être classés comme CVE. Ce résultat ne rend pas pour autant les 23 problèmes restants inutiles. Certains peuvent être de simples bogues, des faux positifs, des doublons ou des rapports encore en cours d’examen.
La question suivante est de savoir si ce résultat s’avérera reproductible
Toutefois, ce résultat souligne pourquoi les « découvertes » et les « vulnérabilités confirmées » ne doivent pas être considérées comme interchangeables.
Ainsi, les performances d’Aisle sur Curl offrent un premier résultat significatif pour les systèmes de sécurité spécialisés et basés sur des agents : sur l’une des bases de code C les plus sécurisées de l’open source. La question suivante est de savoir si ce résultat s’avérera reproductible sur d’autres projets, langages et environnements opérationnels.
Quoi qu’il en soit, lorsque Stenberg, Kroah-Hartman et Fuller, qui connaissent tous sur le bout des doigts la détection et la correction des failles de sécurité, sont impressionnés, je le suis aussi. Si vous souhaitez sérieusement détecter et corriger les vulnérabilités, Aisle mérite toute votre attention.
Source : "ZDNet.com"