Les derniers rapports sur l'IA générative montrent deux choses. Après une approche de déploiement d'outils de productivité, auprès des collaborateurs, et construits sur les LLMs, l'IA agentique retient maintenant toute l'attention. Les bénéfices tirés par cette productivité individuelle ne sont pas assez importants. Ils sont aussi très sélectifs dans les métiers concernés. Or les entreprises cherchent désormais du ROI pour justifier la poursuite des initiatives IA. Ce sont donc les agents IA, et plus particulièrement la reconfiguration des processus, entre agents et humains, qui est porteur de cet objectif de ROI.
Mais déployer des agents reste risqué. Sutout si leur environnement de production n'est pas intégré aux données de l'entreprise, ou quand la gouvernance n'est pas bien ficellée, pour lancer et superviser ces projets. Un seul projet agentique sur dix irait actuellement en production. Certains disent même qu'une véritable IA agentique n'est pas encore pour demain.
Et si on déployait quand même ?
GreenSI va s'intéresser dans ce billet à quatre projets célèbres qui ont montré les limites de l'IA, puis des agents à grande échelle et fait basculer la responsabilité juridique. Il s'agit des cas d'AirCanada, d'Amazon, de Uber et plus près de chez nous de la CNIL. En toile de fond on à en effet une dimension réglementaire (RGPD Art.22, PLD, AI Act ), qui a devancé les cas usages et qui cherche ses proies !
Les nouveaux métiers de supervision vont devoir se développer en entreprise et c'est peut-être ça qu'il manque.
Pourquoi c'est nouveau par rapport aux deux dernières années et aux LLM ?
Un LLM qui rédige un email, c'est un outil. Un agent qui résilie un contrat, qui refuse un crédit, qui écarte un candidat, qui fixe un dosage médical, c'est un décideur. Et les décideurs, dans nos sociétés, ont des comptes à rendre et engagent la responsabilité de l'entreprise, via une chaîne de hiérarchie.
Mais quand c'est un agent qui intervient de façon autonome, qui est responsable ?
Trois cas IA qui ont changé la donne
Amazon d'abord. L'affaire est devenue la référence mondiale sur les biais algorithmiques. Elle s'est produite en interne, sans jamais aller jusqu'au procès de candidats rejetés.
L'outil de tri de CV entraîné sur dix ans de recrutements tech, majoritairement masculins, avait appris à pénaliser les profils féminins avec une efficacité remarquable. Le problème n'était pas dans le code. Il était dans les données. Amazon s'est aperçu de l'erreur et a retiré l'outil. L'IA est un miroir de ce qu'elle ingurgite. Elle ne a créé rien de neuf et n'a pas de lueur de génie pour dire qu'un échantillon est biaisé. Elle reflète les décisions passées, y compris leurs biais structurels.
La responsabilité du choix des données d'entraînement appartient à l'entreprise, pas au fournisseur du modèle.
Uber ensuite pour la conduite autonome de ses taxis. Et oui les agents IA sont aussi dans les robots. C'est le premier cas de responsabilité pénale liée à un agent autonome, et probablement le plus pédagogique pour comprendre ,la notion de « fine-tuning à haut risque juridique » et de supervision. Il s'est passé à Tempe (Arizona) en 2018.
Le véhicule avait correctement identifié la piétonne, mais l'avait classée comme objet non prioritaire, en raison d'un paramètre de sensibilité mal calibré pour réduire les faux positifs. Une décision de configuration prise pendant la phase d'ingénierie de la solution. Uber ne pouvait pas le nier.
Mais cette solution intégrait aussi une opératrice de sécurité, dans le véhicule, comme c'était obligatoire. Elle a été poursuivie pénalement (elle regardait son smartphone!). Son rôle est celui des superviseurs qui vont apparaître dans nos entreprises. Surveiller les écrans de monitoring qui affichent en temps réel ce que le système "voit" et notamment la classification des objets, les trajectoires prévues, les décisions imminentes du logiciel.
Elle doit intervenir manuellement en touchant le volant ou les pédales dès que le comportement de l'IA semblait inadapté ou dangereux. C'est un peu comme quand un élève de conduite dans une auto-école a un accident. C'est le moniteur assis à côté qui devait intervenir et qui est responsable.
Uber a été reconnu responsable et a conclu un accord à l'amiable. Le réglage des seuils d'un algorithme est une décision engageant la responsabilité de celui qui déploie, au même titre qu'un choix d'architecture ou un arbitrage contractuel.
En France, la CNIL est déjà sur le pied de guerre. Entre 2024 et 2025, une grande plateforme de livraison, dont on taira le nom, a été sanctionnée. Elle avait confié à un algorithme la décision de rupture de contrat avec des livreurs, sur la base de données de géolocalisation, sans intervention humaine réelle. L'article 22 du RGPD interdit les décisions entièrement automatisées ayant un impact significatif sur les personnes. La CNIL l'a rappelé avec une amende record. Le terme technique est en bon français "Human In The Loop", gardez un superviseur humain. Dans le cas présent, si votre agent IA peut rompre une relation contractuelle, il doit y avoir un humain quelque part dans la boucle, capable de justifier la décision, et le cas échéant de l'annuler.
Air Canada et le tournant jurisprudentiel
Le cas Air Canada mérite une mention particulière, non pour son montant, mais pour l'argument qu'il a définitivement enterré.
La compagnie avait tenté de plaider que son chatbot était une « entité distincte », responsable de ses propres hallucinations. En l'occurrence, le-dit Chatbot, qui était en production et accessible aux clients, avait inventé de toutes pièces une politique de remboursement et l'avait communiquée à un passager en deuil. Ce qui est remarquable c'est que dans ce cas l'IA est arrivée là par empathie avec ce client ! Mais la politique était un peu trop généreuse pour la rentabilité du vol...
Le tribunal a été lapidaire : une entreprise est responsable de toutes les informations diffusées sur ses canaux, qu'elles proviennent d'un humain ou d'un agent automatisé.
« Ce n'est pas mon IA qui a dit ça » ne constitue donc pas une défense recevable. D'ailleurs si ce n'était pas la mienne, c'était celle de qui ? De mon éditeur de LLMs ?
On voit que le sujet risque de ne pas être simple et qu'en quittant ce billet vous allez avoir envie de relire les contrats des SaaS qui ont ajouté des IAs sans vous en parler 😉
Ce précédent est donc structurant. Il signifie que chaque agent déployé en front-office engage la crédibilité et la responsabilité juridique de l'entreprise, sans exception. Et avec l'entrée en vigueur progressive de la directive européenne sur la responsabilité du fait des produits défectueux (PLD), le régime va encore se durcir. Les logiciels d'IA sont désormais classifiés comme des produits. Une victime n'aura plus à décortiquer l'algorithme pour obtenir réparation. Il lui suffira de démontrer le dommage et le défaut du système.
Le vrai paradoxe des contrats de licence
GreenSI est donc allé lire plusieurs contrats d'agents d'IA enterprise. Ou plustôt les a chargés dans son NotebookLM préféré pour les interroger 😉
D'un côté, les pitchs commerciaux : « notre agent gère vos processus de bout en bout, prend les décisions en temps réel, optimise sans intervention humaine ».
De l'autre, les conditions générales : « le fournisseur décline toute responsabilité quant aux décisions prises par le système ».
Gartner estimait début 2026 que les entreprises devraient provisionner collectivement plus de 10 milliards de dollars d'ici mi-2026 pour couvrir amendes, remédiation et contentieux liés à des décisions automatisées illégales. Le focus ici, c'est que ces décisions pourraient même être prises à votre insu par la nouvelle version d'un logiciel SaaS. C'est donc une question de transfert de risque.
Les vendeurs vendent de l'autonomie et vendent aussi la responsabilité qui va avec, bien consignées dans les contrats de licenses, sans toujours vous en parler.
La supervision humaine, un métier à part entière
On l'a vu apparaître avec le REX de 10 ans d'apprentissages des voitures autonomes, et notamment d'Uber. De nouveaux métiers doivent apparaître en entreprise, les superviseurs.
Le sujet bascule de la jurisprudence à la transformation organisationnelle. La réponse à la question de la responsabilité, n'est pas uniquement réglementaire, elle est maintenant structurelle et donc aussi gouvernance en interne. Comment s'assurer le repositionnement du rôle humain dans les boucles de décision ?
Aux Etats-Unis, on commence à voir émerger des fonctions qui n'existaient pas il y a trois ans : AI Auditor, Decision Reviewer, Algorithm Compliance Officer. Dans les secteurs régulés, santé, finance, services publics, ces rôles vont devenir incontournables. Comme on a ajouté les DPO pour les données personnelles et le RSSI après les premières grandes vagues de cyberattaques. Ils ne consistent pas à faire tourner les modèles, mais à en contrôler les sorties, à documenter les décisions, à constituer le dossier de défendabilité juridique de chaque déploiement.
Pour les DSI, cela implique également de revoir l'architecture de gouvernance des projets IA.
La question n'est plus seulement « est-ce que ça marche ? » mais « est-ce que je peux l'expliquer à un juge ? ».
La phase de déploiement devient donc un projet à part entière, et la "boîte noire" évoquée par GreenSI, par analogie avec les avions, n'est peut-être pas qu'un effet de style. A la DSI on est aujourd'hui engagé dans l'explicabilité de fonctionnement des plateformes Cloud et surtout de l'UX. C'est une vision uniquement technique. Ce que voit GreenSI apparaître c'est l'explicabilité IA, qui est une nouvelle traçabilité des décisions. Ce que l'on appelait la "piste d'audit" dans les ERPs pour expliquer la conformité des opérations, vis-à-vis de la fraude. D'ailleurs imaginez en plus qu'un agent IA décide de frauder !
Après tout, c'est un comportement humain et il faudra lui expliquer dans son "onboarding" qu'il n'est pas acceptable entreprise.
En synthèse de ces 4 cas réels, on retiendra que la responsabilité de l'IA est une responsabilité d'entreprise, sans détour ni sous-traitance possible.
L'éditeur fournit le moteur ; l'entreprise en est le conducteur et le conducteur répond de ses actes. Mais il peut y avoir des vices cachés dans le moteur et l'éditeur n'est pas vierge de toute responsabilité non plus.
Une fois cela dit, GreenSI est conscient que ça ne va pas rassurer les CODIR et débloquer les 9 projets agentiques sur 10 toujours en POC. On peut quand même structurer l'approche, sans se faire peur, avec trois réflexes à intégrer dans chaque déploiement d'agent autonome :
- Auditer avant de déployer : les données d'entraînement, les seuils de sensibilité, les cas limites. Ce travail n'est pas optionnel, il constitue la première ligne de défense juridique.
- Tracer toutes les décisions à impact : ruptures de contrat, refus, alertes, recommandations médicales. La reconstruction a posteriori d'une décision IA sans logs est illusoire.. C'est la boîte noire.
- Nommer un humain dans la boucle : un réel point de contrôle. La supervision symbolique ne trompe plus personne, ni les juges ni les régulateurs.
L'IA agentique crée de la valeur. Elle crée aussi des obligations.
Les entreprises qui l'intègrent dans leurs processus sans construire simultanément leur dispositif de gouvernance découvriront, peut-être trop tard, que la vitesse d'exécution de l'algorithme est inversement proportionnelle à la vitesse à laquelle on peut en corriger les conséquences. Et pour une fois la France est en avance et la CNIL, elle, n'est pas en train de se tourner les pouces 🙂