Panne de l'IA ou mauvaise gestion ?

Des études et des décisions de justice inventées de toutes pièces, des pertes se chiffrant en millions dues à de fausses prévisions, des virements erronés initiés par des directeurs financiers « deepfake » et des bases de données effacées par des agents IA : à première vue, les défaillances les plus spectaculaires de l’IA de ces derniers mois ressemblent toutes à des défaillances technologiques. Mais en y regardant de plus près, un autre schéma se dessine. Ce n’est pas l’intelligence artificielle qui échappe à tout contrôle ; non, ce sont les personnes ou les entreprises qui perdent le contrôle de son utilisation.

C'est pourquoi la gestion de l'IA doit devenir une nouvelle discipline de management, écrit le Dr Jens-Uwe Meyer dans son nouvel ouvrage « La gestion de l'IA dans la pratique ». Pour cet ouvrage, le PDG de la société DICIS AG, basée à Leipzig, a analysé des défaillances réelles liées à l'IA survenues dans des entreprises. Il s'est moins intéressé à chaque défaillance en particulier qu'à la tendance qui se cachait derrière. Et son analyse a révélé que les cas les plus spectaculaires peuvent être attribués à quelques erreurs récurrentes. C’est pourquoi il en arrive à la conclusion suivante : « Il n’y a pas de défaillances de l’IA. Il n’y a qu’une mauvaise gestion de l’IA. »

Exemple 1 : les résultats générés par l'IA ne font pas l'objet d'un contrôle suffisant

Selon Meyer, l'IA générative présente une caractéristique fâcheuse : elle peut raconter des absurdités de manière convaincante. Ce problème est désormais de notoriété publique. Pourtant, des résultats erronés générés par l'IA continuent souvent d'être intégrés, sans être vérifiés, dans des rapports, des mémoires, la communication avec les clients et d'autres processus critiques pour l'entreprise.

Ainsi, comme l'écrit Meyer, le célèbre cabinet d'audit KPMG a dû retirer un rapport sur l'utilisation de l'IA dans les entreprises après que plusieurs organisations qui y étaient citées eurent vivement contesté les affirmations qu'il contenait. Et le cabinet de conseil Deloitte a dû remanier un rapport rédigé pour le ministère australien du Travail, qui contenait notamment des sources inexistantes et des citations judiciaires inventées de toutes pièces. Ce ne sont là que deux exemples parmi tant d’autres. Selon Meyer, le point commun à tous ces cas est le suivant : ce ne sont pas les « hallucinations » de l’IA qui constituent le véritable problème. Ce qui est déterminant, c’est que le résultat ait ensuite été soumis à un processus de vérification et de validation par des humains – sans que ces « hallucinations » aient été détectées.

Dans son livre, Meyer illustre ce problème à l'aide d'une simple expérience de pensée : « Imaginez un copilote qui, dans neuf cas sur dix, atterrit parfaitement sur la piste, mais qui, lors de la dixième approche, rate sa cible à tel point qu'il manque de provoquer un accident. »

Aucune compagnie aérienne ne laisserait un tel copilote piloter seul et sans surveillance, simplement parce qu'il a généralement raison. Or, c'est souvent exactement ce qui se passe avec l'IA – « même si l'IA est certes une excellente assistante, elle ne saurait se substituer à la réflexion critique, à la vérification technique et à la responsabilité humaine ».

Exemple 2 : l'IA dispose d'une trop grande liberté

Les agents IA font apparaître une deuxième catégorie de risques. L’IA moderne ne se contente plus de générer des textes ou des images. Elle est de plus en plus capable d’agir de manière autonome : traiter des bases de données, utiliser des programmes, modifier des fichiers, envoyer des e-mails ou exécuter des étapes entières de processus. La question de gestion se pose donc différemment. Il ne suffit plus de se demander : « Quelles réponses notre IA est-elle autorisée à donner ? » Les entreprises doivent désormais se demander : « Que peut-elle réellement faire ? »

Selon Meyer, le cas de l’éditeur de logiciels PocketOS en 2026 montre à quelle vitesse des problèmes peuvent survenir. Un assistant IA devait y aider à réaliser une tâche dans un environnement de test. Lorsqu’un problème est survenu, l’IA a cherché une solution de son propre chef. Ce faisant, elle a utilisé des identifiants d’accès qui lui permettaient d’intervenir de manière plus approfondie et a accidentellement effacé la base de données utilisée en production, y compris les copies de sauvegarde qui y étaient stockées. Dans son livre, Meyer résume le problème en posant la question cruciale suivante : « Que l'IA est-elle réellement autorisée à faire d'un point de vue technique – et pas seulement ce que nous lui avons dit qu'elle avait le droit de faire ? »

Selon M. Meyer, une gestion professionnelle de l’IA consiste ainsi à « appliquer à l’intelligence artificielle les principes qui vont de soi pour les entreprises lorsqu’il s’agit de leurs employés humains ». Tous les collaborateurs ne disposent pas de droits d’administrateur. Tout le monde n’est pas autorisé à valider des paiements quel que soit leur montant. Et tout le monde n’est pas autorisé à supprimer des données sensibles de l’entreprise. Plus l’IA gagne en autonomie, plus ce principe prend de l’importance, y compris dans le cadre de son utilisation.

Exemple n° 3 : les entreprises sous-estiment les nouveaux risques

Le troisième cas va au-delà des erreurs classiques liées à l'IA. L'intelligence artificielle ouvre de nouvelles possibilités – et donc de nouvelles formes d'abus. Un cas particulièrement spectaculaire, décrit par Meyer, concernait le groupe d'ingénierie britannique Arup. Un employé y participait à une visioconférence et croyait s’entretenir avec le directeur financier et des collègues. En réalité, ces personnes étaient des « deepfakes ». L’employé a alors effectué, à leur demande, un total de 15 virements d’environ 20 millions de livres sterling au profit des escrocs. Cette affaire montre à quelle vitesse les mécanismes de sécurité qui avaient fait leurs preuves jusqu’à présent peuvent perdre de leur efficacité face à l’IA. Auparavant, un appel téléphonique personnel ou une visioconférence pouvaient servir de vérification d’identité supplémentaire. Aujourd’hui, la voix et l’apparence d’un dirigeant peuvent être générées artificiellement.

À cela s’ajoutent des méthodes d’attaque totalement nouvelles, souligne M. Meyer, qui a exercé les fonctions de policier de 1982 à 1990, notamment au commissariat Davidwache de Hambourg et au sein de la brigade des stupéfiants. Dans le cadre de ce que l'on appelle l'« AI Search Poisoning », les criminels tentent par exemple de placer sur Internet de faux numéros de téléphone, des liens ou d'autres informations de manière à ce que les systèmes d'IA les reprennent et les présentent aux utilisateurs comme des réponses prétendument fiables.

Au sein même d’une entreprise, l’IA peut également faire l’objet d’abus. Les employés peuvent créer des deepfakes, saisir des informations confidentielles dans des systèmes inadaptés ou utiliser l’IA à des fins qui portent atteinte aux droits de la personnalité, aux droits d’auteur ou aux directives internes. C’est pourquoi une « certification IA » ponctuelle ne suffit plus aujourd’hui pour les employés, car « la technologie et les risques évoluent trop rapidement pour cela ». Pour M. Meyer, la gestion de l’IA est donc une nouvelle discipline de direction qui « ne consiste pas à courir sans cesse après le dernier modèle d’IA ». Il s’agit bien davantage de créer une organisation capable de faire face à cette évolution.

Des mesures individuelles deviennent un système de gestion

Selon M. Meyer, la solution à ces problèmes ne consiste pas à interdire l'IA ni à faire valider chaque phrase générée par l'IA à plusieurs niveaux hiérarchiques. La gestion professionnelle de l'IA adopte une approche différente.

Tout d’abord, une entreprise doit savoir où l’IA est réellement utilisée en son sein. Elle doit ensuite évaluer les risques liés à chacune de ces applications. Il faut établir des règles d’utilisation, définir clairement les responsabilités et veiller à ce que les collaborateurs sachent ce qu’ils sont autorisés à faire et ce qu’ils doivent contrôler. Enfin, il faut vérifier régulièrement si ces règles fonctionnent réellement dans la pratique. « Un système de gestion est, au fond, quelque chose de très simple : un mélange de directives et de contrôles », écrit Meyer dans son livre.

Selon lui, la gestion de l'IA ne vise absolument pas à créer un nouveau monstre bureaucratique. Un système d’IA qui résume des textes internes nécessite un niveau de contrôle différent de celui d’une IA capable de communiquer de manière autonome avec les clients, d’évaluer des candidats, d’étayer des recommandations médicales ou d’initier des paiements. Le principe repose sur l’évaluation des risques : plus les répercussions potentielles sont importantes, plus les règles et les contrôles doivent être stricts.

C'est précisément là que réside, selon Meyer, la différence entre des règles d'IA isolées et un système de gestion de l'IA. Une directive à elle seule ne suffit pas à empêcher une défaillance. Ce n'est que lorsque les responsabilités, les risques, les contrôles, les formations et les processus d'amélioration s'imbriquent les uns dans les autres qu'un système voit le jour. « Ce n’est pas l’IA qui détermine le succès d’une entreprise, mais la manière dont elle est dirigée », tel est l’un des messages clés de son livre.

Il existe déjà une norme internationale relative à la gestion de l'IA

Les entreprises n'ont pas besoin de réinventer ce système, souligne M. Meyer. Selon le PDG de DICIS AG, qui délivre elle-même des certifications en matière d'IA, la norme ISO/IEC 42001 constitue déjà une norme internationale pour les systèmes de management de l'IA. Sa logique s'apparente à celle des systèmes de management établis pour la qualité ou la sécurité de l'information. La norme ISO 42001 exige notamment de définir le champ d’application du système de management de l’IA, de déterminer les responsabilités, d’évaluer les risques et les opportunités, de garantir les compétences, de contrôler l’utilisation de l’IA, ainsi que de réviser et d’améliorer régulièrement le système de management. À cela s’ajoutent des mesures concrètes concernant les directives en matière d’IA, les ressources, les analyses d’impact, les données, le cycle de vie des systèmes d’IA ainsi que la gestion des parties prenantes externes.

L'avantage d'une telle norme réside avant tout dans le fait que chaque entreprise n'a pas à élaborer sa propre définition de « l'utilisation responsable de l'IA ». « Les normes ISO présentent un avantage décisif : elles sont reconnues dans le monde entier », souligne M. Meyer. Un client n’a donc pas besoin de se faire expliquer en détail selon quelle méthode, développée en interne, un prestataire de services contrôle son IA, car il existe un cadre de référence commun.

La certification ISO 42001, un nouveau gage de confiance

Meyer, qui a déjà rédigé plusieurs ouvrages spécialisés sur les thèmes de l'IA et de la numérisation, ne considère pas son nouveau livre « La gestion de l'IA dans la pratique » comme un simple ouvrage consacré aux risques liés à l'intelligence artificielle. Il se veut plutôt un guide pratique destiné aux entreprises qui souhaitent obtenir la certification ISO 42001. Selon lui, cette certification est particulièrement intéressante « lorsque les entreprises ne se contentent pas de promettre à leurs clients d’utiliser l’IA de manière responsable, mais souhaitent également le prouver par le biais d’un audit indépendant ». C’est précisément chez les prestataires de services et les entreprises technologiques que cette preuve peut instaurer la confiance, car les clients n’ont pas à vérifier et à évaluer eux-mêmes si les règles, les responsabilités, les évaluations des risques et les contrôles sont bel et bien en place.

Ce certificat ne garantit toutefois pas qu’aucune défaillance de l’IA ne se produira plus jamais, prévient M. Meyer : « Ce serait irréaliste. » Il atteste plutôt qu’une entreprise a organisé de manière systématique son utilisation de l’IA, évalué les risques, défini les responsabilités, mis en œuvre des mesures appropriées et vérifié leur efficacité. En d’autres termes : une certification ISO 42001 ne garantit pas que l’IA d’une entreprise ne commette aucune erreur. Elle démontre plutôt que l’entreprise ne laisse pas au hasard la prévention des erreurs ni la gestion de la qualité, y compris dans le cadre de l’utilisation de l’IA.

Auteur :

Willy Laux (36 ans), originaire de Cologne, travaille en tant que journaliste indépendant principalement pour des magazines spécialisés et sectoriels. Il s'intéresse principalement aux thèmes de la mutation technologique, de l'adaptation au changement climatique et de l'économie circulaire. À travers ses reportages multimédias, il suit également la numérisation et la transformation dans les domaines de la gestion d'entreprise et de l'économie.

Suggestion de lecture

Dr Jens-Uwe Meyer : ISO 42001 – Systèmes de gestion de l'IA : mise en place et certification. Le guide pratique de l'intelligence artificielle en entreprise. Concrète. Simple. Sans formalités administratives. Éditions BusinessVillage, 2026, 256 pages, 1re édition, ISBN 978-3-86980-900-7.

https://www.businessvillage.de/buecher-und-e-books/organisation/iso-42001-ki-managementsysteme-einfuehrung-und-zertifizierung-das-praxisbuch-fuer-kuenstliche-intelligenz-im-unternehmen-praxisnah-einfach-unbuerokratisch.html

Cet article est paru initialement sur m-q.ch - https://www.m-q.ch/de/ki-panne-oder-falsches-management/