Le paradoxe de l'open source et les nouveaux risques liés à la chaîne d'approvisionnement de l'IA

La récente révélation de failles critiques dans de grands référentiels d'IA tels que Hugging Face met en évidence un problème fondamental : ce sont précisément ces plateformes, sur lesquelles les entreprises s'appuient pour développer des applications basées sur l'IA, qui deviennent de plus en plus une porte d'entrée pour des risques systémiques. Avec la transition vers des systèmes basés sur des agents, ce problème devient de plus en plus urgent.

Du « Shadow IT » au « Shadow AI »

Pendant des années, le « Shadow IT » – c'est-à-dire l'utilisation de matériel et de logiciels non autorisés – a été au centre des préoccupations de nombreux RSSI. Elle est désormais remplacée par un phénomène apparenté, mais plus difficile à cerner : l’« IA fantôme ». Il s’agit de l’utilisation non contrôlée d’outils d’IA publics et de modèles open source par des équipes qui, dans leur quête d’efficacité, peuvent involontairement divulguer des données d’entreprise sensibles.

L'incident survenu chez Hugging Face met en évidence la fragilité de la chaîne d'approvisionnement de l'IA. Quiconque récupère un modèle à partir d'un référentiel n'importe pas seulement du code, mais aussi une logique largement opaque, susceptible d'être détournée par des techniques telles que l'injection de prompts, l'empoisonnement des données ou l'intégration dans des attaques automatisées.

Les systèmes basés sur des agents : une nouvelle source de risque

La tendance s'éloigne des simples chatbots pour s'orienter vers des agents IA, c'est-à-dire des systèmes autonomes capables d'effectuer des transactions et de prendre des décisions de manière autonome. Cette évolution promet des gains d'efficacité, mais crée en même temps une lacune considérable en matière de gouvernance.

Des études récentes montrent que moins de la moitié des entreprises disposent d'une politique de gouvernance de l'IA. Ce manque de contrôle favorise la propagation d'une vulnérabilité présente dans un seul référentiel de modèles à l'ensemble de l'entreprise. À cela s’ajoute un manque de confiance vis-à-vis des agents déjà utilisés en production : à l’échelle mondiale, seuls 34 % des décideurs techniques occupant un poste de directeur ou supérieur font confiance aux actions de leurs agents d’IA.

Une feuille de route plaçant l'être humain au cœur du système de contrôle

La sécurisation de ces domaines nécessite bien plus que de simples correctifs techniques. Elle exige une approche fondamentalement différente du facteur humain. Des procédures d'évaluation menées par des experts devraient imposer un examen de l'ensemble des modèles d'IA et des fournisseurs avant leur mise en œuvre, afin que chaque intégration soit validée en toute connaissance de cause. Les mécanismes de contrôle basés sur le principe « Human in the Loop » exigent une intervention humaine aux moments critiques de la prise de décision, afin que les agents autonomes restent soumis aux directives organisationnelles. De plus, les formations à la sécurité devraient permettre aux collaborateurs non seulement d’identifier les menaces, mais aussi de surveiller activement les agents d’IA dont ils ont la charge – passant ainsi du statut d’utilisateur passif à celui d’élément actif de l’architecture de sécurité.

Accueillir, informer, orienter

L'objectif n'est pas de freiner l'innovation, mais de la façonner de manière responsable. La transition doit mener d'une situation d'utilisation largement incontrôlée de l'IA à une approche pratique combinant évaluation des risques et mise en œuvre sécurisée. Un cadre simple peut se résumer en trois étapes :

Dans un premier temps, il s'agit d'encourager l'innovation plutôt que de la freiner. Cela implique de recenser et d'évaluer les agents d'IA actifs au sein de son propre écosystème. Dans un deuxième temps, l’accent n’est plus mis uniquement sur la détection du phishing, mais sur la gestion des risques liés aux agents numériques avec lesquels les collaborateurs interagissent quotidiennement. Les formations de sensibilisation à la sécurité doivent s’appuyer sur les menaces réelles auxquelles les utilisateurs sont confrontés. Dans un troisième temps, l’accent est mis sur un examen minutieux : avant d’intégrer des solutions d’IA prêtes à l’emploi dans les processus de travail, il est nécessaire de mettre en place des procédures rigoureuses d’évaluation des fournisseurs et des modèles. La transparence est essentielle pour pouvoir comprendre le comportement des agents d’IA et garantir à tout moment le respect des principes « Human in the Loop ».

Les outils permettant de maîtriser les risques liés aux agents évoluent sans cesse. La question cruciale n’est plus de savoir si une entreprise utilise ces technologies, mais comment elle maîtrise les risques qui y sont associés. En combinant la sécurité des e-mails, la formation à la sensibilisation à la sécurité et les stratégies de défense contre les agents IA, on s'assure que le personnel reste un atout et ne devienne pas un point faible.

Source : www.knowbe4.com

Cet article est paru initialement sur m-q.ch - https://www.m-q.ch/de/das-open-source-paradoxon-und-die-neuen-risiken-der-ki-lieferkette/