Il paradosso dell'open source e i nuovi rischi della catena di approvvigionamento dell'IA

La recente scoperta di vulnerabilità critiche in grandi repository di IA come Hugging Face mette in luce un problema fondamentale: proprio quelle piattaforme su cui le aziende fanno affidamento per lo sviluppo di applicazioni basate sull’intelligenza artificiale stanno diventando sempre più una porta d’accesso a rischi sistemici. Con il passaggio a sistemi basati su agenti, questo problema assume un carattere sempre più urgente.

Dallo Shadow IT allo Shadow AI

Per anni l’attenzione di molti CISO si è concentrata sullo “Shadow IT”, ovvero l’utilizzo di hardware e software non autorizzati. Al suo posto sta ora subentrando un fenomeno affine, ma più difficile da definire: la «Shadow AI». Si tratta dell’utilizzo non verificato di strumenti di IA pubblici e modelli open source da parte di team che, nella ricerca dell’efficienza, potrebbero involontariamente divulgare dati aziendali sensibili.

L'incidente verificatosi presso Hugging Face evidenzia la fragilità della catena di approvvigionamento dell'IA. Chi scarica un modello da un repository non importa solo del codice, ma anche una logica in gran parte poco trasparente, che può essere sfruttata in modo improprio tramite tecniche quali il prompt injection, il data poisoning o l'integrazione in attacchi automatizzati.

I sistemi basati su agenti come nuova fonte di rischio

L'evoluzione sta passando dai semplici chatbot agli agenti basati sull'intelligenza artificiale, ovvero sistemi autonomi in grado di eseguire transazioni e prendere decisioni in modo indipendente. Questo progresso promette un aumento dell'efficienza, ma allo stesso tempo crea una notevole lacuna in termini di governance.

Ricerche recenti dimostrano che meno della metà delle aziende dispone di una linea guida sulla governance dell’IA. Questa mancanza di controllo favorisce il rischio che una vulnerabilità presente in un singolo repository di modelli si ripercuota sull’intera azienda. A ciò si aggiunge una mancanza di fiducia nei confronti degli agenti già impiegati in produzione: a livello mondiale, solo il 34% dei responsabili delle decisioni tecniche a livello dirigenziale e superiore si fida delle azioni dei propri agenti di IA.

Un programma in cui l'uomo è l'organo di controllo centrale

Garantire la sicurezza di questi ambiti richiede ben più che semplici patch tecniche. Richiede un approccio radicalmente diverso al fattore umano. Le procedure di valutazione condotte da esperti dovrebbero prevedere un esame di tutti i modelli di IA e dei relativi fornitori prima della loro implementazione, affinché ogni integrazione venga approvata in modo consapevole. I meccanismi di controllo basati sul principio «Human in the Loop» richiedono un intervento umano nei punti decisionali critici, affinché gli agenti autonomi rimangano vincolati alle direttive organizzative. Inoltre, i corsi di formazione sulla sicurezza non dovrebbero limitarsi a fornire ai collaboratori le competenze necessarie per riconoscere le minacce, ma dovrebbero anche consentire loro di monitorare attivamente gli agenti di IA di cui sono responsabili – trasformandoli da utenti passivi a componenti attivi dell’architettura di sicurezza.

Accogliere, informare, orientare

L'obiettivo non è frenare l'innovazione, ma gestirla in modo responsabile. La transizione deve portare da una situazione di utilizzo dell'IA in gran parte incontrollato a un approccio pratico basato sulla valutazione dei rischi e su un'implementazione sicura. Un quadro di riferimento di base può essere sintetizzato in tre fasi:

Il primo passo consiste nel promuovere l’innovazione anziché frenarla. Ciò comporta l’inventario e la valutazione degli agenti di IA attivi nel proprio ecosistema. Nella seconda fase, l’attenzione si sposta dal semplice rilevamento del phishing alla gestione dei rischi legati agli agenti digitali con cui i collaboratori interagiscono quotidianamente. I corsi di formazione sulla consapevolezza della sicurezza dovrebbero orientarsi alle minacce reali a cui sono esposti gli utenti. Nella terza fase, l’attenzione si concentra su un’attenta verifica: prima di integrare soluzioni di IA preconfezionate nei flussi di lavoro, sono necessarie procedure rigorose per la valutazione dei fornitori e dei modelli. È fondamentale garantire la trasparenza necessaria per poter comprendere il comportamento degli agenti di IA e assicurare in ogni momento i principi guida del «Human in the Loop».

Gli strumenti per la gestione dei rischi legati agli agenti si evolvono costantemente. La domanda fondamentale non è più se un’azienda utilizzi tali tecnologie, ma come riesca a gestire i rischi ad esse associati. Chi integra la sicurezza della posta elettronica, la formazione sulla consapevolezza della sicurezza e le strategie di difesa contro gli agenti basati sull’intelligenza artificiale garantisce che il personale rimanga una risorsa attiva e non diventi un punto debole.

Fonte: www.knowbe4.com

Questo articolo è apparso originariamente su m-q.ch - https://www.m-q.ch/de/das-open-source-paradoxon-und-die-neuen-risiken-der-ki-lieferkette/