Un errore dell'IA o una gestione sbagliata?

Studi inventati e sentenze giudiziarie, perdite milionarie dovute a previsioni errate, bonifici errati causati da CFO “deepfake” e database cancellati da agenti di IA: a prima vista, i più spettacolari incidenti legati all’IA degli ultimi mesi sembrano tutti casi di malfunzionamento tecnologico. Ma a uno sguardo più attento emerge un altro schema. Non è l’intelligenza artificiale a sfuggire al controllo; no, sono le persone o le aziende a perdere il controllo sul suo utilizzo.

Per questo motivo, la gestione dell’IA deve evolversi in una nuova disciplina manageriale, scrive il dott. Jens-Uwe Meyer nel suo nuovo libro «La gestione dell’IA nella pratica». Per questo volume, l’amministratore delegato della società DICIS AG di Lipsia ha analizzato casi reali di malfunzionamenti dell’IA verificatisi nelle aziende. Il suo interesse non era tanto rivolto al singolo malfunzionamento, quanto piuttosto allo schema che vi si celava dietro. E la sua analisi ha rivelato che i casi più eclatanti sono riconducibili a pochi errori ricorrenti. Per questo giunge alla conclusione: «Non esistono malfunzionamenti dell’IA. Esiste solo una gestione errata dell’IA».»

Esempio 1: i risultati dell'IA non vengono controllati in modo adeguato

Secondo Meyer, l’IA generativa presenta una caratteristica sgradevole: è in grado di raccontare assurdità in modo convincente. Questo problema è ormai ben noto. Ciononostante, i risultati errati generati dall’IA continuano spesso a finire, senza essere verificati, in relazioni, documenti scritti, comunicazioni con i clienti e altri processi critici per l’azienda.

Ad esempio, come scrive Meyer, la rinomata società di revisione KPMG ha dovuto ritirare un rapporto sull’uso dell’IA nelle aziende dopo che diverse organizzazioni citate nel documento avevano contestato con veemenza le affermazioni in esso contenute. E la società di consulenza Deloitte ha dovuto rivedere un rapporto redatto per il Ministero del Lavoro australiano, che conteneva, tra l’altro, fonti inesistenti e citazioni giudiziarie inventate. Sono solo due esempi tra tanti. Il denominatore comune di tutti questi casi, secondo Meyer, è il seguente: il vero problema non è che l’IA produca «allucinazioni». Ciò che conta è che il risultato abbia poi superato un processo di verifica e approvazione da parte umana, senza che le «allucinazioni» fossero state individuate.

Nel suo libro, Meyer descrive il problema con un semplice esperimento mentale: «Immaginate un copilota che in nove casi su dieci atterra perfettamente sulla pista, ma che al decimo tentativo sbaglia la traiettoria a tal punto da provocare quasi un incidente».»

Nessuna compagnia aerea lascerebbe mai un copilota del genere pilotare da solo e senza supervisione solo perché, nella maggior parte dei casi, ha ragione. Con l’IA, tuttavia, spesso accade proprio questo – «anche se l’IA è certamente un eccellente assistente, non può sostituire il pensiero critico, la verifica specialistica e la responsabilità umana».

Esempio 2: all’IA viene concessa troppa libertà

Con gli agenti di IA emerge una seconda categoria di rischio. L’IA moderna non si limita più a generare solo testi o immagini. È in grado di agire in modo sempre più autonomo: elaborare banche dati, gestire programmi, modificare file, inviare e-mail o eseguire intere fasi di processo. Di conseguenza, la questione gestionale si sposta. Non è più sufficiente chiedersi: quali risposte può dare la nostra IA? Le aziende devono chiedersi: cosa può effettivamente fare?

Secondo Meyer, il caso dell’azienda di software PocketOS nel 2026 dimostra quanto velocemente possano insorgere problemi. Un assistente basato sull’intelligenza artificiale avrebbe dovuto fornire assistenza in un’attività svolta in un ambiente di test. Quando si è verificato un problema, l’IA ha cercato autonomamente una soluzione. A tal fine ha utilizzato dati di accesso che le consentivano interventi di portata più ampia e ha cancellato inavvertitamente il database utilizzato in produzione, comprese le copie di backup ivi memorizzate. Nel suo libro, Meyer sintetizza il problema con una semplice formula, secondo cui la domanda cruciale è quindi: cosa può effettivamente fare l’IA dal punto di vista tecnico – e non solo cosa le abbiamo detto che può fare?

Secondo Meyer, una gestione professionale dell’IA consiste quindi nel «trasferire all’intelligenza artificiale i principi che per le aziende sono scontati quando si tratta di dipendenti umani». Non tutti i collaboratori dispongono di diritti di amministratore. Non tutti possono autorizzare pagamenti di qualsiasi importo. E non tutti possono cancellare dati aziendali sensibili. Più l’IA diventa autonoma, più questo principio assume importanza, anche nell’ambito del suo impiego.

Esempio 3: Le aziende sottovalutano i nuovi rischi

Il terzo modello va oltre i classici errori dell’IA. L’intelligenza artificiale crea nuove possibilità – e con esse nuove forme di abuso. Un caso particolarmente eclatante, descritto da Meyer, ha riguardato il gruppo britannico di ingegneria Arup. Un dipendente dell’azienda partecipò a una videoconferenza credendo di parlare con il direttore finanziario e alcuni colleghi. In realtà si trattava di deepfake. Il dipendente, agendo per loro conto, effettuò un totale di 15 bonifici per circa 20 milioni di sterline a favore dei truffatori. Il caso dimostra quanto rapidamente i meccanismi di sicurezza finora collaudati possano perdere efficacia a causa dell’IA. In passato, una telefonata personale o una videoconferenza potevano fungere da ulteriore verifica dell’identità. Oggi, la voce e l’aspetto di un dirigente possono essere generati artificialmente.

A ciò si aggiungono metodi di attacco completamente nuovi, sottolinea Meyer, che dal 1982 al 1990 ha prestato servizio come agente di polizia, tra l’altro presso la Davidwache di Amburgo e nella squadra antidroga. Nel cosiddetto «AI Search Poisoning», ad esempio, i criminali cercano di inserire su Internet numeri di telefono, link o altre informazioni false in modo tale che i sistemi di intelligenza artificiale le acquisiscano e le presentino agli utenti come risposte apparentemente affidabili.

Anche all’interno di un’azienda l’IA può essere utilizzata in modo improprio. I dipendenti possono creare deepfake, inserire informazioni riservate in sistemi non idonei o utilizzare l’IA per scopi che violano i diritti della personalità, i diritti d’autore o le direttive interne. Per questo motivo, oggi non è più sufficiente una «patente di guida per l’IA» una tantum per i dipendenti, poiché: «La tecnologia e i rischi si evolvono troppo rapidamente». Per Meyer, la gestione dell’IA è quindi una nuova disciplina manageriale, in cui «non si tratta di rincorrere costantemente l’ultimo modello di IA». Si tratta piuttosto di creare un’organizzazione in grado di gestire questo sviluppo.

Le singole misure si trasformano in un sistema di gestione

Secondo Meyer, la soluzione a questi problemi non consiste nel vietare l’IA o nel sottoporre ogni frase generata dall’IA a un processo di approvazione che preveda diversi livelli gerarchici. La gestione professionale dell’IA adotta un approccio diverso.

Innanzitutto, un’azienda deve sapere dove viene effettivamente utilizzata l’IA al suo interno. Successivamente, deve valutare quali rischi sono associati alle singole applicazioni. Sono necessarie regole d’uso, responsabilità chiaramente definite e dipendenti che sappiano cosa sono autorizzati a fare e cosa devono controllare. Infine, occorre verificare regolarmente se queste regole funzionano effettivamente nella pratica. «Un sistema di gestione è in fondo qualcosa di molto semplice: un mix di linee guida e controlli», scrive Meyer nel suo libro.

Secondo lui, la gestione dell’IA non mira assolutamente a creare un nuovo mostro burocratico. Un sistema di IA che riassume testi interni richiede un livello di controllo diverso rispetto a un’IA in grado di comunicare autonomamente con i clienti, valutare i candidati, fornire supporto nelle raccomandazioni mediche o autorizzare pagamenti. Il principio è basato sul rischio: maggiore è il potenziale impatto, più rigorose devono essere le regole e i controlli.

È proprio qui che, secondo Meyer, risiede la differenza tra le singole regole relative all’IA e un sistema di gestione dell’IA. Una linea guida da sola non basta a prevenire un guasto. Solo quando responsabilità, rischi, controlli, formazione e processi di miglioramento si integrano tra loro, si crea un sistema. «Non è l’IA a determinare il successo delle aziende, bensì il modo in cui vengono gestite», recita una delle affermazioni centrali del suo libro.

Esiste già una norma internazionale per la gestione dell'intelligenza artificiale

Le aziende non devono inventare questo sistema da sole, sottolinea Meyer. Secondo quanto affermato dal CEO di DICIS AG, società che a sua volta rilascia certificazioni in materia di IA, con la norma ISO/IEC 42001 esiste già uno standard internazionale per i sistemi di gestione dell’IA. La sua logica è simile a quella dei sistemi di gestione consolidati per la qualità o la sicurezza delle informazioni. La norma ISO 42001 richiede, tra l’altro, di definire l’ambito di applicazione del sistema di gestione dell’IA, stabilire le responsabilità, valutare rischi e opportunità, garantire le competenze, controllare l’utilizzo dell’IA e verificare e migliorare regolarmente il sistema di gestione. A ciò si aggiungono misure concrete relative alle linee guida sull’IA, alle risorse, alle valutazioni d’impatto, ai dati, al ciclo di vita dei sistemi di IA e alle relazioni con le parti interessate esterne.

Il vantaggio di uno standard di questo tipo risiede soprattutto nel fatto che non ogni azienda deve sviluppare una propria definizione di «utilizzo responsabile dell’IA». «Le norme ISO presentano un vantaggio decisivo: sono riconosciute a livello mondiale», sottolinea Meyer. Di conseguenza, un cliente non deve farsi spiegare nei dettagli in base a quale metodo sviluppato autonomamente un fornitore di servizi controlli la propria IA, poiché esiste un quadro di riferimento comune.

La certificazione ISO 42001 come nuovo segno di fiducia

Meyer, che ha già scritto diversi libri specialistici sul tema dell’intelligenza artificiale e della digitalizzazione, non considera il suo nuovo libro «KI‑Management in der Praxis» solo un’opera sui rischi dell’intelligenza artificiale. Intende piuttosto che sia una guida pratica per le aziende che desiderano ottenere la certificazione ISO 42001. Secondo lui, la certificazione è particolarmente interessante «laddove le aziende non vogliono solo promettere ai propri clienti di utilizzare l’IA in modo responsabile, ma desiderano anche dimostrarlo attraverso una verifica indipendente». Soprattutto nel caso dei fornitori di servizi e delle aziende tecnologiche, questa dimostrazione può creare fiducia, poiché i clienti non devono verificare e valutare autonomamente se le regole, le responsabilità, le valutazioni dei rischi e i controlli siano effettivamente presenti.

Il certificato, tuttavia, non garantisce che non si verificherà mai più un malfunzionamento dell’IA, avverte Meyer: «Sarebbe irrealistico». Dimostra piuttosto che un’azienda ha organizzato in modo sistematico l’utilizzo dell’IA, valutato i rischi, definito le responsabilità, attuato misure adeguate e verificato la loro efficacia. In altre parole: una certificazione ISO 42001 non attesta che l’IA di un’azienda non commetta errori. Dimostra piuttosto che l’azienda non lascia al caso la prevenzione degli errori né la gestione della qualità, nemmeno nell’ambito dell’utilizzo dell’IA.

Autore:

Willy Laux (36 anni), di Colonia, lavora come giornalista freelance principalmente per riviste specializzate e di settore. Si occupa in particolare di temi quali la trasformazione tecnologica, l’adattamento ai cambiamenti climatici e l’economia circolare. Con i suoi contributi multimediali segue inoltre i processi di digitalizzazione e trasformazione nella gestione aziendale e nell’economia.

Suggerimento di lettura

Dott. Jens-Uwe Meyer: ISO 42001 – Sistemi di gestione dell’IA: introduzione e certificazione. Il manuale pratico sull’intelligenza artificiale in azienda. Orientato alla pratica. Semplice. Senza burocrazia. BusinessVillage Verlag, 2026, 256 pagine, 1ª edizione, ISBN 978-3-86980-900-7.

https://www.businessvillage.de/buecher-und-e-books/organisation/iso-42001-ki-managementsysteme-einfuehrung-und-zertifizierung-das-praxisbuch-fuer-kuenstliche-intelligenz-im-unternehmen-praxisnah-einfach-unbuerokratisch.html

Questo articolo è apparso originariamente su m-q.ch - https://www.m-q.ch/de/ki-panne-oder-falsches-management/