Das Open-Source-Paradoxon und die neuen Risiken der KI-Lieferkette
KI-Repositorien wie Hugging Face entwickeln sich zu Einfallstoren für systemische Risiken. Dr. Kawin Boonyapredee, CISO Advisor bei KnowBe4, zeigt auf, wie Unternehmen mit der wachsenden Bedrohung durch Shadow AI und agentenbasierte Systeme umgehen können – und warum der Mensch dabei die zentrale Kontrollinstanz bleiben muss.
Die jüngste Offenlegung kritischer Schwachstellen in grossen KI-Repositorien wie Hugging Face verdeutlicht ein grundlegendes Problem: Ausgerechnet jene Plattformen, auf die Unternehmen bei der Entwicklung KI-gestützter Anwendungen setzen, entwickeln sich zunehmend zu einem Einfallstor für systemische Risiken. Mit dem Übergang zu agentenbasierten Systemen gewinnt dieses Problem an Dringlichkeit.
Von Shadow IT zu Shadow AI
Über Jahre stand die Shadow IT im Fokus vieler CISOs – also der Einsatz nicht genehmigter Hard- und Software. An ihre Stelle tritt nun ein verwandtes, schwerer greifbares Phänomen: die Shadow AI. Gemeint ist die ungeprüfte Nutzung öffentlicher KI-Tools und quelloffener Modelle durch Teams, die im Streben nach Effizienz unbeabsichtigt sensible Unternehmensdaten preisgeben können.
Der Vorfall bei Hugging Face zeigt die Fragilität der KI-Lieferkette. Wer ein Modell aus einem Repositorium bezieht, importiert nicht nur Code, sondern eine weitgehend intransparente Logik, die sich durch Prompt Injection, Data Poisoning oder die Einbindung in automatisierte Angriffe missbrauchen lässt.
Agentenbasierte Systeme als neue Risikoquelle
Die Entwicklung verläuft weg von einfachen Chatbots hin zu KI-Agenten – also autonomen Systemen, die Transaktionen ausführen und eigenständig Entscheidungen treffen. Dieser Fortschritt verspricht Effizienzgewinne, schafft zugleich aber eine erhebliche Governance-Lücke.
Aktuelle Untersuchungen zeigen, dass weniger als die Hälfte der Unternehmen über eine KI-Governance-Richtlinie verfügt. Dieser Mangel an Kontrolle begünstigt, dass sich eine Schwachstelle in einem einzelnen Modell-Repositorium auf das gesamte Unternehmen auswirkt. Hinzu kommt ein Vertrauensdefizit gegenüber bereits produktiv eingesetzten Agenten: Weltweit vertrauen nur 34 Prozent der technischen Entscheidungsträger auf Director-Ebene und darüber den Handlungen ihrer KI-Agenten.
Ein Fahrplan mit dem Menschen als zentrale Kontrollinstanz
Die Absicherung dieser Bereiche erfordert mehr als technische Patches. Sie verlangt einen grundlegend anderen Umgang mit dem Faktor Mensch. Von Fachleuten getragene Bewertungsverfahren sollten eine Prüfung sämtlicher KI-Modelle und Anbieter vorschreiben, bevor diese zum Einsatz kommen, damit jede Integration bewusst freigegeben wird. Kontrollmechanismen nach dem Prinzip «Human in the Loop» verlangen bei kritischen Entscheidungspunkten ein menschliches Eingreifen, damit autonome Agenten an organisatorische Vorgaben gebunden bleiben. Darüber hinaus sollten Sicherheitsschulungen die Mitarbeitenden nicht allein befähigen, Bedrohungen zu erkennen, sondern auch die von ihnen betreuten KI-Agenten aktiv zu überwachen – vom passiven Nutzer zum aktiven Bestandteil der Sicherheitsarchitektur.
Annehmen, Aufklären, Steuern
Das Ziel ist nicht, Innovation zu bremsen, sondern sie verantwortungsvoll zu gestalten. Der Übergang muss von einem Zustand weitgehend unkontrollierter KI-Nutzung zu einem praxistauglichen Vorgehen aus Risikobewertung und sicherer Implementierung führen. Ein einfacher Rahmen lässt sich in drei Schritten zusammenfassen:
Im ersten Schritt geht es darum, Innovation zu fördern statt zu bremsen. Dazu gehört, die im eigenen Ökosystem aktiven KI-Agenten zu inventarisieren und zu bewerten. Im zweiten Schritt verschiebt sich der Schwerpunkt vom reinen Erkennen von Phishing hin zum Umgang mit den Risiken jener digitalen Agenten, mit denen Mitarbeitende täglich interagieren. Security-Awareness-Schulungen sollten sich an den realen Bedrohungen der Nutzenden orientieren. Im dritten Schritt steht eine sorgfältige Prüfung im Mittelpunkt: Bevor vorgefertigte KI-Lösungen in Arbeitsabläufe integriert werden, braucht es strenge Verfahren zur Bewertung von Anbietern und Modellen. Entscheidend ist die nötige Transparenz, um das Verhalten von KI-Agenten nachvollziehen zu können und «Human in the Loop»-Leitplanken jederzeit sicherzustellen.
Die Werkzeuge zur Beherrschung agentenbasierter Risiken entwickeln sich stetig weiter. Die entscheidende Frage lautet längst nicht mehr, ob ein Unternehmen solche Technologien nutzt, sondern wie es die damit verbundenen Risiken beherrscht. Wer E-Mail-Sicherheit, Security-Awareness-Training und Abwehrstrategien für KI-Agenten zusammenführt, sorgt dafür, dass die Belegschaft ein Aktivposten bleibt und nicht zur Schwachstelle wird.
Quelle: www.knowbe4.com
Dieser Beitrag erschien ursprünglich auf m-q.ch - https://www.m-q.ch/de/das-open-source-paradoxon-und-die-neuen-risiken-der-ki-lieferkette/
