Agentische KI in der Softwareentwicklung – SCHNELL! (Spoiler: Wahrscheinlich sollten Sie es lieber lassen.)

Haben Sie als Cybersicherheitsexperte auch das Gefühl, dass gerade alle bei agentischer KI in den Hyperdrive schalten, obwohl es vielleicht an der Zeit wäre, einen Gang zurückzuschalten und innezuhalten? Nun, was viele von uns in ihren Glaskugeln zur KI-Sicherheit gesehen haben, ist plötzlich Realität geworden.

Am Freitag, den 14. November, veröffentlichte Anthropic (einer der weltweit bekanntesten Anbieter für LLMs, dank seines beliebten Tools Claude Code) ein bahnbrechendes Papier zu einem Cybervorfall, den sie im September 2025 beobachteten. Dieser zielte auf eine breite Palette von Organisationen ab – von großen Technologieunternehmen, Finanzinstituten und Chemiekonzernen bis hin zu Regierungsbehörden.

Was hat es also mit dem ganzen Wirbel auf sich und warum ist das so besorgniserregend? Vereinfacht gesagt: Ein hochspezialisierter Bedrohungsakteur (mutmaßlich ein staatlicher Akteur) nutzte Claude Code und eine Reihe von Tools in der Entwicklerumgebung unter Verwendung von Model Context Protocol (MCP)-Systemen, um nahezu autonom und in großem Maßstab harmlose Open-Source-Hacking-Tools gegen gezielt ausgewählte Unternehmen einzusetzen. Es gab über 30 Angriffsversuche; mehrere waren erfolgreich und bewiesen, dass KI-Agenten tatsächlich verheerende Sicherheitsverletzungen mit nur sehr geringem menschlichem Eingreifen ausführen können.

Letzten Monat wurde GlassWorm, der erste sich selbst verbreitende Wurm, der auf VS-Code-Erweiterungen abzielt, von Koi Security identifiziert. Während Letzteres kein neuer Angriffsvektor ist, gibt es eine neue Welle von Coding-Erweiterungen (einschließlich MCP-Servern), die auf den ersten Blick harmlose Funktionen bieten, im Hintergrund jedoch eine Reihe bösartiger Aktivitäten ausführen, die den Endpunkt eines Entwicklers schnell kompromittieren könnten.

Vielleicht ist es an der Zeit, dass wir einen Gang zurückschalten, tief durchatmen und unsere Köpfe zusammenstecken, um gemeinsam zu erarbeiten, wie wir uns am besten gegen dieses neue Bedrohungsprofil verteidigen können.

Absicherung von Systemen gegen hochdynamische KI-Agenten

Das aktuelle Papier von Anthropic beleuchtet eine neue, potente Bedrohung, die die lang gehegten Befürchtungen vieler in der Sicherheits-Community bestätigt: Sie zeigt, wie KI verteilte Risiken dramatisch beschleunigen und verstärken kann. Diese Entwicklung verschafft böswilligen Akteuren einen weiteren Vorteil – was besonders frustrierend ist, wenn man bedenkt, welchen Vorsprung sie ohnehin schon gegenüber überlastetem Sicherheitspersonal haben, das die technologische Komplexität in durchschnittlichen Unternehmen verwalten muss.

Im Wesentlichen gelang es staatlich unterstützten Angreifern, das Claude-Code-Modell zu „jailbreaken“. Sie überlisteten die KI erfolgreich, sodass diese ihre ausgefeilten Sicherheitsprotokolle umging, um feindselige Operationen auszuführen. Sobald der rogue KI-Agent kompromittiert war, nutzte er seinen MCP-Zugriff, um schnell in verschiedene Unternehmenssysteme und Tools einzudringen. Er lokalisierte und identifizierte hochsensible Datenbanken innerhalb der Zielorganisationen in einem Zeitrahmen, der selbst für die fortschrittlichsten menschlichen Hacker-Kollektive unmöglich wäre.

Dieser Einbruch löste eine erschreckende Kaskade von Aktionen aus: umfassende Schwachstellentests, die automatisierte Generierung von Schadcode und sogar die Selbst-Dokumentation des Angriffs, komplett mit System-Scan-Protokollen und den erfolgreich entwendeten personenbezogenen Daten (PII).

Für Sicherheitsexperten ist dies ein echtes Albtraumszenario. Wie können menschliche Teams jemals mit der schieren Geschwindigkeit und Zerstörungskraft eines Angriffsvektors mithalten, der von einer solchen KI angetrieben wird?

Der Endpunkt eines Entwicklers und dieses neue KI-Ökosystem bieten neue Angriffsvektoren

Jeder Entwickler bevorzugt seine eigene IDE, sei es das klassische VSCode, JetBrains’ IntelliJ oder Eclipse oder die neueren Tools Cline, Windsurf oder Cursor. Die meisten davon verfügen über App-Marktplätze, auf denen Erweiterungen heruntergeladen und installiert werden können. Diese Erweiterungen werden selten auf bösartige Aktivitäten geprüft, sind in der Regel mit zu vielen Berechtigungen ausgestattet und haben Zugriff auf eine Sandbox-Umgebung, in der sie auf Dateien zugreifen können.

Diese Umgebungen integrieren nun alle KI-Funktionen, KI-Agenten und eine Reihe neuer Tools, die diese Agenten nutzen können (z. B. MCP-Server). Oft werden diese über Marktplätze veröffentlicht, auf denen jeder Entwickler seine neuen Tools bereitstellen kann. Und ja, Sie haben es erraten: Diese MCP-Server können oft Befehle auf einem System lesen, schreiben und ausführen – alles über eine KI-Umgebung, die höchstwahrscheinlich anfällig für Prompt-Injections ist. Was könnte da schon schiefgehen?

Die unverzichtbare Notwendigkeit für Rückverfolgbarkeit und Beobachtbarkeit von KI-Tools

Es ist gleichzeitig komplex und simpel: Wenn ein CISO keine Ahnung hat, welche Entwickler welche KI-Tools verwenden, welcher Code eingecheckt wird oder welche Repositories durch die Zusammenarbeit von Mensch und KI erweitert werden, dann fehlt ein riesiger Datensatz – und die Beobachtbarkeit muss dringend verbessert werden.

Die schnelle Integration von KI-Coding-Assistenten und MCP-Servern, die mittlerweile von der großen Mehrheit der Entwickler genutzt werden, hat einen kritischen blinden Fleck in der SDLC geschaffen. Die Daten sind alarmierend: bis zu 50 % des funktional korrekten, von LLMs generierten Codes enthalten Sicherheitslücken. Ohne angemessene Beobachtbarkeit fehlen CISOs und AppSec-Teams jedoch handlungsrelevante Einblicke in das schiere Volumen und die Quellen dieses risikoreichen Codes. Dieser kritische Mangel an Rückverfolgbarkeit macht eine effektive KI-Governance in Form von Richtliniendurchsetzung und Risikominderung praktisch unmöglich.

Um die enormen Produktivitätsgewinne durch KI sicher zu maximieren, müssen Unternehmen Lösungen vorschreiben, die eine vollständige, tiefe Sichtbarkeit der KI-Angriffsfläche bieten. Secure Code Warrior hat SCW Trust Agent: AI in einer geschlossenen Beta-Phase bei ausgewählten Kunden im Einsatz. Diese Funktion bietet tiefe Beobachtbarkeit, indem sie den KI-generierten Code-Datenverkehr (einschließlich MCP-Server) in Echtzeit auf dem lokalen Rechner des Entwicklers aktiv überwacht und die IDE über Pull-Requests und Commits bis hin zu den tatsächlichen Software-Repositories verfolgt. Eine präzise Sicherheits-Rückverfolgbarkeit wird nur durch die Korrelation dreier wichtiger Signale erreicht: das spezifische KI-Coding-Tool und das verwendete LLM-Modell, das Ziel-Code-Repository und, am wichtigsten, die gemessene Kompetenz des beitragenden Entwicklers im Bereich Secure Coding.

Nur durch die Etablierung dieser verifizierbaren Korrelationskette kann ein Unternehmen das tatsächliche Sicherheitsrisiko genau bewerten, eine robuste Richtliniendurchsetzung automatisieren und sicherstellen, dass KI-gestützte Entwickler verbindliche Secure-Coding-Standards einhalten, bevor ihre Beiträge bestehende Schutzmaßnahmen umgehen.

Kontaktieren Sie uns, wenn Sie mehr erfahren oder eine Demo unserer leistungsstarken KI-Governance in Aktion sehen möchten, oder schreiben Sie uns einfach eine Nachricht, um am Betaprogramm teilzunehmen.