KI kann Code schreiben und prüfen – doch das Risiko bleibt beim Menschen

Die Einführung von Claude Code Security durch Anthropic markiert einen entscheidenden Wendepunkt zwischen KI-gestützter Softwareentwicklung und der rasanten Erweiterung unseres Ansatzes für moderne Cybersicherheit. Obwohl diese neue Claude-Funktion Schwachstellen in KI-generiertem Code identifizieren kann, schafft sie einen zentralen Punkt für Vertrauen und Fehleranfälligkeit zugleich. Ein qualifizierter Mensch muss diese Ergebnisse weiterhin bewerten und den geeigneten Weg zur Behebung festlegen. Dieser Ansatz wird von Experten wie Justin Greis, CEO des Beratungsunternehmens Acceligence, unterstützt, der gegenüber CSO Online erklärte: „Für alle, die sich blind auf ein Code-Scanning-Tool verlassen – ob KI-basiert oder nicht –, um die Grundlagen guter Sicherheitspraktiken und sicherer Programmierung zu ersetzen: Dies ist Ihr Warnsignal, die Expertise, die das Wertversprechen Ihres Produkts oder Dienstes schützt, nicht auszulagern.“

In dieser Hinsicht unterscheidet sich das Modell nicht grundlegend von herkömmlichen SAST-Tools. Es ist zwar in seiner Argumentation fortschrittlicher, doch ein risikosensibler Anwendungsfall erfordert weiterhin einen Menschen, der die aufgezeigten Probleme interpretiert, validiert und sicher behebt.

Die Bedrohung für Unternehmen ist nicht die KI-Fähigkeit an sich, sondern eine unkontrollierte KI-Autonomie und mangelnde Aufsicht innerhalb des Softwareentwicklungszyklus. Wenn KI Code sowohl generiert als auch bewertet, wird eine starke, präzise Governance zu einer kritischen Kontrollinstanz.

Die erweiterte Definition des „Entwicklers“

KI hat die Eintrittsbarriere für die Erstellung von Apps und Software gesenkt. Doch nur weil etwas mit KI schnell erledigt werden kann, bedeutet das nicht, dass es auf die sicherste oder resilienteste Weise geschieht oder dass das Projekt selbst marktreif ist. Die gesamte Prämisse des „Vibe Coding“ besteht darin, in den „Flow-Zustand“ zu gelangen und sich erst später mit den Formalitäten der Unternehmensentwicklung, wie etwa der Sicherheit, zu befassen.

Der „Entwickler“ von heute kann sein:

• Ein klassischer Ingenieur, der KI zur Beschleunigung von Programmieraufgaben nutzt
• Ein Produktmanager, der Funktionen per Prompt prototypisiert
• Ein Datenanalyst, der Skripte durch KI automatisiert
• Ein QA-Ingenieur, der KI zur Generierung von Testfällen einsetzt

Aus Sicht der Unternehmenssicherheit ist es zweitrangig, wer den Code schreibt; entscheidend ist die Auswirkung des Codes, sobald er in die Produktion gelangt. Aus Compliance- und Risikosicht gilt: Wenn die Interaktion einer Person mit KI dazu führt, dass Code ohne angemessene, unternehmensspezifische Sicherheitsüberwachung in den Softwareentwicklungszyklus (SDLC) gelangt, entsteht ein organisatorisches Risiko – ein Risiko, das verstanden, gemessen und gemindert werden muss.

Warum menschliches Urteilsvermögen weiterhin zählt

Da immer mehr Personen in der Lage sind, Code zu generieren, der sich auf die Produktion oder sensible Codebasen auswirken könnte, erweitert sich das Risikoprofil eines Unternehmens. Die Governance muss sich weiterentwickeln, um KI-gestützte Entwicklung in großem Maßstab zu ermöglichen und gleichzeitig sicherzustellen, dass die zum Schutz des Unternehmens erforderlichen Kontrollen fest verankert bleiben.

KI kann recht zuverlässig Code generieren und potenzielle Schwachstellen markieren. Was sie nicht kann, ist zu validieren, ob dieser Code im Kontext Ihrer Architektur, Datenflüsse, Identitätsmodelle, regulatorischen Verpflichtungen oder Ihrer Risikotoleranz angemessen ist. Dies sind grundlegende Informationen, die die Wirksamkeit jedes Sicherheitsprogramms beeinflussen. Zudem ist die Implementierung eines Tools wie Claude Code in den SDLC eine Sache, aber Tools wie BaxBench zeigen durch umfangreiche Datenanalysen, dass verschiedene Modelle (z. B. Opus vs. Sonnet 4.5 vs. Sonnet 3) unterschiedliche Ergebnisse in Bezug auf Sicherheit und Genauigkeit liefern. Dies führt zu enormen Unterschieden bei den tatsächlichen Kosten, die ein Unternehmen letztlich für die Nutzung zahlt, während es auf funktionierenden, sicheren Code hinarbeitet.

Sichere Software ist nicht einfach nur Code, der einen Scan besteht. Sie muss guten, sicheren Mustern folgen, die nahtlos mit dem Systemdesign, den Geschäftszielen und der Unternehmensrichtlinie übereinstimmen. Das erfordert Urteilsvermögen. Wenn Entwickler sich stark auf KI verlassen, um Code zu generieren oder gar zu überprüfen, besteht das reale Risiko, dass ihr Verständnis der Codebasis schwindet. Wenn ein Ingenieur nicht vollständig erklären kann, warum ein Stück Code funktioniert oder sicher ist, hat das Unternehmen bereits eine Kontrollschicht verloren.

Validierung ist nicht dasselbe wie Erkennung. Verantwortlichkeit ist nicht dasselbe wie Automatisierung. KI kann unterstützen, aber sie kann keine Verantwortung übernehmen (und bisher entbindet keine Gesetzgebung den Menschen von den Konsequenzen durch KI-Fehlverhalten).

Die menschliche Überwachung („Human-in-the-loop“) ist kein veraltetes Konzept. In einer KI-gesteuerten Entwicklungsumgebung ist sie die primäre Schutzmaßnahme, die sicherstellt, dass Code, der in den Softwareentwicklungszyklus gelangt, bewusst geprüft, verstanden und genehmigt wurde. Ohne diese Ebene des Urteilsvermögens wird Geschwindigkeit zum Sicherheitsrisiko.

Bildung muss das Fundament einer sicheren KI-Einführung sein

In diesem Kontext entwickelt sich die Schulung für sicheres Programmieren von einem „Nice-to-have“ zu einer zentralen Unternehmenskontrolle. „Entwickler“ werden sich von Operatoren zu Orchestratoren wandeln, wodurch sich der Fokus der Ausbildung von der Entwicklung sicheren Codes hin zur Bewertung der Sicherheit von KI-generiertem Code verschiebt.

Die Fähigkeiten, die erforderlich sind, um KI-generierten Code zu validieren, neuartige KI-Schwachstellen wie Prompt-Injection vorherzusehen und zu verstehen, wie KI-Muster mit Ihrer Architektur interagieren, können nicht durch episodische Compliance-Module erlernt werden. Sie müssen kontinuierlich, praxisnah, in bestehende Arbeitsabläufe integriert und an realen Risikoergebnissen messbar sein.

KI-Software-Governance: Die Kontrollschicht, die uns noch fehlt

Viele Sicherheitsprogramme betrachten Anwendungssicherheit nach wie vor als nachgelagerte Funktion. In einer KI-gestützten Umgebung verliert dieses Modell jedoch seine Wirkung bei der Risikominimierung. Was es braucht, ist AI Software Governance: eine echte unternehmensweite Steuerungsebene für den KI-gestützten Softwareentwicklungslebenszyklus. Diese Disziplin erstreckt sich über den gesamten Lebenszyklus der Softwareentwicklung und etabliert eine strukturierte Überwachung bei der Erstellung, Prüfung und Freigabe von Code.

Dazu gehören:

• Transparenz über die Nutzung von KI-Tools in allen Teams
• Klare Zuordnung von KI-generiertem Code innerhalb des SDLC
• Verknüpfung von Codeänderungen mit Risikosignalen und Richtlinienvorgaben
• Durchsetzung sicherer Codierungsstandards direkt im Entwickler-Workflow
• Kontinuierliche Weiterbildung und messbare Kompetenz bei der sicheren Programmierung
• Nachweisbare Risikominimierung, bevor der Code in die Produktion gelangt

Governance schlägt die Brücke zwischen Erkennung und Entscheidung und stellt sicher, dass Produktivitätsgewinne nicht zulasten der Verantwortlichkeit gehen.

KI wird die Art und Weise, wie Software entwickelt wird, weiter verändern – ein Verzicht darauf ist weder realistisch noch erstrebenswert. Schließlich sind die Produktivitäts- und Innovationsgewinne zu bedeutend. Um den Mehrwert jedoch sicher zu nutzen, bedarf es einer disziplinierten Aufsicht und gezielter menschlicher Validierung. Diese Infrastruktur darf weder überstürzt noch ignoriert werden.