KI-Vertrauensindex

KI-generierter Code weist 15 Schwachstellen pro Codebasis auf,
im Durchschnitt

Durch die Untersuchung von 16 führenden KI-Modellen und 1.760 Codebasen haben wir festgestellt, dass das Risiko modell- und frameworkabhängig vorhersehbar ist. Dies liefert Sicherheitsverantwortlichen die nötigen Daten, um Sicherheitslücken zu schließen.

Visuellen Bericht herunterladen
Daten erkunden
Getestete KI-Modelle
16
Evaluierte Frameworks
11
Generierte Codebasen
1.760
Gefundene eindeutige CWEs
86
Auf einen Blick

Was ist der SCW AI Trust Index?

Der SCW AI Trust Index ist ein dynamischer Benchmark, der misst, wie häufig führende KI-Modelle Code mit Sicherheitslücken generieren. Er wird bei der Veröffentlichung neuer Modelle aktualisiert – und nicht nur einmalig publiziert, um dann zu veralten.

Visuellen Bericht herunterladen
Dies ist eine dynamische Überschrift mit Tag- und Stiloptionen

Schwachstellen folgen vorhersehbaren Mustern

Schwachstellen folgen vorhersehbaren Mustern. In 1.760 Codebasen treten dieselben Schwachstellentypen immer wieder auf – Protokollierungsfehler, Injektionslücken und fehlerhafte Zugriffskontrollen führen die Liste jedes Mal an. KI-generierte Risiken sind wiederholbar, nicht zufällig.

Dies ist eine dynamische Überschrift mit Tag- und Stiloptionen

Jedes Modell hat einen unverwechselbaren Sicherheits-Fingerabdruck

Jedes der 16 Modelle hinterlässt seinen eigenen, wiederholbaren Mix an OWASP-Kategorien. So können Teams vorhersehen, wo ein Modell Risiken birgt, anstatt nur darauf zu reagieren.

Dies ist eine dynamische Überschrift mit Tag- und Stiloptionen

Kein einzelnes Modell ist überall führend

Die Sicherheitsführerschaft variiert je nach Framework – GPT-5.1 führt bei der Java Enterprise API, Claude Opus 4.8 bei Python Django. Das richtige Modell hängt davon ab, woran ein Team arbeitet.

Dies ist eine dynamische Überschrift mit Tag- und Stiloptionen

Kosten sind kein Indikator für Sicherheit

Über alle 16 getesteten Modelle hinweg belegt das teuerste Modell (Claude Fable 5, 174,94 $ pro Durchlauf) den 2. Platz, während das günstigste (Gemini 2.5 Flash, 0,58 $ pro Durchlauf) unter dem Durchschnitt liegt. Der Preis ist also kein Indikator für die Sicherheit.

Schwachstellen

Der häufigste Fehler ist alles andere als exotisch und spiegelt weit verbreitete menschliche Unachtsamkeit wider.

Im gesamten Datensatz wurden 86 eindeutige CWEs identifiziert. Drei davon machen einen unverhältnismäßig großen Anteil aller bestätigten Befunde aus.

Visuellen Bericht herunterladen
CWE-IDNameEchte positive ErgebnisseDurchschnittliches Risiko
CWE-532Einfügen sensibler Informationen in Protokolldateien8.54380,06
CWE-79Unzureichende Neutralisierung von Eingaben bei der Generierung von Webseiten („Cross-Site Scripting“)2.94990,57
CWE-798Verwendung fest codierter Anmeldeinformationen1.34868,5
Alle 16 Modelle

Gesamt-Vertrauensindex

Normalisierter Wert, 0–100. Ein höherer Wert bedeutet weniger Schwachstellen im Vergleich zum restlichen Feld – ein Wert von 100 bedeutet die wenigsten Schwachstellen in diesem Datensatz, nicht Fehlerfreiheit.

Visuellen Bericht herunterladen

Die Bewertungen für die ursprünglichen 6 Modelle weichen von der veröffentlichten RMIT-Studie ab, da der Normalisierungspool von 6 auf 16 Modelle erweitert wurde. Die Werte beziehen sich immer auf die gesamte Kohorte.

Claude Sonnet 5
80,4
Claude Fable 5
76,4
GPT 5.3 Codex
75,3
Claude Opus 4.8
74,5
GPT 5.1
71,6
Gemini 3.1 Pro
66,6
GPT 5.5
66,5
Gemini 2.5 Pro
65,6
Claude Sonnet 4.5
65,2
Gemini 3.5 Flash
59,1
Devstral 2
53,1
Claude Haiku 4.5
50,7
Claude Sonnet 4.6
45,5
Gemini 2.5 Flash
39,4
Qwen3 Coder
32,7
GPT 5 Mini
21,6
Frameworks

Der Spitzenreiter variiert je nach Framework

Das Gesamtranking eines Modells garantiert nicht, dass es die sicherste Wahl für einen spezifischen Stack ist.

Visuellen Bericht herunterladen
FrameworkFührendes Modell
Java Enterprise APIGPT-5.1
Java SpringClaude Sonnet 4.5
Python DjangoClaude Opus 4.8
C# (.NET)GPT-5.5
CClaude Fable 5
Forschung

Unsere Vorgehensweise

Sechzehn KI-Modelle haben jeweils dieselbe komplexe Anwendung zur Ausgabenverwaltung erstellt – inklusive Authentifizierung, Datei-Upload, Zahlungen und Datenbankzugriff – und zwar über 11 Frameworks hinweg, jeweils 10-mal pro Kombination. Jede Codebasis wurde mit denselben Open-Source-Tools für statische Analysen (Semgrep, Bearer, Bandit) gescannt und jeder Fund wurde mithilfe desselben agentenbasierten Prozesses auf False Positives überprüft.

Visuellen Bericht herunterladen
Eindeutige verifizierte Schwachstellenfunde
1.554
Bestätigte Schwachstellen (True Positives)
27.000+
Unabhängige SAST-Tools pro Codebasis
3
Durchläufe pro Modell/Framework-Paar
10
Methodik

In Zusammenarbeit mit der RMIT entwickelt

Die ursprüngliche Studie und Methodik wurden in Zusammenarbeit mit der RMIT University entwickelt und umfassten die ersten sechs getesteten Modelle. Secure Code Warrior hat die Forschung unter Anwendung derselben Methodik unabhängig auf 16 Modelle ausgeweitet.

Vollständige Methodik lesen

Governance von KI-Software und Kontrolle auf Commit-Ebene

What is the SCW AI Trust Index?

A living benchmark that measures how often leading AI models generate code with security vulnerabilities. Its methodology was originally developed with RMIT University and has since been independently extended by Secure Code Warrior to 16 models. It's updated as new models are released rather than published as a one-time study.

Wie viele Schwachstellen weist KI-generierter Code im Durchschnitt auf?

Durchschnittlich 15 bestätigte Schwachstellen pro Codebasis über die 1.760 getesteten Codebasen hinweg, wobei typischerweise 4 oder mehr als kritisch oder hoch eingestuft werden.

Which AI model produces the most secure code?

No single model wins in every context. Claude Sonnet 5 scored highest overall at 80.4 out of 100, but the leading model changes by framework.

Does a model's API cost predict how secure its code is?

No. Across all 16 models tested, the most expensive model (Claude Fable 5, $174.94 per run) ranks 2nd overall, while the cheapest (Gemini 2.5 Flash, $0.58 per run) scores below average.

What is the most common security flaw in AI-generated code?

CWE-532 — writing sensitive information like passwords or tokens into application log files — appeared 8,543 times, more than any other flaw in the dataset.

How was the research conducted?

Sixteen AI models each generated the same application across 11 frameworks, 10 times each, scanned with the same tools and verification process every time.

Haben Sie noch Fragen?

Support-Informationen, um Kunden zu erfassen, die möglicherweise noch unentschlossen sind.

Kontakt

Seien Sie die Ersten, die die KI-gestützte Entwicklung bei commit mitgestalten

Découvrez comment Trust Agent : AI assure la visibilité, la corrélation et le contrôle des politiques dans le cadre du développement assisté par l'IA.

E-Book herunterladen
Daten erkunden