LLMs: Ein (un)perfekt menschlicher Ansatz für sicheres Programmieren?

Eine Fassung dieses Artikels erschien ursprünglich in Dark Reading. Sie wurde aktualisiert und hier zweitveröffentlicht.
Seit dem ersten Hype um die neuesten, bahnbrechenden KI-Tools nutzen Entwickler und Technikbegeisterte diese gleichermaßen, um per Knopfdruck Code zu generieren. Sicherheitsexperten wiesen schnell darauf hin, dass der produzierte Code in vielen Fällen von schlechter Qualität und anfällig war. In den Händen von Personen mit wenig Sicherheitsbewusstsein könnte dies zu einer Lawne unsicherer Apps und Webanwendungen führen, die ahnungslose Verbraucher trifft.
Und dann gibt es noch diejenigen, die genug Sicherheitswissen besitzen, um die Technologie für, nun ja, böse Zwecke zu nutzen. Für jede beeindruckende KI-Leistung scheint es einen Gegenschlag zu geben, bei dem dieselbe Technologie für schändliche Zwecke eingesetzt wird. Phishing, Deep-Fake-Betrugsvideos, die Erstellung von Malware, allgemeine Spielereien von Skript-Kiddies … diese störenden Aktivitäten sind nun viel schneller und mit geringeren Einstiegshürden möglich.
Es gibt sicherlich viel Clickbait, das diese Tools als revolutionär anpreist oder sie zumindest als überlegen gegenüber „durchschnittlichen“ menschlichen Fähigkeiten darstellt. Auch wenn es unvermeidlich scheint, dass KI-Technologien auf LLM-Basis die Art und Weise verändern werden, wie wir viele Aspekte unserer Arbeit angehen – nicht nur in der Softwareentwicklung –, müssen wir einen Schritt zurücktreten und die Risiken jenseits der Schlagzeilen betrachten.
Und als Programmierbegleiter sind die Schwächen der KI vielleicht ihre „menschlichste“ Eigenschaft.
Schlechte Codierungsmuster dominieren die Standardlösungen
Da ChatGPT mit jahrzehntelangem Code und Wissensdatenbanken trainiert wurde, überrascht es nicht, dass es trotz aller Faszination mit denselben Problemen zu kämpfen hat, denen Menschen beim Programmieren begegnen. Schlechte Codierungsmuster sind die Standardlösung, und es bedarf nach wie vor eines sicherheitsbewussten Anwenders, um durch die richtigen Fragen und präzises Prompt-Engineering sichere Codebeispiele zu generieren.
Selbst dann gibt es keine Garantie dafür, dass die ausgegebenen Code-Snippets aus Sicherheitssicht fehlerfrei und funktionstüchtig sind. Die Technologie neigt zu Halluzinationen und erfand sogar nicht existierende Bibliotheken, als sie bestimmte JSON-Operationen ausführen sollte, wie Mike Shema feststellte. Dies könnte Bedrohungsakteuren Tür und Tor für „Hallucination Squatting“ öffnen: Sie dürften nur allzu gern Malware entwickeln und unter dem Namen der erfundenen Bibliothek tarnen, die ChatGPT zuvor voller Überzeugung empfohlen hat.
Letztendlich müssen wir der Tatsache ins Auge sehen, dass wir von Entwicklern im Allgemeinen kein ausreichendes Sicherheitsbewusstsein erwartet haben und sie als Branche auch nicht angemessen darauf vorbereitet haben, standardmäßig sicheren Code zu schreiben. Dies spiegelt sich in der enormen Menge an Trainingsdaten wider, mit denen ChatGPT gefüttert wurde, und wir können zumindest anfangs ähnlich schwache Sicherheitsergebnisse bei den Ausgaben erwarten. Entwickler müssten in der Lage sein, Sicherheitslücken zu erkennen und diese entweder selbst zu beheben oder bessere Prompts für ein robusteres Ergebnis zu entwerfen.
Die erste groß angelegte Nutzerstudie – durchgeführt von Forschern der Stanford University –, die untersuchte, wie Nutzer mit einem KI-Programmierassistenten interagieren, um verschiedene sicherheitsrelevante Aufgaben zu lösen, stützt diese Annahme mit der folgenden Beobachtung:
„Wir haben beobachtet, dass Teilnehmende mit Zugriff auf den KI-Assistenten bei den meisten Programmieraufgaben eher Sicherheitslücken einbauten, ihre unsicheren Lösungen im Vergleich zur Kontrollgruppe jedoch häufiger als sicher einstuften.“
Dies deutet auf ein grundlegendes Vertrauen in die Ergebnisse von KI-Programmiertools hin, als ob diese von Natur aus immer sicheren Code produzieren würden, was jedoch nicht der Fall ist.
Angesichts dessen und der unvermeidlichen KI-gestützten Bedrohungen, die unsere Zukunft durchdringen werden, müssen Entwickler mehr denn je ihre Sicherheitsfähigkeiten schärfen und die Messlatte für Codequalität unabhängig von deren Ursprung höher legen.
Der Weg zur Datenpanne ist mit guten Absichten gepflastert
Es überrascht nicht, dass KI-Programmierbegleiter beliebt sind, insbesondere da Entwickler mit wachsender Verantwortung, engeren Fristen und dem Innovationsdruck ihres Unternehmens konfrontiert sind. Doch selbst bei besten Absichten führt ein Mangel an praktischem Sicherheitsbewusstsein bei der Nutzung von KI zwangsläufig zu eklatanten Sicherheitsproblemen. Alle Entwickler, die KI/ML-Tools einsetzen, werden mehr Code generieren, und das Sicherheitsrisiko hängt von ihrem jeweiligen Können ab. Unternehmen müssen sich bewusst sein, dass ungeschulte Mitarbeiter zwar schneller Code generieren, aber damit auch die technische Sicherheitsschuld schneller anhäufen.
Sogar unser vorläufiger Test (April 2023) mit ChatGPT hat gezeigt, dass es sehr grundlegende Fehler macht, die verheerende Folgen haben könnten. Als wir es baten, eine Login-Routine in PHP mit einer MySQL-Datenbank zu erstellen, wurde zwar schnell funktionaler Code generiert. Dieser speicherte Passwörter jedoch standardmäßig im Klartext in einer Datenbank, enthielt Datenbank-Anmeldedaten direkt im Code und verwendete ein Muster, das zu SQL-Injection führen könnte (obwohl es eine gewisse Filterung der Eingabeparameter vornahm und Datenbankfehler ausgab). Alles in allem Anfängerfehler:

Durch weiteres Prompting konnten die Fehler zwar korrigiert werden, aber es erfordert fundiertes Sicherheitswissen, um hier gegenzusteuern. Die unkontrollierte und weit verbreitete Nutzung dieser Tools ist nicht besser, als Junior-Entwickler ohne Aufsicht auf Ihre Projekte loszulassen. Wenn dieser Code kritische Infrastrukturen aufbaut oder personenbezogene Daten verarbeitet, haben wir es mit einer tickenden Zeitbombe zu tun.
Natürlich erwarten wir, dass sich die KI/ML-Fähigkeiten verbessern, so wie Junior-Entwickler mit der Zeit ihre Fähigkeiten erweitern. In einem Jahr wird die KI vielleicht keine so offensichtlichen und einfachen Sicherheitsfehler mehr machen. Das wird jedoch dazu führen, dass die Sicherheitskompetenz, die erforderlich ist, um die schwerwiegenderen, versteckten und komplexen Sicherheitsfehler aufzuspüren, die sie weiterhin produzieren könnte, drastisch steigen muss.
Wir sind nach wie vor schlecht darauf vorbereitet, Sicherheitslücken zu finden und zu beheben, und die KI vergrößert diese Lücke noch
Obwohl seit Jahren viel über „Shifting Left“ gesprochen wird, mangelt es in den meisten Unternehmen nach wie vor erheblich an praktischem Sicherheitswissen bei den Entwicklerteams. Wir müssen daher verstärkt daran arbeiten, ihnen die passenden Tools und Schulungen an die Hand zu geben.
Derzeit sind wir weder auf die üblichen Sicherheitslücken vorbereitet, noch auf neue, durch KI verursachte Probleme wie Prompt Injection oder Hallucination Squatting, die als völlig neue Angriffsvektoren rasant an Bedeutung gewinnen werden. KI-gestützte Coding-Tools sind zwar die Zukunft der Softwareentwicklung, doch die Schulung für deren sicheren Einsatz muss jetzt erfolgen.
.avif)
Kontrollieren Sie KI-gestützte Entwicklung, bevor sie in Produktion geht
Bewerten Sie KI-gestützte Risiken, setzen Sie Richtlinien für sicheren Code direkt beim Commit durch und beschleunigen Sie die sichere Bereitstellung über Ihren gesamten SDLC hinweg.
Weitere Blogs entdecken
Erhalten Sie Zugang zu Experteninhalten über sichere Programmierung, KI-Governance und Software-Risikomanagement.

Eine Sicherheitskultur: Wie Sage sein Champions-Programm aufgebaut hat
Erfahren Sie, wie Sage die Sicherheit durch einen flexiblen, beziehungsorientierten Ansatz gestärkt, über 200 Security Champions ausgebildet und eine messbare Risikoreduzierung erzielt hat.

Kamer van Koophandel: Entwicklerorientierte Sicherheit im großen Maßstab
Die Kamer van Koophandel berichtet, wie sie durch rollenbasierte Zertifizierungen, Trust-Score-Benchmarking und eine Kultur der gemeinsamen Sicherheitsverantwortung sicheres Programmieren fest in den Entwicklungsalltag integriert hat.

Wie „Game of Codes“ die IAG Group in eine sicherere Programmierzukunft führt
Die IAG Group steht hinter vielen der führenden Versicherungsunternehmen im asiatisch-pazifischen Raum und zeichnet Policen für Millionen von Kunden mit einem jährlichen Prämienvolumen von rund 11,4 Milliarden AUD.
Steuern Sie Ihr Programm für sichere Programmierung direkt aus Ihrem KI-Tool heraus
Verfolgen Sie den Trainingsfortschritt, entwerfen Sie Quests und erstellen Sie Berichte zu Ihrem SCW Secure Coding-Programm über jedes MCP-kompatible KI-Tool. In jedem SCW-Plan enthalten.

Hell in a PHP2Shell: Wie KI das Zeitfenster für Patches von Tagen auf Stunden verkürzt hat
PHP2Shell: Wie KI das Zeitfenster für Patches von Tagen auf Stunden verkürzt hat und warum Sicherheitsteams ihre Einstellung zu alten Fehlern und technischer Schuld überdenken sollten.

Cybersecurity Awareness Month 2026: Das Verständnis von KI-Sicherheit ist entscheidend für die Unternehmensverteidigung
Wir haben einen Punkt erreicht, an dem die meisten führenden KI-Unternehmen öffentlich eine weltweite Verlangsamung der KI-Entwicklung gefordert haben, damit die Sicherheitsvorkehrungen Schritt halten können. Doch die Wahrheit ist: Ernsthafte Sicherheitsprobleme sind bereits Realität geworden. Dies bringt unzählige Sicherheitsverantwortliche und Führungsteams in eine dringliche Lage, da die finanziellen Kosten und Risiken durch die Implementierung von KI stetig steigen.
Sichere KI-gestützte Entwicklung vor dem Release
Erkennen Sie Entwicklerrisiken, setzen Sie Richtlinien durch und verhindern Sie Schwachstellen über den gesamten Softwareentwicklungszyklus hinweg.