LLMs: Ein (un)perfekt menschlicher Ansatz für sicheres Programmieren?

Eine Version dieses Artikels erschien in Dark Reading. Er wurde hier aktualisiert und syndiziert.

‍

Seit dem ersten Hype um die neuesten, bahnbrechenden KI-Tools nutzen Entwickler und Technikbegeisterte diese gleichermaßen, um per Knopfdruck Code zu generieren. Sicherheitsexperten wiesen schnell darauf hin, dass der produzierte Code in vielen Fällen von schlechter Qualität und anfällig war. In den Händen von Personen mit wenig Sicherheitsbewusstsein könnte dies zu einer Lawne unsicherer Apps und Webanwendungen führen, die ahnungslose Verbraucher trifft.

Und dann gibt es noch diejenigen, die genug Sicherheitswissen besitzen, um die Technologie für, nun ja, böse Zwecke zu nutzen. Für jede beeindruckende KI-Leistung scheint es einen Gegenschlag zu geben, bei dem dieselbe Technologie für schändliche Zwecke eingesetzt wird. Phishing, Deep-Fake-Betrugsvideos, die Erstellung von Malware, allgemeine Spielereien von Skript-Kiddies … diese störenden Aktivitäten sind nun viel schneller und mit geringeren Einstiegshürden möglich.

Es gibt sicherlich viel Clickbait, das diese Tools als revolutionär anpreist oder sie zumindest als überlegen gegenüber „durchschnittlichen“ menschlichen Fähigkeiten darstellt. Auch wenn es unvermeidlich scheint, dass KI-Technologien auf LLM-Basis die Art und Weise verändern werden, wie wir viele Aspekte unserer Arbeit angehen – nicht nur in der Softwareentwicklung –, müssen wir einen Schritt zurücktreten und die Risiken jenseits der Schlagzeilen betrachten.

Und als Programmierbegleiter sind die Schwächen der KI vielleicht ihre „menschlichste“ Eigenschaft.

Schlechte Codierungsmuster dominieren die Standardlösungen

Da ChatGPT mit jahrzehntelangem Code und Wissensdatenbanken trainiert wurde, überrascht es nicht, dass es trotz aller Faszination mit denselben Problemen zu kämpfen hat, denen Menschen beim Programmieren begegnen. Schlechte Codierungsmuster sind die Standardlösung, und es bedarf nach wie vor eines sicherheitsbewussten Anwenders, um durch die richtigen Fragen und präzises Prompt-Engineering sichere Codebeispiele zu generieren.

Selbst dann gibt es keine Garantie dafür, dass die bereitgestellten Code-Snippets aus Sicherheitssicht korrekt und funktional sind; die Technologie neigt zu Halluzinationen und erfindet sogar nicht existierende Bibliotheken, wenn sie aufgefordert wird, bestimmte JSON-Operationen durchzuführen, wie Mike Shema herausfand. Dies könnte zu „Hallucination Squatting“ durch Angreifer führen, die nur zu gerne Malware unter dem Deckmantel der von ChatGPT mit voller Überzeugung empfohlenen, erfundenen Bibliothek verbreiten würden.

Letztendlich müssen wir der Tatsache ins Auge sehen, dass wir von Entwicklern im Allgemeinen kein ausreichendes Sicherheitsbewusstsein erwartet haben und sie als Branche auch nicht angemessen darauf vorbereitet haben, standardmäßig sicheren Code zu schreiben. Dies spiegelt sich in der enormen Menge an Trainingsdaten wider, mit denen ChatGPT gefüttert wurde, und wir können zumindest anfangs ähnlich schwache Sicherheitsergebnisse bei den Ausgaben erwarten. Entwickler müssten in der Lage sein, Sicherheitslücken zu erkennen und diese entweder selbst zu beheben oder bessere Prompts für ein robusteres Ergebnis zu entwerfen.

Die erste groß angelegte Nutzerstudie – durchgeführt von Forschern der Stanford University –, die untersuchte, wie Nutzer mit einem KI-Programmierassistenten interagieren, um verschiedene sicherheitsrelevante Aufgaben zu lösen, stützt diese Annahme mit der folgenden Beobachtung:

„Wir haben beobachtet, dass Teilnehmer mit Zugriff auf den KI-Assistenten bei der Mehrheit der Programmieraufgaben eher Sicherheitslücken einbauten, ihre unsicheren Antworten jedoch im Vergleich zur Kontrollgruppe eher als sicher einstuften.“

Dies deutet auf ein grundlegendes Vertrauen in die Ergebnisse von KI-Programmiertools hin, als ob diese von Natur aus immer sicheren Code produzieren würden, was jedoch nicht der Fall ist.

Angesichts dessen und der unvermeidlichen KI-gestützten Bedrohungen, die unsere Zukunft durchdringen werden, müssen Entwickler mehr denn je ihre Sicherheitsfähigkeiten schärfen und die Messlatte für Codequalität unabhängig von deren Ursprung höher legen.

Der Weg zur Datenpanne ist mit guten Absichten gepflastert

Es überrascht nicht, dass KI-Programmierbegleiter beliebt sind, insbesondere da Entwickler mit wachsender Verantwortung, engeren Fristen und dem Innovationsdruck ihres Unternehmens konfrontiert sind. Doch selbst bei besten Absichten führt ein Mangel an praktischem Sicherheitsbewusstsein bei der Nutzung von KI zwangsläufig zu eklatanten Sicherheitsproblemen. Alle Entwickler, die KI/ML-Tools einsetzen, werden mehr Code generieren, und das Sicherheitsrisiko hängt von ihrem jeweiligen Können ab. Unternehmen müssen sich bewusst sein, dass ungeschulte Mitarbeiter zwar schneller Code generieren, aber damit auch die technische Sicherheitsschuld schneller anhäufen.

Sogar unser vorläufiger Test (April 2023) mit ChatGPT hat gezeigt, dass es sehr grundlegende Fehler macht, die verheerende Folgen haben könnten. Als wir es baten, eine Login-Routine in PHP mit einer MySQL-Datenbank zu erstellen, wurde zwar schnell funktionaler Code generiert. Dieser speicherte Passwörter jedoch standardmäßig im Klartext in einer Datenbank, enthielt Datenbank-Anmeldedaten direkt im Code und verwendete ein Muster, das zu SQL-Injection führen könnte (obwohl es eine gewisse Filterung der Eingabeparameter vornahm und Datenbankfehler ausgab). Alles in allem Anfängerfehler:
‍

‍
Durch weiteres Prompting konnten die Fehler zwar korrigiert werden, aber es erfordert fundiertes Sicherheitswissen, um hier gegenzusteuern. Die unkontrollierte und weit verbreitete Nutzung dieser Tools ist nicht besser, als Junior-Entwickler ohne Aufsicht auf Ihre Projekte loszulassen. Wenn dieser Code kritische Infrastrukturen aufbaut oder personenbezogene Daten verarbeitet, haben wir es mit einer tickenden Zeitbombe zu tun.

Natürlich erwarten wir, dass sich die KI/ML-Fähigkeiten verbessern, so wie Junior-Entwickler mit der Zeit ihre Fähigkeiten erweitern. In einem Jahr wird die KI vielleicht keine so offensichtlichen und einfachen Sicherheitsfehler mehr machen. Das wird jedoch dazu führen, dass die Sicherheitskompetenz, die erforderlich ist, um die schwerwiegenderen, versteckten und komplexen Sicherheitsfehler aufzuspüren, die sie weiterhin produzieren könnte, drastisch steigen muss.

Wir sind nach wie vor schlecht darauf vorbereitet, Sicherheitslücken zu finden und zu beheben, und die KI vergrößert diese Lücke noch

Obwohl seit Jahren viel über „Shifting Left“ gesprochen wird, mangelt es in den meisten Unternehmen nach wie vor erheblich an praktischem Sicherheitswissen bei den Entwicklerteams. Wir müssen daher verstärkt daran arbeiten, ihnen die passenden Tools und Schulungen an die Hand zu geben.

Derzeit sind wir weder auf die üblichen Sicherheitslücken vorbereitet, noch auf neue, durch KI verursachte Probleme wie Prompt Injection oder Hallucination Squatting, die als völlig neue Angriffsvektoren rasant an Bedeutung gewinnen werden. KI-gestützte Coding-Tools sind zwar die Zukunft der Softwareentwicklung, doch die Schulung für deren sicheren Einsatz muss jetzt erfolgen.

‍