Die Vorteile von KI-Innovationen hängen davon ab, dass man mit sicherem Code beginnt

Softwareentwickler sind bereit und gewillt, generative künstliche Intelligenz (KI) zum Schreiben von Code einzusetzen, und erzielen damit in der Regel positive Ergebnisse. Es gibt jedoch zahlreiche Anzeichen dafür, dass sie sich damit auf gefährliches Terrain begeben.

Laut einer aktuellen Umfrage von GitHub nutzen mehr als 90 % der US-Entwickler KI-Tools zum Programmieren. Als Vorteile nennen sie schnellere Fertigstellungszeiten, eine zügige Behebung von Vorfällen und ein kollaborativeres Arbeitsumfeld – Aspekte, die sie als wichtig erachten. Durch den Einsatz von KI-Tools können Entwickler Routineaufgaben abgeben und sich kreativeren Tätigkeiten widmen, was nicht nur dem Unternehmen zugutekommt, sondern auch das Risiko von Burnout am Arbeitsplatz verringert.

Studien zeigen jedoch auch, dass KI-Tools dazu neigen, Fehler in den Code einzubauen. Eine Umfrage von Snyk ergab, dass zwar 75,8 % der Befragten KI-generierten Code für sicherer halten als von Menschen geschriebenen, aber 56,4 % gleichzeitig einräumten, dass die KI gelegentlich Programmierfehler verursacht. Alarmierend ist, dass 80 % der Befragten angaben, Sicherheitsrichtlinien für KI-Code während der Entwicklung zu umgehen.

Seit dem Debüt von OpenAIs ChatGPT im November 2022 hat sich der Einsatz generativer KI-Modelle in der Softwareentwicklung von Finanzdienstleistern – wie auch in vielen anderen Bereichen – rasend schnell verbreitet. Das schnelle Aufkommen weiterer Modelle wie GitHub Copilot, OpenAI Codex und einer wachsenden Liste anderer Lösungen deutet darauf hin, dass wir erst an der Oberfläche dessen kratzen, was generative KI leisten kann und welche Auswirkungen sie hat. Damit diese Auswirkungen positiv sind, müssen wir sicherstellen, dass der generierte Code sicher ist.

Programmierfehler können sich schnell verbreiten

Ob von Menschen oder KI-Modellen erstellt: Code wird immer einige Fehler enthalten. Da KI die Softwareentwicklung beschleunigt, um den ständig wachsenden Anforderungen in hochgradig verteilten, cloudbasierten Umgebungen gerecht zu werden, steigt die Gefahr, dass fehlerhafter Code weite Verbreitung findet, bevor er entdeckt wird.

KI-Modelle, die für das Programmieren trainiert werden, verarbeiten Tausende von Codebeispielen für verschiedene Aufgaben und greifen dann auf diese Beispiele zurück, um eigenen Code zu erstellen. Wenn die verwendeten Vorlagen jedoch Fehler oder Schwachstellen enthalten – egal ob sie ursprünglich von einem Menschen oder einer anderen KI stammen –, kann das Modell diese Mängel in eine neue Umgebung übertragen.

Da Untersuchungen gezeigt haben, dass KI-Modelle nicht in der Lage sind, Fehler im verwendeten Code zuverlässig zu erkennen, gibt es kaum einen eingebauten Schutz gegen die Verbreitung von Schwachstellen. Die KI macht nicht nur Fehler beim Programmieren, sondern wiederholt ihre eigenen Fehler und die aus anderen Quellen so lange, bis die Schwachstelle irgendwann entdeckt wird – möglicherweise erst durch einen erfolgreichen Angriff auf ein Unternehmen, das die erstellte Software nutzt.

Der wirksamste Schutz gegen die Ausbreitung von Programmierfehlern ist die Zusammenarbeit von Mensch und KI. Menschliche Entwickler sollten das KI-gestützte Programmieren überwachen und als Kontrollinstanz gegen unsichere Praktiken und anfälligen Code fungieren. Damit dies gelingt, müssen Entwickler jedoch gründlich in Best Practices für sicheres Programmieren geschult werden, damit sie Fehler, die eine KI machen könnte, erkennen und schnell korrigieren können.

Die Herausforderungen bei der KI-gestützten Code-Erstellung und -Korrektur

Der plötzliche Boom von Large Language Models (LLMs) wie ChatGPT ist ein zweischneidiges Schwert. Einerseits haben Unternehmen und Anwender enorme Produktivitätsgewinne erzielt, indem sie zeitaufwendige, mühsame oder schwierige Aufgaben an die KI delegiert haben. Andererseits gibt es zahlreiche Beispiele dafür, was schiefgehen kann, wenn man sich blind auf die KI verlässt.

KI-Modelle haben eklatante Fehler gemacht, Voreingenommenheit gezeigt und völlige Halluzinationen produziert. In vielen Fällen lag die Ursache des Problems in unzureichenden oder unverantwortlichen Trainingsdaten. Jedes KI-Modell ist nur so gut wie die Daten, mit denen es trainiert wurde. Daher ist es unerlässlich, dass die Trainingsdaten umfassend und sorgfältig geprüft sind. Doch selbst dann werden sich Fehler nicht vollständig vermeiden lassen.

Der Einsatz von KI beim Programmieren steht vor ähnlichen Hürden. Es hat sich gezeigt, dass von KI generierter Code eine Reihe von Mängeln aufweist, wie etwa Anfälligkeit für Cross-Site Scripting und Code-Injection sowie Angriffe, die spezifisch auf KI und maschinelles Lernen (ML) abzielen, wie z. B. Prompt Injection. Zudem arbeiten KI-Modelle als „Black Box“, da ihre Prozesse nicht transparent sind, was es Sicherheits- oder Entwicklungsteams erschwert nachzuvollziehen, wie die KI zu ihren Ergebnissen kommt. Infolgedessen kann das Modell dieselben Fehler immer wieder wiederholen. Dieselben Defizite, die das Schreiben von Code beeinträchtigen, wirken sich auch auf den Einsatz von KI bei der Code-Korrektur und der Einhaltung von Compliance-Anforderungen aus.

Das Potenzial für Fehler, die durch KI-Modelle entstehen oder wiederholt werden, ist so stark gewachsen, dass LLMs mittlerweile eine eigene OWASP-Liste der zehn kritischsten Schwachstellen haben.

Entwickler und KI können gemeinsam sicheren Code erstellen

Bedenken hinsichtlich potenzieller Fehler in KI-generiertem Code könnten manche Unternehmen kurzzeitig zögern lassen, diese Technologie weiter voranzutreiben. Doch die potenziellen Vorteile sind zu groß, um sie zu ignorieren – insbesondere, da KI-Entwickler ihre Modelle kontinuierlich verbessern. Die Finanzdienstleistungsbranche wird den Geist wohl kaum wieder in die Flasche zurückbekommen. Banken und Finanzdienstleister sind ohnehin technologiegetrieben und agieren in einem Umfeld, in dem sie ständig nach Wettbewerbsvorteilen suchen.

Der Schlüssel liegt darin, KI-Modelle so zu implementieren, dass Risiken minimiert werden. Das bedeutet, Entwickler einzusetzen, die sicherheitsbewusst sind und umfassend in Best Practices für sicheres Programmieren geschult wurden – damit sie selbst sicheren Code schreiben und den von KI-Modellen erzeugten Code genau überwachen können. Durch eine enge Zusammenarbeit zwischen KI-Engines und menschlichen Entwicklern, bei der die Entwickler das letzte Wort haben, können Unternehmen von höherer Produktivität und Effizienz profitieren, während sie gleichzeitig die Sicherheit verbessern, Risiken begrenzen und die Compliance sicherstellen.

Einen umfassenden Überblick darüber, wie sicheres Programmieren zum Erfolg, zur Sicherheit und zur Rentabilität von Finanzdienstleistern beitragen kann, finden Sie im neu veröffentlichten Leitfaden von Secure Code Warrior: Der ultimative Leitfaden zu Sicherheitstrends im Finanzwesen.

‍

‍

Besuchen Sie die Secure Code Warrior-Blogseiten für weitere Einblicke in die Cybersicherheit und die zunehmend gefährliche Bedrohungslage. Erfahren Sie, wie Sie innovative Technologien und Schulungen nutzen können, um Ihr Unternehmen und Ihre Kunden besser zu schützen.

‍