Kritisches Denken in der KI-gestützten sicheren Softwareentwicklung zurückgewinnen

Eine Version dieses Artikels erschien bei Cybersecurity Insiders. Er wurde aktualisiert und hier erneut veröffentlicht.

‍

Die Einführung von KI-Assistenten – von Code-Generatoren auf Basis großer Sprachmodelle (LLMs) bis hin zu hochentwickelten KI-Agenten – bietet Softwareentwicklern enorme Vorteile. Doch aktuelle Erkenntnisse, die durch eine neue MIT-Studie untermauert werden, warnen: Eine zu starke Abhängigkeit von KI könnte dazu führen, dass Nutzer ihre Fähigkeiten zum kritischen Denken verlieren.

In einer Softwarelandschaft, in der KI-bezogene Sicherheitsrisiken parallel zur KI-Einführung gestiegen sind, könnte dieser Verlust an kognitiver Fitness tatsächlich katastrophale Folgen haben. Es ist eine ethische Verpflichtung für Entwickler und Unternehmen, Sicherheitslücken frühzeitig im Software Development Lifecycle (SDLC) zu erkennen, zu verstehen und zu beheben. Wer diese Pflicht vernachlässigt – was erschreckenderweise auf viele Unternehmen zutrifft –, sieht sich einem ebenso starken Anstieg potenzieller Sicherheitsbedrohungen gegenüber, von denen einige direkt auf KI zurückzuführen sind.

Die Debatte dreht sich nicht darum, ob KI eingesetzt werden sollte, denn die Produktivitäts- und Effizienzvorteile sind zu groß, um sie zu ignorieren. Die eigentliche Frage ist, wie man sie am effektivsten einsetzt: Sicherheit gewährleisten und gleichzeitig den Output maximieren. Dies gelingt am besten durch sicherheitsbewusste Entwickler, die ihren Code tiefgreifend verstehen – unabhängig davon, woher er stammt.

Übermäßige Abhängigkeit von KI gefährdet das kritische Denken

Die Studie des MIT Media Lab, die Anfang Juni veröffentlicht wurde, untersuchte die kognitiven Funktionen von 54 Studenten an fünf Universitäten im Raum Boston beim Verfassen eines Essays. Die Studenten wurden in drei Gruppen eingeteilt: Nutzer eines großen Sprachmodells (LLM), Nutzer von Suchmaschinen und eine Kontrollgruppe, die ohne externe Hilfe arbeitete. Das Forschungsteam nutzte Elektroenzephalografie (EEG), um die Gehirnaktivität der Teilnehmer aufzuzeichnen und die kognitive Belastung sowie das Engagement zu bewerten. Das Ergebnis: Die „Brain-only“-Gruppe zeigte die stärkste und breiteste neuronale Aktivität, die Suchmaschinennutzer wiesen eine moderate Aktivität auf, während die LLM-Nutzer (in diesem Fall OpenAI ChatGPT-4) die geringste Gehirnaktivität zeigten.

Das mag nicht besonders überraschend sein – wer ein Werkzeug für sich denken lässt, denkt schließlich selbst weniger. Die Studie ergab jedoch auch, dass LLM-Nutzer eine schwächere Bindung zu ihren Texten hatten: 83 % der Studenten konnten sich nur wenige Minuten nach Fertigstellung kaum an den Inhalt ihrer Essays erinnern, und keiner der Teilnehmer konnte korrekte Zitate nennen. Ein Gefühl der Urheberschaft fehlte im Vergleich zu den anderen Gruppen. Die Teilnehmer, die ohne KI arbeiteten, hatten nicht nur das stärkste Gefühl der Eigenverantwortung und zeigten die breiteste Gehirnaktivität, sondern verfassten auch die originellsten Texte. Die Ergebnisse der LLM-Gruppe waren homogener – und für die Prüfer leicht als KI-generiert zu identifizieren.

Aus Sicht der Entwickler ist das entscheidende Ergebnis die durch KI-Nutzung geschwächte kritische Denkfähigkeit. Ein einmaliger Einsatz von KI führt natürlich nicht sofort zum Verlust essenzieller Fähigkeiten, aber die ständige Nutzung über einen längeren Zeitraum kann dazu führen, dass diese verkümmern. Die Studie deutet einen Weg an, wie kritisches Denken bei der KI-Nutzung erhalten bleiben kann – indem die KI den Nutzer unterstützt, statt umgekehrt. Der Schwerpunkt muss jedoch darauf liegen, sicherzustellen, dass Entwickler über die nötigen Sicherheitskompetenzen verfügen, um sichere Software zu bauen, und diese Fähigkeiten als festen, essenziellen Bestandteil ihrer Arbeit einsetzen.

Entwickler-Weiterbildung: Unverzichtbar für das KI-gesteuerte Ökosystem

Eine Studie wie die des MIT wird die KI-Einführung, die in allen Sektoren voranschreitet, nicht aufhalten. Der 2025 AI Index Report der Stanford University ergab, dass 78 % der Unternehmen im Jahr 2024 KI einsetzten, verglichen mit 55 % im Jahr 2023. Dieses Wachstum dürfte sich fortsetzen. Doch der zunehmenden Nutzung stehen steigende Risiken gegenüber: Der Bericht stellte fest, dass KI-bezogene Cybersicherheitsvorfälle im gleichen Zeitraum um 56 % zugenommen haben.

Der Stanford-Bericht unterstreicht die dringende Notwendigkeit einer verbesserten KI-Governance, da er auch feststellte, dass Unternehmen bei der Umsetzung von Sicherheitsvorkehrungen nachlässig sind. Obwohl praktisch alle Unternehmen die Risiken von KI erkennen, ergreifen weniger als zwei Drittel entsprechende Maßnahmen. Dies macht sie anfällig für eine Vielzahl von Cybersicherheitsbedrohungen und führt möglicherweise zu Verstößen gegen immer strengere regulatorische Compliance-Anforderungen.

Wenn die Lösung nicht darin besteht, die KI-Nutzung einzustellen (was ohnehin niemand tun wird), muss sie darin liegen, KI sicherer zu verwenden. Die MIT-Studie bietet einen hilfreichen Ansatz: In einer vierten Sitzung unterteilten die Forscher die LLM-Nutzer in zwei Gruppen: Die „Brain-to-LLM“-Gruppe begann den Essay selbstständig, bevor sie ChatGPT zur Hilfe nahm. Die „LLM-to-Brain“-Gruppe ließ ChatGPT einen ersten Entwurf erstellen, bevor sie sich persönlich damit befasste. Die Brain-to-LLM-Gruppe, die KI-Tools zur Überarbeitung eines bereits selbst verfassten Textes nutzte, zeigte eine höhere Erinnerungsleistung und Gehirnaktivität, die teilweise der der Suchmaschinennutzer ähnelte. Die LLM-to-Brain-Gruppe, die die KI den Essay initiieren ließ, zeigte eine weniger koordinierte neuronale Aktivität und eine Tendenz zur Übernahme des KI-Vokabulars.

Ein Brain-to-LLM-Ansatz kann helfen, den Geist wacher zu halten, aber Entwickler benötigen zudem spezifisches Wissen, um Software sicher zu schreiben und KI-generierten Code kritisch auf Fehler und Sicherheitsrisiken zu prüfen. Sie müssen die Grenzen der KI verstehen, einschließlich ihrer Neigung, Sicherheitslücken wie Prompt-Injection-Angriffe einzuführen.

Dies erfordert eine Überarbeitung der Unternehmenssicherheitsprogramme hin zu einem menschenzentrierten SDLC, in dem Entwickler im Rahmen einer unternehmensweiten Security-First-Kultur effektive, flexible und praxisnahe Weiterbildungen erhalten. Entwickler müssen ihre Fähigkeiten kontinuierlich schärfen, um mit den sich schnell entwickelnden, komplexen Bedrohungen Schritt zu halten – insbesondere mit solchen, die durch die zentrale Rolle der KI in der Softwareentwicklung entstehen. Dies schützt beispielsweise vor den immer häufigeren Prompt-Injection-Angriffen. Damit dieser Schutz greift, benötigen Unternehmen eine entwicklergesteuerte Initiative, die sich auf sichere Designmuster und Threat Modeling konzentriert.

Fazit

Wenn LLMs oder KI-Agenten die Hauptarbeit übernehmen, werden Nutzer zu passiven Zuschauern. Dies kann, so die Autoren der Studie, zu „geschwächten Fähigkeiten zum kritischen Denken, einem weniger tiefen Verständnis der Materie und einer geringeren Bildung des Langzeitgedächtnisses“ führen. Ein niedrigeres Niveau an kognitivem Engagement kann zudem die Entscheidungsfähigkeit beeinträchtigen.

Unternehmen können es sich nicht leisten, beim Thema Cybersicherheit auf kritisches Denken zu verzichten. Da Softwarefehler in hochgradig verteilten, cloudbasierten Umgebungen zum Hauptziel von Cyberangriffen geworden sind, beginnt Cybersicherheit bei der Gewährleistung von sicherem Code – egal, ob dieser von Entwicklern, KI-Assistenten oder KI-Agenten erstellt wurde. Trotz der Leistungsfähigkeit von KI benötigen Unternehmen mehr denn je geschulte Problemlösungs- und kritische Denkfähigkeiten. Und das lässt sich nicht an die KI auslagern.

Die neuen KI-Funktionen des SCW Trust Agent bieten die tiefgreifende Beobachtbarkeit und Kontrolle, die Sie benötigen, um die Einführung von KI in Ihrem SDLC sicher und souverän zu steuern. Erfahren Sie mehr.