Réappropriation de l'esprit critique dans le développement logiciel sécurisé assisté par l'IA

Une version de cet article a été publiée dans Cybersecurity Insiders. Il a été mis à jour et syndiqué ici.

‍

L'adoption d'assistants basés sur l'intelligence artificielle, allant des générateurs de code par grands modèles de langage (LLM) aux agents IA sophistiqués, offre de nombreux avantages aux développeurs de logiciels. Pourtant, des conclusions récentes, soulignées par une nouvelle étude du MIT, tirent la sonnette d'alarme : une dépendance excessive à l'IA pourrait entraîner une perte des capacités de réflexion critique chez les utilisateurs.

Dans un paysage logiciel où les risques de sécurité liés à l'IA ont progressé au même rythme que son adoption, cette perte de facultés cognitives pourrait mener à des résultats catastrophiques. Il est impératif, sur le plan éthique, que les développeurs et les organisations identifient, comprennent et atténuent de manière proactive les vulnérabilités de sécurité dès les premières étapes du cycle de vie du développement logiciel (SDLC). Ceux qui négligent ce devoir — ce qui, de manière alarmante, concerne de nombreuses organisations aujourd'hui — font face à une augmentation tout aussi marquée des menaces potentielles, dont certaines sont directement imputables à l'IA.

La question n'est pas de savoir s'il faut utiliser l'IA, car les gains de productivité et d'efficacité sont trop importants pour être ignorés. La vraie question est de savoir comment l'appliquer le plus efficacement possible : en préservant la sécurité tout en maximisant la croissance de la production. Et cela passe avant tout par des développeurs compétents en sécurité qui comprennent parfaitement leur code, quelle qu'en soit l'origine.

La dépendance excessive à l'IA menace nos capacités cognitives

L'étude du Media Lab du MIT, publiée début juin, a testé les fonctions cognitives de 54 étudiants issus de cinq universités de la région de Boston lors de la rédaction d'un essai. Les étudiants ont été répartis en trois groupes : ceux utilisant un grand modèle de langage (LLM), ceux utilisant des moteurs de recherche, et ceux travaillant de manière traditionnelle, sans aide extérieure. L'équipe de recherche a utilisé l'électroencéphalographie (EEG) pour enregistrer l'activité cérébrale des participants et évaluer leur engagement cognitif ainsi que leur charge mentale. L'équipe a constaté que le groupe « traditionnel » (sans assistance) présentait l'activité neuronale la plus intense et la plus étendue, tandis que ceux utilisant des moteurs de recherche montraient une activité modérée, et ceux utilisant un LLM (en l'occurrence, ChatGPT-4 d'OpenAI) présentaient le niveau d'activité cérébrale le plus faible.

Cela n'est peut-être pas très surprenant : après tout, lorsque vous déléguez votre réflexion à un outil, vous réfléchissez moins. Cependant, l'étude a également révélé que les utilisateurs de LLM avaient un lien plus faible avec leurs travaux : 83 % des étudiants ont eu du mal à se souvenir du contenu de leurs essais quelques minutes seulement après les avoir terminés, et aucun des participants n'a pu fournir de citations précises. Un sentiment d'appropriation de l'auteur faisait défaut par rapport aux autres groupes. Les participants travaillant sans aide avaient non seulement le sentiment d'appropriation le plus élevé et l'activité cérébrale la plus large, mais ils ont également produit les essais les plus originaux. Les résultats du groupe LLM étaient plus homogènes et, en réalité, facilement identifiés par les évaluateurs comme étant le fruit de l'IA.

Du point de vue des développeurs, le résultat clé est l'affaiblissement de l'esprit critique découlant de l'utilisation de l'IA. Une utilisation ponctuelle de l'IA ne causera pas nécessairement une perte de compétences essentielles, bien sûr, mais une utilisation constante au fil du temps peut entraîner leur atrophie. L'étude suggère une méthode pour préserver l'esprit critique tout en utilisant l'IA — en faisant en sorte que l'IA aide l'utilisateur plutôt que l'inverse — mais l'accent doit être mis sur la garantie que les développeurs possèdent les compétences en sécurité nécessaires pour créer des logiciels sûrs et qu'ils utilisent ces compétences comme une partie routinière et essentielle de leur travail.

Formation des développeurs : indispensable pour l'écosystème piloté par l'IA

Une étude comme celle du MIT ne stoppera pas l'adoption de l'IA, qui progresse dans tous les secteurs. Le rapport 2025 AI Index Report de l'Université de Stanford a révélé que 78 % des organisations ont déclaré utiliser l'IA en 2024, contre 55 % en 2023. Cette croissance devrait se poursuivre. Mais cette utilisation accrue s'accompagne d'une augmentation des risques : le rapport indique que les incidents de cybersécurité liés à l'IA ont augmenté de 56 % sur la même période.

Le rapport de Stanford souligne le besoin vital d'une meilleure gouvernance de l'IA, car il constate également que les organisations manquent de rigueur dans la mise en œuvre des mesures de sécurité. Bien que la quasi-totalité des organisations reconnaissent les risques liés à l'IA, moins des deux tiers prennent des mesures concrètes, ce qui les rend vulnérables à une multitude de menaces de cybersécurité et potentiellement en infraction avec des exigences de conformité réglementaire de plus en plus strictes.

Si la solution n'est pas d'arrêter d'utiliser l'IA (ce que personne ne fera), elle doit consister à l'utiliser de manière plus sûre et sécurisée. L'étude du MIT offre un indice utile sur la façon d'y parvenir. Lors d'une quatrième session de l'étude, les chercheurs ont divisé les utilisateurs de LLM en deux groupes : ceux qui ont commencé l'essai par eux-mêmes avant de se tourner vers ChatGPT pour obtenir de l'aide (groupe « Cerveau vers LLM »), et ceux qui ont laissé ChatGPT rédiger un premier brouillon avant d'y apporter leur touche personnelle (groupe « LLM vers Cerveau »). Le groupe « Cerveau vers LLM », qui a utilisé les outils d'IA pour aider à réécrire un essai déjà rédigé, a montré une meilleure mémorisation et une activité cérébrale plus élevée, avec des zones similaires à celles des utilisateurs de moteurs de recherche. Le groupe « LLM vers Cerveau », qui a laissé l'IA initier l'essai, a présenté une activité neuronale moins coordonnée et une tendance à utiliser le vocabulaire propre au LLM.

Une approche « Cerveau vers LLM » peut aider à garder l'esprit un peu plus vif, mais les développeurs ont également besoin de connaissances spécifiques pour écrire des logiciels de manière sécurisée et pour évaluer de manière critique le code généré par l'IA afin d'y déceler les erreurs et les risques de sécurité. Ils doivent comprendre les limites de l'IA, notamment sa propension à introduire des failles de sécurité telles que la vulnérabilité aux attaques par injection de prompt.

Cela nécessite une refonte des programmes de sécurité en entreprise pour garantir un cycle de vie du développement logiciel (SDLC) centré sur l'humain, où les développeurs bénéficient d'un perfectionnement efficace, flexible, pratique et continu dans le cadre d'une culture d'entreprise axée sur la sécurité. Les développeurs doivent continuellement affiner leurs compétences pour rester au fait des menaces sophistiquées et en évolution rapide, en particulier celles entraînées par le rôle prépondérant de l'IA dans le développement logiciel. Cela permet de se protéger, par exemple, contre les attaques par injection de prompt de plus en plus courantes. Mais pour que cette protection soit efficace, les organisations ont besoin d'une initiative portée par les développeurs, axée sur les modèles de conception sécurisés et la modélisation des menaces.

Conclusion

Lorsque les LLM ou les agents autonomes effectuent le travail fastidieux, les utilisateurs deviennent des spectateurs passifs. Selon les auteurs de l'étude, cela peut conduire à « un affaiblissement des capacités de réflexion critique, une compréhension moins approfondie des sujets et une formation de la mémoire à long terme réduite ». Un niveau d'engagement cognitif plus faible peut également entraîner une diminution des capacités de prise de décision.

Les organisations ne peuvent pas se permettre un manque d'esprit critique en matière de cybersécurité. Et parce que les failles logicielles dans des environnements hautement distribués et basés sur le cloud sont devenues la cible principale des cyberattaquants, la cybersécurité commence par la garantie d'un code sécurisé, qu'il soit créé par des développeurs, des assistants IA ou des agents autonomes. Malgré toute la puissance de l'IA, les organisations ont plus que jamais besoin de compétences aiguisées en résolution de problèmes et en esprit critique. Et cela ne peut pas être délégué à l'IA.

Les nouvelles fonctionnalités d'IA de SCW Trust Agent offrent l'observabilité et le contrôle approfondis nécessaires pour gérer en toute confiance l'adoption de l'IA dans votre cycle de développement logiciel, sans compromettre la sécurité. En savoir plus.