Réappropriation de l'esprit critique dans le développement logiciel sécurisé assisté par l'IA

Une version de cet article a été publiée dans Cybersecurity Insiders. Elle a été mise à jour et republiée ici.
L'adoption d'assistants basés sur l'intelligence artificielle, allant des générateurs de code par grands modèles de langage (LLM) aux agents IA sophistiqués, offre de nombreux avantages aux développeurs de logiciels. Pourtant, des conclusions récentes, soulignées par une nouvelle étude du MIT, tirent la sonnette d'alarme : une dépendance excessive à l'IA pourrait entraîner une perte des capacités de réflexion critique chez les utilisateurs.
Dans un paysage logiciel où les risques de sécurité liés à l'IA ont progressé au même rythme que son adoption, cette perte de facultés cognitives pourrait mener à des résultats catastrophiques. Il est impératif, sur le plan éthique, que les développeurs et les organisations identifient, comprennent et atténuent de manière proactive les vulnérabilités de sécurité dès les premières étapes du cycle de vie du développement logiciel (SDLC). Ceux qui négligent ce devoir — ce qui, de manière alarmante, concerne de nombreuses organisations aujourd'hui — font face à une augmentation tout aussi marquée des menaces potentielles, dont certaines sont directement imputables à l'IA.
La question n'est pas de savoir s'il faut utiliser l'IA, car les gains de productivité et d'efficacité sont trop importants pour être ignorés. La vraie question est de savoir comment l'appliquer le plus efficacement possible : en préservant la sécurité tout en maximisant la croissance de la production. Et cela passe avant tout par des développeurs compétents en sécurité qui comprennent parfaitement leur code, quelle qu'en soit l'origine.
La dépendance excessive à l'IA menace nos capacités cognitives
L’étude du Media Lab du MIT, publiée début juin, a analysé les fonctions cognitives de 54 étudiants issus de cinq universités de la région de Boston pendant la rédaction d’une dissertation. Les étudiants ont été répartis en trois groupes : ceux utilisant un grand modèle linguistique (LLM), ceux utilisant des moteurs de recherche, et ceux travaillant « à l'ancienne », sans aucune aide extérieure. L’équipe de recherche a eu recours à l’électroencéphalographie (EEG) pour enregistrer l’activité cérébrale des participants et évaluer leur engagement cognitif ainsi que leur charge mentale. Les chercheurs ont constaté que le groupe travaillant « à l’ancienne », uniquement avec son cerveau, présentait l’activité neuronale la plus intense et la plus diversifiée, tandis que les utilisateurs de moteurs de recherche affichaient une activité modérée, et ceux recourant à un LLM (en l’occurrence ChatGPT-4 d’OpenAI) enregistraient le niveau d’activité cérébrale le plus faible.
Cela n'est peut-être pas très surprenant : après tout, lorsque vous déléguez votre réflexion à un outil, vous réfléchissez moins. Cependant, l'étude a également révélé que les utilisateurs de LLM avaient un lien plus faible avec leurs travaux : 83 % des étudiants ont eu du mal à se souvenir du contenu de leurs essais quelques minutes seulement après les avoir terminés, et aucun des participants n'a pu fournir de citations précises. Un sentiment d'appropriation de l'auteur faisait défaut par rapport aux autres groupes. Les participants travaillant sans aide avaient non seulement le sentiment d'appropriation le plus élevé et l'activité cérébrale la plus large, mais ils ont également produit les essais les plus originaux. Les résultats du groupe LLM étaient plus homogènes et, en réalité, facilement identifiés par les évaluateurs comme étant le fruit de l'IA.
Du point de vue des développeurs, le résultat clé est l'affaiblissement de l'esprit critique découlant de l'utilisation de l'IA. Une utilisation ponctuelle de l'IA ne causera pas nécessairement une perte de compétences essentielles, bien sûr, mais une utilisation constante au fil du temps peut entraîner leur atrophie. L'étude suggère une méthode pour préserver l'esprit critique tout en utilisant l'IA — en faisant en sorte que l'IA aide l'utilisateur plutôt que l'inverse — mais l'accent doit être mis sur la garantie que les développeurs possèdent les compétences en sécurité nécessaires pour créer des logiciels sûrs et qu'ils utilisent ces compétences comme une partie routinière et essentielle de leur travail.
Formation des développeurs : indispensable pour l'écosystème piloté par l'IA
Une étude comme celle du MIT ne freinera pas l'adoption de l'IA, qui progresse à grand pas dans tous les secteurs. Le rapport AI Index 2025 de l'université de Stanford a révélé que 78 % des organisations déclaraient utiliser l'IA en 2024, contre 55 % en 2023. Cette dynamique de croissance devrait se poursuivre. Mais cette utilisation accrue s'accompagne de risques grandissants : le rapport indique que les incidents de cybersécurité liés à l'IA ont augmenté de 56 % sur la même période.
Le rapport de Stanford souligne la nécessité vitale d'une gouvernance renforcée de l'IA, constatant également que les organisations manquent de rigueur dans la mise en place de mesures de sécurité. Bien que la quasi-totalité des entreprises soient conscientes des risques liés à l'IA, moins de deux tiers d'entre elles prennent des mesures concrètes, ce qui les rend vulnérables à de multiples cybermenaces et les expose à d'éventuels manquements face à des exigences de conformité réglementaire toujours plus strictes.
Si la solution n'est pas d'arrêter d'utiliser l'IA (ce que personne ne fera), elle doit consister à l'utiliser de manière plus sûre et sécurisée. L'étude du MIT offre un indice utile sur la façon d'y parvenir. Lors d'une quatrième session de l'étude, les chercheurs ont divisé les utilisateurs de LLM en deux groupes : ceux qui ont commencé l'essai par eux-mêmes avant de se tourner vers ChatGPT pour obtenir de l'aide (groupe « Cerveau vers LLM »), et ceux qui ont laissé ChatGPT rédiger un premier brouillon avant d'y apporter leur touche personnelle (groupe « LLM vers Cerveau »). Le groupe « Cerveau vers LLM », qui a utilisé les outils d'IA pour aider à réécrire un essai déjà rédigé, a montré une meilleure mémorisation et une activité cérébrale plus élevée, avec des zones similaires à celles des utilisateurs de moteurs de recherche. Le groupe « LLM vers Cerveau », qui a laissé l'IA initier l'essai, a présenté une activité neuronale moins coordonnée et une tendance à utiliser le vocabulaire propre au LLM.
Si une approche collaborative entre le cerveau humain et le LLM peut aider les utilisateurs à maintenir leur vivacité intellectuelle, les développeurs doivent également acquérir des compétences précises pour concevoir des logiciels sécurisés et évaluer de manière critique le code généré par l'IA afin d'y déceler d'éventuelles erreurs et failles de sécurité. Ils doivent appréhender les limites de l'IA, notamment sa propension à introduire des vulnérabilités, telles que les attaques par injection de prompts.
Cela nécessite une refonte des programmes de sécurité en entreprise pour garantir un cycle de vie du développement logiciel (SDLC) centré sur l'humain, où les développeurs bénéficient d'un perfectionnement efficace, flexible, pratique et continu dans le cadre d'une culture d'entreprise axée sur la sécurité. Les développeurs doivent continuellement affiner leurs compétences pour rester au fait des menaces sophistiquées et en évolution rapide, en particulier celles entraînées par le rôle prépondérant de l'IA dans le développement logiciel. Cela permet de se protéger, par exemple, contre les attaques par injection de prompt de plus en plus courantes. Mais pour que cette protection soit efficace, les organisations ont besoin d'une initiative portée par les développeurs, axée sur les modèles de conception sécurisés et la modélisation des menaces.
Conclusion
Lorsque les LLM ou les agents autonomes effectuent le travail fastidieux, les utilisateurs deviennent des spectateurs passifs. Selon les auteurs de l'étude, cela peut conduire à « un affaiblissement des capacités de réflexion critique, une compréhension moins approfondie des sujets et une formation de la mémoire à long terme réduite ». Un niveau d'engagement cognitif plus faible peut également entraîner une diminution des capacités de prise de décision.
Les organisations ne peuvent pas se permettre un manque d'esprit critique en matière de cybersécurité. Et parce que les failles logicielles dans des environnements hautement distribués et basés sur le cloud sont devenues la cible principale des cyberattaquants, la cybersécurité commence par la garantie d'un code sécurisé, qu'il soit créé par des développeurs, des assistants IA ou des agents autonomes. Malgré toute la puissance de l'IA, les organisations ont plus que jamais besoin de compétences aiguisées en résolution de problèmes et en esprit critique. Et cela ne peut pas être délégué à l'IA.
Les nouvelles fonctionnalités d'IA de SCW Trust Agent offrent le niveau d'observabilité approfondie et de contrôle indispensable pour piloter sereinement l'adoption de l'IA au sein de votre SDLC, sans jamais faire de compromis sur la sécurité. En savoir plus.
Gouvernez le développement assisté par IA avant la mise en production
Évaluez les risques liés à l'IA, appliquez des politiques de codage sécurisé dès le commit et accélérez la livraison sécurisée tout au long de votre cycle de développement.
Explorer plus d'articles
Accédez à du contenu expert sur le codage sécurisé, la gouvernance de l'IA et la gestion des risques logiciels.

Une culture de la sécurité : comment Sage a bâti son programme de champions
Découvrez comment Sage a renforcé sa sécurité grâce à une approche flexible axée sur l'humain, en formant plus de 200 ambassadeurs de la sécurité et en obtenant une réduction mesurable des risques.

Kamer van Koophandel : La sécurité pilotée par les développeurs à grande échelle
La Kamer van Koophandel explique comment elle a intégré le codage sécurisé au développement quotidien grâce à des certifications basées sur les rôles, à l'étalonnage des scores de confiance et à une culture de responsabilité partagée en matière de sécurité.

Comment « Game of Codes » guide le groupe IAG vers un avenir de codage plus sécurisé
IAG Group est la société mère de nombreuses compagnies d'assurance de premier plan dans la région Asie-Pacifique, couvrant des millions de clients pour un volume de primes annuel d'environ 11,4 milliards de dollars australiens.

Si le modèle est le levier de sécurité le plus faible, qu'est-ce qui rend réellement le code généré par l'IA plus sûr ?
Plus tôt cette année, nous avons publié le SCW AI Trust Index et, en collaboration avec l’université RMIT, nous avons évalué 16 modèles d’IA de premier plan issus notamment d’OpenAI, d’Anthropic et de Google. Nous avons ainsi généré 1 760 bases de code et identifié en moyenne 15 vulnérabilités dans chacune d’elles. Grâce à notre méthodologie inédite, ces données nous ont enfin permis d’établir que le risque de sécurité est prévisible selon le modèle et le framework utilisés.
Pilotez votre programme de codage sécurisé depuis votre outil d'IA
Suivez la progression de la formation, rédigez des Quests et générez des rapports sur votre programme de codage sécurisé SCW depuis n'importe quel outil d'IA compatible MCP. Inclus dans chaque plan SCW.

PHP2Shell : comment l'IA a réduit le délai de correction de quelques jours à quelques heures
PHP2Shell : comment l'IA a réduit le délai de correction de plusieurs jours à quelques heures, et pourquoi les équipes de sécurité doivent repenser leur approche des anciennes vulnérabilités et de la dette technique.
Sécurisez le développement piloté par l'IA avant le déploiement
Identifiez les risques de développement, appliquez vos politiques et prévenez les vulnérabilités tout au long du cycle de vie de vos logiciels.
