Retrouver l'esprit critique dans le développement de logiciels sécurisés assistés par l'IA

Une version de cet article a été publiée dans Initiés à la cybersécurité. Il a été mis à jour et diffusé ici.

‍

L'adoption d'assistants d'intelligence artificielle, allant des créateurs de code LLM (Large Language Model) aux agents d'IA agentiques sophistiqués, offre de nombreux avantages aux développeurs de logiciels. Pourtant, des résultats récents, soulignés par une nouvelle étude du MIT, lancent un avertissement : une forte dépendance à l'égard de l'IA pourrait entraîner une perte de capacité de réflexion critique des utilisateurs.

Dans un paysage logiciel où les risques de sécurité liés à l'IA ont augmenté au fur et à mesure de l'adoption de l'IA, cette perte de capacité cognitive pourrait en effet avoir des conséquences catastrophiques. Il est impératif d'éthique pour les développeurs et les organisations d'identifier, de comprendre et d'atténuer de manière proactive les failles de sécurité dès le début du cycle de vie du développement logiciel (SDLC). Ceux qui négligent ce devoir, qui décrit de manière alarmante de nombreuses organisations aujourd'hui, sont confrontés à une augmentation tout aussi importante des menaces de sécurité potentielles, dont certaines sont directement attribuables à l'IA.

Le débat n'est pas de savoir s'il faut utiliser l'IA, car les avantages en termes de productivité et d'efficacité sont trop importants pour être ignorés. La vraie question est plutôt de savoir comment l'appliquer le plus efficacement possible : préserver la sécurité tout en maximisant la croissance de la production. Et le meilleur moyen d'y parvenir est de confier la tâche à des développeurs qui maîtrisent parfaitement leur code, quelle que soit son origine.

Une dépendance excessive à l'égard de l'IA entraîne un déclin cognitif

Le étude réalisée par le Media Lab du MIT, publié début juin, a testé les fonctions cognitives de 54 étudiants de cinq universités de la région de Boston pendant qu'ils rédigeaient un essai. Les étudiants ont été divisés en trois groupes : ceux qui utilisaient un modèle linguistique étendu (LLM), ceux utilisant des moteurs de recherche et ceux qui fréquentaient la vieille école sans assistance extérieure. L'équipe de recherche a utilisé l'électroencéphalographie (EEG) pour enregistrer l'activité cérébrale des participants et évaluer l'engagement cognitif et la charge cognitive. L'équipe a découvert que le groupe « uniquement cérébral » de la vieille école présentait l'activité neuronale la plus forte et la plus étendue, tandis que ceux utilisant des moteurs de recherche affichaient une activité modérée et ceux utilisant un LLM (dans ce cas, le ChatGPT-4 d'OpenAI) présentait le moins d'activité cérébrale.

Cela n'est peut-être pas particulièrement surprenant. Après tout, lorsque vous utilisez un outil pour réfléchir à votre place, vous allez moins réfléchir. Cependant, l'étude a également révélé que les utilisateurs de LLM avaient un lien plus faible avec leurs articles : 83 % des étudiants avaient du mal à se souvenir du contenu de leur thèse, même quelques minutes après l'avoir terminée, et aucun des participants n'était en mesure de fournir des citations précises. Le sentiment d'appartenance à l'auteur faisait défaut par rapport aux autres groupes. Non seulement les participants dont le cerveau était le plus actif étaient ceux qui possédaient le plus grand sentiment d'appartenance et présentaient le plus large éventail d'activités cérébrales, mais ils ont également produit les articles les plus originaux. Les résultats du groupe LLM étaient plus homogènes et, en fait, ont été facilement identifiés par les juges comme étant l'œuvre de l'IA.

Du point de vue des développeurs, le principal résultat est une diminution de l'esprit critique liée à l'utilisation de l'IA. Un seul cas de recours à l'IA peut ne pas entraîner de perte des capacités de réflexion essentielles, bien sûr, mais une utilisation constante au fil du temps peut entraîner une atrophie de ces compétences. L'étude suggère un moyen de préserver l'esprit critique lors de l'utilisation de l'IA, en faisant en sorte que l'IA aide l'utilisateur plutôt que l'utilisateur aide l'IA, mais l'accent doit vraiment être mis sur la garantie que les développeurs possèdent les compétences en matière de sécurité dont ils ont besoin pour créer des logiciels sûrs et qu'ils utilisent ces compétences comme une partie intégrante de leur travail de routine.

La formation des développeurs : essentielle pour l'écosystème piloté par l'IA

Une étude comme celle du MIT n'empêchera pas l'adoption de l'IA, qui progresse dans tous les secteurs. University of Stanford Rapport sur l'indice IA 2025 a révélé que 78 % des organisations ont déclaré utiliser l'IA en 2024, contre 55 % en 2023. Ce type de croissance devrait se poursuivre. Mais une utilisation accrue se traduit par une augmentation des risques : le rapport révèle que les incidents de cybersécurité liés à l'IA ont augmenté de 56 % au cours de la même période.

Le rapport de Stanford souligne la nécessité vitale de amélioration de la gouvernance de l'IA, car elle a également constaté que les organisations font preuve de laxisme dans la mise en œuvre des mesures de sécurité. Bien que pratiquement toutes les organisations soient conscientes des risques liés à l'IA, moins des deux tiers prennent des mesures pour y remédier, ce qui les rend vulnérables à de nombreuses menaces de cybersécurité et potentiellement en violation d'exigences réglementaires de plus en plus strictes.

Si la solution n'est pas d'arrêter d'utiliser l'IA (ce que personne ne fera), il faut utiliser l'IA de manière plus sûre et sécurisée. L'étude du MIT fournit un indice utile sur la façon de s'y prendre. Lors d'une quatrième session de l'étude, les chercheurs ont divisé les utilisateurs du LLM en deux groupes : ceux qui ont commencé l'essai de leur propre chef avant de se tourner vers ChatGPT pour obtenir de l'aide, connu dans l'étude sous le nom de groupe Brain-to-LLM, et ceux qui ont demandé à ChatGPT d'élaborer une première ébauche avant de lui accorder leur attention personnelle, connu sous le nom de groupe LLM-to-Brain. Le groupe Brain-to-LLM, qui a utilisé des outils d'IA pour réécrire un essai qu'il avait déjà rédigé, a montré une mémorisation et une activité cérébrale plus élevées, certains domaines étant similaires à ceux des utilisateurs des moteurs de recherche. Le groupe LLM-Cerveau, qui a permis à l'IA de lancer l'essai, présentait une activité neuronale moins coordonnée et un biais en faveur de l'utilisation du vocabulaire du LLM.

Une approche Brain-to-LLM peut aider les utilisateurs à garder le cerveau un peu plus aiguisé, mais les développeurs ont également besoin de connaissances spécifiques pour écrire des logiciels en toute sécurité et évaluer de manière critique le code généré par l'IA pour détecter les erreurs et les risques de sécurité. Ils doivent comprendre les limites de l'IA, notamment sa propension à introduire des failles de sécurité telles que des vulnérabilités injection rapide attaques.

Cela nécessite une refonte des programmes de sécurité d'entreprise afin de garantir un SDLC centré sur l'humain, dans lequel les développeurs bénéficient de formations efficaces, flexibles, pratiques et continues dans le cadre d'une culture axée sur la sécurité à l'échelle de l'entreprise. Les développeurs doivent continuellement améliorer leurs compétences pour rester au fait des menaces sophistiquées qui évoluent rapidement, en particulier celles liées au rôle prépondérant de l'IA dans le développement de logiciels. Cela protège contre, par exemple, les attaques par injection rapide de plus en plus courantes. Mais pour que cette protection fonctionne, les entreprises ont besoin d'une initiative pilotée par les développeurs pour se concentrer sur des modèles de conception sécurisés et la modélisation des menaces.

Conclusion

Lorsque les LLM ou les agents agentiques font le gros du travail, les utilisateurs deviennent des spectateurs passifs. Selon les auteurs de l'étude, cela peut entraîner « un affaiblissement des capacités de pensée critique, une compréhension moins approfondie des matériaux et une moindre formation de mémoire à long terme ». Un niveau d'engagement cognitif plus faible peut également entraîner une diminution des capacités de prise de décision.

Les organisations ne peuvent pas se permettre de manquer d'esprit critique en matière de cybersécurité. Et comme les failles logicielles dans les environnements cloud hautement distribués sont devenues la principale cible des cyberattaquants, la cybersécurité commence par la sécurisation du code, qu'il soit créé par des développeurs, des assistants IA ou des agents agentiques. Malgré toute la puissance de l'IA, les organisations ont plus que jamais besoin de compétences pointues en matière de résolution de problèmes et de pensée critique. Et cela ne peut pas être sous-traité à l'IA.

Les nouvelles fonctionnalités d'IA de SCW Trust Agent offrent l'observabilité et le contrôle approfondis dont vous avez besoin pour gérer en toute confiance l'adoption de l'IA dans votre SDLC sans sacrifier la sécurité. En savoir plus.