在 AI 辅助的安全软件开发中重拾批判性思维

本文的一个版本曾发表于 Cybersecurity Insiders。 此处内容已更新并转载。

‍

从大语言模型（LLM）代码生成器到复杂的智能体 AI，人工智能助手的普及为软件开发人员带来了诸多益处。然而，麻省理工学院（MIT）的一项最新研究发出警告：过度依赖 AI 可能会导致用户丧失批判性思维能力。

在 AI 相关安全风险随 AI 应用同步增长的软件环境下，这种认知能力的退化确实可能导致灾难性后果。开发人员和组织有道德义务在软件开发生命周期（SDLC）的早期主动识别、理解并缓解安全漏洞。令人担忧的是，目前许多组织忽视了这一职责，这使得他们面临的安全威胁急剧增加，其中一些威胁直接源于 AI。

争论的焦点不在于是否使用 AI，因为其带来的生产力和效率提升不容忽视。真正的关键在于如何最有效地应用它：在最大化产出的同时确保安全性。而实现这一目标的最佳途径，是依靠那些无论代码来源如何，都能深入理解其逻辑的安全专业型开发人员。

过度依赖 AI 存在认知能力下降的风险

这项 MIT 媒体实验室的研究于 6 月初发布，测试了波士顿地区五所大学的 54 名学生在撰写论文时的认知功能。学生被分为三组：使用大语言模型（LLM）组、使用搜索引擎组，以及不借助任何外部工具的传统组。研究团队利用脑电图（EEG）记录参与者的脑部活动，以评估其认知参与度和认知负荷。结果发现，采用“纯脑力”工作的传统组表现出最强、最广泛的神经活动；使用搜索引擎组表现出中等活动水平；而使用 LLM（本研究中为 OpenAI 的 ChatGPT-4）的组别脑部活动最少。

这或许并不令人意外——毕竟，当你雇佣一个工具来替你思考时，你自己的思考自然会减少。然而，研究还显示，LLM 用户与所写论文之间的联系更为薄弱：83% 的学生在完成论文仅几分钟后就难以回忆起内容，且没有参与者能提供准确的引用。与其他组相比，他们缺乏一种作者的归属感。纯脑力参与者不仅拥有最高的归属感，展现了最广泛的脑部活动，而且产出的论文也最具原创性。相比之下，LLM 组的结果更为同质化，甚至很容易被评委识别出是 AI 的作品。

从开发人员的角度来看，关键后果是 AI 使用导致的批判性思维减弱。当然，偶尔依赖一次 AI 可能不会导致基本思维能力的丧失，但长期持续使用会导致这些能力退化。研究提出了一种在利用 AI 的同时保持批判性思维的方法——即让 AI 辅助用户，而不是用户辅助 AI。但真正的重点必须放在确保开发人员具备构建安全软件所需的安全技能，并将这些技能作为日常工作中不可或缺的一部分。

开发人员教育：AI 驱动生态系统的核心

像 MIT 这样的研究无法阻止 AI 的普及，因为 AI 正在各行各业迅速推进。斯坦福大学的 2025 年 AI 指数报告显示，2024 年有 78% 的组织报告使用了 AI，而 2023 年这一比例为 55%。这种增长预计将持续下去。但使用量的增加伴随着风险的上升：报告发现，同期 AI 相关的网络安全事件增长了 56%。

斯坦福大学的报告强调了 改进 AI 治理的迫切需求，因为它同时发现组织在实施安全保障措施方面表现松懈。尽管几乎所有组织都认识到 AI 的风险，但只有不到三分之二的组织采取了实际行动，这使他们容易受到各种网络安全威胁的攻击，并可能违反日益严格的监管合规要求。

如果答案不是停止使用 AI（没人会这样做），那么必须是更安全、更稳妥地使用 AI。MIT 的研究为如何做到这一点提供了一个有益的线索。在研究的第四阶段，研究人员将 LLM 用户分为两组：一组是先自己撰写论文再寻求 ChatGPT 帮助的“脑力驱动 LLM”组；另一组是先让 ChatGPT 生成初稿，再由个人进行修改的“LLM 驱动脑力”组。前者利用 AI 工具修改已完成的草稿，表现出更高的记忆力和脑部活动，某些指标与搜索引擎用户相似。而后者让 AI 主导论文撰写，表现出较弱的神经活动协调性，且倾向于使用 LLM 的词汇。

“脑力驱动 LLM”的方法或许能让用户保持更敏锐的思维，但开发人员还需要具备特定的知识来安全地编写软件，并批判性地评估 AI 生成代码中的错误和安全风险。他们需要了解 AI 的局限性，包括其容易引入安全漏洞（如 提示词注入 攻击）的倾向。

这需要彻底改革企业安全计划，以确保以人为本的 SDLC，即开发人员作为企业级“安全优先”文化的一部分，获得有效、灵活、实践性强且持续的技能提升。开发人员需要不断磨练技能，以跟上快速演变且复杂的威胁，特别是那些由 AI 在软件开发中的突出作用所引发的威胁。这有助于防范日益常见的提示词注入攻击等风险。但要使这种保护生效，组织需要发起由开发人员主导的倡议，专注于安全设计模式和威胁建模。

结论

当 LLM 或智能体承担繁重工作时，用户就变成了被动的旁观者。研究作者指出，这可能导致“批判性思维能力减弱、对材料的理解不够深入以及长期记忆形成减少”。较低的认知参与度也可能导致决策能力下降。

在网络安全方面，组织承担不起批判性思维缺失的后果。由于高度分布式云环境中的软件缺陷已成为网络攻击者的首要目标，网络安全始于确保代码安全，无论这些代码是由开发人员、AI 助手还是智能体创建的。尽管 AI 功能强大，但组织比以往任何时候都更需要磨练解决问题和批判性思维的能力。而这些能力是无法外包给 AI 的。

SCW Trust Agent 的全新 AI 功能可提供您所需的深度可观测性与控制力，助您在不牺牲安全性的前提下，自信地在软件开发生命周期（SDLC）中采用 AI 技术。 了解更多。