在 AI 增强型安全软件开发中重拾批判性思维

这篇文章的一个版本出现在 网络安全内部人士。 它已在此处更新和发布。

‍

从大型语言模型 (LLM) 代码创建者到复杂的代理人工智能代理，采用人工智能助手为软件开发人员带来了大量好处。然而，麻省理工学院的一项新研究突显了最近的发现，发出了警告：严重依赖人工智能可能会导致用户失去批判性思维能力。

在软件环境中，与人工智能相关的安全风险随着人工智能的采用而增加，这种认知能力的丧失确实可能导致灾难性后果。开发人员和组织必须在软件开发生命周期 (SDLC) 的早期主动识别、理解和缓解安全漏洞。令人震惊的是，当今许多组织都忽视了这一职责，但却面临着同样急剧增加的潜在安全威胁，其中一些威胁可直接归因于人工智能。

争论不在于是否使用人工智能，因为生产力和效率的优势实在不容忽视。相反，真正的问题是如何最有效地应用它：在最大限度地提高产出增长的同时保障安全。而这最好由精通安全的开发人员来完成，无论代码来自哪里，他们都对代码了如指掌。

过度依赖人工智能可能会导致认知能力下降

这个 麻省理工学院媒体实验室的研究于6月初发布，测试了来自波士顿地区五所大学的54名学生在撰写论文时的认知功能。这些学生分为三组：使用大型语言模型（LLM）的学生、使用搜索引擎的学生和在没有外部帮助的情况下进入老学校的学生。研究小组使用脑电图（EEG）来记录参与者的大脑活动并评估认知参与度和认知负荷。研究小组发现，老派的 “纯大脑” 群体表现出最强、范围最广的神经活动，而使用搜索引擎的人群表现出中等的活动，而使用LLM（在本例中为OpenAI的ChatGPT-4）的人群表现出最少的大脑活动。

这可能并不特别令人惊讶——毕竟，当你使用一个工具来为你思考时，你的思考就会减少。但是，该研究还显示，法学硕士用户与论文的联系较弱：83％的学生即使在完成论文几分钟后也难以回忆起论文的内容，而且没有一个参与者能够提供准确的报价。与其他群体相比，作者所有权感不足。仅限大脑的参与者不仅拥有最高的主人翁意识，表现出最广泛的大脑活动，而且他们还撰写了最具原创性的论文。LLM 小组的结果更加同质——事实上，评委们很容易将其确定为人工智能的作品。

从开发者的角度来看，关键结果是由于使用人工智能而减少了批判性思维。当然，单一依赖人工智能可能不会导致基本思维技能的丧失，但是随着时间的推移不断使用会导致这些技能萎缩。该研究提出了一种在使用人工智能的同时保持批判性思维活力的方法——让人工智能帮助用户而不是用户帮助人工智能——但真正的重点必须放在确保开发人员具备构建安全软件所需的安全技能上，并将这些技能用作日常工作的重要组成部分。

开发者教育：对人工智能驱动的生态系统至关重要

像麻省理工学院这样的研究不会阻止人工智能的采用，而人工智能正在推动各个领域的发展。斯坦福大学的 2025 年人工智能指数报告 发现 78% 的组织报告说在 2024 年使用了人工智能，而 2023 年的这一比例为 55%。预计这种增长将继续下去。但是，使用量的增加反映了风险的增加：该报告发现，与人工智能相关的网络安全事件同期增长了56％。

斯坦福大学的报告强调了迫切需求 改善 AI 治理, 因为它还发现各组织在实施安全保障措施方面松懈.尽管几乎所有组织都认识到人工智能的风险，但只有不到三分之二的组织对此采取了任何行动，这使他们容易受到一系列网络安全威胁的影响，并可能违反日益严格的监管合规要求。

如果答案不是停止使用人工智能（没有人会这样做），那么一定是更安全地使用人工智能。麻省理工学院的研究为如何解决这个问题提供了一条有用的线索。在研究的第四部分中，研究人员将 LLM 用户分为两组：那些在向 ChatGPT 寻求帮助之前自己开始撰写文章的人，在研究中被称为 Brain-to-LLM 小组，以及那些让 ChatGPT 在给予个人关注之前起草了初稿的人，称为 LLM-to-Brain 小组。Brain-to-LLM小组使用人工智能工具帮助改写他们已经起草的一篇文章，该小组显示出更高的回忆率和大脑活性，其中一些领域与搜索引擎用户的区域相似。允许人工智能发起这篇文章的LLM-to-Brain小组表现出较差的神经活动协调性，并且倾向于使用LLM词汇。

Brain-to-LLM 方法可能有助于保持用户的大脑更加敏锐，但开发人员还需要特定的知识来安全地编写软件并严格评估人工智能生成的代码是否存在错误和安全风险。他们需要了解人工智能的局限性，包括它引入安全漏洞（例如漏洞）的倾向 立即注射 攻击。

这需要彻底改革企业安全计划，确保建立以人为本的 SDLC，开发人员在其中获得有效、灵活、实际操作和持续的技能提升，这是企业安全至上文化的一部分。开发人员需要不断提高技能，以应对快速演变的复杂威胁，尤其是那些由人工智能在软件开发中的重要作用驱动的威胁。例如，这可以防止越来越常见的即时注入攻击。但是，要使这种保护发挥作用，组织需要一项由开发人员驱动的计划，将重点放在安全设计模式和威胁建模上。

结论

当 LLM 或代理代理完成繁重的工作时，用户会变成被动的旁观者。该研究的作者说，这可能导致 “批判性思维能力减弱，对材料的深刻理解减少以及长期记忆形成的减少”。较低的认知参与度也可能导致决策能力降低。

在网络安全方面，组织承受不起缺乏批判性思维的代价。而且，由于高度分散、基于云的环境中的软件缺陷已成为网络攻击者的首要目标，因此网络安全首先要确保代码安全，无论代码是由开发人员、人工智能助手还是代理创建的。尽管人工智能具有种种力量，但组织比以往任何时候都更需要经过高度磨练的问题解决和批判性思维能力。而且这不能外包给人工智能。

SCW Trust Agent 的新 AI 功能提供了所需的深度可观测性和控制力，让您在不牺牲安全性的前提下自信地管理 SDLC 中的 AI 采用。 了解更多。