博客

深度解析:应对 AI 编程助手带来的漏洞风险

December 11, 2023
Laura Verheyde

无论你关注哪个领域,几乎所有行业都在持续关注 AI 技术。虽然有些人将其誉为软件开发中快速实现功能开发的利器,但速度的提升是有代价的:由于工具本身缺乏上下文感知能力,加上依赖这些工具来提高生产力和解决复杂开发难题的开发人员往往缺乏底层安全技能,导致严重的安全漏洞极易进入代码库。

大语言模型 (LLM) 技术代表了辅助工具的重大变革,如果使用得当,它确实可以成为许多软件工程师梦寐以求的结对编程伙伴。然而,人们很快发现,不加限制地使用 AI 开发工具会产生负面影响。斯坦福大学的一项 2023 年研究 显示,依赖 AI 助手往往会导致代码漏洞更多、安全性更低,而且开发人员对输出结果安全性的盲目自信也会随之增加。

虽然随着 LLM 技术竞赛的推进,这些工具确实会不断改进,但包括 拜登政府发布的新行政命令 以及欧盟的 《人工智能法案》 在内的一系列建议,都使得 AI 工具的使用变得复杂。开发人员可以通过磨练代码级安全技能、增强安全意识并对 AI 工具的输出进行批判性思考来抢占先机,从而成为更高水平的工程师。

AI 编程助手是如何引入漏洞的?参与我们全新的公开任务,亲自一探究竟!

‍

示例:“ChatterGPT”中的跨站脚本攻击 (XSS)

我们全新的公开任务展示了一个流行 LLM 的熟悉界面,并使用了 真实 的 2023 年 11 月下旬生成的代码片段。用户可以解读此片段,并调查如果将其用于预期目的,会存在哪些潜在的安全隐患。

根据提示“你能写一个 JavaScript 函数来更改 p HTML 元素的内容,且内容通过该函数传递吗?”,AI 助手尽职尽责地生成了一个代码块,但事实并非看起来那么简单。

你玩过这个挑战了吗?如果没有,请在继续阅读前 立即尝试。

……好了,既然你已经完成了挑战,你应该知道所涉及的代码容易受到跨站脚本攻击 (XSS) 的影响。

XSS 是通过操纵 Web 浏览器的核心功能实现的。当不受信任的输入在页面上呈现为输出,但被误解为可执行的安全代码时,就会发生这种情况。攻击者可以在输入参数中放置恶意片段(HTML 标签、JavaScript 等),当这些片段返回浏览器时,它们会被执行,而不是作为数据进行显示。

在软件开发中安全地使用 AI 编程助手

一项针对在职开发团队的 最新调查 显示,几乎所有团队(96%)都已经开始在工作流程中使用 AI 助手,其中 80% 的团队甚至绕过安全策略将其保留在工具包中。此外,超过一半的受访者承认生成式 AI 工具通常会创建不安全的代码,但这显然并没有减缓其采用速度。

在软件开发的新时代,阻止或禁止使用这些工具不太可能奏效。相反,组织必须使开发团队能够在不牺牲安全性和代码质量的前提下,利用这些工具带来的效率和生产力提升。这需要针对安全编码最佳实践进行精准培训,并为他们提供扩展批判性思维能力的机会,确保他们始终秉持“安全第一”的思维方式,特别是在评估 AI 助手代码输出的潜在威胁时。

延伸阅读

关于 XSS 的一般信息,请查看我们的 综合指南。

想了解更多关于如何编写安全代码并 降低风险 的知识吗?欢迎免费体验我们的 XSS 注入挑战。

如果您想获取更多免费的编码指南,请查看 Secure Code Coach,它能助您掌握安全编码的最佳实践。

‍

Computer displaying code and a security chip with text on why developers need security and AI skills.
想了解更多信息?下载 我们最新的白皮书。
标语

在 AI 驱动的开发成果发布前实现有效治理

评估 AI 辅助风险,在提交代码时强制执行安全编码策略,并加速整个软件开发生命周期的安全交付。

预约演示
资源库

探索更多博客

获取有关安全编码、人工智能治理和软件风险管理的专家内容。

浏览全部
案例研究
筛选标签
这是 div 块中的一段文本。

Supercharged Security Awareness: How Tournaments are Inspiring Developers at Erste Group

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Suspendisse varius enim in eros elementum tristique. Duis cursus, mi quis viverra ornare, eros dolor interdum nulla, ut commodo diam libero vitae erat. Aenean faucibus nibh et justo cursus id rutrum lorem imperdiet. Nunc ut sem vitae risus tristique posuere.

了解更多
案例研究
筛选标签
这是 div 块中的一段文本。

Security as culture: How Blue Prism cultivates world-class secure developers

Learn how Blue Prism, the global leader in intelligent automation for the enterprise, used Secure Code Warrior's agile learning platform to create a security-first culture with their developers, achieve their business goals, and ship secure code at speed

了解更多
案例研究
筛选标签
这是 div 块中的一段文本。

统一的安全文化:Sage 如何打造其安全倡导者项目

了解 Sage 如何通过灵活且以关系为导向的方法提升安全性,成功培养了 200 多名安全倡导者,并实现了显著的风险降低。

了解更多
博客
筛选标签
这是 div 块中的一段文本。

2026年网络安全意识月:理解人工智能安全对企业防御至关重要

目前,大多数顶级人工智能公司已公开呼吁全球放缓人工智能的发展速度,以便安全防护措施能够跟上步伐。然而事实是,严重的安全问题已经显现。随着人工智能实施带来的经济成本和风险不断累积,无数安全领导者和高管团队正处于紧迫的境地。

了解更多
博客
筛选标签
这是 div 块中的一段文本。

赋能要素 8:打造项目品牌

成功的安全编码项目不仅需要优质的内容。赋能要素 8 展示了如何通过品牌化将参与过程转变为一种令人向往、以地位为驱动的体验。

了解更多
博客
筛选标签
这是 div 块中的一段文本。

每一位员工现在都处于 AI 网络安全的最前线

企业技术格局正以一种鲜有人预料到的速度发生剧变,直到为时已晚。我们已正式跨越了从人工编写代码和基础辅助编程,进入“智能体开发生命周期”(ADLC)的时代。虽然自主 AI 智能体有望在多个职能领域实现前所未有的效率,但它们也带来了全新的安全和监管风险。

了解更多

在产品发布前确保 AI 驱动的开发安全

洞察开发风险,执行安全策略,并在整个软件开发生命周期中预防漏洞。

预约演示
未找到相关项目。