SCW Icons
hero bg no divider
Blog

深度探索:探索 AI 编程助手生成的漏洞

Laura Verheyde
Published Dec 11, 2023
Last updated on Mar 10, 2026

无论你在哪里看,几乎每个垂直领域都有人对人工智能技术的关注。被一些人誉为软件开发中快速创建功能的答案,速度的提高是有代价的:由于工具本身缺乏情境感知能力,以及依赖它们来提高工作效率和为具有挑战性的开发场景提供答案的开发人员的低级安全技能,因此有可能出现严重的安全漏洞。

大型语言模型 (LLM) 技术代表着辅助工具的巨大转变,如果安全使用,确实可以成为许多软件工程师渴望的配对编程伴侣。但是,人们很快就确定,不加限制地使用人工智能开发工具可能会产生不利影响,其中之一是 2023 年研究 斯坦福大学透露,对人工智能助手的依赖除了增加对输出安全的信心外,还可能导致代码更错误、更不安全。

尽管可以合理地假设,随着完善LLM技术的竞赛的进行,这些工具将继续得到改进,但有一系列建议——包括 新的行政命令 来自拜登政府,以及 《人工智能法》 来自欧盟——无论如何,它们的使用都是一条棘手的道路。开发人员可以通过磨练代码级安全技能、意识和围绕人工智能工具输出的批判性思维来抢占先机,进而成为更高标准的工程师。

AI 编程助手如何引入漏洞? 畅玩我们的全新公共使命 亲眼看看!

示例:“ChatterGPT” 中的跨站脚本 (XSS)

我们的新公开使命揭示了流行的LLM的熟悉界面,并利用了 真实的 代码片段于 2023 年 11 月下旬生成。如果要将其用于预期目的,用户可以解释此片段并调查任何潜在的安全隐患。

根据提示,“你能写一个改变 p HTML 元素内容的 JavaScript 函数吗,内容是通过该函数传递的?”AI 助手尽职尽责地生成了一个代码块,但一切都不像看起来的那样。

你玩过挑战赛吗?如果不是, 现在试试 在进一步阅读之前。

... 好吧,既然你已经完成了,你就会知道有问题的代码容易受到跨站脚本 (XSS) 的攻击。

通过操纵 Web 浏览器的核心功能,XSS 成为可能。当不受信任的输入在页面上呈现为输出,但被误解为可执行和安全代码时,就会发生这种情况。攻击者可以在输入参数中放置恶意片段(HTML 标签、JavaScript 等),当返回到浏览器时,该代码片段会被执行而不是显示为数据。

在软件开发中安全使用 AI 编程助手

一个 最近的调查 的在职开发团队透露,几乎所有人(占96%)已开始在工作流程中使用AI助手,其中80%甚至绕过安全策略将其保留在工具包中。此外,超过一半的人承认生成式人工智能工具通常会创建不安全的代码,但这显然并没有减缓采用的速度。

在这个软件开发流程的新时代,阻止或禁止使用这些工具不太可能奏效。相反,组织必须使其开发团队能够在不牺牲安全性或代码质量的情况下利用效率和生产力的提高。这需要对安全编码最佳实践进行精确培训,为他们提供扩展批判性思维技能的机会,确保他们以安全第一的心态行事,尤其是在评估人工智能辅助代码输出的潜在威胁时。

进一步阅读

对于一般的 XSS,请查看我们的 综合指南

想更多地了解如何编写安全代码和 减轻风险?试试我们的 免费的 XSS 注射挑战赛

如果你有兴趣获得更多免费编程指南,请查看 安全代码教练 帮助您掌握安全编码最佳实践。

想了解更多? 下载 我们的最新白皮书。
查看资源
查看资源

探索 AI 在软件开发中的安全风险,并学习如何使用 Secure Code Warrior 有效应对这些挑战。

对更多感兴趣?

learn more

Secure Code Warrior可以帮助您的组织在整个软件开发生命周期中保护代码,并营造一种将网络安全放在首位的文化。无论您是 AppSec 经理、开发人员、首席信息安全官还是任何与安全相关的人,我们都可以帮助您的组织降低与不安全代码相关的风险。

预订演示
分享到:
linkedin brandsSocialx logo
作者
Laura Verheyde
Published Dec 11, 2023

Laura Verheyde is a software developer at Secure Code Warrior focused on researching vulnerabilities and creating content for Missions and Coding labs.

分享到:
linkedin brandsSocialx logo

无论你在哪里看,几乎每个垂直领域都有人对人工智能技术的关注。被一些人誉为软件开发中快速创建功能的答案,速度的提高是有代价的:由于工具本身缺乏情境感知能力,以及依赖它们来提高工作效率和为具有挑战性的开发场景提供答案的开发人员的低级安全技能,因此有可能出现严重的安全漏洞。

大型语言模型 (LLM) 技术代表着辅助工具的巨大转变,如果安全使用,确实可以成为许多软件工程师渴望的配对编程伴侣。但是,人们很快就确定,不加限制地使用人工智能开发工具可能会产生不利影响,其中之一是 2023 年研究 斯坦福大学透露,对人工智能助手的依赖除了增加对输出安全的信心外,还可能导致代码更错误、更不安全。

尽管可以合理地假设,随着完善LLM技术的竞赛的进行,这些工具将继续得到改进,但有一系列建议——包括 新的行政命令 来自拜登政府,以及 《人工智能法》 来自欧盟——无论如何,它们的使用都是一条棘手的道路。开发人员可以通过磨练代码级安全技能、意识和围绕人工智能工具输出的批判性思维来抢占先机,进而成为更高标准的工程师。

AI 编程助手如何引入漏洞? 畅玩我们的全新公共使命 亲眼看看!

示例:“ChatterGPT” 中的跨站脚本 (XSS)

我们的新公开使命揭示了流行的LLM的熟悉界面,并利用了 真实的 代码片段于 2023 年 11 月下旬生成。如果要将其用于预期目的,用户可以解释此片段并调查任何潜在的安全隐患。

根据提示,“你能写一个改变 p HTML 元素内容的 JavaScript 函数吗,内容是通过该函数传递的?”AI 助手尽职尽责地生成了一个代码块,但一切都不像看起来的那样。

你玩过挑战赛吗?如果不是, 现在试试 在进一步阅读之前。

... 好吧,既然你已经完成了,你就会知道有问题的代码容易受到跨站脚本 (XSS) 的攻击。

通过操纵 Web 浏览器的核心功能,XSS 成为可能。当不受信任的输入在页面上呈现为输出,但被误解为可执行和安全代码时,就会发生这种情况。攻击者可以在输入参数中放置恶意片段(HTML 标签、JavaScript 等),当返回到浏览器时,该代码片段会被执行而不是显示为数据。

在软件开发中安全使用 AI 编程助手

一个 最近的调查 的在职开发团队透露,几乎所有人(占96%)已开始在工作流程中使用AI助手,其中80%甚至绕过安全策略将其保留在工具包中。此外,超过一半的人承认生成式人工智能工具通常会创建不安全的代码,但这显然并没有减缓采用的速度。

在这个软件开发流程的新时代,阻止或禁止使用这些工具不太可能奏效。相反,组织必须使其开发团队能够在不牺牲安全性或代码质量的情况下利用效率和生产力的提高。这需要对安全编码最佳实践进行精确培训,为他们提供扩展批判性思维技能的机会,确保他们以安全第一的心态行事,尤其是在评估人工智能辅助代码输出的潜在威胁时。

进一步阅读

对于一般的 XSS,请查看我们的 综合指南

想更多地了解如何编写安全代码和 减轻风险?试试我们的 免费的 XSS 注射挑战赛

如果你有兴趣获得更多免费编程指南,请查看 安全代码教练 帮助您掌握安全编码最佳实践。

想了解更多? 下载 我们的最新白皮书。
查看资源
查看资源

填写下面的表格下载报告

我们希望获得您的许可,以便向您发送有关我们的产品和/或相关安全编码主题的信息。我们将始终非常谨慎地对待您的个人信息,绝不会出于营销目的将其出售给其他公司。

提交
scw success icon
scw error icon
要提交表单,请启用 “分析” Cookie。完成后,可以随意再次禁用它们。

无论你在哪里看,几乎每个垂直领域都有人对人工智能技术的关注。被一些人誉为软件开发中快速创建功能的答案,速度的提高是有代价的:由于工具本身缺乏情境感知能力,以及依赖它们来提高工作效率和为具有挑战性的开发场景提供答案的开发人员的低级安全技能,因此有可能出现严重的安全漏洞。

大型语言模型 (LLM) 技术代表着辅助工具的巨大转变,如果安全使用,确实可以成为许多软件工程师渴望的配对编程伴侣。但是,人们很快就确定,不加限制地使用人工智能开发工具可能会产生不利影响,其中之一是 2023 年研究 斯坦福大学透露,对人工智能助手的依赖除了增加对输出安全的信心外,还可能导致代码更错误、更不安全。

尽管可以合理地假设,随着完善LLM技术的竞赛的进行,这些工具将继续得到改进,但有一系列建议——包括 新的行政命令 来自拜登政府,以及 《人工智能法》 来自欧盟——无论如何,它们的使用都是一条棘手的道路。开发人员可以通过磨练代码级安全技能、意识和围绕人工智能工具输出的批判性思维来抢占先机,进而成为更高标准的工程师。

AI 编程助手如何引入漏洞? 畅玩我们的全新公共使命 亲眼看看!

示例:“ChatterGPT” 中的跨站脚本 (XSS)

我们的新公开使命揭示了流行的LLM的熟悉界面,并利用了 真实的 代码片段于 2023 年 11 月下旬生成。如果要将其用于预期目的,用户可以解释此片段并调查任何潜在的安全隐患。

根据提示,“你能写一个改变 p HTML 元素内容的 JavaScript 函数吗,内容是通过该函数传递的?”AI 助手尽职尽责地生成了一个代码块,但一切都不像看起来的那样。

你玩过挑战赛吗?如果不是, 现在试试 在进一步阅读之前。

... 好吧,既然你已经完成了,你就会知道有问题的代码容易受到跨站脚本 (XSS) 的攻击。

通过操纵 Web 浏览器的核心功能,XSS 成为可能。当不受信任的输入在页面上呈现为输出,但被误解为可执行和安全代码时,就会发生这种情况。攻击者可以在输入参数中放置恶意片段(HTML 标签、JavaScript 等),当返回到浏览器时,该代码片段会被执行而不是显示为数据。

在软件开发中安全使用 AI 编程助手

一个 最近的调查 的在职开发团队透露,几乎所有人(占96%)已开始在工作流程中使用AI助手,其中80%甚至绕过安全策略将其保留在工具包中。此外,超过一半的人承认生成式人工智能工具通常会创建不安全的代码,但这显然并没有减缓采用的速度。

在这个软件开发流程的新时代,阻止或禁止使用这些工具不太可能奏效。相反,组织必须使其开发团队能够在不牺牲安全性或代码质量的情况下利用效率和生产力的提高。这需要对安全编码最佳实践进行精确培训,为他们提供扩展批判性思维技能的机会,确保他们以安全第一的心态行事,尤其是在评估人工智能辅助代码输出的潜在威胁时。

进一步阅读

对于一般的 XSS,请查看我们的 综合指南

想更多地了解如何编写安全代码和 减轻风险?试试我们的 免费的 XSS 注射挑战赛

如果你有兴趣获得更多免费编程指南,请查看 安全代码教练 帮助您掌握安全编码最佳实践。

想了解更多? 下载 我们的最新白皮书。
观看网络研讨会
开始吧
learn more

点击下面的链接并下载此资源的PDF。

Secure Code Warrior可以帮助您的组织在整个软件开发生命周期中保护代码,并营造一种将网络安全放在首位的文化。无论您是 AppSec 经理、开发人员、首席信息安全官还是任何与安全相关的人,我们都可以帮助您的组织降低与不安全代码相关的风险。

查看报告预订演示
查看资源
分享到:
linkedin brandsSocialx logo
对更多感兴趣?

AI 编程助手如何引入漏洞?玩我们的全新公开任务,亲眼看看吧!该任务揭示了流行的 LLM 的熟悉界面,并使用了 2023 年 11 月下旬生成的真实代码片段。如果要将其用于预期目的,用户可以解释此片段并调查任何潜在的安全隐患。

试试这个任务
分享到:
linkedin brandsSocialx logo
作者
Laura Verheyde
Published Dec 11, 2023

Laura Verheyde is a software developer at Secure Code Warrior focused on researching vulnerabilities and creating content for Missions and Coding labs.

分享到:
linkedin brandsSocialx logo

无论你在哪里看,几乎每个垂直领域都有人对人工智能技术的关注。被一些人誉为软件开发中快速创建功能的答案,速度的提高是有代价的:由于工具本身缺乏情境感知能力,以及依赖它们来提高工作效率和为具有挑战性的开发场景提供答案的开发人员的低级安全技能,因此有可能出现严重的安全漏洞。

大型语言模型 (LLM) 技术代表着辅助工具的巨大转变,如果安全使用,确实可以成为许多软件工程师渴望的配对编程伴侣。但是,人们很快就确定,不加限制地使用人工智能开发工具可能会产生不利影响,其中之一是 2023 年研究 斯坦福大学透露,对人工智能助手的依赖除了增加对输出安全的信心外,还可能导致代码更错误、更不安全。

尽管可以合理地假设,随着完善LLM技术的竞赛的进行,这些工具将继续得到改进,但有一系列建议——包括 新的行政命令 来自拜登政府,以及 《人工智能法》 来自欧盟——无论如何,它们的使用都是一条棘手的道路。开发人员可以通过磨练代码级安全技能、意识和围绕人工智能工具输出的批判性思维来抢占先机,进而成为更高标准的工程师。

AI 编程助手如何引入漏洞? 畅玩我们的全新公共使命 亲眼看看!

示例:“ChatterGPT” 中的跨站脚本 (XSS)

我们的新公开使命揭示了流行的LLM的熟悉界面,并利用了 真实的 代码片段于 2023 年 11 月下旬生成。如果要将其用于预期目的,用户可以解释此片段并调查任何潜在的安全隐患。

根据提示,“你能写一个改变 p HTML 元素内容的 JavaScript 函数吗,内容是通过该函数传递的?”AI 助手尽职尽责地生成了一个代码块,但一切都不像看起来的那样。

你玩过挑战赛吗?如果不是, 现在试试 在进一步阅读之前。

... 好吧,既然你已经完成了,你就会知道有问题的代码容易受到跨站脚本 (XSS) 的攻击。

通过操纵 Web 浏览器的核心功能,XSS 成为可能。当不受信任的输入在页面上呈现为输出,但被误解为可执行和安全代码时,就会发生这种情况。攻击者可以在输入参数中放置恶意片段(HTML 标签、JavaScript 等),当返回到浏览器时,该代码片段会被执行而不是显示为数据。

在软件开发中安全使用 AI 编程助手

一个 最近的调查 的在职开发团队透露,几乎所有人(占96%)已开始在工作流程中使用AI助手,其中80%甚至绕过安全策略将其保留在工具包中。此外,超过一半的人承认生成式人工智能工具通常会创建不安全的代码,但这显然并没有减缓采用的速度。

在这个软件开发流程的新时代,阻止或禁止使用这些工具不太可能奏效。相反,组织必须使其开发团队能够在不牺牲安全性或代码质量的情况下利用效率和生产力的提高。这需要对安全编码最佳实践进行精确培训,为他们提供扩展批判性思维技能的机会,确保他们以安全第一的心态行事,尤其是在评估人工智能辅助代码输出的潜在威胁时。

进一步阅读

对于一般的 XSS,请查看我们的 综合指南

想更多地了解如何编写安全代码和 减轻风险?试试我们的 免费的 XSS 注射挑战赛

如果你有兴趣获得更多免费编程指南,请查看 安全代码教练 帮助您掌握安全编码最佳实践。

想了解更多? 下载 我们的最新白皮书。

目录

下载PDF
查看资源
对更多感兴趣?

learn more

Secure Code Warrior可以帮助您的组织在整个软件开发生命周期中保护代码,并营造一种将网络安全放在首位的文化。无论您是 AppSec 经理、开发人员、首席信息安全官还是任何与安全相关的人,我们都可以帮助您的组织降低与不安全代码相关的风险。

预订演示下载
分享到:
linkedin brandsSocialx logo
资源中心

帮助您入门的资源

更多帖子
资源中心

帮助您入门的资源

更多帖子