博客

深度挖掘:探索人工智能编码助手产生的漏洞

Laura Verheyde
发表于 2023 年 12 月 11 日

无论你走到哪里,几乎所有的垂直领域都在持续关注人工智能技术。有些人将人工智能技术视为软件开发中快速创建功能的答案,但速度的提高是有代价的:由于工具本身缺乏上下文意识,开发人员也缺乏低级安全技能,因此有可能在代码库中出现严重的安全漏洞。 

大型语言模型(LLM)技术代表了辅助工具领域的一次震撼性变革,如果使用安全,它的确可以成为众多软件工程师渴望的结对编程伴侣。然而,人们很快就发现,不加节制地使用人工智能开发工具可能会带来不利影响,斯坦福大学2023 年的一项研究显示,依赖人工智能助手很可能会导致代码漏洞更多、更不安全,此外,对输出结果是否安全的信心也会上升。

虽然我们有理由相信,随着人工乐虎国际手机版下载技术的不断完善,人工乐虎国际手机版下载工具也将不断改进,但包括拜登政府新颁布的行政命令以及欧盟人工乐虎国际手机版下载法案在内的一系列建议,无论如何都会让人工乐虎国际手机版下载工具的使用变得棘手。开发人员可以通过磨练自己的代码级安全技能、意识和对人工智能工具输出的批判性思维来抢占先机,进而成为更高标准的工程师。

人工智能编码助手如何引入漏洞? 玩玩我们的新公共任务亲身体验!

示例:ChatterGPT' 中的跨站脚本 (XSS)

我们的新公开任务揭示了人们熟悉的 LLM 界面,并使用了 2023 年 11 月底生成的真实代码片段。用户可以解读该代码片段,并调查如果将其用于预期目的,是否存在任何潜在的安全隐患。

根据提示,"你能编写一个 JavaScript 函数来更改 p HTML 元素的内容吗?"人工智能助手尽职尽责地生成了一个代码块,但一切并不尽如人意。

您参加过挑战赛吗?如果还没有,请在继续阅读之前尝试一下

......好了,现在您已经完成了它,您将知道相关代码存在跨站脚本 (XSS) 漏洞。 

XSS 是通过操纵网络浏览器的核心功能实现的。当不可靠的输入被呈现为页面上的输出,却被误解为可执行的安全代码时,就会发生 XSS。攻击者可以在输入参数中放置恶意片段(HTML 标记、JavaScript 等),当这些片段返回浏览器时,就会被执行而不是显示为数据。

在软件开发中安全使用人工智能编码助手

最近一项针对在职开发团队的调查显示,几乎所有团队(96%)都已开始在工作流程中使用人工智能助手,其中 80% 甚至绕过了安全策略,将其保留在工具包中。此外,半数以上的人承认,生成式人工智能工具通常会创建不安全的代码,但这显然没有减缓采用的速度。

在软件开发流程的新时代,阻止或禁止使用这些工具是不可能奏效的。相反,企业必须让其开发团队在不牺牲安全性或代码质量的前提下提高效率和生产力。这就需要就安全编码最佳实践进行精确培训,并为他们提供拓展批判性思维能力的机会,确保他们以安全第一的心态行事,尤其是在评估人工智能助理代码输出的潜在威胁时。 

更多阅读

有关 XSS 的一般信息,请查看我们的综合指南

想进一步了解如何编写安全代码和降低风险免费体验我们的XSS 注入挑战

如果您有兴趣获得更多免费的编码指南,请查看Secure Code Coach,它可以帮助您掌握安全编码的最佳实践。

想了解更多信息?下载我们的最新白皮书。
查看资源
查看资源

探索软件开发中人工智能的安全风险,了解如何通过Secure Code Warrior 有效地应对这些挑战。

想了解更多信息?

Secure Code Warrior 我们在这里为您的组织提供服务,帮助您在整个软件开发生命周期中确保代码安全,并创造一种将网络安全放在首位的文化。无论您是应用安全经理、开发人员、CISO或任何涉及安全的人,我们都可以帮助您的组织减少与不安全代码有关的风险。

预定一个演示
分享到
作者
Laura Verheyde
发表于 2023 年 12 月 11 日

Laura Verheyde 是Secure Code Warrior 的一名软件开发人员,主要负责研究漏洞并为Missions 和编码实验室创建内容。

分享到

无论你走到哪里,几乎所有的垂直领域都在持续关注人工智能技术。有些人将人工智能技术视为软件开发中快速创建功能的答案,但速度的提高是有代价的:由于工具本身缺乏上下文意识,开发人员也缺乏低级安全技能,因此有可能在代码库中出现严重的安全漏洞。 

大型语言模型(LLM)技术代表了辅助工具领域的一次震撼性变革,如果使用安全,它的确可以成为众多软件工程师渴望的结对编程伴侣。然而,人们很快就发现,不加节制地使用人工智能开发工具可能会带来不利影响,斯坦福大学2023 年的一项研究显示,依赖人工智能助手很可能会导致代码漏洞更多、更不安全,此外,对输出结果是否安全的信心也会上升。

虽然我们有理由相信,随着人工乐虎国际手机版下载技术的不断完善,人工乐虎国际手机版下载工具也将不断改进,但包括拜登政府新颁布的行政命令以及欧盟人工乐虎国际手机版下载法案在内的一系列建议,无论如何都会让人工乐虎国际手机版下载工具的使用变得棘手。开发人员可以通过磨练自己的代码级安全技能、意识和对人工智能工具输出的批判性思维来抢占先机,进而成为更高标准的工程师。

人工智能编码助手如何引入漏洞? 玩玩我们的新公共任务亲身体验!

示例:ChatterGPT' 中的跨站脚本 (XSS)

我们的新公开任务揭示了人们熟悉的 LLM 界面,并使用了 2023 年 11 月底生成的真实代码片段。用户可以解读该代码片段,并调查如果将其用于预期目的,是否存在任何潜在的安全隐患。

根据提示,"你能编写一个 JavaScript 函数来更改 p HTML 元素的内容吗?"人工智能助手尽职尽责地生成了一个代码块,但一切并不尽如人意。

您参加过挑战赛吗?如果还没有,请在继续阅读之前尝试一下

......好了,现在您已经完成了它,您将知道相关代码存在跨站脚本 (XSS) 漏洞。 

XSS 是通过操纵网络浏览器的核心功能实现的。当不可靠的输入被呈现为页面上的输出,却被误解为可执行的安全代码时,就会发生 XSS。攻击者可以在输入参数中放置恶意片段(HTML 标记、JavaScript 等),当这些片段返回浏览器时,就会被执行而不是显示为数据。

在软件开发中安全使用人工智能编码助手

最近一项针对在职开发团队的调查显示,几乎所有团队(96%)都已开始在工作流程中使用人工智能助手,其中 80% 甚至绕过了安全策略,将其保留在工具包中。此外,半数以上的人承认,生成式人工智能工具通常会创建不安全的代码,但这显然没有减缓采用的速度。

在软件开发流程的新时代,阻止或禁止使用这些工具是不可能奏效的。相反,企业必须让其开发团队在不牺牲安全性或代码质量的前提下提高效率和生产力。这就需要就安全编码最佳实践进行精确培训,并为他们提供拓展批判性思维能力的机会,确保他们以安全第一的心态行事,尤其是在评估人工智能助理代码输出的潜在威胁时。 

更多阅读

有关 XSS 的一般信息,请查看我们的综合指南

想进一步了解如何编写安全代码和降低风险免费体验我们的XSS 注入挑战

如果您有兴趣获得更多免费的编码指南,请查看Secure Code Coach,它可以帮助您掌握安全编码的最佳实践。

想了解更多信息?下载我们的最新白皮书。
查看资源
查看资源

请填写下表下载报告

我们希望得到您的许可,向您发送有关我们产品和/或相关安全编码主题的信息。我们将始终以最谨慎的态度对待您的个人资料,绝不会将其出售给其他公司用于营销目的。

提交
要提交表格,请启用 "分析 "cookies。完成后,请随时再次禁用它们。

无论你走到哪里,几乎所有的垂直领域都在持续关注人工智能技术。有些人将人工智能技术视为软件开发中快速创建功能的答案,但速度的提高是有代价的:由于工具本身缺乏上下文意识,开发人员也缺乏低级安全技能,因此有可能在代码库中出现严重的安全漏洞。 

大型语言模型(LLM)技术代表了辅助工具领域的一次震撼性变革,如果使用安全,它的确可以成为众多软件工程师渴望的结对编程伴侣。然而,人们很快就发现,不加节制地使用人工智能开发工具可能会带来不利影响,斯坦福大学2023 年的一项研究显示,依赖人工智能助手很可能会导致代码漏洞更多、更不安全,此外,对输出结果是否安全的信心也会上升。

虽然我们有理由相信,随着人工乐虎国际手机版下载技术的不断完善,人工乐虎国际手机版下载工具也将不断改进,但包括拜登政府新颁布的行政命令以及欧盟人工乐虎国际手机版下载法案在内的一系列建议,无论如何都会让人工乐虎国际手机版下载工具的使用变得棘手。开发人员可以通过磨练自己的代码级安全技能、意识和对人工智能工具输出的批判性思维来抢占先机,进而成为更高标准的工程师。

人工智能编码助手如何引入漏洞? 玩玩我们的新公共任务亲身体验!

示例:ChatterGPT' 中的跨站脚本 (XSS)

我们的新公开任务揭示了人们熟悉的 LLM 界面,并使用了 2023 年 11 月底生成的真实代码片段。用户可以解读该代码片段,并调查如果将其用于预期目的,是否存在任何潜在的安全隐患。

根据提示,"你能编写一个 JavaScript 函数来更改 p HTML 元素的内容吗?"人工智能助手尽职尽责地生成了一个代码块,但一切并不尽如人意。

您参加过挑战赛吗?如果还没有,请在继续阅读之前尝试一下

......好了,现在您已经完成了它,您将知道相关代码存在跨站脚本 (XSS) 漏洞。 

XSS 是通过操纵网络浏览器的核心功能实现的。当不可靠的输入被呈现为页面上的输出,却被误解为可执行的安全代码时,就会发生 XSS。攻击者可以在输入参数中放置恶意片段(HTML 标记、JavaScript 等),当这些片段返回浏览器时,就会被执行而不是显示为数据。

在软件开发中安全使用人工智能编码助手

最近一项针对在职开发团队的调查显示,几乎所有团队(96%)都已开始在工作流程中使用人工智能助手,其中 80% 甚至绕过了安全策略,将其保留在工具包中。此外,半数以上的人承认,生成式人工智能工具通常会创建不安全的代码,但这显然没有减缓采用的速度。

在软件开发流程的新时代,阻止或禁止使用这些工具是不可能奏效的。相反,企业必须让其开发团队在不牺牲安全性或代码质量的前提下提高效率和生产力。这就需要就安全编码最佳实践进行精确培训,并为他们提供拓展批判性思维能力的机会,确保他们以安全第一的心态行事,尤其是在评估人工智能助理代码输出的潜在威胁时。 

更多阅读

有关 XSS 的一般信息,请查看我们的综合指南

想进一步了解如何编写安全代码和降低风险免费体验我们的XSS 注入挑战

如果您有兴趣获得更多免费的编码指南,请查看Secure Code Coach,它可以帮助您掌握安全编码的最佳实践。

想了解更多信息?下载我们的最新白皮书。
想了解更多信息?

点击下面的链接,下载 PDF 格式的单页资料。

下载

Secure Code Warrior 我们在这里为您的组织提供服务,帮助您在整个软件开发生命周期中确保代码安全,并创造一种将网络安全放在首位的文化。无论您是应用安全经理、开发人员、CISO或任何涉及安全的人,我们都可以帮助您的组织减少与不安全代码有关的风险。

查看报告预定一个演示
分享到
想了解更多信息?

人工智能编码助手如何引入漏洞?玩玩我们的新公开任务,你就知道了!这个任务揭示了人们熟悉的 LLM 界面,并使用了 2023 年 11 月底生成的真实代码片段。用户可以解读该代码片段,并调查如果将其用于预期目的,是否存在任何潜在的安全隐患。

尝试任务
分享到
作者
Laura Verheyde
发表于 2023 年 12 月 11 日

Laura Verheyde 是Secure Code Warrior 的一名软件开发人员,主要负责研究漏洞并为Missions 和编码实验室创建内容。

分享到

无论你走到哪里,几乎所有的垂直领域都在持续关注人工智能技术。有些人将人工智能技术视为软件开发中快速创建功能的答案,但速度的提高是有代价的:由于工具本身缺乏上下文意识,开发人员也缺乏低级安全技能,因此有可能在代码库中出现严重的安全漏洞。 

大型语言模型(LLM)技术代表了辅助工具领域的一次震撼性变革,如果使用安全,它的确可以成为众多软件工程师渴望的结对编程伴侣。然而,人们很快就发现,不加节制地使用人工智能开发工具可能会带来不利影响,斯坦福大学2023 年的一项研究显示,依赖人工智能助手很可能会导致代码漏洞更多、更不安全,此外,对输出结果是否安全的信心也会上升。

虽然我们有理由相信,随着人工乐虎国际手机版下载技术的不断完善,人工乐虎国际手机版下载工具也将不断改进,但包括拜登政府新颁布的行政命令以及欧盟人工乐虎国际手机版下载法案在内的一系列建议,无论如何都会让人工乐虎国际手机版下载工具的使用变得棘手。开发人员可以通过磨练自己的代码级安全技能、意识和对人工智能工具输出的批判性思维来抢占先机,进而成为更高标准的工程师。

人工智能编码助手如何引入漏洞? 玩玩我们的新公共任务亲身体验!

示例:ChatterGPT' 中的跨站脚本 (XSS)

我们的新公开任务揭示了人们熟悉的 LLM 界面,并使用了 2023 年 11 月底生成的真实代码片段。用户可以解读该代码片段,并调查如果将其用于预期目的,是否存在任何潜在的安全隐患。

根据提示,"你能编写一个 JavaScript 函数来更改 p HTML 元素的内容吗?"人工智能助手尽职尽责地生成了一个代码块,但一切并不尽如人意。

您参加过挑战赛吗?如果还没有,请在继续阅读之前尝试一下

......好了,现在您已经完成了它,您将知道相关代码存在跨站脚本 (XSS) 漏洞。 

XSS 是通过操纵网络浏览器的核心功能实现的。当不可靠的输入被呈现为页面上的输出,却被误解为可执行的安全代码时,就会发生 XSS。攻击者可以在输入参数中放置恶意片段(HTML 标记、JavaScript 等),当这些片段返回浏览器时,就会被执行而不是显示为数据。

在软件开发中安全使用人工智能编码助手

最近一项针对在职开发团队的调查显示,几乎所有团队(96%)都已开始在工作流程中使用人工智能助手,其中 80% 甚至绕过了安全策略,将其保留在工具包中。此外,半数以上的人承认,生成式人工智能工具通常会创建不安全的代码,但这显然没有减缓采用的速度。

在软件开发流程的新时代,阻止或禁止使用这些工具是不可能奏效的。相反,企业必须让其开发团队在不牺牲安全性或代码质量的前提下提高效率和生产力。这就需要就安全编码最佳实践进行精确培训,并为他们提供拓展批判性思维能力的机会,确保他们以安全第一的心态行事,尤其是在评估人工智能助理代码输出的潜在威胁时。 

更多阅读

有关 XSS 的一般信息,请查看我们的综合指南

想进一步了解如何编写安全代码和降低风险免费体验我们的XSS 注入挑战

如果您有兴趣获得更多免费的编码指南,请查看Secure Code Coach,它可以帮助您掌握安全编码的最佳实践。

想了解更多信息?下载我们的最新白皮书。

目录

查看资源
想了解更多信息?

Secure Code Warrior 我们在这里为您的组织提供服务,帮助您在整个软件开发生命周期中确保代码安全,并创造一种将网络安全放在首位的文化。无论您是应用安全经理、开发人员、CISO或任何涉及安全的人,我们都可以帮助您的组织减少与不安全代码有关的风险。

预定一个演示下载
分享到
资源中心
资源中心