深度挖掘：探索人工智能编码助手产生的漏洞

案例研究

深度挖掘：探索人工智能编码助手产生的漏洞

无论你走到哪里，几乎所有的垂直领域都在持续关注人工智能技术。有些人将人工智能技术视为软件开发中快速创建功能的答案，但速度的提高是有代价的：由于工具本身缺乏上下文意识，开发人员也缺乏低级安全技能，因此有可能在代码库中出现严重的安全漏洞。

大型语言模型（LLM）技术代表了辅助工具领域的一次震撼性变革，如果使用安全，它的确可以成为众多软件工程师渴望的结对编程伴侣。然而，人们很快就发现，不加节制地使用人工智能开发工具可能会带来不利影响，斯坦福大学2023 年的一项研究显示，依赖人工智能助手很可能会导致代码漏洞更多、更不安全，此外，对输出结果是否安全的信心也会上升。

虽然我们有理由相信，随着人工乐虎国际手机版下载技术的不断完善，人工乐虎国际手机版下载工具也将不断改进，但包括拜登政府新颁布的行政命令以及欧盟人工乐虎国际手机版下载法案在内的一系列建议，无论如何都会让人工乐虎国际手机版下载工具的使用变得棘手。开发人员可以通过磨练自己的代码级安全技能、意识和对人工智能工具输出的批判性思维来抢占先机，进而成为更高标准的工程师。

人工智能编码助手如何引入漏洞？玩玩我们的新公共任务亲身体验！

‍

示例：ChatterGPT' 中的跨站脚本 (XSS)

我们的新公开任务揭示了人们熟悉的 LLM 界面，并使用了 2023 年 11 月底生成的真实代码片段。用户可以解读该代码片段，并调查如果将其用于预期目的，是否存在任何潜在的安全隐患。

根据提示，"你能编写一个 JavaScript 函数来更改 p HTML 元素的内容吗？"人工智能助手尽职尽责地生成了一个代码块，但一切并不尽如人意。

您参加过挑战赛吗？如果还没有，请在继续阅读之前尝试一下。

......好了，现在您已经完成了它，您将知道相关代码存在跨站脚本 (XSS) 漏洞。

XSS 是通过操纵网络浏览器的核心功能实现的。当不可靠的输入被呈现为页面上的输出，却被误解为可执行的安全代码时，就会发生 XSS。攻击者可以在输入参数中放置恶意片段（HTML 标记、JavaScript 等），当这些片段返回浏览器时，就会被执行而不是显示为数据。

在软件开发中安全使用人工智能编码助手

最近一项针对在职开发团队的调查显示，几乎所有团队（96%）都已开始在工作流程中使用人工智能助手，其中 80% 甚至绕过了安全策略，将其保留在工具包中。此外，半数以上的人承认，生成式人工智能工具通常会创建不安全的代码，但这显然没有减缓采用的速度。

在软件开发流程的新时代，阻止或禁止使用这些工具是不可能奏效的。相反，企业必须让其开发团队在不牺牲安全性或代码质量的前提下提高效率和生产力。这就需要就安全编码最佳实践进行精确培训，并为他们提供拓展批判性思维能力的机会，确保他们以安全第一的心态行事，尤其是在评估人工智能助理代码输出的潜在威胁时。

无论你走到哪里，几乎所有的垂直领域都在持续关注人工智能技术。有些人将人工智能技术视为软件开发中快速创建功能的答案，但速度的提高是有代价的：由于工具本身缺乏上下文意识，开发人员也缺乏低级安全技能，因此有可能在代码库中出现严重的安全漏洞。

大型语言模型（LLM）技术代表了辅助工具领域的一次震撼性变革，如果使用安全，它的确可以成为众多软件工程师渴望的结对编程伴侣。然而，人们很快就发现，不加节制地使用人工智能开发工具可能会带来不利影响，斯坦福大学2023 年的一项研究显示，依赖人工智能助手很可能会导致代码漏洞更多、更不安全，此外，对输出结果是否安全的信心也会上升。

虽然我们有理由相信，随着人工乐虎国际手机版下载技术的不断完善，人工乐虎国际手机版下载工具也将不断改进，但包括拜登政府新颁布的行政命令以及欧盟人工乐虎国际手机版下载法案在内的一系列建议，无论如何都会让人工乐虎国际手机版下载工具的使用变得棘手。开发人员可以通过磨练自己的代码级安全技能、意识和对人工智能工具输出的批判性思维来抢占先机，进而成为更高标准的工程师。