博客

当好工具变坏时:人工智能工具中毒,以及如何阻止人工智能充当双面间谍

皮特-丹休
发表于 2025 年 7 月 09 日

人工智能辅助开发(或更时髦的 "虚拟编码")正在对代码创建产生巨大的变革性影响。成熟的开发人员正在成群结队地采用这些工具,而我们中间那些一直想创建自己的软件但缺乏相关经验的人也在利用这些工具来构建资产,而在以前,这些资产的成本和时间都是高昂的。虽然这项技术有望开创一个创新的新时代,但它也带来了一系列新的漏洞和风险,安全领导者正在努力减轻这些漏洞和风险。 

InvariantLabs最近发现了模型上下文协议(MCP)中的一个关键漏洞,该协议是一个类似 API 的框架,允许功能强大的人工智能工具与其他软件和数据库进行自主交互。Windsurf 和 Cursor 等主要人工智能工具也不能幸免,它们拥有数以百万计的用户,因此管理这一新兴安全问题的意识和技能至关重要。

正如 AWS 和 Intuit 安全研究人员 Vineeth Sai Narajala 和 Idan Habler 在最近的一份研究论文中指出的那样,目前这些工具的输出并不稳定安全,不足以将其标注为企业就绪:"随着人工智能系统变得更加自主,并开始通过 MCP 等直接与外部工具和实时数据交互,确保这些交互是安全的就变得绝对必要。"

人工智能代理系统与模型上下文协议的风险状况

模型上下文协议(Model Context Protocol)是Anthropic公司开发的一款便捷软件,可以更好、更无缝地集成大型语言模型(LLM)人工智能代理和其他工具。这是一个功能强大的用例,为专有应用程序和 GitHub 等关键业务 SaaS 工具与尖端人工智能解决方案之间的互动开辟了一个充满可能性的世界。您只需编写一个 MCP 服务器,然后就可以围绕您希望它如何运行以及达到什么目的来制定指导方针了。 

事实上,MCP 技术对安全的影响大多是积极的。LLM 与安全专业人员使用的技术堆栈之间更直接的集成承诺非常诱人,不容忽视,它代表了在以前无法实现的水平上实现精确安全任务自动化的可能性,至少在不编写和部署定制代码的情况下,通常无法实现每项任务的自动化。鉴于数据、工具和人员之间深远的可视性和连接性是有效安全防御和规划的基础,MCP 所提供的增强型 LLM 互操作性对于企业安全而言是一个令人兴奋的前景。

然而,如果不加以谨慎管理,使用 MCP 可能会引入其他可能的威胁载体,显著扩大企业的攻击面。InvariantLabs 指出,工具中毒攻击代表了一种新的漏洞类别,可能导致敏感数据外流和人工智能模型的未经授权的操作,由此产生的安全影响会变得非常黑暗、非常迅速。 

InvariantLabs 指出,当恶意指令被嵌入 MCP 工具描述中时,工具中毒攻击就有可能发生,这些恶意指令对用户来说是不可见的,但对人工智能模型来说却是完全可读(和可执行)的。这就诱使工具在用户不知情的情况下执行未经授权的不良行为。问题在于 MCP 假定所有工具描述都是可信的,这对威胁行为者来说是如虎添翼。

他们指出了工具受损可能造成的后果:

  • 引导人工智能模型访问敏感文件(如 SSH 密钥、配置文件、数据库等);
  • 指示人工智能提取和传输这些数据,而在这种环境中,这些恶意行为本质上是被隐藏起来的,不会被不知情的用户发现;
  • 通过隐藏在简单的工具参数和输出的 UI 表现形式背后,造成用户所见与人工智能模型所为之间的脱节。

这是一个令人担忧的新兴漏洞类别,随着 MCP 使用的持续增长,我们几乎肯定会更频繁地看到它。随着企业安全计划的发展,我们需要采取谨慎的措施来发现和减轻这种威胁,而让开发人员做好充分准备成为解决方案的一部分则是关键所在。

为什么只有具备安全技能的开发人员才能使用代理人工智能工具?

代理人工智能编码工具被认为是人工智能辅助编码的下一个发展方向,它能够提高软件开发的效率、生产力和灵活性。人工智能增强了对上下文和意图的理解能力,这使它们特别有用,但它们也不能幸免于攻击者的威胁,如提示注入、幻觉或行为操纵。 

开发人员是好代码提交和坏代码提交之间的防线,保持敏锐的安全和批判性思维能力将是未来安全软件开发的基础。

决不能盲目信任人工智能输出,只有具备安全技能的开发人员运用上下文和批判性思维,才能安全地利用这项技术带来的生产力提升。不过,这必须在结对编程环境中进行,在这种环境中,人类专家能够对工具生成的工作进行评估、威胁建模并最终批准。 

点击此处了解更多有关开发人员如何利用人工智能提高技能和生产力的信息。

实用的缓解技术,以及我们最新研究论文中的更多内容

人工智能编码工具和 MCP 技术将成为未来网络安全的一个重要因素,但我们不能在了解情况之前就贸然下水,这一点至关重要。 

Narajala 和 Habler 的论文详细介绍了在企业级实施 MCP 及其持续风险管理的综合缓解策略。最终,论文围绕深度防御和零信任原则,明确针对这一新生态系统给企业环境带来的独特风险特征。具体来说,对于开发人员而言,必须填补以下方面的知识空白:

  • 身份验证和访问控制:代理人工智能工具的功能是解决问题并自主决策,以实现为其规划的目标,这与人类处理工程任务的方式非常相似。然而,正如我们已经确定的那样,熟练的人类对这些流程的监督不容忽视,在工作流程中使用这些工具的开发人员必须准确了解他们的访问权限、他们检索或可能暴露的数据,以及这些数据可能被共享的位置。 
  • 一般威胁检测和缓解:与大多数人工智能流程一样,要发现工具输出中的潜在缺陷和不准确性,用户本身必须精通这项任务。开发人员必须不断接受技能培训和验证,才能有效地审查安全流程,并以安全的精确性和权威性审查人工智能生成的代码。
  • 与安全政策和人工智能管理保持一致:应让开发人员了解已获批准的工具,并为他们提供提升技能和使用这些工具的机会。在信任提交之前,开发人员和工具都应接受安全基准测试。

我们最近发布了一份研究报告,内容涉及振动编码和人工智能辅助编码的出现,以及企业为提升下一代人工智能软件工程师所必须采取的措施。了解更多信息,请联系我们,今天就强化您的开发团队。

查看资源
查看资源

想了解更多信息?

首席执行官、主席和联合创始人

Secure Code Warrior 我们在这里为您的组织提供服务,帮助您在整个软件开发生命周期中确保代码安全,并创造一种将网络安全放在首位的文化。无论您是应用安全经理、开发人员、CISO或任何涉及安全的人,我们都可以帮助您的组织减少与不安全代码有关的风险。

预定一个演示
分享到
作者
皮特-丹休
发表于 2025 年 7 月 09 日

首席执行官、主席和联合创始人

Pieter Danhieux是全球公认的安全专家,拥有超过12年的安全顾问经验,并在SANS担任首席讲师8年,教授如何针对和评估组织、系统和个人的安全弱点的攻击性技术。2016年,他被评为澳大利亚最酷的科技人士之一(Business Insider),被授予年度网络安全专业人士(AISA - 澳大利亚信息安全协会),并持有GSE、CISSP、GCIH、GCFA、GSEC、GPEN、GWAPT、GCIA认证。

分享到

人工智能辅助开发(或更时髦的 "虚拟编码")正在对代码创建产生巨大的变革性影响。成熟的开发人员正在成群结队地采用这些工具,而我们中间那些一直想创建自己的软件但缺乏相关经验的人也在利用这些工具来构建资产,而在以前,这些资产的成本和时间都是高昂的。虽然这项技术有望开创一个创新的新时代,但它也带来了一系列新的漏洞和风险,安全领导者正在努力减轻这些漏洞和风险。 

InvariantLabs最近发现了模型上下文协议(MCP)中的一个关键漏洞,该协议是一个类似 API 的框架,允许功能强大的人工智能工具与其他软件和数据库进行自主交互。Windsurf 和 Cursor 等主要人工智能工具也不能幸免,它们拥有数以百万计的用户,因此管理这一新兴安全问题的意识和技能至关重要。

正如 AWS 和 Intuit 安全研究人员 Vineeth Sai Narajala 和 Idan Habler 在最近的一份研究论文中指出的那样,目前这些工具的输出并不稳定安全,不足以将其标注为企业就绪:"随着人工智能系统变得更加自主,并开始通过 MCP 等直接与外部工具和实时数据交互,确保这些交互是安全的就变得绝对必要。"

人工智能代理系统与模型上下文协议的风险状况

模型上下文协议(Model Context Protocol)是Anthropic公司开发的一款便捷软件,可以更好、更无缝地集成大型语言模型(LLM)人工智能代理和其他工具。这是一个功能强大的用例,为专有应用程序和 GitHub 等关键业务 SaaS 工具与尖端人工智能解决方案之间的互动开辟了一个充满可能性的世界。您只需编写一个 MCP 服务器,然后就可以围绕您希望它如何运行以及达到什么目的来制定指导方针了。 

事实上,MCP 技术对安全的影响大多是积极的。LLM 与安全专业人员使用的技术堆栈之间更直接的集成承诺非常诱人,不容忽视,它代表了在以前无法实现的水平上实现精确安全任务自动化的可能性,至少在不编写和部署定制代码的情况下,通常无法实现每项任务的自动化。鉴于数据、工具和人员之间深远的可视性和连接性是有效安全防御和规划的基础,MCP 所提供的增强型 LLM 互操作性对于企业安全而言是一个令人兴奋的前景。

然而,如果不加以谨慎管理,使用 MCP 可能会引入其他可能的威胁载体,显著扩大企业的攻击面。InvariantLabs 指出,工具中毒攻击代表了一种新的漏洞类别,可能导致敏感数据外流和人工智能模型的未经授权的操作,由此产生的安全影响会变得非常黑暗、非常迅速。 

InvariantLabs 指出,当恶意指令被嵌入 MCP 工具描述中时,工具中毒攻击就有可能发生,这些恶意指令对用户来说是不可见的,但对人工智能模型来说却是完全可读(和可执行)的。这就诱使工具在用户不知情的情况下执行未经授权的不良行为。问题在于 MCP 假定所有工具描述都是可信的,这对威胁行为者来说是如虎添翼。

他们指出了工具受损可能造成的后果:

  • 引导人工智能模型访问敏感文件(如 SSH 密钥、配置文件、数据库等);
  • 指示人工智能提取和传输这些数据,而在这种环境中,这些恶意行为本质上是被隐藏起来的,不会被不知情的用户发现;
  • 通过隐藏在简单的工具参数和输出的 UI 表现形式背后,造成用户所见与人工智能模型所为之间的脱节。

这是一个令人担忧的新兴漏洞类别,随着 MCP 使用的持续增长,我们几乎肯定会更频繁地看到它。随着企业安全计划的发展,我们需要采取谨慎的措施来发现和减轻这种威胁,而让开发人员做好充分准备成为解决方案的一部分则是关键所在。

为什么只有具备安全技能的开发人员才能使用代理人工智能工具?

代理人工智能编码工具被认为是人工智能辅助编码的下一个发展方向,它能够提高软件开发的效率、生产力和灵活性。人工智能增强了对上下文和意图的理解能力,这使它们特别有用,但它们也不能幸免于攻击者的威胁,如提示注入、幻觉或行为操纵。 

开发人员是好代码提交和坏代码提交之间的防线,保持敏锐的安全和批判性思维能力将是未来安全软件开发的基础。

决不能盲目信任人工智能输出,只有具备安全技能的开发人员运用上下文和批判性思维,才能安全地利用这项技术带来的生产力提升。不过,这必须在结对编程环境中进行,在这种环境中,人类专家能够对工具生成的工作进行评估、威胁建模并最终批准。 

点击此处了解更多有关开发人员如何利用人工智能提高技能和生产力的信息。

实用的缓解技术,以及我们最新研究论文中的更多内容

人工智能编码工具和 MCP 技术将成为未来网络安全的一个重要因素,但我们不能在了解情况之前就贸然下水,这一点至关重要。 

Narajala 和 Habler 的论文详细介绍了在企业级实施 MCP 及其持续风险管理的综合缓解策略。最终,论文围绕深度防御和零信任原则,明确针对这一新生态系统给企业环境带来的独特风险特征。具体来说,对于开发人员而言,必须填补以下方面的知识空白:

  • 身份验证和访问控制:代理人工智能工具的功能是解决问题并自主决策,以实现为其规划的目标,这与人类处理工程任务的方式非常相似。然而,正如我们已经确定的那样,熟练的人类对这些流程的监督不容忽视,在工作流程中使用这些工具的开发人员必须准确了解他们的访问权限、他们检索或可能暴露的数据,以及这些数据可能被共享的位置。 
  • 一般威胁检测和缓解:与大多数人工智能流程一样,要发现工具输出中的潜在缺陷和不准确性,用户本身必须精通这项任务。开发人员必须不断接受技能培训和验证,才能有效地审查安全流程,并以安全的精确性和权威性审查人工智能生成的代码。
  • 与安全政策和人工智能管理保持一致:应让开发人员了解已获批准的工具,并为他们提供提升技能和使用这些工具的机会。在信任提交之前,开发人员和工具都应接受安全基准测试。

我们最近发布了一份研究报告,内容涉及振动编码和人工智能辅助编码的出现,以及企业为提升下一代人工智能软件工程师所必须采取的措施。了解更多信息,请联系我们,今天就强化您的开发团队。

查看资源
查看资源

请填写下表下载报告

我们希望得到您的许可,向您发送有关我们产品和/或相关安全编码主题的信息。我们将始终以最谨慎的态度对待您的个人资料,绝不会将其出售给其他公司用于营销目的。

提交
要提交表格,请启用 "分析 "cookies。完成后,请随时再次禁用它们。

人工智能辅助开发(或更时髦的 "虚拟编码")正在对代码创建产生巨大的变革性影响。成熟的开发人员正在成群结队地采用这些工具,而我们中间那些一直想创建自己的软件但缺乏相关经验的人也在利用这些工具来构建资产,而在以前,这些资产的成本和时间都是高昂的。虽然这项技术有望开创一个创新的新时代,但它也带来了一系列新的漏洞和风险,安全领导者正在努力减轻这些漏洞和风险。 

InvariantLabs最近发现了模型上下文协议(MCP)中的一个关键漏洞,该协议是一个类似 API 的框架,允许功能强大的人工智能工具与其他软件和数据库进行自主交互。Windsurf 和 Cursor 等主要人工智能工具也不能幸免,它们拥有数以百万计的用户,因此管理这一新兴安全问题的意识和技能至关重要。

正如 AWS 和 Intuit 安全研究人员 Vineeth Sai Narajala 和 Idan Habler 在最近的一份研究论文中指出的那样,目前这些工具的输出并不稳定安全,不足以将其标注为企业就绪:"随着人工智能系统变得更加自主,并开始通过 MCP 等直接与外部工具和实时数据交互,确保这些交互是安全的就变得绝对必要。"

人工智能代理系统与模型上下文协议的风险状况

模型上下文协议(Model Context Protocol)是Anthropic公司开发的一款便捷软件,可以更好、更无缝地集成大型语言模型(LLM)人工智能代理和其他工具。这是一个功能强大的用例,为专有应用程序和 GitHub 等关键业务 SaaS 工具与尖端人工智能解决方案之间的互动开辟了一个充满可能性的世界。您只需编写一个 MCP 服务器,然后就可以围绕您希望它如何运行以及达到什么目的来制定指导方针了。 

事实上,MCP 技术对安全的影响大多是积极的。LLM 与安全专业人员使用的技术堆栈之间更直接的集成承诺非常诱人,不容忽视,它代表了在以前无法实现的水平上实现精确安全任务自动化的可能性,至少在不编写和部署定制代码的情况下,通常无法实现每项任务的自动化。鉴于数据、工具和人员之间深远的可视性和连接性是有效安全防御和规划的基础,MCP 所提供的增强型 LLM 互操作性对于企业安全而言是一个令人兴奋的前景。

然而,如果不加以谨慎管理,使用 MCP 可能会引入其他可能的威胁载体,显著扩大企业的攻击面。InvariantLabs 指出,工具中毒攻击代表了一种新的漏洞类别,可能导致敏感数据外流和人工智能模型的未经授权的操作,由此产生的安全影响会变得非常黑暗、非常迅速。 

InvariantLabs 指出,当恶意指令被嵌入 MCP 工具描述中时,工具中毒攻击就有可能发生,这些恶意指令对用户来说是不可见的,但对人工智能模型来说却是完全可读(和可执行)的。这就诱使工具在用户不知情的情况下执行未经授权的不良行为。问题在于 MCP 假定所有工具描述都是可信的,这对威胁行为者来说是如虎添翼。

他们指出了工具受损可能造成的后果:

  • 引导人工智能模型访问敏感文件(如 SSH 密钥、配置文件、数据库等);
  • 指示人工智能提取和传输这些数据,而在这种环境中,这些恶意行为本质上是被隐藏起来的,不会被不知情的用户发现;
  • 通过隐藏在简单的工具参数和输出的 UI 表现形式背后,造成用户所见与人工智能模型所为之间的脱节。

这是一个令人担忧的新兴漏洞类别,随着 MCP 使用的持续增长,我们几乎肯定会更频繁地看到它。随着企业安全计划的发展,我们需要采取谨慎的措施来发现和减轻这种威胁,而让开发人员做好充分准备成为解决方案的一部分则是关键所在。

为什么只有具备安全技能的开发人员才能使用代理人工智能工具?

代理人工智能编码工具被认为是人工智能辅助编码的下一个发展方向,它能够提高软件开发的效率、生产力和灵活性。人工智能增强了对上下文和意图的理解能力,这使它们特别有用,但它们也不能幸免于攻击者的威胁,如提示注入、幻觉或行为操纵。 

开发人员是好代码提交和坏代码提交之间的防线,保持敏锐的安全和批判性思维能力将是未来安全软件开发的基础。

决不能盲目信任人工智能输出,只有具备安全技能的开发人员运用上下文和批判性思维,才能安全地利用这项技术带来的生产力提升。不过,这必须在结对编程环境中进行,在这种环境中,人类专家能够对工具生成的工作进行评估、威胁建模并最终批准。 

点击此处了解更多有关开发人员如何利用人工智能提高技能和生产力的信息。

实用的缓解技术,以及我们最新研究论文中的更多内容

人工智能编码工具和 MCP 技术将成为未来网络安全的一个重要因素,但我们不能在了解情况之前就贸然下水,这一点至关重要。 

Narajala 和 Habler 的论文详细介绍了在企业级实施 MCP 及其持续风险管理的综合缓解策略。最终,论文围绕深度防御和零信任原则,明确针对这一新生态系统给企业环境带来的独特风险特征。具体来说,对于开发人员而言,必须填补以下方面的知识空白:

  • 身份验证和访问控制:代理人工智能工具的功能是解决问题并自主决策,以实现为其规划的目标,这与人类处理工程任务的方式非常相似。然而,正如我们已经确定的那样,熟练的人类对这些流程的监督不容忽视,在工作流程中使用这些工具的开发人员必须准确了解他们的访问权限、他们检索或可能暴露的数据,以及这些数据可能被共享的位置。 
  • 一般威胁检测和缓解:与大多数人工智能流程一样,要发现工具输出中的潜在缺陷和不准确性,用户本身必须精通这项任务。开发人员必须不断接受技能培训和验证,才能有效地审查安全流程,并以安全的精确性和权威性审查人工智能生成的代码。
  • 与安全政策和人工智能管理保持一致:应让开发人员了解已获批准的工具,并为他们提供提升技能和使用这些工具的机会。在信任提交之前,开发人员和工具都应接受安全基准测试。

我们最近发布了一份研究报告,内容涉及振动编码和人工智能辅助编码的出现,以及企业为提升下一代人工智能软件工程师所必须采取的措施。了解更多信息,请联系我们,今天就强化您的开发团队。

开始吧

点击下面的链接,下载本资料的 PDF 文件。

Secure Code Warrior 我们在这里为您的组织提供服务,帮助您在整个软件开发生命周期中确保代码安全,并创造一种将网络安全放在首位的文化。无论您是应用安全经理、开发人员、CISO或任何涉及安全的人,我们都可以帮助您的组织减少与不安全代码有关的风险。

查看报告预定一个演示
查看资源
分享到
想了解更多信息?

分享到
作者
皮特-丹休
发表于 2025 年 7 月 09 日

首席执行官、主席和联合创始人

Pieter Danhieux是全球公认的安全专家,拥有超过12年的安全顾问经验,并在SANS担任首席讲师8年,教授如何针对和评估组织、系统和个人的安全弱点的攻击性技术。2016年,他被评为澳大利亚最酷的科技人士之一(Business Insider),被授予年度网络安全专业人士(AISA - 澳大利亚信息安全协会),并持有GSE、CISSP、GCIH、GCFA、GSEC、GPEN、GWAPT、GCIA认证。

分享到

人工智能辅助开发(或更时髦的 "虚拟编码")正在对代码创建产生巨大的变革性影响。成熟的开发人员正在成群结队地采用这些工具,而我们中间那些一直想创建自己的软件但缺乏相关经验的人也在利用这些工具来构建资产,而在以前,这些资产的成本和时间都是高昂的。虽然这项技术有望开创一个创新的新时代,但它也带来了一系列新的漏洞和风险,安全领导者正在努力减轻这些漏洞和风险。 

InvariantLabs最近发现了模型上下文协议(MCP)中的一个关键漏洞,该协议是一个类似 API 的框架,允许功能强大的人工智能工具与其他软件和数据库进行自主交互。Windsurf 和 Cursor 等主要人工智能工具也不能幸免,它们拥有数以百万计的用户,因此管理这一新兴安全问题的意识和技能至关重要。

正如 AWS 和 Intuit 安全研究人员 Vineeth Sai Narajala 和 Idan Habler 在最近的一份研究论文中指出的那样,目前这些工具的输出并不稳定安全,不足以将其标注为企业就绪:"随着人工智能系统变得更加自主,并开始通过 MCP 等直接与外部工具和实时数据交互,确保这些交互是安全的就变得绝对必要。"

人工智能代理系统与模型上下文协议的风险状况

模型上下文协议(Model Context Protocol)是Anthropic公司开发的一款便捷软件,可以更好、更无缝地集成大型语言模型(LLM)人工智能代理和其他工具。这是一个功能强大的用例,为专有应用程序和 GitHub 等关键业务 SaaS 工具与尖端人工智能解决方案之间的互动开辟了一个充满可能性的世界。您只需编写一个 MCP 服务器,然后就可以围绕您希望它如何运行以及达到什么目的来制定指导方针了。 

事实上,MCP 技术对安全的影响大多是积极的。LLM 与安全专业人员使用的技术堆栈之间更直接的集成承诺非常诱人,不容忽视,它代表了在以前无法实现的水平上实现精确安全任务自动化的可能性,至少在不编写和部署定制代码的情况下,通常无法实现每项任务的自动化。鉴于数据、工具和人员之间深远的可视性和连接性是有效安全防御和规划的基础,MCP 所提供的增强型 LLM 互操作性对于企业安全而言是一个令人兴奋的前景。

然而,如果不加以谨慎管理,使用 MCP 可能会引入其他可能的威胁载体,显著扩大企业的攻击面。InvariantLabs 指出,工具中毒攻击代表了一种新的漏洞类别,可能导致敏感数据外流和人工智能模型的未经授权的操作,由此产生的安全影响会变得非常黑暗、非常迅速。 

InvariantLabs 指出,当恶意指令被嵌入 MCP 工具描述中时,工具中毒攻击就有可能发生,这些恶意指令对用户来说是不可见的,但对人工智能模型来说却是完全可读(和可执行)的。这就诱使工具在用户不知情的情况下执行未经授权的不良行为。问题在于 MCP 假定所有工具描述都是可信的,这对威胁行为者来说是如虎添翼。

他们指出了工具受损可能造成的后果:

  • 引导人工智能模型访问敏感文件(如 SSH 密钥、配置文件、数据库等);
  • 指示人工智能提取和传输这些数据,而在这种环境中,这些恶意行为本质上是被隐藏起来的,不会被不知情的用户发现;
  • 通过隐藏在简单的工具参数和输出的 UI 表现形式背后,造成用户所见与人工智能模型所为之间的脱节。

这是一个令人担忧的新兴漏洞类别,随着 MCP 使用的持续增长,我们几乎肯定会更频繁地看到它。随着企业安全计划的发展,我们需要采取谨慎的措施来发现和减轻这种威胁,而让开发人员做好充分准备成为解决方案的一部分则是关键所在。

为什么只有具备安全技能的开发人员才能使用代理人工智能工具?

代理人工智能编码工具被认为是人工智能辅助编码的下一个发展方向,它能够提高软件开发的效率、生产力和灵活性。人工智能增强了对上下文和意图的理解能力,这使它们特别有用,但它们也不能幸免于攻击者的威胁,如提示注入、幻觉或行为操纵。 

开发人员是好代码提交和坏代码提交之间的防线,保持敏锐的安全和批判性思维能力将是未来安全软件开发的基础。

决不能盲目信任人工智能输出,只有具备安全技能的开发人员运用上下文和批判性思维,才能安全地利用这项技术带来的生产力提升。不过,这必须在结对编程环境中进行,在这种环境中,人类专家能够对工具生成的工作进行评估、威胁建模并最终批准。 

点击此处了解更多有关开发人员如何利用人工智能提高技能和生产力的信息。

实用的缓解技术,以及我们最新研究论文中的更多内容

人工智能编码工具和 MCP 技术将成为未来网络安全的一个重要因素,但我们不能在了解情况之前就贸然下水,这一点至关重要。 

Narajala 和 Habler 的论文详细介绍了在企业级实施 MCP 及其持续风险管理的综合缓解策略。最终,论文围绕深度防御和零信任原则,明确针对这一新生态系统给企业环境带来的独特风险特征。具体来说,对于开发人员而言,必须填补以下方面的知识空白:

  • 身份验证和访问控制:代理人工智能工具的功能是解决问题并自主决策,以实现为其规划的目标,这与人类处理工程任务的方式非常相似。然而,正如我们已经确定的那样,熟练的人类对这些流程的监督不容忽视,在工作流程中使用这些工具的开发人员必须准确了解他们的访问权限、他们检索或可能暴露的数据,以及这些数据可能被共享的位置。 
  • 一般威胁检测和缓解:与大多数人工智能流程一样,要发现工具输出中的潜在缺陷和不准确性,用户本身必须精通这项任务。开发人员必须不断接受技能培训和验证,才能有效地审查安全流程,并以安全的精确性和权威性审查人工智能生成的代码。
  • 与安全政策和人工智能管理保持一致:应让开发人员了解已获批准的工具,并为他们提供提升技能和使用这些工具的机会。在信任提交之前,开发人员和工具都应接受安全基准测试。

我们最近发布了一份研究报告,内容涉及振动编码和人工智能辅助编码的出现,以及企业为提升下一代人工智能软件工程师所必须采取的措施。了解更多信息,请联系我们,今天就强化您的开发团队。

目录

下载PDF
查看资源
想了解更多信息?

首席执行官、主席和联合创始人

Secure Code Warrior 我们在这里为您的组织提供服务,帮助您在整个软件开发生命周期中确保代码安全,并创造一种将网络安全放在首位的文化。无论您是应用安全经理、开发人员、CISO或任何涉及安全的人,我们都可以帮助您的组织减少与不安全代码有关的风险。

预定一个演示下载
分享到
资源中心
资源中心