当好工具变坏时：AI 工具中毒，以及如何阻止你的 AI 充当双重间谍

人工智能辅助开发（或更通用的说法，“氛围编码”）正在对代码创建产生巨大的变革性影响。经验丰富的开发人员正成群结队地采用这些工具，而我们当中那些一直想创建自己的软件却缺乏相关经验的人，也正利用它们来构建以前成本和时间都过高的资产。尽管这项技术有望开创一个新的创新时代，但它引入了一系列新的漏洞和风险概况，安全领导者正在努力缓解这些漏洞和风险状况。

InvariantLabs在模型上下文协议（MCP）中发现了一个关键漏洞。该协议是一个类似API的框架，允许强大的人工智能工具与其他软件和数据库自主交互，从而实施所谓的 "工具中毒攻击"——这是一种新型漏洞类别，可能对企业造成特别严重的损害。主要的人工智能工具，例如Windsurf和Cursor，也无法幸免。对于数百万用户而言，管理这一新出现的安全问题的意识和技能至关重要。

就目前而言，这些工具的输出并不总是足够安全，足以将其标记为企业就绪。正如AWS和Intuit安全研究员Vineeth Sai Narajala与IdanHabler在近期研究论文中所述："随着人工智能系统变得更加自主，并开始通过MCP等工具直接与外部工具及实时数据交互，确保这些交互的安全性变得绝对必要。"

代理人工智能系统和模型上下文协议的风险概况

模型上下文协议（MCP）是由Anthropic打造的一款便捷软件，它能实现大型语言模型（LLM）、AI代理及其他工具之间更优质、更无缝的集成。这一强大用例在专有应用程序与GitHub等关键业务SaaS工具之间开辟了充满可能性的世界，使其能够与尖端人工智能解决方案互动。只需编写一个MCP服务器，即可开始制定指导方针，规划其运行方式及实现目标。

事实上，MCP 技术对安全的影响大多是积极的。LLM 与安全专业人员使用的技术堆栈之间实现更直接集成的承诺太诱人了，不容忽视，这代表了在以前不可能实现的层面上实现精确安全任务自动化的可能性——至少在无需为每项任务编写和部署定制代码的情况下是如此。鉴于数据、工具和人员之间的深远可见性与互联性是有效安全防御和规划的基础，MCP增强了LLM的互操作性，为企业安全带来了令人振奋的前景。

然而，使用 MCP 可能引入其他潜在威胁载体，若管理不当，将显著扩大企业攻击面。正如不变实验室所指出的，工具中毒攻击构成了一类新型漏洞，可能导致 AI 模型泄露敏感数据并执行未经授权的操作，此后安全隐患便会迅速变得极其隐蔽。

InvariantLabs指出，当恶意指令被嵌入MCP工具描述中时，用户虽无法察觉，但AI模型却能完全读取（并执行）这些指令，从而使工具中毒攻击成为可能。这将诱使工具在用户不知情的情况下执行未经授权的不良操作。问题在于MCP的假设——即所有工具描述都值得信赖——这对威胁行为者而言简直是天作之合。

他们注意到受损工具可能产生的以下结果：

• 指示 AI 模型访问敏感文件（如 SSH 密钥、配置文件、数据库等）；
• 指示 AI 在对不知情的用户隐瞒这些恶意行为的环境中提取和传输这些数据；
• 通过隐藏在看似简单的工具参数和输出用户界面表示形式背后，在用户所见内容与AI模型的实际操作之间建立脱节。

这是一个令人担忧的紧急漏洞类别，随着 MCP 使用量的不可避免地持续增长，我们几乎肯定会更频繁地看到这个漏洞类别。随着企业安全计划的发展，它将采取谨慎的行动来发现和缓解这种威胁，而让开发人员做好充分准备以参与解决方案是关键。

为什么只有具备安全技能的开发人员才能利用代理人工智能工具

代理式人工智能编码工具被视为人工智能辅助编码的下一次演进，其在软件开发中提升效率、生产力和灵活性的能力得到增强。它们理解背景和意图的能力得到强化，因此特别有用，但仍无法免受攻击者的即时注入、幻觉或行为操纵等威胁。

开发人员是代码提交好坏之间的防线，保持敏锐的安全和批判性思维能力将成为未来安全软件开发的基础。

决不能盲目信任地实现人工智能输出，只有具备安全技能的开发人员运用情境的批判性思维，才能安全地利用这项技术带来的生产力提升。尽管如此，它必须处于结对编程环境中，人类专家能够评估、威胁建模并最终批准该工具所做的工作。

详细了解开发人员如何通过 AI 提升技能和提高工作效率，请点击此处。

实用的缓解技术，以及我们最新的研究论文中的更多内容

人工智能编码工具和MCP技术必将成为未来网络安全的重要因素，但至关重要的是，我们在检查水域之前不要贸然下水。

Narajala 和 Habler的白皮书详细阐述了在企业层面实施MCP的全面缓解策略及其风险的持续管理。最终，它以深度防御和零信任原则为核心，明确针对这一新生态系统为企业环境带来的独特风险态势。特别是对于开发人员而言，填补以下领域的知识空白至关重要：

• 身份验证与访问控制：代理式人工智能工具的功能在于解决问题并自主决策，以实现为其设定的目标，这与人类处理工程任务的方式基本一致。然而，正如我们已确定的那样，对这些流程进行熟练的人工监督不容忽视——在工作流中使用这些工具的开发人员必须精确了解自身拥有的访问权限、所检索或可能暴露的数据，以及这些数据的共享范围。
• 一般威胁检测与缓解：与大多数人工智能流程类似，要发现工具输出中的潜在缺陷和不准确之处，用户必须精通相关任务。开发人员必须接受持续的技能提升并验证这些技能，才能有效审查安全流程，并以安全精度和权威性审查AI生成的代码。
• 与安全政策和 AI 治理保持一致：应让开发人员了解经批准的工具，并有机会提升技能并获得使用权限。在信任提交之前，开发人员和工具都应接受安全基准测试。

我们最近发布了一篇研究论文，探讨了氛围编码与人工智能辅助编码的兴起，以及企业为培养新一代人工智能驱动的软件工程师必须采取的措施。立即查看并联系我们，强化您的开发团队。