在人工智能增强型安全软件开发中重拾批判性思维
本文的一个版本刊登在 网络安全内幕》。 本文已更新并在此联合发布。
从大型语言模型（LLM）代码创建器到复杂的人工智能代理，人工智能助手的采用为软件开发人员带来了大量好处。然而，麻省理工学院的一项新研究强调，最近的研究结果发出了一个警告：对人工智能的严重依赖可能会导致用户丧失批判性思维能力。
在软件领域，与人工智能相关的安全风险与人工智能的采用同步增长，这种认知能力的丧失确实可能导致灾难性的后果。对于开发人员和组织而言，在软件开发生命周期（SDLC）的早期积极主动地识别、了解和缓解安全漏洞是一项道德义务。令人震惊的是，当今许多组织都忽视了这一职责，他们面临的潜在安全威胁也同样急剧上升，其中一些可直接归咎于人工智能。
争论的焦点不在于是否要使用人工智能，因为人工智能在生产力和效率方面的优势实在太大，不容忽视。相反，真正的问题是如何最有效地应用人工智能：在保障安全的同时最大限度地提高产出。而这最好由精通安全的开发人员来完成，他们要深刻理解自己的代码，无论其源于何处。
过度依赖人工智能可能导致认知能力下降
麻省理工学院媒体实验室于 6 月初发布的这项研究测试了波士顿地区五所大学 54 名学生在写作文时的认知功能。这些学生被分为三组：使用大语言模型（LLM）的学生、使用搜索引擎的学生和没有外援的老式学生。研究小组使用脑电图（EEG）记录参与者的大脑活动，并评估认知参与度和认知负荷。研究小组发现，"老派"、"只用大脑 "组表现出最强烈、最广泛的神经活动，而使用搜索引擎的组表现出中等程度的活动，而使用 LLM（本例中为 OpenAI 的 ChatGPT-4）的组表现出最少的大脑活动。
这可能并不特别令人惊讶--毕竟，当你使用一种工具来替你思考时，你就会减少思考的次数。然而，研究还显示，LLM 用户与论文之间的联系较弱：83%的学生甚至在完成论文几分钟后都很难回忆起论文内容，没有一个参与者能提供准确的引文。与其他组相比，作者的主人翁意识缺失。只用大脑的学员不仅主人翁意识最强，大脑活动范围最广，而且他们写出的论文也最具原创性。而 LLM 组的成果则较为单一，而且事实上很容易被评委们识别为人工智能的作品。
从开发者的角度来看，关键的结果是使用人工智能导致批判性思维能力下降。当然，单次依赖人工智能可能不会导致基本思维能力的丧失，但长期持续使用会导致这些能力萎缩。这项研究提出了一种在使用人工智能时保持批判性思维的方法，即让人工智能帮助用户，而不是用户帮助人工智能，但真正的重点必须是确保开发人员掌握构建安全软件所需的安全技能，并将这些技能作为日常工作的重要组成部分。
开发人员教育：人工智能驱动的生态系统必不可少
麻省理工学院这样的研究并不能阻止人工智能的应用，各行各业都在推动人工智能的发展。斯坦福大学的《2025 年人工智能指数报告》发现，78% 的组织在 2024 年报告使用了人工智能，而 2023 年只有 55%。预计这种增长还将继续。但是，使用增加的同时，风险也在增加：报告发现，与人工智能相关的网络安全事件同期增长了 56%。
斯坦福大学的报告强调了改善人工智能治理的迫切需要，因为报告还发现，各组织在实施安全保障措施方面存在松懈现象。尽管几乎所有组织都认识到了人工智能的风险，但只有不到三分之二的组织对此采取了措施，这使它们容易受到一系列网络安全威胁，并有可能违反日益严格的合规监管要求。
如果答案不是停止使用人工智能（没有人会这么做），那就必须更加安全可靠地使用人工智能。麻省理工学院的研究为如何实现这一目标提供了一条有用的线索。在研究的第四个环节，研究人员将 LLM 用户分成了两组：一组是在向 ChatGPT 寻求帮助之前自己开始撰写论文，在研究中被称为 "从大脑到 LLM "组；另一组是先让 ChatGPT 写出初稿，然后再由他们亲自处理，被称为 "从 LLM 到大脑 "组。Brain-to-LLM 组使用人工智能工具帮助改写他们已经起草好的文章，他们的记忆力和大脑活动都较高，其中一些区域与搜索引擎用户相似。而 "LLM-to-Brain "组则是让人工智能启动论文写作，他们的神经活动协调性较差，而且偏向于使用LLM词汇。
从大脑到 LLM 的方法可能有助于让用户的大脑更加敏锐，但开发人员也需要掌握安全编写软件的具体知识，并严格评估人工智能生成的代码是否存在错误和安全风险。他们需要了解人工智能的局限性，包括其引入安全漏洞的倾向，如提示注入攻击的漏洞。
这就需要全面改革企业安全计划，确保以人为本的 SDLC，在这种 SDLC 中，开发人员可以获得有效、灵活、实践性强和持续的技能提升，这也是全企业安全第一文化的一部分。开发人员需要不断提高技能，以跟上快速发展的复杂威胁，尤其是人工智能在软件开发中发挥重要作用所带来的威胁。例如，这可以防止日益常见的提示注入攻击。但是，要使这种保护发挥作用，企业需要一个由开发人员驱动的计划，重点关注安全设计模式和威胁建模。
总结
当 LLM 或代理机构做繁重的工作时，用户就成了被动的旁观者。研究报告的作者说，这可能会导致 "批判性思维能力减弱，对材料的理解不深，长期记忆形成较少"。认知参与度降低也会导致决策能力下降。
在网络安全方面，企业不能缺乏批判性思维。由于高度分布式、基于云的环境中的软件缺陷已成为网络攻击者的首要目标，因此网络安全首先要确保代码安全，无论是由开发人员、人工智能助手还是代理创建的代码。尽管人工智能功能强大，但企业比以往任何时候都更需要高度磨练的解决问题和批判性思维能力。而这不能外包给人工智能。
SCW Trust Agent的全新人工智能功能可为您提供所需的深度可观察性和控制能力，让您在不牺牲安全性的前提下，自信地在SDLC中管理人工智能的采用。 了解更多.
Matias Madou, Ph.D.是一位安全专家、研究员和CTO，也是Secure Code Warrior 的联合创始人。Matias在根特大学获得了应用安全的博士学位，主要研究静态分析解决方案。后来他加入了美国的Fortify公司，在那里他意识到，仅仅检测代码问题而不帮助开发人员编写安全代码是不够的。这激发了他开发产品的热情，帮助开发人员，减轻安全的负担，并超越客户的期望。当他不在办公桌前作为Awesome团队的一员时，他喜欢站在舞台上，在包括RSA会议、BlackHat和DefCon等会议上发表演讲。
Secure Code Warrior 我们在这里为您的组织提供服务，帮助您在整个软件开发生命周期中确保代码安全，并创造一种将网络安全放在首位的文化。无论您是应用安全经理、开发人员、CISO或任何涉及安全的人，我们都可以帮助您的组织减少与不安全代码有关的风险。
预定一个演示
Matias Madou, Ph.D.是一位安全专家、研究员和CTO，也是Secure Code Warrior 的联合创始人。Matias在根特大学获得了应用安全的博士学位，主要研究静态分析解决方案。后来他加入了美国的Fortify公司，在那里他意识到，仅仅检测代码问题而不帮助开发人员编写安全代码是不够的。这激发了他开发产品的热情，帮助开发人员，减轻安全的负担，并超越客户的期望。当他不在办公桌前作为Awesome团队的一员时，他喜欢站在舞台上，在包括RSA会议、BlackHat和DefCon等会议上发表演讲。
马蒂亚斯是一名研究员和开发人员，拥有超过15年的软件安全实践经验。他曾为Fortify Software和他自己的公司Sensei Security等公司开发解决方案。在他的职业生涯中，马蒂亚斯领导了多个应用安全研究项目，并将其转化为商业产品，他拥有超过10项专利。当他离开办公桌时，Matias曾担任高级应用安全培训courses ，并定期在全球会议上发言，包括RSA会议、黑帽、DefCon、BSIMM、OWASP AppSec和BruCon。
马蒂亚斯拥有根特大学的计算机工程博士学位，在那里他研究了通过程序混淆来隐藏应用程序的内部工作的应用安全。
本文的一个版本刊登在 网络安全内幕》。 本文已更新并在此联合发布。
从大型语言模型（LLM）代码创建器到复杂的人工智能代理，人工智能助手的采用为软件开发人员带来了大量好处。然而，麻省理工学院的一项新研究强调，最近的研究结果发出了一个警告：对人工智能的严重依赖可能会导致用户丧失批判性思维能力。
在软件领域，与人工智能相关的安全风险与人工智能的采用同步增长，这种认知能力的丧失确实可能导致灾难性的后果。对于开发人员和组织而言，在软件开发生命周期（SDLC）的早期积极主动地识别、了解和缓解安全漏洞是一项道德义务。令人震惊的是，当今许多组织都忽视了这一职责，他们面临的潜在安全威胁也同样急剧上升，其中一些可直接归咎于人工智能。
争论的焦点不在于是否要使用人工智能，因为人工智能在生产力和效率方面的优势实在太大，不容忽视。相反，真正的问题是如何最有效地应用人工智能：在保障安全的同时最大限度地提高产出。而这最好由精通安全的开发人员来完成，他们要深刻理解自己的代码，无论其源于何处。
过度依赖人工智能可能导致认知能力下降
麻省理工学院媒体实验室于 6 月初发布的这项研究测试了波士顿地区五所大学 54 名学生在写作文时的认知功能。这些学生被分为三组：使用大语言模型（LLM）的学生、使用搜索引擎的学生和没有外援的老式学生。研究小组使用脑电图（EEG）记录参与者的大脑活动，并评估认知参与度和认知负荷。研究小组发现，"老派"、"只用大脑 "组表现出最强烈、最广泛的神经活动，而使用搜索引擎的组表现出中等程度的活动，而使用 LLM（本例中为 OpenAI 的 ChatGPT-4）的组表现出最少的大脑活动。
这可能并不特别令人惊讶--毕竟，当你使用一种工具来替你思考时，你就会减少思考的次数。然而，研究还显示，LLM 用户与论文之间的联系较弱：83%的学生甚至在完成论文几分钟后都很难回忆起论文内容，没有一个参与者能提供准确的引文。与其他组相比，作者的主人翁意识缺失。只用大脑的学员不仅主人翁意识最强，大脑活动范围最广，而且他们写出的论文也最具原创性。而 LLM 组的成果则较为单一，而且事实上很容易被评委们识别为人工智能的作品。
从开发者的角度来看，关键的结果是使用人工智能导致批判性思维能力下降。当然，单次依赖人工智能可能不会导致基本思维能力的丧失，但长期持续使用会导致这些能力萎缩。这项研究提出了一种在使用人工智能时保持批判性思维的方法，即让人工智能帮助用户，而不是用户帮助人工智能，但真正的重点必须是确保开发人员掌握构建安全软件所需的安全技能，并将这些技能作为日常工作的重要组成部分。
开发人员教育：人工智能驱动的生态系统必不可少
麻省理工学院这样的研究并不能阻止人工智能的应用，各行各业都在推动人工智能的发展。斯坦福大学的《2025 年人工智能指数报告》发现，78% 的组织在 2024 年报告使用了人工智能，而 2023 年只有 55%。预计这种增长还将继续。但是，使用增加的同时，风险也在增加：报告发现，与人工智能相关的网络安全事件同期增长了 56%。
斯坦福大学的报告强调了改善人工智能治理的迫切需要，因为报告还发现，各组织在实施安全保障措施方面存在松懈现象。尽管几乎所有组织都认识到了人工智能的风险，但只有不到三分之二的组织对此采取了措施，这使它们容易受到一系列网络安全威胁，并有可能违反日益严格的合规监管要求。
如果答案不是停止使用人工智能（没有人会这么做），那就必须更加安全可靠地使用人工智能。麻省理工学院的研究为如何实现这一目标提供了一条有用的线索。在研究的第四个环节，研究人员将 LLM 用户分成了两组：一组是在向 ChatGPT 寻求帮助之前自己开始撰写论文，在研究中被称为 "从大脑到 LLM "组；另一组是先让 ChatGPT 写出初稿，然后再由他们亲自处理，被称为 "从 LLM 到大脑 "组。Brain-to-LLM 组使用人工智能工具帮助改写他们已经起草好的文章，他们的记忆力和大脑活动都较高，其中一些区域与搜索引擎用户相似。而 "LLM-to-Brain "组则是让人工智能启动论文写作，他们的神经活动协调性较差，而且偏向于使用LLM词汇。
从大脑到 LLM 的方法可能有助于让用户的大脑更加敏锐，但开发人员也需要掌握安全编写软件的具体知识，并严格评估人工智能生成的代码是否存在错误和安全风险。他们需要了解人工智能的局限性，包括其引入安全漏洞的倾向，如提示注入攻击的漏洞。
这就需要全面改革企业安全计划，确保以人为本的 SDLC，在这种 SDLC 中，开发人员可以获得有效、灵活、实践性强和持续的技能提升，这也是全企业安全第一文化的一部分。开发人员需要不断提高技能，以跟上快速发展的复杂威胁，尤其是人工智能在软件开发中发挥重要作用所带来的威胁。例如，这可以防止日益常见的提示注入攻击。但是，要使这种保护发挥作用，企业需要一个由开发人员驱动的计划，重点关注安全设计模式和威胁建模。
总结
当 LLM 或代理机构做繁重的工作时，用户就成了被动的旁观者。研究报告的作者说，这可能会导致 "批判性思维能力减弱，对材料的理解不深，长期记忆形成较少"。认知参与度降低也会导致决策能力下降。
在网络安全方面，企业不能缺乏批判性思维。由于高度分布式、基于云的环境中的软件缺陷已成为网络攻击者的首要目标，因此网络安全首先要确保代码安全，无论是由开发人员、人工智能助手还是代理创建的代码。尽管人工智能功能强大，但企业比以往任何时候都更需要高度磨练的解决问题和批判性思维能力。而这不能外包给人工智能。
SCW Trust Agent的全新人工智能功能可为您提供所需的深度可观察性和控制能力，让您在不牺牲安全性的前提下，自信地在SDLC中管理人工智能的采用。 了解更多.
本文的一个版本刊登在 网络安全内幕》。 本文已更新并在此联合发布。
从大型语言模型（LLM）代码创建器到复杂的人工智能代理，人工智能助手的采用为软件开发人员带来了大量好处。然而，麻省理工学院的一项新研究强调，最近的研究结果发出了一个警告：对人工智能的严重依赖可能会导致用户丧失批判性思维能力。
在软件领域，与人工智能相关的安全风险与人工智能的采用同步增长，这种认知能力的丧失确实可能导致灾难性的后果。对于开发人员和组织而言，在软件开发生命周期（SDLC）的早期积极主动地识别、了解和缓解安全漏洞是一项道德义务。令人震惊的是，当今许多组织都忽视了这一职责，他们面临的潜在安全威胁也同样急剧上升，其中一些可直接归咎于人工智能。
争论的焦点不在于是否要使用人工智能，因为人工智能在生产力和效率方面的优势实在太大，不容忽视。相反，真正的问题是如何最有效地应用人工智能：在保障安全的同时最大限度地提高产出。而这最好由精通安全的开发人员来完成，他们要深刻理解自己的代码，无论其源于何处。
过度依赖人工智能可能导致认知能力下降
麻省理工学院媒体实验室于 6 月初发布的这项研究测试了波士顿地区五所大学 54 名学生在写作文时的认知功能。这些学生被分为三组：使用大语言模型（LLM）的学生、使用搜索引擎的学生和没有外援的老式学生。研究小组使用脑电图（EEG）记录参与者的大脑活动，并评估认知参与度和认知负荷。研究小组发现，"老派"、"只用大脑 "组表现出最强烈、最广泛的神经活动，而使用搜索引擎的组表现出中等程度的活动，而使用 LLM（本例中为 OpenAI 的 ChatGPT-4）的组表现出最少的大脑活动。
这可能并不特别令人惊讶--毕竟，当你使用一种工具来替你思考时，你就会减少思考的次数。然而，研究还显示，LLM 用户与论文之间的联系较弱：83%的学生甚至在完成论文几分钟后都很难回忆起论文内容，没有一个参与者能提供准确的引文。与其他组相比，作者的主人翁意识缺失。只用大脑的学员不仅主人翁意识最强，大脑活动范围最广，而且他们写出的论文也最具原创性。而 LLM 组的成果则较为单一，而且事实上很容易被评委们识别为人工智能的作品。
从开发者的角度来看，关键的结果是使用人工智能导致批判性思维能力下降。当然，单次依赖人工智能可能不会导致基本思维能力的丧失，但长期持续使用会导致这些能力萎缩。这项研究提出了一种在使用人工智能时保持批判性思维的方法，即让人工智能帮助用户，而不是用户帮助人工智能，但真正的重点必须是确保开发人员掌握构建安全软件所需的安全技能，并将这些技能作为日常工作的重要组成部分。
开发人员教育：人工智能驱动的生态系统必不可少
麻省理工学院这样的研究并不能阻止人工智能的应用，各行各业都在推动人工智能的发展。斯坦福大学的《2025 年人工智能指数报告》发现，78% 的组织在 2024 年报告使用了人工智能，而 2023 年只有 55%。预计这种增长还将继续。但是，使用增加的同时，风险也在增加：报告发现，与人工智能相关的网络安全事件同期增长了 56%。
斯坦福大学的报告强调了改善人工智能治理的迫切需要，因为报告还发现，各组织在实施安全保障措施方面存在松懈现象。尽管几乎所有组织都认识到了人工智能的风险，但只有不到三分之二的组织对此采取了措施，这使它们容易受到一系列网络安全威胁，并有可能违反日益严格的合规监管要求。
如果答案不是停止使用人工智能（没有人会这么做），那就必须更加安全可靠地使用人工智能。麻省理工学院的研究为如何实现这一目标提供了一条有用的线索。在研究的第四个环节，研究人员将 LLM 用户分成了两组：一组是在向 ChatGPT 寻求帮助之前自己开始撰写论文，在研究中被称为 "从大脑到 LLM "组；另一组是先让 ChatGPT 写出初稿，然后再由他们亲自处理，被称为 "从 LLM 到大脑 "组。Brain-to-LLM 组使用人工智能工具帮助改写他们已经起草好的文章，他们的记忆力和大脑活动都较高，其中一些区域与搜索引擎用户相似。而 "LLM-to-Brain "组则是让人工智能启动论文写作，他们的神经活动协调性较差，而且偏向于使用LLM词汇。
从大脑到 LLM 的方法可能有助于让用户的大脑更加敏锐，但开发人员也需要掌握安全编写软件的具体知识，并严格评估人工智能生成的代码是否存在错误和安全风险。他们需要了解人工智能的局限性，包括其引入安全漏洞的倾向，如提示注入攻击的漏洞。
这就需要全面改革企业安全计划，确保以人为本的 SDLC，在这种 SDLC 中，开发人员可以获得有效、灵活、实践性强和持续的技能提升，这也是全企业安全第一文化的一部分。开发人员需要不断提高技能，以跟上快速发展的复杂威胁，尤其是人工智能在软件开发中发挥重要作用所带来的威胁。例如，这可以防止日益常见的提示注入攻击。但是，要使这种保护发挥作用，企业需要一个由开发人员驱动的计划，重点关注安全设计模式和威胁建模。
总结
当 LLM 或代理机构做繁重的工作时，用户就成了被动的旁观者。研究报告的作者说，这可能会导致 "批判性思维能力减弱，对材料的理解不深，长期记忆形成较少"。认知参与度降低也会导致决策能力下降。
在网络安全方面，企业不能缺乏批判性思维。由于高度分布式、基于云的环境中的软件缺陷已成为网络攻击者的首要目标，因此网络安全首先要确保代码安全，无论是由开发人员、人工智能助手还是代理创建的代码。尽管人工智能功能强大，但企业比以往任何时候都更需要高度磨练的解决问题和批判性思维能力。而这不能外包给人工智能。
SCW Trust Agent的全新人工智能功能可为您提供所需的深度可观察性和控制能力，让您在不牺牲安全性的前提下，自信地在SDLC中管理人工智能的采用。 了解更多.
点击下面的链接，下载本资料的 PDF 文件。
Secure Code Warrior 我们在这里为您的组织提供服务，帮助您在整个软件开发生命周期中确保代码安全，并创造一种将网络安全放在首位的文化。无论您是应用安全经理、开发人员、CISO或任何涉及安全的人，我们都可以帮助您的组织减少与不安全代码有关的风险。
查看报告预定一个演示
Matias Madou, Ph.D.是一位安全专家、研究员和CTO，也是Secure Code Warrior 的联合创始人。Matias在根特大学获得了应用安全的博士学位，主要研究静态分析解决方案。后来他加入了美国的Fortify公司，在那里他意识到，仅仅检测代码问题而不帮助开发人员编写安全代码是不够的。这激发了他开发产品的热情，帮助开发人员，减轻安全的负担，并超越客户的期望。当他不在办公桌前作为Awesome团队的一员时，他喜欢站在舞台上，在包括RSA会议、BlackHat和DefCon等会议上发表演讲。
马蒂亚斯是一名研究员和开发人员，拥有超过15年的软件安全实践经验。他曾为Fortify Software和他自己的公司Sensei Security等公司开发解决方案。在他的职业生涯中，马蒂亚斯领导了多个应用安全研究项目，并将其转化为商业产品，他拥有超过10项专利。当他离开办公桌时，Matias曾担任高级应用安全培训courses ，并定期在全球会议上发言，包括RSA会议、黑帽、DefCon、BSIMM、OWASP AppSec和BruCon。
马蒂亚斯拥有根特大学的计算机工程博士学位，在那里他研究了通过程序混淆来隐藏应用程序的内部工作的应用安全。
本文的一个版本刊登在 网络安全内幕》。 本文已更新并在此联合发布。
从大型语言模型（LLM）代码创建器到复杂的人工智能代理，人工智能助手的采用为软件开发人员带来了大量好处。然而，麻省理工学院的一项新研究强调，最近的研究结果发出了一个警告：对人工智能的严重依赖可能会导致用户丧失批判性思维能力。
在软件领域，与人工智能相关的安全风险与人工智能的采用同步增长，这种认知能力的丧失确实可能导致灾难性的后果。对于开发人员和组织而言，在软件开发生命周期（SDLC）的早期积极主动地识别、了解和缓解安全漏洞是一项道德义务。令人震惊的是，当今许多组织都忽视了这一职责，他们面临的潜在安全威胁也同样急剧上升，其中一些可直接归咎于人工智能。
争论的焦点不在于是否要使用人工智能，因为人工智能在生产力和效率方面的优势实在太大，不容忽视。相反，真正的问题是如何最有效地应用人工智能：在保障安全的同时最大限度地提高产出。而这最好由精通安全的开发人员来完成，他们要深刻理解自己的代码，无论其源于何处。
过度依赖人工智能可能导致认知能力下降
麻省理工学院媒体实验室于 6 月初发布的这项研究测试了波士顿地区五所大学 54 名学生在写作文时的认知功能。这些学生被分为三组：使用大语言模型（LLM）的学生、使用搜索引擎的学生和没有外援的老式学生。研究小组使用脑电图（EEG）记录参与者的大脑活动，并评估认知参与度和认知负荷。研究小组发现，"老派"、"只用大脑 "组表现出最强烈、最广泛的神经活动，而使用搜索引擎的组表现出中等程度的活动，而使用 LLM（本例中为 OpenAI 的 ChatGPT-4）的组表现出最少的大脑活动。
这可能并不特别令人惊讶--毕竟，当你使用一种工具来替你思考时，你就会减少思考的次数。然而，研究还显示，LLM 用户与论文之间的联系较弱：83%的学生甚至在完成论文几分钟后都很难回忆起论文内容，没有一个参与者能提供准确的引文。与其他组相比，作者的主人翁意识缺失。只用大脑的学员不仅主人翁意识最强，大脑活动范围最广，而且他们写出的论文也最具原创性。而 LLM 组的成果则较为单一，而且事实上很容易被评委们识别为人工智能的作品。
从开发者的角度来看，关键的结果是使用人工智能导致批判性思维能力下降。当然，单次依赖人工智能可能不会导致基本思维能力的丧失，但长期持续使用会导致这些能力萎缩。这项研究提出了一种在使用人工智能时保持批判性思维的方法，即让人工智能帮助用户，而不是用户帮助人工智能，但真正的重点必须是确保开发人员掌握构建安全软件所需的安全技能，并将这些技能作为日常工作的重要组成部分。
开发人员教育：人工智能驱动的生态系统必不可少
麻省理工学院这样的研究并不能阻止人工智能的应用，各行各业都在推动人工智能的发展。斯坦福大学的《2025 年人工智能指数报告》发现，78% 的组织在 2024 年报告使用了人工智能，而 2023 年只有 55%。预计这种增长还将继续。但是，使用增加的同时，风险也在增加：报告发现，与人工智能相关的网络安全事件同期增长了 56%。
斯坦福大学的报告强调了改善人工智能治理的迫切需要，因为报告还发现，各组织在实施安全保障措施方面存在松懈现象。尽管几乎所有组织都认识到了人工智能的风险，但只有不到三分之二的组织对此采取了措施，这使它们容易受到一系列网络安全威胁，并有可能违反日益严格的合规监管要求。
如果答案不是停止使用人工智能（没有人会这么做），那就必须更加安全可靠地使用人工智能。麻省理工学院的研究为如何实现这一目标提供了一条有用的线索。在研究的第四个环节，研究人员将 LLM 用户分成了两组：一组是在向 ChatGPT 寻求帮助之前自己开始撰写论文，在研究中被称为 "从大脑到 LLM "组；另一组是先让 ChatGPT 写出初稿，然后再由他们亲自处理，被称为 "从 LLM 到大脑 "组。Brain-to-LLM 组使用人工智能工具帮助改写他们已经起草好的文章，他们的记忆力和大脑活动都较高，其中一些区域与搜索引擎用户相似。而 "LLM-to-Brain "组则是让人工智能启动论文写作，他们的神经活动协调性较差，而且偏向于使用LLM词汇。
从大脑到 LLM 的方法可能有助于让用户的大脑更加敏锐，但开发人员也需要掌握安全编写软件的具体知识，并严格评估人工智能生成的代码是否存在错误和安全风险。他们需要了解人工智能的局限性，包括其引入安全漏洞的倾向，如提示注入攻击的漏洞。
这就需要全面改革企业安全计划，确保以人为本的 SDLC，在这种 SDLC 中，开发人员可以获得有效、灵活、实践性强和持续的技能提升，这也是全企业安全第一文化的一部分。开发人员需要不断提高技能，以跟上快速发展的复杂威胁，尤其是人工智能在软件开发中发挥重要作用所带来的威胁。例如，这可以防止日益常见的提示注入攻击。但是，要使这种保护发挥作用，企业需要一个由开发人员驱动的计划，重点关注安全设计模式和威胁建模。
总结
当 LLM 或代理机构做繁重的工作时，用户就成了被动的旁观者。研究报告的作者说，这可能会导致 "批判性思维能力减弱，对材料的理解不深，长期记忆形成较少"。认知参与度降低也会导致决策能力下降。
在网络安全方面，企业不能缺乏批判性思维。由于高度分布式、基于云的环境中的软件缺陷已成为网络攻击者的首要目标，因此网络安全首先要确保代码安全，无论是由开发人员、人工智能助手还是代理创建的代码。尽管人工智能功能强大，但企业比以往任何时候都更需要高度磨练的解决问题和批判性思维能力。而这不能外包给人工智能。
SCW Trust Agent的全新人工智能功能可为您提供所需的深度可观察性和控制能力，让您在不牺牲安全性的前提下，自信地在SDLC中管理人工智能的采用。 了解更多.
目录
Matias Madou, Ph.D.是一位安全专家、研究员和CTO，也是Secure Code Warrior 的联合创始人。Matias在根特大学获得了应用安全的博士学位，主要研究静态分析解决方案。后来他加入了美国的Fortify公司，在那里他意识到，仅仅检测代码问题而不帮助开发人员编写安全代码是不够的。这激发了他开发产品的热情，帮助开发人员，减轻安全的负担，并超越客户的期望。当他不在办公桌前作为Awesome团队的一员时，他喜欢站在舞台上，在包括RSA会议、BlackHat和DefCon等会议上发表演讲。
Secure Code Warrior 我们在这里为您的组织提供服务，帮助您在整个软件开发生命周期中确保代码安全，并创造一种将网络安全放在首位的文化。无论您是应用安全经理、开发人员、CISO或任何涉及安全的人，我们都可以帮助您的组织减少与不安全代码有关的风险。
预定一个演示下载资源
OpenText 应用程序安全性的强大功能 + Secure Code Warrior
OpenText Application Security and Secure Code Warrior combine vulnerability detection with AI Software Governance and developer capability. Together, they help organizations reduce risk, strengthen secure coding practices, and confidently adopt AI-driven development.
Secure Code Warrior corporate overview
Secure Code Warrior is an AI Software Governance platform designed to enable organizations to safely adopt AI-driven development by bridging the gap between development velocity and enterprise security. The platform addresses the "Visibility Gap," where security teams often lack insights into shadow AI coding tools and the origins of production code.
安全代码培训主题和内容
Our industry-leading content is always evolving to fit the ever changing software development landscape with your role in mind. Topics covering everything from AI to XQuery Injection, offered for a variety of roles from Architects and Engineers to Product Managers and QA. Get a sneak peek of what our content catalog has to offer by topic and role.
资源
Observe and Secure the ADLC: A Four-Point Framework for CISOs and Development Teams Using AI
While development teams look to make the most of GenAI’s undeniable benefits, we’d like to propose a four-point foundational framework that will allow security leaders to deploy AI coding tools and agents with a higher, more relevant standard of security best practices. It details exactly what enterprises can do to ensure safe, secure code development right now, and as agentic AI becomes an even bigger factor in the future.
