在人工智能增强型安全软件开发中重拾批判性思维
本文的一个版本刊登在 网络安全内幕》。 本文已更新并在此联合发布。
从大型语言模型（LLM）代码创建器到复杂的人工智能代理，人工智能助手的采用为软件开发人员带来了大量好处。然而，麻省理工学院的一项新研究强调，最近的研究结果发出了一个警告：对人工智能的严重依赖可能会导致用户丧失批判性思维能力。
在软件领域，与人工智能相关的安全风险与人工智能的采用同步增长，这种认知能力的丧失确实可能导致灾难性的后果。对于开发人员和组织而言，在软件开发生命周期（SDLC）的早期积极主动地识别、了解和缓解安全漏洞是一项道德义务。令人震惊的是，当今许多组织都忽视了这一职责，他们面临的潜在安全威胁也同样急剧上升，其中一些可直接归咎于人工智能。
争论的焦点不在于是否要使用人工智能，因为人工智能在生产力和效率方面的优势实在太大，不容忽视。相反，真正的问题是如何最有效地应用人工智能：在保障安全的同时最大限度地提高产出。而这最好由精通安全的开发人员来完成，他们要深刻理解自己的代码，无论其源于何处。
过度依赖人工智能可能导致认知能力下降
麻省理工学院媒体实验室于 6 月初发布的这项研究测试了波士顿地区五所大学 54 名学生在写作文时的认知功能。这些学生被分为三组：使用大语言模型（LLM）的学生、使用搜索引擎的学生和没有外援的老式学生。研究小组使用脑电图（EEG）记录参与者的大脑活动，并评估认知参与度和认知负荷。研究小组发现，"老派"、"只用大脑 "组表现出最强烈、最广泛的神经活动，而使用搜索引擎的组表现出中等程度的活动，而使用 LLM（本例中为 OpenAI 的 ChatGPT-4）的组表现出最少的大脑活动。
这可能并不特别令人惊讶--毕竟，当你使用一种工具来替你思考时，你就会减少思考的次数。然而，研究还显示，LLM 用户与论文之间的联系较弱：83%的学生甚至在完成论文几分钟后都很难回忆起论文内容，没有一个参与者能提供准确的引文。与其他组相比，作者的主人翁意识缺失。只用大脑的学员不仅主人翁意识最强，大脑活动范围最广，而且他们写出的论文也最具原创性。而 LLM 组的成果则较为单一，而且事实上很容易被评委们识别为人工智能的作品。
从开发者的角度来看，关键的结果是使用人工智能导致批判性思维能力下降。当然，单次依赖人工智能可能不会导致基本思维能力的丧失，但长期持续使用会导致这些能力萎缩。这项研究提出了一种在使用人工智能时保持批判性思维的方法，即让人工智能帮助用户，而不是用户帮助人工智能，但真正的重点必须是确保开发人员掌握构建安全软件所需的安全技能，并将这些技能作为日常工作的重要组成部分。
开发人员教育：人工智能驱动的生态系统必不可少
麻省理工学院这样的研究并不能阻止人工智能的应用，各行各业都在推动人工智能的发展。斯坦福大学的《2025 年人工智能指数报告》发现，78% 的组织在 2024 年报告使用了人工智能，而 2023 年只有 55%。预计这种增长还将继续。但是，使用增加的同时，风险也在增加：报告发现，与人工智能相关的网络安全事件同期增长了 56%。
斯坦福大学的报告强调了改善人工智能治理的迫切需要，因为报告还发现，各组织在实施安全保障措施方面存在松懈现象。尽管几乎所有组织都认识到了人工智能的风险，但只有不到三分之二的组织对此采取了措施，这使它们容易受到一系列网络安全威胁，并有可能违反日益严格的合规监管要求。
如果答案不是停止使用人工智能（没有人会这么做），那就必须更加安全可靠地使用人工智能。麻省理工学院的研究为如何实现这一目标提供了一条有用的线索。在研究的第四个环节，研究人员将 LLM 用户分成了两组：一组是在向 ChatGPT 寻求帮助之前自己开始撰写论文，在研究中被称为 "从大脑到 LLM "组；另一组是先让 ChatGPT 写出初稿，然后再由他们亲自处理，被称为 "从 LLM 到大脑 "组。Brain-to-LLM 组使用人工智能工具帮助改写他们已经起草好的文章，他们的记忆力和大脑活动都较高，其中一些区域与搜索引擎用户相似。而 "LLM-to-Brain "组则是让人工智能启动论文写作，他们的神经活动协调性较差，而且偏向于使用LLM词汇。
从大脑到 LLM 的方法可能有助于让用户的大脑更加敏锐，但开发人员也需要掌握安全编写软件的具体知识，并严格评估人工智能生成的代码是否存在错误和安全风险。他们需要了解人工智能的局限性，包括其引入安全漏洞的倾向，如提示注入攻击的漏洞。
这就需要全面改革企业安全计划，确保以人为本的 SDLC，在这种 SDLC 中，开发人员可以获得有效、灵活、实践性强和持续的技能提升，这也是全企业安全第一文化的一部分。开发人员需要不断提高技能，以跟上快速发展的复杂威胁，尤其是人工智能在软件开发中发挥重要作用所带来的威胁。例如，这可以防止日益常见的提示注入攻击。但是，要使这种保护发挥作用，企业需要一个由开发人员驱动的计划，重点关注安全设计模式和威胁建模。
总结
当 LLM 或代理机构做繁重的工作时，用户就成了被动的旁观者。研究报告的作者说，这可能会导致 "批判性思维能力减弱，对材料的理解不深，长期记忆形成较少"。认知参与度降低也会导致决策能力下降。
在网络安全方面，企业不能缺乏批判性思维。由于高度分布式、基于云的环境中的软件缺陷已成为网络攻击者的首要目标，因此网络安全首先要确保代码安全，无论是由开发人员、人工智能助手还是代理创建的代码。尽管人工智能功能强大，但企业比以往任何时候都更需要高度磨练的解决问题和批判性思维能力。而这不能外包给人工智能。
SCW Trust Agent的全新人工智能功能可为您提供所需的深度可观察性和控制能力，让您在不牺牲安全性的前提下，自信地在SDLC中管理人工智能的采用。 了解更多.
Matias Madou, Ph.D. est expert en sécurité, chercheur, directeur technique et cofondateur de Secure Code Warrior. Matias a obtenu son doctorat en sécurité des applications à l'université de Gand, en se concentrant sur les solutions d'analyse statique. Il a ensuite rejoint Fortify aux États-Unis, où il s'est rendu compte qu'il ne suffisait pas de détecter uniquement les problèmes de code sans aider les développeurs à écrire du code sécurisé. Cela l'a incité à développer des produits qui aident les développeurs, allègent le fardeau de la sécurité et dépassent les attentes des clients. Lorsqu'il n'est pas à son bureau au sein de Team Awesome, il aime être sur scène pour faire des présentations lors de conférences telles que RSA Conference, BlackHat et DefCon.
Secure Code Warrior 在整个软件开发周期中保障代码安全，并营造将网络安全置于首位的企业文化。无论您是应用安全负责人、开发人员、信息安全主管，还是其他任何参与安全工作的人员，我们都能协助您的组织降低不安全代码带来的风险。
预约演示
Matias Madou, Ph.D. est expert en sécurité, chercheur, directeur technique et cofondateur de Secure Code Warrior. Matias a obtenu son doctorat en sécurité des applications à l'université de Gand, en se concentrant sur les solutions d'analyse statique. Il a ensuite rejoint Fortify aux États-Unis, où il s'est rendu compte qu'il ne suffisait pas de détecter uniquement les problèmes de code sans aider les développeurs à écrire du code sécurisé. Cela l'a incité à développer des produits qui aident les développeurs, allègent le fardeau de la sécurité et dépassent les attentes des clients. Lorsqu'il n'est pas à son bureau au sein de Team Awesome, il aime être sur scène pour faire des présentations lors de conférences telles que RSA Conference, BlackHat et DefCon.
Matias est un chercheur et développeur qui possède plus de 15 ans d'expérience pratique en matière de sécurité logicielle. Il a développé des solutions pour des entreprises telles que Fortify Software et sa propre société Sensei Security. Au cours de sa carrière, Matias a dirigé de nombreux projets de recherche sur la sécurité des applications qui ont abouti à des produits commerciaux et possède plus de 10 brevets à son actif. Lorsqu'il n'est pas à son bureau, Matias a enseigné des cours de formation avancée sur la sécurité des applications et prend régulièrement la parole lors de conférences mondiales telles que RSA Conference, Black Hat, DefCon, BSIMM, OWASP AppSec et BruCon.
Matias est titulaire d'un doctorat en génie informatique de l'université de Gand, où il a étudié la sécurité des applications par le biais de l'obfuscation de programmes pour masquer le fonctionnement interne d'une application.
本文的一个版本刊登在 网络安全内幕》。 本文已更新并在此联合发布。
从大型语言模型（LLM）代码创建器到复杂的人工智能代理，人工智能助手的采用为软件开发人员带来了大量好处。然而，麻省理工学院的一项新研究强调，最近的研究结果发出了一个警告：对人工智能的严重依赖可能会导致用户丧失批判性思维能力。
在软件领域，与人工智能相关的安全风险与人工智能的采用同步增长，这种认知能力的丧失确实可能导致灾难性的后果。对于开发人员和组织而言，在软件开发生命周期（SDLC）的早期积极主动地识别、了解和缓解安全漏洞是一项道德义务。令人震惊的是，当今许多组织都忽视了这一职责，他们面临的潜在安全威胁也同样急剧上升，其中一些可直接归咎于人工智能。
争论的焦点不在于是否要使用人工智能，因为人工智能在生产力和效率方面的优势实在太大，不容忽视。相反，真正的问题是如何最有效地应用人工智能：在保障安全的同时最大限度地提高产出。而这最好由精通安全的开发人员来完成，他们要深刻理解自己的代码，无论其源于何处。
过度依赖人工智能可能导致认知能力下降
麻省理工学院媒体实验室于 6 月初发布的这项研究测试了波士顿地区五所大学 54 名学生在写作文时的认知功能。这些学生被分为三组：使用大语言模型（LLM）的学生、使用搜索引擎的学生和没有外援的老式学生。研究小组使用脑电图（EEG）记录参与者的大脑活动，并评估认知参与度和认知负荷。研究小组发现，"老派"、"只用大脑 "组表现出最强烈、最广泛的神经活动，而使用搜索引擎的组表现出中等程度的活动，而使用 LLM（本例中为 OpenAI 的 ChatGPT-4）的组表现出最少的大脑活动。
这可能并不特别令人惊讶--毕竟，当你使用一种工具来替你思考时，你就会减少思考的次数。然而，研究还显示，LLM 用户与论文之间的联系较弱：83%的学生甚至在完成论文几分钟后都很难回忆起论文内容，没有一个参与者能提供准确的引文。与其他组相比，作者的主人翁意识缺失。只用大脑的学员不仅主人翁意识最强，大脑活动范围最广，而且他们写出的论文也最具原创性。而 LLM 组的成果则较为单一，而且事实上很容易被评委们识别为人工智能的作品。
从开发者的角度来看，关键的结果是使用人工智能导致批判性思维能力下降。当然，单次依赖人工智能可能不会导致基本思维能力的丧失，但长期持续使用会导致这些能力萎缩。这项研究提出了一种在使用人工智能时保持批判性思维的方法，即让人工智能帮助用户，而不是用户帮助人工智能，但真正的重点必须是确保开发人员掌握构建安全软件所需的安全技能，并将这些技能作为日常工作的重要组成部分。
开发人员教育：人工智能驱动的生态系统必不可少
麻省理工学院这样的研究并不能阻止人工智能的应用，各行各业都在推动人工智能的发展。斯坦福大学的《2025 年人工智能指数报告》发现，78% 的组织在 2024 年报告使用了人工智能，而 2023 年只有 55%。预计这种增长还将继续。但是，使用增加的同时，风险也在增加：报告发现，与人工智能相关的网络安全事件同期增长了 56%。
斯坦福大学的报告强调了改善人工智能治理的迫切需要，因为报告还发现，各组织在实施安全保障措施方面存在松懈现象。尽管几乎所有组织都认识到了人工智能的风险，但只有不到三分之二的组织对此采取了措施，这使它们容易受到一系列网络安全威胁，并有可能违反日益严格的合规监管要求。
如果答案不是停止使用人工智能（没有人会这么做），那就必须更加安全可靠地使用人工智能。麻省理工学院的研究为如何实现这一目标提供了一条有用的线索。在研究的第四个环节，研究人员将 LLM 用户分成了两组：一组是在向 ChatGPT 寻求帮助之前自己开始撰写论文，在研究中被称为 "从大脑到 LLM "组；另一组是先让 ChatGPT 写出初稿，然后再由他们亲自处理，被称为 "从 LLM 到大脑 "组。Brain-to-LLM 组使用人工智能工具帮助改写他们已经起草好的文章，他们的记忆力和大脑活动都较高，其中一些区域与搜索引擎用户相似。而 "LLM-to-Brain "组则是让人工智能启动论文写作，他们的神经活动协调性较差，而且偏向于使用LLM词汇。
从大脑到 LLM 的方法可能有助于让用户的大脑更加敏锐，但开发人员也需要掌握安全编写软件的具体知识，并严格评估人工智能生成的代码是否存在错误和安全风险。他们需要了解人工智能的局限性，包括其引入安全漏洞的倾向，如提示注入攻击的漏洞。
这就需要全面改革企业安全计划，确保以人为本的 SDLC，在这种 SDLC 中，开发人员可以获得有效、灵活、实践性强和持续的技能提升，这也是全企业安全第一文化的一部分。开发人员需要不断提高技能，以跟上快速发展的复杂威胁，尤其是人工智能在软件开发中发挥重要作用所带来的威胁。例如，这可以防止日益常见的提示注入攻击。但是，要使这种保护发挥作用，企业需要一个由开发人员驱动的计划，重点关注安全设计模式和威胁建模。
总结
当 LLM 或代理机构做繁重的工作时，用户就成了被动的旁观者。研究报告的作者说，这可能会导致 "批判性思维能力减弱，对材料的理解不深，长期记忆形成较少"。认知参与度降低也会导致决策能力下降。
在网络安全方面，企业不能缺乏批判性思维。由于高度分布式、基于云的环境中的软件缺陷已成为网络攻击者的首要目标，因此网络安全首先要确保代码安全，无论是由开发人员、人工智能助手还是代理创建的代码。尽管人工智能功能强大，但企业比以往任何时候都更需要高度磨练的解决问题和批判性思维能力。而这不能外包给人工智能。
SCW Trust Agent的全新人工智能功能可为您提供所需的深度可观察性和控制能力，让您在不牺牲安全性的前提下，自信地在SDLC中管理人工智能的采用。 了解更多.
本文的一个版本刊登在 网络安全内幕》。 本文已更新并在此联合发布。
从大型语言模型（LLM）代码创建器到复杂的人工智能代理，人工智能助手的采用为软件开发人员带来了大量好处。然而，麻省理工学院的一项新研究强调，最近的研究结果发出了一个警告：对人工智能的严重依赖可能会导致用户丧失批判性思维能力。
在软件领域，与人工智能相关的安全风险与人工智能的采用同步增长，这种认知能力的丧失确实可能导致灾难性的后果。对于开发人员和组织而言，在软件开发生命周期（SDLC）的早期积极主动地识别、了解和缓解安全漏洞是一项道德义务。令人震惊的是，当今许多组织都忽视了这一职责，他们面临的潜在安全威胁也同样急剧上升，其中一些可直接归咎于人工智能。
争论的焦点不在于是否要使用人工智能，因为人工智能在生产力和效率方面的优势实在太大，不容忽视。相反，真正的问题是如何最有效地应用人工智能：在保障安全的同时最大限度地提高产出。而这最好由精通安全的开发人员来完成，他们要深刻理解自己的代码，无论其源于何处。
过度依赖人工智能可能导致认知能力下降
麻省理工学院媒体实验室于 6 月初发布的这项研究测试了波士顿地区五所大学 54 名学生在写作文时的认知功能。这些学生被分为三组：使用大语言模型（LLM）的学生、使用搜索引擎的学生和没有外援的老式学生。研究小组使用脑电图（EEG）记录参与者的大脑活动，并评估认知参与度和认知负荷。研究小组发现，"老派"、"只用大脑 "组表现出最强烈、最广泛的神经活动，而使用搜索引擎的组表现出中等程度的活动，而使用 LLM（本例中为 OpenAI 的 ChatGPT-4）的组表现出最少的大脑活动。
这可能并不特别令人惊讶--毕竟，当你使用一种工具来替你思考时，你就会减少思考的次数。然而，研究还显示，LLM 用户与论文之间的联系较弱：83%的学生甚至在完成论文几分钟后都很难回忆起论文内容，没有一个参与者能提供准确的引文。与其他组相比，作者的主人翁意识缺失。只用大脑的学员不仅主人翁意识最强，大脑活动范围最广，而且他们写出的论文也最具原创性。而 LLM 组的成果则较为单一，而且事实上很容易被评委们识别为人工智能的作品。
从开发者的角度来看，关键的结果是使用人工智能导致批判性思维能力下降。当然，单次依赖人工智能可能不会导致基本思维能力的丧失，但长期持续使用会导致这些能力萎缩。这项研究提出了一种在使用人工智能时保持批判性思维的方法，即让人工智能帮助用户，而不是用户帮助人工智能，但真正的重点必须是确保开发人员掌握构建安全软件所需的安全技能，并将这些技能作为日常工作的重要组成部分。
开发人员教育：人工智能驱动的生态系统必不可少
麻省理工学院这样的研究并不能阻止人工智能的应用，各行各业都在推动人工智能的发展。斯坦福大学的《2025 年人工智能指数报告》发现，78% 的组织在 2024 年报告使用了人工智能，而 2023 年只有 55%。预计这种增长还将继续。但是，使用增加的同时，风险也在增加：报告发现，与人工智能相关的网络安全事件同期增长了 56%。
斯坦福大学的报告强调了改善人工智能治理的迫切需要，因为报告还发现，各组织在实施安全保障措施方面存在松懈现象。尽管几乎所有组织都认识到了人工智能的风险，但只有不到三分之二的组织对此采取了措施，这使它们容易受到一系列网络安全威胁，并有可能违反日益严格的合规监管要求。
如果答案不是停止使用人工智能（没有人会这么做），那就必须更加安全可靠地使用人工智能。麻省理工学院的研究为如何实现这一目标提供了一条有用的线索。在研究的第四个环节，研究人员将 LLM 用户分成了两组：一组是在向 ChatGPT 寻求帮助之前自己开始撰写论文，在研究中被称为 "从大脑到 LLM "组；另一组是先让 ChatGPT 写出初稿，然后再由他们亲自处理，被称为 "从 LLM 到大脑 "组。Brain-to-LLM 组使用人工智能工具帮助改写他们已经起草好的文章，他们的记忆力和大脑活动都较高，其中一些区域与搜索引擎用户相似。而 "LLM-to-Brain "组则是让人工智能启动论文写作，他们的神经活动协调性较差，而且偏向于使用LLM词汇。
从大脑到 LLM 的方法可能有助于让用户的大脑更加敏锐，但开发人员也需要掌握安全编写软件的具体知识，并严格评估人工智能生成的代码是否存在错误和安全风险。他们需要了解人工智能的局限性，包括其引入安全漏洞的倾向，如提示注入攻击的漏洞。
这就需要全面改革企业安全计划，确保以人为本的 SDLC，在这种 SDLC 中，开发人员可以获得有效、灵活、实践性强和持续的技能提升，这也是全企业安全第一文化的一部分。开发人员需要不断提高技能，以跟上快速发展的复杂威胁，尤其是人工智能在软件开发中发挥重要作用所带来的威胁。例如，这可以防止日益常见的提示注入攻击。但是，要使这种保护发挥作用，企业需要一个由开发人员驱动的计划，重点关注安全设计模式和威胁建模。
总结
当 LLM 或代理机构做繁重的工作时，用户就成了被动的旁观者。研究报告的作者说，这可能会导致 "批判性思维能力减弱，对材料的理解不深，长期记忆形成较少"。认知参与度降低也会导致决策能力下降。
在网络安全方面，企业不能缺乏批判性思维。由于高度分布式、基于云的环境中的软件缺陷已成为网络攻击者的首要目标，因此网络安全首先要确保代码安全，无论是由开发人员、人工智能助手还是代理创建的代码。尽管人工智能功能强大，但企业比以往任何时候都更需要高度磨练的解决问题和批判性思维能力。而这不能外包给人工智能。
SCW Trust Agent的全新人工智能功能可为您提供所需的深度可观察性和控制能力，让您在不牺牲安全性的前提下，自信地在SDLC中管理人工智能的采用。 了解更多.
点击下方链接，下载此资源的PDF文件。
Secure Code Warrior 在整个软件开发周期中保障代码安全，并营造将网络安全置于首位的企业文化。无论您是应用安全负责人、开发人员、信息安全主管，还是其他任何参与安全工作的人员，我们都能协助您的组织降低不安全代码带来的风险。
显示报告预约演示
Matias Madou, Ph.D. est expert en sécurité, chercheur, directeur technique et cofondateur de Secure Code Warrior. Matias a obtenu son doctorat en sécurité des applications à l'université de Gand, en se concentrant sur les solutions d'analyse statique. Il a ensuite rejoint Fortify aux États-Unis, où il s'est rendu compte qu'il ne suffisait pas de détecter uniquement les problèmes de code sans aider les développeurs à écrire du code sécurisé. Cela l'a incité à développer des produits qui aident les développeurs, allègent le fardeau de la sécurité et dépassent les attentes des clients. Lorsqu'il n'est pas à son bureau au sein de Team Awesome, il aime être sur scène pour faire des présentations lors de conférences telles que RSA Conference, BlackHat et DefCon.
Matias est un chercheur et développeur qui possède plus de 15 ans d'expérience pratique en matière de sécurité logicielle. Il a développé des solutions pour des entreprises telles que Fortify Software et sa propre société Sensei Security. Au cours de sa carrière, Matias a dirigé de nombreux projets de recherche sur la sécurité des applications qui ont abouti à des produits commerciaux et possède plus de 10 brevets à son actif. Lorsqu'il n'est pas à son bureau, Matias a enseigné des cours de formation avancée sur la sécurité des applications et prend régulièrement la parole lors de conférences mondiales telles que RSA Conference, Black Hat, DefCon, BSIMM, OWASP AppSec et BruCon.
Matias est titulaire d'un doctorat en génie informatique de l'université de Gand, où il a étudié la sécurité des applications par le biais de l'obfuscation de programmes pour masquer le fonctionnement interne d'une application.
本文的一个版本刊登在 网络安全内幕》。 本文已更新并在此联合发布。
从大型语言模型（LLM）代码创建器到复杂的人工智能代理，人工智能助手的采用为软件开发人员带来了大量好处。然而，麻省理工学院的一项新研究强调，最近的研究结果发出了一个警告：对人工智能的严重依赖可能会导致用户丧失批判性思维能力。
在软件领域，与人工智能相关的安全风险与人工智能的采用同步增长，这种认知能力的丧失确实可能导致灾难性的后果。对于开发人员和组织而言，在软件开发生命周期（SDLC）的早期积极主动地识别、了解和缓解安全漏洞是一项道德义务。令人震惊的是，当今许多组织都忽视了这一职责，他们面临的潜在安全威胁也同样急剧上升，其中一些可直接归咎于人工智能。
争论的焦点不在于是否要使用人工智能，因为人工智能在生产力和效率方面的优势实在太大，不容忽视。相反，真正的问题是如何最有效地应用人工智能：在保障安全的同时最大限度地提高产出。而这最好由精通安全的开发人员来完成，他们要深刻理解自己的代码，无论其源于何处。
过度依赖人工智能可能导致认知能力下降
麻省理工学院媒体实验室于 6 月初发布的这项研究测试了波士顿地区五所大学 54 名学生在写作文时的认知功能。这些学生被分为三组：使用大语言模型（LLM）的学生、使用搜索引擎的学生和没有外援的老式学生。研究小组使用脑电图（EEG）记录参与者的大脑活动，并评估认知参与度和认知负荷。研究小组发现，"老派"、"只用大脑 "组表现出最强烈、最广泛的神经活动，而使用搜索引擎的组表现出中等程度的活动，而使用 LLM（本例中为 OpenAI 的 ChatGPT-4）的组表现出最少的大脑活动。
这可能并不特别令人惊讶--毕竟，当你使用一种工具来替你思考时，你就会减少思考的次数。然而，研究还显示，LLM 用户与论文之间的联系较弱：83%的学生甚至在完成论文几分钟后都很难回忆起论文内容，没有一个参与者能提供准确的引文。与其他组相比，作者的主人翁意识缺失。只用大脑的学员不仅主人翁意识最强，大脑活动范围最广，而且他们写出的论文也最具原创性。而 LLM 组的成果则较为单一，而且事实上很容易被评委们识别为人工智能的作品。
从开发者的角度来看，关键的结果是使用人工智能导致批判性思维能力下降。当然，单次依赖人工智能可能不会导致基本思维能力的丧失，但长期持续使用会导致这些能力萎缩。这项研究提出了一种在使用人工智能时保持批判性思维的方法，即让人工智能帮助用户，而不是用户帮助人工智能，但真正的重点必须是确保开发人员掌握构建安全软件所需的安全技能，并将这些技能作为日常工作的重要组成部分。
开发人员教育：人工智能驱动的生态系统必不可少
麻省理工学院这样的研究并不能阻止人工智能的应用，各行各业都在推动人工智能的发展。斯坦福大学的《2025 年人工智能指数报告》发现，78% 的组织在 2024 年报告使用了人工智能，而 2023 年只有 55%。预计这种增长还将继续。但是，使用增加的同时，风险也在增加：报告发现，与人工智能相关的网络安全事件同期增长了 56%。
斯坦福大学的报告强调了改善人工智能治理的迫切需要，因为报告还发现，各组织在实施安全保障措施方面存在松懈现象。尽管几乎所有组织都认识到了人工智能的风险，但只有不到三分之二的组织对此采取了措施，这使它们容易受到一系列网络安全威胁，并有可能违反日益严格的合规监管要求。
如果答案不是停止使用人工智能（没有人会这么做），那就必须更加安全可靠地使用人工智能。麻省理工学院的研究为如何实现这一目标提供了一条有用的线索。在研究的第四个环节，研究人员将 LLM 用户分成了两组：一组是在向 ChatGPT 寻求帮助之前自己开始撰写论文，在研究中被称为 "从大脑到 LLM "组；另一组是先让 ChatGPT 写出初稿，然后再由他们亲自处理，被称为 "从 LLM 到大脑 "组。Brain-to-LLM 组使用人工智能工具帮助改写他们已经起草好的文章，他们的记忆力和大脑活动都较高，其中一些区域与搜索引擎用户相似。而 "LLM-to-Brain "组则是让人工智能启动论文写作，他们的神经活动协调性较差，而且偏向于使用LLM词汇。
从大脑到 LLM 的方法可能有助于让用户的大脑更加敏锐，但开发人员也需要掌握安全编写软件的具体知识，并严格评估人工智能生成的代码是否存在错误和安全风险。他们需要了解人工智能的局限性，包括其引入安全漏洞的倾向，如提示注入攻击的漏洞。
这就需要全面改革企业安全计划，确保以人为本的 SDLC，在这种 SDLC 中，开发人员可以获得有效、灵活、实践性强和持续的技能提升，这也是全企业安全第一文化的一部分。开发人员需要不断提高技能，以跟上快速发展的复杂威胁，尤其是人工智能在软件开发中发挥重要作用所带来的威胁。例如，这可以防止日益常见的提示注入攻击。但是，要使这种保护发挥作用，企业需要一个由开发人员驱动的计划，重点关注安全设计模式和威胁建模。
总结
当 LLM 或代理机构做繁重的工作时，用户就成了被动的旁观者。研究报告的作者说，这可能会导致 "批判性思维能力减弱，对材料的理解不深，长期记忆形成较少"。认知参与度降低也会导致决策能力下降。
在网络安全方面，企业不能缺乏批判性思维。由于高度分布式、基于云的环境中的软件缺陷已成为网络攻击者的首要目标，因此网络安全首先要确保代码安全，无论是由开发人员、人工智能助手还是代理创建的代码。尽管人工智能功能强大，但企业比以往任何时候都更需要高度磨练的解决问题和批判性思维能力。而这不能外包给人工智能。
SCW Trust Agent的全新人工智能功能可为您提供所需的深度可观察性和控制能力，让您在不牺牲安全性的前提下，自信地在SDLC中管理人工智能的采用。 了解更多.
目录
Matias Madou, Ph.D. est expert en sécurité, chercheur, directeur technique et cofondateur de Secure Code Warrior. Matias a obtenu son doctorat en sécurité des applications à l'université de Gand, en se concentrant sur les solutions d'analyse statique. Il a ensuite rejoint Fortify aux États-Unis, où il s'est rendu compte qu'il ne suffisait pas de détecter uniquement les problèmes de code sans aider les développeurs à écrire du code sécurisé. Cela l'a incité à développer des produits qui aident les développeurs, allègent le fardeau de la sécurité et dépassent les attentes des clients. Lorsqu'il n'est pas à son bureau au sein de Team Awesome, il aime être sur scène pour faire des présentations lors de conférences telles que RSA Conference, BlackHat et DefCon.
Secure Code Warrior 在整个软件开发周期中保障代码安全，并营造将网络安全置于首位的企业文化。无论您是应用安全负责人、开发人员、信息安全主管，还是其他任何参与安全工作的人员，我们都能协助您的组织降低不安全代码带来的风险。
预约演示下载帮助您入门的资源
Trust Agent:AI - Secure and scale AI-Drive development
AI is writing code. Who’s governing it? With up to 50% of AI-generated code containing security weaknesses, managing AI risk is critical. Discover how SCW's Trust Agent: AI provides the real-time visibility, proactive governance, and targeted upskilling needed to scale AI-driven development securely.
OpenText 应用程序安全性的强大功能 + Secure Code Warrior
OpenText Application Security and Secure Code Warrior combine vulnerability detection with AI Software Governance and developer capability. Together, they help organizations reduce risk, strengthen secure coding practices, and confidently adopt AI-driven development.
Secure Code Warrior corporate overview
Secure Code Warrior is an AI Software Governance platform designed to enable organizations to safely adopt AI-driven development by bridging the gap between development velocity and enterprise security. The platform addresses the "Visibility Gap," where security teams often lack insights into shadow AI coding tools and the origins of production code.
