이 기사의 한 버전이 에 게재되었습니다. 사이버 보안 내부자. 여기에서 업데이트 및 신디케이트되었습니다.
대규모 언어 모델 (LLM) 코드 작성자부터 정교한 에이전트 AI 에이전트에 이르기까지 다양한 인공 지능 어시스턴트의 채택은 소프트웨어 개발자에게 풍부한 이점을 제공합니다.그러나 MIT의 새로운 연구 결과에 따르면 AI에 대한 의존도가 높으면 사용자가 비판적 사고 능력을 잃을 수 있다는 경고가 하나 있습니다.
AI 채택과 함께 AI 관련 보안 위험이 커진 소프트웨어 환경을 고려할 때 이러한 인지 적합성 상실은 실제로 치명적인 결과로 이어질 수 있습니다.개발자와 조직은 소프트웨어 개발 라이프사이클 (SDLC) 초기에 보안 취약성을 사전에 식별, 이해 및 완화하는 것이 윤리적으로 필수적입니다.놀랍게도 오늘날 많은 조직을 설명하듯이 이러한 의무를 소홀히 하는 사람들은 잠재적 보안 위협의 급격한 증가에 직면하게 되며, 그 중 일부는 AI에 직접 기인합니다.
논쟁은 AI를 사용할지 여부가 아닙니다. 생산성과 효율성의 이점은 무시하기에는 너무 크기 때문입니다.하지만 진짜 문제는 어떻게 하면 가장 효과적으로 적용할 수 있느냐는 것입니다. 즉, 생산량 증대를 극대화하는 동시에 보안을 보호하는 것입니다.그리고 코드의 출처를 불문하고 코드를 깊이 이해하고 있는 보안에 능숙한 개발자가 이 작업을 가장 잘 수행할 수 있습니다.
AI에 대한 과도한 의존은 인지 기능 저하를 초래합니다
더 MIT 미디어 랩의 연구6월 초에 발표된 이 보고서는 보스턴 지역 5개 대학의 54명의 학생들이 에세이를 작성하면서 인지 기능을 테스트했습니다.학생들은 세 그룹으로 나뉘었습니다. LLM (Large Language Model) 을 사용하는 그룹, 검색 엔진을 사용하는 그룹, 외부 도움 없이 올드 스쿨에 진학한 학생들이었습니다.연구팀은 뇌파검사 (EEG) 를 사용하여 참가자의 뇌 활동을 기록하고 인지 참여도와 인지 부하를 평가했습니다.연구팀은 구식 “뇌 전용” 그룹이 가장 강력하고 가장 광범위한 신경 활동을 보인 반면, 검색 엔진을 사용하는 그룹은 중간 정도의 활동을 보였고 LLM (이 경우 OpenAI의 ChatGPT-4) 을 사용하는 그룹은 가장 적은 양의 뇌 활동을 보였다는 것을 발견했습니다.
이것은 그리 놀라운 일이 아닐 수도 있습니다. 결국 자신을 대신해 사고할 수 있는 도구를 사용하면 생각을 덜 하게 될 것입니다.하지만 이 연구에 따르면 LLM 사용자는 논문과의 연관성이 약한 것으로 나타났습니다. 83% 의 학생들이 수필 완료 후 단 몇 분만에 에세이의 내용을 기억하는 데 어려움을 겪었고 참가자 중 누구도 정확한 인용문을 제시하지 못했습니다.다른 그룹에 비해 저자에 대한 주인의식이 결여된 상태였습니다.두뇌 전용 참가자는 주인의식이 가장 높고 뇌 활동 범위가 가장 넓었을 뿐만 아니라 가장 독창적인 논문을 작성했습니다.LLM 그룹의 연구 결과는 좀 더 동질적이었으며, 실제로 심사위원들은 이를 AI의 연구물로 쉽게 식별할 수 있었습니다.
개발자의 관점에서 볼 때 주요 결과는 AI 사용으로 인한 비판적 사고의 감소입니다.물론 AI에 한 번 의존한다고 해서 필수적인 사고 능력이 손실되지는 않을 수 있지만, 시간이 지나도 계속 사용하면 이러한 기술이 위축될 수 있습니다.이 연구는 사용자가 AI를 돕는 대신 AI가 사용자를 돕도록 함으로써 AI를 사용하는 동안 비판적 사고를 유지할 수 있는 방법을 제안합니다. 하지만 진정한 강조점은 개발자가 안전한 소프트웨어를 구축하는 데 필요한 보안 기술을 갖추고 이러한 기술을 업무의 일상적이고 필수적인 부분으로 사용하도록 하는 것입니다.
개발자 교육: AI 기반 에코시스템에 필수
MIT와 같은 연구가 모든 분야에서 발전하고 있는 AI 채택을 막지는 못할 것입니다.스탠포드 대학교의 2025 AI 인덱스 리포트 2023년에는 55% 에 비해 2024년에는 78% 의 조직이 AI를 사용했다고 보고한 것으로 나타났습니다.이러한 성장은 계속될 것으로 예상됩니다.하지만 사용 증가는 위험 증가로 이어집니다. 보고서에 따르면 AI 관련 사이버 보안 사고는 같은 기간 동안 56% 증가했습니다.
스탠포드의 보고서는 다음과 같은 중요한 필요성을 강조합니다. 개선된 AI 거버넌스또한 조직은 보안 보호 장치를 구현하는 데 어려움을 겪고 있는 것으로 나타났습니다.거의 모든 조직이 AI의 위험을 인식하고 있지만 AI에 대해 조치를 취하고 있는 조직은 2/3도 되지 않아 수많은 사이버 보안 위협에 취약해지고 점점 더 엄격해지는 규정 준수 요구 사항을 위반할 수 있습니다.
해답이 AI 사용을 중단하는 것이 아니라면 (아무도 하지 않을 것입니다), AI를 더 안전하고 안전하게 사용하는 것이어야 합니다.MIT 연구는 이 문제를 해결하는 방법에 대한 유용한 단서를 제공합니다.연구의 네 번째 세션에서 연구자들은 LLM 사용자를 두 그룹으로 나누었습니다. 하나는 ChatGPT에 도움을 청하기 전에 혼자서 에세이를 시작한 사람들 (이 연구에서는 Brain-to-LLM 그룹이라고 함) 이고, 다른 하나는 ChatGPT가 개인적인 관심을 기울이기 전에 첫 번째 초안을 작성한 사람들 (LLM-to-Brain 그룹) 이었습니다.AI 도구를 사용하여 이미 초안을 작성한 에세이를 다시 작성한 Brain-to-LLM 그룹은 기억력과 두뇌 활동이 더 높았으며, 일부 영역은 검색 엔진 사용자와 비슷했습니다.AI가 에세이를 시작하도록 허용한 LLM-To-Brain 그룹은 신경 활동이 덜 조율되고 LLM 어휘 사용에 편향된 태도를 보였습니다.
Brain-to-LLM 접근 방식은 사용자의 두뇌를 좀 더 예리하게 만드는 데 도움이 될 수 있지만 개발자가 소프트웨어를 안전하게 작성하고 AI 생성 코드의 오류 및 보안 위험을 비판적으로 평가하기 위한 특정 지식도 필요합니다.개발자들은 취약점과 같은 보안 결함을 유발하는 경향을 포함하여 AI의 한계를 이해해야 합니다. 신속한 주사 공격.
이를 위해서는 개발자들이 전사적 보안 우선 문화의 일환으로 효과적이고 유연하며 실습적이고 지속적인 기술 향상을 받을 수 있는 인간 중심의 SDLC를 보장하기 위해 엔터프라이즈 보안 프로그램을 정비해야 합니다.개발자는 빠르게 진화하는 정교한 위협, 특히 소프트웨어 개발에서 AI의 중요한 역할로 인해 발생하는 위협에 대응하기 위해 지속적으로 기술을 연마해야 합니다.이를 통해 예를 들어 점점 더 흔해지는 프롬프트 인젝션 공격으로부터 보호할 수 있습니다.하지만 이러한 보호가 제대로 작동하려면 조직에 보안 설계 패턴과 위협 모델링에 초점을 맞출 수 있는 개발자 중심의 이니셔티브가 필요합니다.
结论
LLM 또는 에이전트 에이전트가 어려운 작업을 수행할 때 사용자는 수동적인 구경꾼이 됩니다.이 연구의 저자들은 이로 인해 “비판적 사고력이 약해지고, 자료에 대한 깊은 이해가 떨어지며, 장기 기억력 형성이 저하”될 수 있다고 말했습니다.인지적 참여 수준이 낮으면 의사 결정 능력도 저하될 수 있습니다.
조직은 사이버 보안과 관련하여 비판적 사고의 부재를 감당할 수 없습니다.고도로 분산된 클라우드 기반 환경의 소프트웨어 결함이 사이버 공격자의 최대 표적이 되고 있기 때문에 사이버 보안은 개발자, AI 어시스턴트 또는 에이전트 에이전트가 생성한 코드의 보안을 보장하는 것에서 시작됩니다.AI의 모든 기능 중에서도 조직은 그 어느 때보다 고도로 연마된 문제 해결 능력과 비판적 사고 능력을 필요로 합니다.그리고 이는 AI에 아웃소싱할 수 없습니다.
SCW Trust Agent의 새로운 AI 기능은 보안을 희생하지 않고도 SDLC에서 AI 채택을 자신 있게 관리하는 데 필요한 심층적인 관찰 및 제어 기능을 제공합니다. 자세히 알아보기.
