블로그

AI 기반 보안 소프트웨어 개발에서 비판적 사고 되찾기

November 18, 2025
마티아스 마두(Matias Madou) 박사
Secure Code Warrior 로고 및 AI 기반 보안 소프트웨어 개발 환경에서 비판적 사고를 되찾는 것에 관한 텍스트.

이 기사의 원본은 Cybersecurity Insiders에 게재되었으며, 최신 내용으로 업데이트되어 이곳에 재배포되었습니다.

‍

대규모 언어 모델(LLM) 기반 코드 생성기부터 정교한 에이전트형 AI에 이르기까지, 인공지능 어시스턴트의 도입은 소프트웨어 개발자에게 수많은 이점을 제공합니다. 그러나 최근 MIT 연구 결과는 AI에 대한 과도한 의존이 사용자의 비판적 사고 능력을 저하시킬 수 있다는 경고를 던지고 있습니다.

AI 도입과 함께 관련 보안 위험이 증가하는 소프트웨어 환경에서 이러한 인지 능력의 저하는 치명적인 결과를 초래할 수 있습니다. 개발자와 조직은 소프트웨어 개발 수명 주기(SDLC) 초기 단계에서 보안 취약점을 선제적으로 식별, 이해 및 완화해야 할 윤리적 의무가 있습니다. 안타깝게도 오늘날 많은 조직이 이러한 의무를 소홀히 하고 있으며, 이로 인해 AI와 직접적으로 관련된 보안 위협을 포함한 잠재적 위협이 급격히 증가하고 있습니다.

생산성과 효율성 측면에서 AI의 이점은 부정할 수 없기에, 논쟁의 핵심은 AI 사용 여부가 아닙니다. 진정한 과제는 보안을 유지하면서 성과를 극대화하는 가장 효과적인 활용 방법을 찾는 것입니다. 이는 코드의 출처와 관계없이 코드를 깊이 이해하는 보안 역량을 갖춘 개발자를 통해 가장 잘 실현될 수 있습니다.

AI에 대한 과도한 의존은 인지 능력 저하를 초래할 위험이 있습니다

지난 6월 초 발표된 MIT 미디어 랩의 연구에서는 보스턴 지역 5개 대학의 학생 54명을 대상으로 에세이를 작성하는 동안의 인지 기능을 테스트했습니다. 학생들은 대규모 언어 모델(LLM)을 사용하는 그룹, 검색 엔진을 사용하는 그룹, 외부 도움 없이 직접 작성하는 전통적인 방식의 그룹 등 세 그룹으로 나뉘었습니다. 연구팀은 뇌전도(EEG)를 사용해 참가자들의 뇌 활동을 기록하고 인지적 참여도와 인지 부하를 평가했습니다. 그 결과, 아무런 도움 없이 뇌만 사용한 그룹이 가장 강력하고 광범위한 신경 활동을 보인 반면, 검색 엔진을 사용한 그룹은 중간 수준의 활동을 보였고, LLM(이 경우 OpenAI의 ChatGPT-4)을 사용한 그룹은 가장 적은 뇌 활동을 나타냈습니다.

이는 놀라운 결과가 아닐 수 있습니다. 사고를 대신해 주는 도구를 사용하면 사고 과정이 줄어들기 때문입니다. 그러나 연구 결과에 따르면 LLM 사용자는 자신이 작성한 글과의 연결성이 더 약했습니다. 학생의 83%가 작성 직후에도 에세이 내용을 기억하는 데 어려움을 겪었으며, 정확한 인용구를 제시한 참가자는 한 명도 없었습니다. 다른 그룹과 비교했을 때 저자로서의 주인의식도 부족했습니다. 전통적인 방식으로 작성한 참가자들은 주인의식이 가장 높았고 뇌 활동 범위도 가장 넓었으며, 가장 독창적인 에세이를 작성했습니다. 반면 LLM 그룹의 결과물은 동질적이었으며, 심사위원들이 AI가 작성한 글임을 쉽게 식별할 수 있었습니다.

개발자 관점에서 가장 중요한 결과는 AI 사용으로 인한 비판적 사고 능력의 저하입니다. 물론 AI를 한 번 사용한다고 해서 필수적인 사고 능력이 즉시 사라지지는 않겠지만, 지속적인 사용은 해당 능력을 퇴화시킬 수 있습니다. 이번 연구는 AI를 사용할 때 비판적 사고를 유지하는 방법으로 '사용자가 AI를 돕는 방식'이 아닌 'AI가 사용자를 돕는 방식'을 제안합니다. 하지만 무엇보다 중요한 것은 개발자가 안전한 소프트웨어를 구축하는 데 필요한 보안 기술을 갖추고, 이를 업무의 일상적이고 필수적인 부분으로 활용하도록 보장하는 것입니다.

개발자 교육: AI 기반 생태계의 필수 요소

MIT의 연구 결과가 있더라도 모든 부문에서 가속화되고 있는 AI 도입 흐름을 막지는 못할 것입니다. 스탠퍼드 대학교의 2025 AI Index Report에 따르면, 2023년 55%였던 기업의 AI 사용 비율이 2024년에는 78%에 달한 것으로 나타났습니다. 이러한 성장세는 계속될 것으로 예상됩니다. 그러나 사용량 증가에는 위험 증가도 뒤따릅니다. 해당 보고서는 같은 기간 동안 AI 관련 사이버 보안 사고가 56% 증가했음을 밝혔습니다. 

스탠퍼드의 보고서는 조직들이 보안 안전장치 구현에 소홀하다는 점도 지적하며 향상된 AI 거버넌스의 절실한 필요성을 강조합니다. 사실상 거의 모든 조직이 AI의 위험성을 인지하고 있음에도 불구하고, 이에 대응 조치를 취하고 있는 조직은 3분의 2에도 미치지 못해 수많은 사이버 보안 위협에 노출되어 있으며 점차 엄격해지는 규제 컴플라이언스 요건을 위반할 위험에 처해 있습니다.

AI 사용을 중단할 수 없다면, 더 안전하고 보안이 강화된 방식으로 AI를 활용해야 합니다. MIT 연구는 이에 대한 유용한 단서를 제공합니다. 연구의 네 번째 세션에서 연구진은 LLM 사용자를 두 그룹으로 나누었습니다. 스스로 에세이를 시작한 후 ChatGPT의 도움을 받은 'Brain-to-LLM' 그룹과, ChatGPT가 초안을 작성하게 한 뒤 개인적인 수정을 거친 'LLM-to-Brain' 그룹입니다. 이미 작성한 에세이를 수정하기 위해 AI 도구를 사용한 'Brain-to-LLM' 그룹은 기억력과 뇌 활동이 더 높게 나타났으며, 일부 영역에서는 검색 엔진 사용자들과 유사한 활동을 보였습니다. 반면 AI가 에세이를 시작하게 한 'LLM-to-Brain' 그룹은 신경 활동의 조화가 덜했고 LLM 어휘를 사용하는 경향을 보였습니다.

'인간의 두뇌 중심' 접근 방식은 사용자의 뇌 기능을 좀 더 예리하게 유지하는 데 도움이 될 수 있지만, 개발자에게는 안전하게 소프트웨어를 작성하고 AI가 생성한 코드의 오류와 보안 위험을 비판적으로 평가할 수 있는 구체적인 지식도 필요합니다. 개발자는 프롬프트 인젝션 공격 취약성과 같은 보안 결함을 유발하기 쉬운 AI의 한계를 제대로 이해해야 합니다.

이를 위해서는 기업 보안 프로그램을 재정비하여 인간 중심의 SDLC를 구축해야 합니다. 개발자는 기업 전반의 보안 우선 문화 속에서 효과적이고 유연하며 실무 중심적인 지속적인 역량 강화 교육을 받아야 합니다. 개발자는 AI가 소프트웨어 개발에서 차지하는 비중이 커짐에 따라 발생하는 정교하고 빠르게 진화하는 위협에 대응하기 위해 기술을 지속적으로 연마해야 합니다. 이는 점점 흔해지는 프롬프트 인젝션 공격 등을 방어하는 데 도움이 됩니다. 이러한 보호가 효과를 거두려면 조직은 보안 설계 패턴과 위협 모델링에 집중하는 개발자 주도의 이니셔티브가 필요합니다.

결론

LLM이나 에이전트형 AI가 핵심 작업을 수행할 때 사용자는 수동적인 방관자가 됩니다. 연구진은 이것이 "비판적 사고 능력 약화, 자료에 대한 깊은 이해 부족, 장기 기억 형성 저하"로 이어질 수 있다고 경고합니다. 인지적 참여 수준이 낮아지면 의사결정 능력 또한 저하될 수 있습니다.

사이버 보안에 있어 조직은 비판적 사고의 부재를 감당할 수 없습니다. 고도로 분산된 클라우드 환경에서의 소프트웨어 결함이 사이버 공격자의 주요 표적이 된 만큼, 사이버 보안은 개발자, AI 어시스턴트, 에이전트형 AI 중 누가 코드를 작성했든 상관없이 안전한 코드를 확보하는 것에서 시작됩니다. AI의 강력한 성능에도 불구하고, 조직은 그 어느 때보다 뛰어난 문제 해결 능력과 비판적 사고 능력을 필요로 합니다. 그리고 이는 AI에 아웃소싱할 수 없는 영역입니다.

SCW Trust Agent의 새로운 AI 기능은 보안을 저해하지 않으면서 SDLC 전반에 걸쳐 안심하고 AI 도입을 관리할 수 있도록 심층적인 가시성과 제어력을 제공합니다. 자세히 알아보기.

태그라인

배포 전 AI 기반 개발 거버넌스 확보

AI 기반 위험을 측정하고, 커밋 시점에 보안 코딩 정책을 적용하며, SDLC 전반에 걸쳐 안전한 소프트웨어 제공 속도를 높이세요.

데모 예약하기
리소스 라이브러리

더 많은 블로그 살펴보기

보안 코딩, AI 거버넌스, 소프트웨어 리스크 관리에 관한 전문가 콘텐츠를 확인해 보세요.

전체 보기
사례 연구
필터 라벨
div 블록 내부의 텍스트입니다.

Supercharged Security Awareness: How Tournaments are Inspiring Developers at Erste Group

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Suspendisse varius enim in eros elementum tristique. Duis cursus, mi quis viverra ornare, eros dolor interdum nulla, ut commodo diam libero vitae erat. Aenean faucibus nibh et justo cursus id rutrum lorem imperdiet. Nunc ut sem vitae risus tristique posuere.

더 알아보기
사례 연구
필터 라벨
div 블록 내부의 텍스트입니다.

Security as culture: How Blue Prism cultivates world-class secure developers

Learn how Blue Prism, the global leader in intelligent automation for the enterprise, used Secure Code Warrior's agile learning platform to create a security-first culture with their developers, achieve their business goals, and ship secure code at speed

더 알아보기
사례 연구
필터 라벨
div 블록 내부의 텍스트입니다.

하나의 보안 문화: Sage는 어떻게 챔피언 프로그램을 구축했는가

Sage가 유연하고 관계 중심적인 접근 방식을 통해 보안을 강화하고, 200명 이상의 보안 챔피언을 양성하며 실질적인 위험 감소를 달성한 사례를 확인해 보세요.

더 알아보기
블로그
필터 라벨
div 블록 내부의 텍스트입니다.

PHP2Shell의 지옥: AI가 패치 대응 시간을 며칠에서 몇 시간으로 단축시킨 방법

PHP2Shell: AI가 패치 기간을 며칠에서 몇 시간으로 단축한 방법, 그리고 보안 팀이 오래된 버그와 기술 부채에 대해 다시 생각해야 할 점.

더 알아보기
블로그
필터 라벨
div 블록 내부의 텍스트입니다.

2026년 사이버 보안 인식의 달: 기업 방어의 핵심, AI 보안 이해하기

주요 AI 기업 대부분이 안전 가이드라인이 마련될 때까지 AI 개발 속도를 전 세계적으로 늦춰야 한다고 공개적으로 촉구하는 시점에 이르렀지만, 사실 심각한 보안 문제는 이미 현실화되었습니다. 이로 인해 AI 도입에 따른 금전적 비용과 위험 부담이 계속 쌓이면서 수많은 보안 책임자와 경영진이 절박한 상황에 놓였습니다.

더 알아보기
블로그
필터 라벨
div 블록 내부의 텍스트입니다.

인에이블러 8: 프로그램 브랜딩

성공적인 보안 코딩 프로그램을 위해서는 훌륭한 콘텐츠 그 이상의 것이 필요합니다. 인에이블러 8에서는 브랜딩을 통해 참여를 누구나 선망하는 위상 중심의 경험으로 바꾸는 방법을 알아봅니다.

더 알아보기

배포 전 AI 기반 개발 보안 확보

소프트웨어 개발 수명 주기 전반에서 개발자 리스크를 파악하고, 정책을 시행하며, 취약점을 예방하세요.

데모 예약하기
항목이 없습니다.