AI 기반 보안 소프트웨어 개발에서 비판적 사고 되찾기

이 기사의 일부 내용은 Cybersecurity Insiders 에 게재되었습니다. 본 내용은 업데이트되어 이곳에 재게재되었습니다.

‍

대규모 언어 모델(LLM) 기반 코드 생성기부터 정교한 에이전트형 AI에 이르기까지, 인공지능 어시스턴트의 도입은 소프트웨어 개발자에게 수많은 이점을 제공합니다. 그러나 최근 MIT 연구 결과는 AI에 대한 과도한 의존이 사용자의 비판적 사고 능력을 저하시킬 수 있다는 경고를 던지고 있습니다.

AI 도입과 함께 관련 보안 위험이 증가하는 소프트웨어 환경에서 이러한 인지 능력의 저하는 치명적인 결과를 초래할 수 있습니다. 개발자와 조직은 소프트웨어 개발 수명 주기(SDLC) 초기 단계에서 보안 취약점을 선제적으로 식별, 이해 및 완화해야 할 윤리적 의무가 있습니다. 안타깝게도 오늘날 많은 조직이 이러한 의무를 소홀히 하고 있으며, 이로 인해 AI와 직접적으로 관련된 보안 위협을 포함한 잠재적 위협이 급격히 증가하고 있습니다.

생산성과 효율성 측면에서 AI의 이점은 부정할 수 없기에, 논쟁의 핵심은 AI 사용 여부가 아닙니다. 진정한 과제는 보안을 유지하면서 성과를 극대화하는 가장 효과적인 활용 방법을 찾는 것입니다. 이는 코드의 출처와 관계없이 코드를 깊이 이해하는 보안 역량을 갖춘 개발자를 통해 가장 잘 실현될 수 있습니다.

AI에 대한 과도한 의존은 인지 능력 저하를 초래할 위험이 있습니다

6월 초 발표된 MIT 미디어 랩의 연구는 보스턴 지역 5개 대학 학생 54명을 대상으로 에세이를 작성하게 하여 인지 기능을 테스트했습니다. 학생들은 대규모 언어 모델(LLM)을 사용하는 그룹, 검색 엔진을 사용하는 그룹, 외부 도움 없이 전통적인 방식으로 작성하는 그룹으로 나뉘었습니다. 연구팀은 뇌파 검사(EEG)를 통해 참가자들의 뇌 활동을 기록하고 인지적 참여도와 인지 부하를 평가했습니다. 그 결과, 전통적인 '뇌 중심' 그룹이 가장 강력하고 광범위한 신경 활동을 보였고, 검색 엔진 사용 그룹은 중간 정도의 활동을, LLM(OpenAI의 ChatGPT-4) 사용 그룹은 가장 낮은 뇌 활동을 보였습니다.

이는 놀라운 결과가 아닐 수 있습니다. 사고를 대신해 주는 도구를 사용하면 사고 과정이 줄어들기 때문입니다. 그러나 연구 결과에 따르면 LLM 사용자는 자신이 작성한 글과의 연결성이 더 약했습니다. 학생의 83%가 작성 직후에도 에세이 내용을 기억하는 데 어려움을 겪었으며, 정확한 인용구를 제시한 참가자는 한 명도 없었습니다. 다른 그룹과 비교했을 때 저자로서의 주인의식도 부족했습니다. 전통적인 방식으로 작성한 참가자들은 주인의식이 가장 높았고 뇌 활동 범위도 가장 넓었으며, 가장 독창적인 에세이를 작성했습니다. 반면 LLM 그룹의 결과물은 동질적이었으며, 심사위원들이 AI가 작성한 글임을 쉽게 식별할 수 있었습니다.

개발자 관점에서 가장 중요한 결과는 AI 사용으로 인한 비판적 사고 능력의 저하입니다. 물론 AI를 한 번 사용한다고 해서 필수적인 사고 능력이 즉시 사라지지는 않겠지만, 지속적인 사용은 해당 능력을 퇴화시킬 수 있습니다. 이번 연구는 AI를 사용할 때 비판적 사고를 유지하는 방법으로 '사용자가 AI를 돕는 방식'이 아닌 'AI가 사용자를 돕는 방식'을 제안합니다. 하지만 무엇보다 중요한 것은 개발자가 안전한 소프트웨어를 구축하는 데 필요한 보안 기술을 갖추고, 이를 업무의 일상적이고 필수적인 부분으로 활용하도록 보장하는 것입니다.

개발자 교육: AI 기반 생태계의 필수 요소

MIT의 연구와 같은 결과가 모든 분야에서 확산되고 있는 AI 도입을 막지는 못할 것입니다. 스탠퍼드 대학교의 2025 AI 인덱스 보고서에 따르면, 2024년 AI를 사용한다고 응답한 조직은 78%로 2023년의 55%보다 증가했습니다. 이러한 성장세는 계속될 것으로 보입니다. 그러나 사용 증가와 함께 위험도 커지고 있습니다. 보고서는 같은 기간 AI 관련 사이버 보안 사고가 56% 증가했다고 밝혔습니다.

스탠퍼드 보고서는 개선된 AI 거버넌스의 필요성을 강조하며, 많은 조직이 보안 안전장치를 구현하는 데 소홀하다는 점을 지적했습니다. 거의 모든 조직이 AI의 위험성을 인지하고 있음에도 불구하고, 실제로 대응 조치를 취하는 곳은 3분의 2 미만입니다. 이로 인해 조직은 다양한 사이버 보안 위협에 노출될 뿐만 아니라, 점점 엄격해지는 규제 준수 요건을 위반할 위험에 처해 있습니다.

AI 사용을 중단할 수 없다면, 더 안전하고 보안이 강화된 방식으로 AI를 활용해야 합니다. MIT 연구는 이에 대한 유용한 단서를 제공합니다. 연구의 네 번째 세션에서 연구진은 LLM 사용자를 두 그룹으로 나누었습니다. 스스로 에세이를 시작한 후 ChatGPT의 도움을 받은 'Brain-to-LLM' 그룹과, ChatGPT가 초안을 작성하게 한 뒤 개인적인 수정을 거친 'LLM-to-Brain' 그룹입니다. 이미 작성한 에세이를 수정하기 위해 AI 도구를 사용한 'Brain-to-LLM' 그룹은 기억력과 뇌 활동이 더 높게 나타났으며, 일부 영역에서는 검색 엔진 사용자들과 유사한 활동을 보였습니다. 반면 AI가 에세이를 시작하게 한 'LLM-to-Brain' 그룹은 신경 활동의 조화가 덜했고 LLM 어휘를 사용하는 경향을 보였습니다.

Brain-to-LLM 접근 방식은 사용자의 인지 능력을 유지하는 데 도움이 될 수 있지만, 개발자에게는 소프트웨어를 안전하게 작성하고 AI가 생성한 코드의 오류와 보안 위험을 비판적으로 평가할 수 있는 전문 지식이 필요합니다. 또한 프롬프트 인젝션 공격과 같은 보안 취약점을 유발할 수 있는 AI의 한계를 이해해야 합니다.

이를 위해서는 기업 보안 프로그램을 재정비하여 인간 중심의 SDLC를 구축해야 합니다. 개발자는 기업 전반의 보안 우선 문화 속에서 효과적이고 유연하며 실무 중심적인 지속적인 역량 강화 교육을 받아야 합니다. 개발자는 AI가 소프트웨어 개발에서 차지하는 비중이 커짐에 따라 발생하는 정교하고 빠르게 진화하는 위협에 대응하기 위해 기술을 지속적으로 연마해야 합니다. 이는 점점 흔해지는 프롬프트 인젝션 공격 등을 방어하는 데 도움이 됩니다. 이러한 보호가 효과를 거두려면 조직은 보안 설계 패턴과 위협 모델링에 집중하는 개발자 주도의 이니셔티브가 필요합니다.

결론

LLM이나 에이전트형 AI가 핵심 작업을 수행할 때 사용자는 수동적인 방관자가 됩니다. 연구진은 이것이 "비판적 사고 능력 약화, 자료에 대한 깊은 이해 부족, 장기 기억 형성 저하"로 이어질 수 있다고 경고합니다. 인지적 참여 수준이 낮아지면 의사결정 능력 또한 저하될 수 있습니다.

사이버 보안에 있어 조직은 비판적 사고의 부재를 감당할 수 없습니다. 고도로 분산된 클라우드 환경에서의 소프트웨어 결함이 사이버 공격자의 주요 표적이 된 만큼, 사이버 보안은 개발자, AI 어시스턴트, 에이전트형 AI 중 누가 코드를 작성했든 상관없이 안전한 코드를 확보하는 것에서 시작됩니다. AI의 강력한 성능에도 불구하고, 조직은 그 어느 때보다 뛰어난 문제 해결 능력과 비판적 사고 능력을 필요로 합니다. 그리고 이는 AI에 아웃소싱할 수 없는 영역입니다.

SCW Trust Agent의 새로운 AI 기능은 보안을 저해하지 않으면서 SDLC 내 AI 도입을 자신 있게 관리하는 데 필요한 심층적인 가시성과 제어 기능을 제공합니다. 더 알아보기.