사이버 공격을 시뮬레이션하고 기업의 사이버 방어 체계를 테스트하기 위해 고용되는 ‘인간 침투 테스트 전문가’, 즉 의 윤리적 해커들( )은 새롭게 등장하는 AI 침투 테스트 도구들의 물결을 주시하며 점점 더 불안해하고 있다. 그럴 만한 이유가 있다.
인터넷 주소 하나만으로도 이 AI 도구들은 기업의 컴퓨터 네트워크와 웹 애플리케이션의 보안 상태를 신속하게(그리고 인간보다 더 빠르게) 파악하고 평가하며, 취약점을 찾아내고, 명령을 실행하거나 심지어 소셜 엔지니어링 공격을 수행하여 해당 취약점을 테스트할 수 있습니다. 이 모든 과정에서 테스트의 모든 측면을 기록하고, 단 몇 초 만에 보고서를 작성합니다.
물론, 그게 전부는 아닙니다. 사람들이 꾸준히 성공하는 분야에서 바로 그 도구들은 종종 실패하곤 합니다. 오탐률(실제 존재하지 않는 위협을 위협으로 판별하는 비율)과 누락률(실제 위협을 완전히 놓치는 비율)은 감소하고 있지만 여전히 상당한 수준이며, 이는 어떤 기업에게나 막대한 손실을 초래할 수 있습니다. 게다가 이러한 도구들은 아직 수행 중인 작업의 맥락을 완전히 이해하지 못하고 있습니다. 즉, AI 침투 테스트 도구가 윤리적·법적 범위 내에서 작동하도록 하거나, 의도치 않은 가동 중단이나 시스템 손상을 일으키지 않도록 하는 것이 어렵습니다.
분명히, 앞으로 몇 달 동안 AI는 더욱 발전할 것이며, 이러한 한계점들은 덜 두드러지거나 아예 사라질 가능성이 높습니다. 현대적인 보안 운영(SecOps) 분야에서 AI는 현재 잠재적인 악성 활동을 탐지하기 위한 경보 분류 및 초기 경보 분석과 같이 인간 분석가가 수행하는 다양한 기능을 강화하고 있습니다. 현대적인 AI 시스템은 점점 더 방대한 데이터 세트를 분석하여, 특히 과중한 업무와 인력 부족에 시달리는 부서의 직원들이 놓칠 수 있는 공격 패턴을 식별할 수 있습니다. 또한, AI 도구는 필수적이면서도 시간이 많이 소요되는 작업(로그 분석, 데이터 상관관계 분석, 초기 사고 대응)을 자동화하고, 위협 인텔리전스 보고서를 작성하며, 잠재적인 공격을 예측할 수 있습니다.
초기 지표에 따르면 AI는 현명한 투자로 보인다. According to an IBM report on data breaches from 2022년 3월 to 2023년 3월, organizations that extensively used security AI and automation saved $1,76 million in data breach costs compared to groups with no AI and automation.
이처럼 보안 운영에서 AI가 점점 더 핵심적인 역할을 맡게 되면서, 다음과 같은 질문을 던져볼 필요가 있습니다. 과연 인간은 어디에 자리 잡게 될까요? 보안 전문가들에게는 다행스럽게도, AI 및 업계 전문가들은 인간이 당분간 이 분야에서 중요한 역할을 계속할 것이라고 보고 있습니다.
구글 클라우드 CISO 사무소의 보안 고문인 안톤 추바킨은 “이 기술은 인공지능(AI)을 매우 많이 활용할 것이지만, 사람이 여전히 핵심적인 역할을 할 것”이라고 말했다. 그는 AI가 보안 전문가들의 일상 업무 방식을 바꿀 수는 있겠지만, “큰 그림은 여전히 예전과 마찬가지로 ‘사람, 프로세스, 기술’이다”라고 인정한다.
보안 운영 분야에서 – 귀사가 일반적인 SecOps 전문가들과 협력하든, 아니면 보안 팀들이 정보를 공유하고 협업하는 전문적인 보안 운영 센터(SOC) 를 구축했든 간에 – 전문가들은 당분간 인간이 핵심 자산으로 남거나 근로자들이 AI와 공존할 가능성이 높은 다섯 가지 주요 영역을 다음과 같이 꼽습니다:
1. 위협 정보 분석
위협 정보 분석 팀들은 오랫동안 보안 데이터 과부하로 어려움을 겪어 왔으며, 오늘날 사이버 위협의 양이 끊임없이 증가하고 그 양상이 변화함에 따라 상황은 더욱 악화되고 있습니다. 보안 서비스 제공업체 옵티브(Optiv)의 보안 운영 센터 기술 부문 실무 책임자인 랜디 라리아르는 보안 팀들이 AI를 활용해 “위협 연구 자료를 꼼꼼히 검토하고, 잡음 속에서 정보를 더 빠르게 추출해내고 있다”고 말했다.
“이 기술은 AI에 크게 의존하겠지만, 사람이 중심이 되는 점은 변하지 않을 것입니다.”구글 클라우드 CISO실의 보안 고문 안톤 추바킨
AI는 데이터 분석 과정에서 지루하고 시간이 많이 소요되는 특정 절차를 자동화할 수 있습니다. AI 기반 행동 분석 도구 는 기준선을 신속하게 설정하고 사용자 또는 시스템 활동의 이상 징후를 포착할 수 있으며, AI 도구가 인간의 의사소통을 이해하도록 돕는 자연어 처리 기술은 팀이 다크웹을 검색하여 사이버 공격 계획과 사용자 프로필을 파악하는 데 도움을 줄 수 있습니다. 라리아르는 위협 인텔리전스 팀들이 AI를 활용해 보고서 초안을 작성하고 의사소통을 개선하는 데도 도움을 받고 있다고 덧붙였습니다.
[함께 읽어보세요: 위협 탐지 속도 향상? 그건 이야기의 절반에 불과합니다. [AI 사이버 보안에 대한 완벽한 가이드 – 이점, 위험, 그리고 보상]
미래에는 AI가 방대한 양의 데이터를 처리해 줄 것이지만, 데이터를 최종적으로 해석하는 주체는 여전히 인간이 될 것입니다. 라리아르와 다른 전문가들은 인간 분석가들이 위협 인텔리전스 사이클에 계속 참여하여 복잡한 정보에 대한 중요한 맥락을 제공하고, AI가 도출한 위협 인텔리전스 분석 결과를 바탕으로 전략적 결정을 내릴 것으로 전망한다. 또한 AI 모델을 만들고 개선하는 일도 근로자들이 맡게 될 것입니다.
2. 위협 탐지 및 분석
내부 시스템을 잠재적 위협으로부터 보호하기 위해, AI 시스템은 악의적인 패턴을 식별하는 데 필요한 방대한 양의 애플리케이션 및 네트워크 활동 데이터를 끊임없이 모니터링할 수 있습니다. 게다가 AI는 지치지 않고 일관되게 이를 수행할 수 있습니다.
“[AI는 SecOps 팀이] 위협 연구 자료를 꼼꼼히 검토하고, 수많은 정보 속에서 필요한 정보를 더 빠르게 찾아낼 수 있도록 도와줍니다.”Optiv의 보안 운영 센터 기술 부문 실무 책임자 랜디 라리아르
그럼에도 불구하고, 이러한 이점에도 불구하고 AI 시스템이 인간의 감독 없이도 완벽하게 작동한다고 믿을 수는 없다고 소프트웨어 배포 플랫폼 제공업체 리플리케이티드(Replicated)의 보안 담당 부사장 앤드류 스톰스는 말한다. 소위 “환각”(즉, 오류)에 취약하고, 결함이 있거나 편향된 훈련 데이터로 인해 오염될 수 있는 AI는 엄격히 통제되어야 하며, 어떤 경고가 더 심층적인 조사나 즉각적인 대응이 필요한지에 대한 결정은 계속해서 인간이 내려야 한다.
[관련 기사: AI 최고책임자(CIO)는 AI의 장단점을 파악하는 데 도움을 줄 수 있습니다 – 점점 더 많은 조직이 이 전문 직책에 투자하는 이유를 확인해 보세요]
“AI를 어느 정도는 신뢰해야 하고 [그] 타당성을 파악할 수 있어야 하지만, AI의 분석 결과를 확인하고 최종 결정을 내리기 위해서는 여전히 인간의 손길이 필요하다”고 스톰스는 말한다.
3. 침투 테스트
AI 침투 테스트 전문가들은 인간을 대체하는 존재라기보다는 인간 파트너와 더 유사한 모습을 보일 것입니다. AI 도구는 네트워크, 애플리케이션 및 시스템을 스캔하여 공격자가 악용할 수 있는 취약점 및 보안 허점을 찾아낼 수 있습니다. 이러한 AI 기반 침투 테스트 도구는 악용될 수 있는 복잡한 공격 모델을 개발할 뿐만 아니라, 공격자가 방어 체계의 변화에 어떻게 대응할지 높은 정확도로 예측할 수 있을 것입니다.
비록 그것이 큰 도움이 되겠지만, 스톰스는 AI 침투 테스트 도구가 여전히 인간 테스터의 연장선에 머물 것이라고 주장하며, 이제 인간 테스터들은 창의적인 해결책과 보완적 통제 수단을 통해 테스트 결과를 더욱 심도 있게 다듬을 시간을 더 많이 확보하게 될 것이라고 말한다. 또한 에서 결과를 경영진에게 전달하는 과정에서는 여전히 인간의 역할이 필수적일 것입니다..
4. 규제 준수 보고
AI가 기업 네트워크와 애플리케이션을 스캔하여 위협 행위자의 흔적을 파악하고 평가할 수 있는 것처럼, 조직의 규제 준수 현황 을 파악하고, 애플리케이션, 데이터 또는 접근 권한 이 의 새로운 규제 및 지속적으로 변화하는 규정의 원칙을 벗어난 잠재적 상황을 지속적으로 모니터링할 수 있습니다.
”AI를 어느 정도는 신뢰해야 합니다. 하지만 AI의 분석 결과를 확인하고 최종 결정을 내리기 위해서는 여전히 사람의 손길이 필요합니다.”앤드류 스톰스, 리플리케이티드(Replicated) 보안 담당 부사장
예를 들어, CISSP 자격을 보유한 마투라 프라사드(Mathura Prasad)는 사이버 보안 교육 비영리 단체 ISC2의 ‘ ’ 블로그 게시물( )에서, AI가 기업의 관행, 공급망 활동(), 그리고 환경적 영향을 분석함으로써 다국적 기업이 “규정 준수 위험을 줄이면서 지속가능성을 증진하기 위한 효과적인 전략을 수립하는 데” 도움을 줄 수 있다고 설명합니다. 의 ChatGPT()와 같은 AI 기반 챗봇은 적절한 프롬프트가 주어지면 위험 성명서나 보험 약관 초안을 신속하게 작성하거나, 법률 및 규정을 쉬운 영어로 요약하거나, 해당 자료를 다른 언어로 번역할 수도 있습니다.
[함께 읽어보세요: 세계 최초의 AI 법에 대해 알고 계신가요? [EU의 AI법에 대해 심층 분석합니다]
전문가들은 인간은 여전히 매우 필요하며, 당분간은 그럴 것이라고 지적한다. 보안 운영 및 규정 준수 팀 구성원들은 시간의 경과에 따른 규정 준수 현황의 추이를 강조하고, 보완적 통제 조치를 강화할 수 있는 부분을 지적하는 포괄적인 보고서를 지속적으로 제공할 것입니다. 이러한 보고서에는 AI가 재현할 수 없고(아마도 앞으로도 결코 재현할 수 없을) 미묘한 뉘앙스와 미래 지향적인 평가가 필요합니다.
5. SOC 관리
SOC 내에서 AI의 지원을 받는 보안 관리자들은 자사의 보안 조직이 더 방대한 양의 보안 데이터를 처리하고, 보안 분석가들이 겪는 경보 과부하( ) 를 줄이며, 일관되게 강력한 보안 태세를 유지할 수 있게 될 것입니다.
그럼에도 불구하고, 민첩한 사이버 보안 방어 프로그램에 필수적인 인간의 창의적·전략적 역량은 대체할 수 없기 때문에, SOC의 전반적인 관리 업무가 당분간 AI에 의해 인수될 가능성은 낮다. “앞으로의 추세는 사람들에게 지속적으로 정보를 공유하는 방향이 될 것이라고 생각합니다.”라고 라리아르는 말한다. "AI 의사결정에 기반한 일부 저수준 자동화 시스템은 점차 신뢰를 얻게 될 것이지만, 그럼에도 불구하고 최고 수준의 보안 팀들은 AI 의사결정 과정을 매우 면밀히 검토할 것입니다." “완전히 자동화된 SOC에 대해서는 들어본 적이 없습니다.”라고 그는 말했다.
[함께 읽어보세요: 이 CISO 성공 사례에서, 실존하는 마블의 ‘슈퍼히어로’가 AI를 활용해 사이버 범죄와 싸우는 방법을 소개합니다]
완전히 자동화된 SOC나 보안 팀이 등장하는 것은 당분간, 설령 가능하더라도, 어려울 것으로 보인다.
"SOC 운영 업무를 기계에 외주화한다면, 그 기계들은 어디서 나오는 것일까요?" 추바킨이 묻는다. “누가 그 기계들을 만들었을까? “오늘날 인간은 상당한 부분에서 기계를 만들어 낸다.”
그는 또한 “비록 대체로 자율적으로 작동하는 SOC가 있다고 해도, 누가 AI를 개발하고 관리하며, AI를 올바르게 연결하고, AI가 환경을 올바르게 평가하고 관리하도록 할 것인가?”라고 덧붙입니다. "그건 인간들이겠지."
