포춘 500 대 기업 중 한 곳의 보안 운영 센터 깊숙한 곳에서, 첨단 알고리즘을 기반으로 하는 ‘’의 에이전트형 AI 인 ‘센티넬(Sentinel)’이, 한 직원이 피싱 이메일에 포함된 링크를 클릭했을 때 침해된 엔드포인트를 식별합니다. 또한 Sentinel은 동유럽에서 발생하는 비정상적인 로그인 시도와 데이터 유출이 진행 중이라는 징후를 즉시 감지합니다. 센티넬은 침입의 원인을 추적하고 차단하기 위해 헌터를 파견한다.
한편, ‘디펜더(Defender)’ 에이전트는 이 악성코드를 사이버 범죄 조직 ‘LockBit’의 ‘ ’ 랜섬웨어 변종 으로 식별하고, 공격자들이 침입에 이용했던 취약점을 차단합니다. 몇 분 만에 인간 분석가들은 검토를 위한 사후 분석 보고서를 받게 되며, 막대한 분석 엔진과 10년 치의 보안 이벤트 및 공격 데이터를 바탕으로 한 세 가지 AI 시스템 덕분에, 가동 중단과 데이터 손실로 인해 수백만 달러의 손실을 초래할 뻔했던 보안 침해 사고가 효과적으로 차단됩니다.
[에이전트형 AI 보안이 무엇인지, 왜 기존의 AI 보안과 다른지, 그리고 어떤 위협 경로가 기업 인프라를 위험에 빠뜨리는지 알아보세요]
먼저 밝히자면, 이 AI 에이전트들(센티넬, 헌터, 디펜더)은 가상의 인물이며, 이 사건은 가상의 시나리오입니다. 하지만 에서 소개된 이 새로운 ‘에이전트 기반’ 사이버 보안 세계 의 전망은 현실이며, 업계 전문가들에 따르면 매우 머지않아 여러분 주변의 보안 운영 센터(SOC) 에 도입될 것이라고 합니다. 그리고 이러한 변화는 대대적으로 이루어질 것으로 예상됩니다. 최근 발표된 ‘ PagerDuty Agentic AI 설문조사’에 따르면, 내년이면 약 86%의 조직이 AI 에이전트 를 활용해 ‘’를 구현할 것으로 기대하고 있습니다. .
로봇 프로세스 자동화( , )나 보안 오케스트레이션·자동화·대응(Security Orchestration Automation and Response, SOAR, ) 도구 형태로 존재해 온 규칙 기반 도구들과는 달리, Sentinel, Hunter, Defender와 같은 AI 에이전트는 주변 환경에서 학습하고, 예측하며, 의사 결정을 내리고, 감염된 장치 격리( ), 취약점 패치(), 감염된 시스템 오프라인 전환, 필요 시 다른 에이전트나 보안 전문가에게 도움을 요청하는 등 지정된 작업 내에서 대응 조치를 실행할 수 있습니다.
일각에서는 이러한 수단이 보안 운영을 혁신할 것이라고 주장하는 반면, 다른 이들은 현재의 기술 수준을 고려할 때 가까운 미래에 어느 정도의 변화가 가능할지에 대해서는 여전히 회의적인 입장을 보이고 있다.
보안 관리자들에게 이 솔루션이 제공하는 이점은 매우 매력적입니다. 공급업체 보고서에 따르면, 24/7 위협 모니터링 기능을 통해 대응 시간을 최대 90%까지 단축할 수 있으며, 경보 과부하를 줄일 수 있고, 반복적이고 지루한 작업을 자동화하여 인력 부족 문제도 해결할 수 있습니다. 또한 에이전트 기반 AI는 의 행동 분석 을 활용하여 악용을 사전에 차단하고 보안 정책을 적용함으로써, 의 선제적 방어를 가능하게 합니다.
벨기에 앤트워프에 본사를 둔 보안 컨설팅 업체 토레온(Toreon)의 수석 컨설턴트인 윔 레메스(Wim Remes)는 “처음에는 에이전트형 AI에 대해 회의적이었지만, 비즈니스 애플리케이션과 보안 운영 분야에서 실제로 활용되는 모습을 보고 생각이 바뀌었다”고 말했다. “에이전트형 AI는 SOC 분석가를 위해 정보를 수집하고 맥락을 파악하는 것은 물론, 사고 대응을 자동화하는 데에도 매우 유용합니다.”
확실히 유망한 평가 결과입니다. 하지만 이러한 자율적인 워크플로를 구축하고, 더 빠른 패치 주기를 누리며, 전반적인 비즈니스 가치를 창출하기 전에, 에이전트형 AI의 장점과 함정을 먼저 이해해야 합니다.
다음은 다가오는 한 해를 대비해 꼭 알아야 할 사항과, 에이전트형 AI를 비즈니스 모델 및 기업 아키텍처에 도입하는 과정을 시작하는 최선의 방법에 대한 전문가의 조언이 담긴 유용한 입문서입니다.
주체성 AI의 부상: 당신의 (반)자율적 수호자
기존의 AI는 답을 제시해 줍니다. 에이전트형 AI는 사용자가 원할 경우, 사용자의 승인을 기다리지 않고 결정을 실행합니다.
“처음에는 에이전트형 AI에 대해 회의적이었지만, 비즈니스 애플리케이션과 보안 운영 분야에서 실제로 활용되는 모습을 보고 생각이 바뀌었습니다.”보안 컨설팅 업체 토레온(Toreon)의 수석 컨설턴트 윔 레메스
이는 로봇 프로세스 자동화(RPA), 기존 AI 및 기타 결정론적 프로세스의 자연스러운 확장으로, 미리 정의된 시나리오에 의해 트리거되는 정형화된 워크플로우로 가득 찬 엄격한 매뉴얼을 따르기보다는 어느 정도의 판단과 의사결정이 필요한 분야를 다룹니다. S&P 글로벌 마켓 인텔리전스의 정보 보안 연구 책임자인 스콧 크로포드는 “에이전트형 AI는 현재의 자동화 기술로는 메울 수 없는 격차를 결국 해소해 줄 것으로 기대된다”고 말했다.
여기서 핵심 단어는 무엇일까요? “언젠가는.”
분석가들은 에이전트형 AI가 이러한 시스템에 더 많은 “주체성”을 부여할 것이라는 점에는 동의하지만, SecOps 분야에서 에이전트형 AI가 얼마나 빨리 판도를 바꿀 수 있을지에 대해서는 논란이 끊이지 않고 있다.
주체적 AI로 전환하려는 동기가 매우 크다. 수년 동안 사이버 보안 팀들은 쏟아지는 시스템 경고에 맞서 헛된 싸움을 벌여왔으며, 점점 더 빠르게 성장하고, 자동화 수준이 높아지며, 창의성을 더해가는 공격자들 때문에 방어 측에서는 끊임없이 대응 방식을 조정해야만 했습니다. 그리고 경보 피로를 예방하세요. 또한 는 직업적 소진으로 어려움을 겪고 있습니다.. 정적인 대응 매뉴얼과 취약한 논리를 가진 기존의 규칙 기반 도구들은 단순히 이러한 변화에 발맞출 수 없었습니다. “그것이 바로 여기서 진정한 가치입니다,”라고 레메스가 덧붙였다. 그는 “계정 잠금 같은 조치를 단순히 자동화하는 것보다는, 경보, 관련 자산, 과거 사고, 취약점 스캔 결과에 대한 정보를 종합하는 등 분석가의 인지 부하를 줄이는 것”이라고 말했다.
[참고로 읽어보세요: 4 AI 시대 CISO를 위한 중요한 리더십 우선순위]
행동 주도형 AI가 이러한 상황을 반전시키는 데 어떻게 도움이 될 수 있는지 살펴보겠습니다:
- 경고 피로에서 자율적 대응으로—일반적인 기업 보안 운영 팀은 매일 수천 건의 경고를 처리해야 하며, 그중 대부분은 오경보이거나 위험도가 낮은 경보입니다. 이미 인력 부족으로 인해 과중한 업무 부담을 안고 있는 인간 분석가들은 우선순위를 정하고, 조사하며, 대응해야만 하는데, 이 과정에서 실제 침해 사고의 미묘한 신호를 놓치는 경우가 종종 있습니다. 에이전틱 AI의 분석 능력과 자율적 대응은 새로운 접근 방식을 제시합니다.
- 자동화된 위협 탐지 및 대응 —에이전트 기반 AI 시스템은 클라우드, 네트워크 및 엔드포인트 소스에서 데이터를 수집하여 잠재적 위협을 시사하는 비정상적인 패턴을 식별합니다. 탐지 시, 이들은 감염된 기기를 자동으로 격리하거나, 악성 트래픽을 차단하거나, 인증 정보를 무효화할 수 있으며, 예전에는 몇 시간이 걸리던 이러한 조치들이 이제는 단 몇 초 만에 이루어집니다.
- 동적 플레이북 —정적인 사고 대응 계획은 종종 제대로 작동하지 않기 때문에, 많은 보안 전문가들은 이러한 계획이 조만간 과거의 유물이 되기를 바라고 있습니다. Agentic AI는 변화하는 위협 환경에 맞춰 대응 방안을 조정하는, 동적이며 맥락을 파악하는 대응 지침을 작성합니다. 이 시스템은 사고의 우선순위를 정하고, 이상 현상을 조사하며, 심지어 사람의 승인을 기다리지 않고도 다단계 차단 전략을 조율할 수 있습니다.
- 끊임없는 학습, 코끼리 같은 기억력—모든 상호작용과 모든 사건이 훈련 데이터가 되며, 마치 인터넷의 기억처럼 AI는 결코 잊지 않습니다. 에이전트형 AI는 매번 상호작용을 통해 모델을 개선함으로써, 시간이 지남에 따라 탐지율을 높이고 오탐을 줄여나갑니다. SOC는 더 똑똑해질수록 더 빨라집니다.
- 선제적 방어 및 제로 트러스트 적용 —Agentic AI는 행동 분석을 활용하여 기준 활동과의 편차를 감지하고, 제로데이 공격 및 내부자 위협 이 확대되기 전에 이를 탐지하여 경고합니다. 사용자 행동과 자산의 중요도를 지속적으로 모니터링함으로써, 의 제로 트러스트 정책을 적용하여, 액세스가 항상 상황에 부합하고 동적으로 조정되도록 보장합니다.
[관련 기사: 한국의 새로운 AI 법에 대해 알아야 할 점]
의지적 AI의 함정과 위험
에이전트형 AI 애호가들은 이러한 잠재력에도 불구하고 모든 것이 보안의 낙원이 되지는 않을 것이며, 에이전트형 AI 기반 SOC를 구축하는 것이 스위치를 켜는 것만큼 간단하지는 않을 것이라고 인정한다.
“이 기술을 구현하는 것이 반드시 쉬운 것은 아닙니다.”데이비드 마커스, 인텔 연방 정부 수석 보안 기술자 겸 수석 엔지니어
반도체 제조사 인텔의 연방 수석 보안 기술자이자 수석 엔지니어인 데이비드 마커스는 “이 기술이 반드시 구현하기 쉬운 것은 아니며, 그 나름대로의 새로운 과제들도 야기할 것”이라고 말했다.
이러한 과제에는 독점적인 형식과 구식 프로그래밍 언어로 인해 발생하는 레거시 시스템과의 통합 문제뿐만 아니라, 실시간 데이터 교환을 위해 애플리케이션 프로그래밍 인터페이스(API)가 필요한 최신 AI 프레임워크에 대한 지원 부족도 포함됩니다. 이러한 기능이 없다면, SOC 내의 자율형 AI는 정보에 입각한 적시 조치를 취하는 데 필요한 데이터를 확보할 수 없을 것입니다.
이러한 과제들은 데이터 형식 표준화, 오래된 로그 정리, 부정확한 데이터나 필수 메타데이터가 누락된 데이터 제거 등 데이터 품질 및 전처리 문제와 같은 일반적인 데이터 관련 난관에 더해 발생하는 것입니다.
또한, AI 에이전트는 도구와 데이터에 대한 접근성이 높고 자율적으로 작동할 수 있는 능력을 갖추고 있기 때문에, 인간과 관련된 모든 문제점들이 AI 에이전트에게도 마찬가지로 적용됩니다. 이로 인해 권한 침해 및 인증 정보 도용의 위험에 노출될 수 있습니다. 이는 인간 직원의 경우와 마찬가지로, 공격자가 담당자를 사칭하여 민감한 데이터를 훼손하거나, 업무를 방해하거나, 노출시키는 등의 무단 작업을 수행할 수 있습니다..
규모가 커짐에 따라 조직이 팀과 워크플로우 전반에 더 많은 에이전트를 배치함에 따라 이러한 위험은 누적되며, 이는 종종 에이전트 기반 AI의 무분별한 확산으로 이어지는데, 이는 자율 시스템이 거버넌스, 가시성 및 책임성 메커니즘이 적응할 수 있는 속도보다 더 빠르게 확산되는 현상을 말합니다.
[Read also: How AI is redefining data loss prevention]
또한 AI에 지나치게 의존할 위험도 있는데, 신뢰가 지나치게 높아지면서 인간의 감독이 소홀해지고 점검이 소홀해질 경우 ‘경고 무시 현상’이 발생할 수 있다. “프로세스 성숙도 없이 완전한 자동화를 추진하는 것은 위험하다”고 레메스는 덧붙였다. "먼저 수동 프로세스로 시작하여, 사람이 제어하는 자동화 단계로 넘어가고, 그다음에는 사람이 감독하는 자동화 단계를 거쳐, 마지막에야 비로소 완전한 자동화에 도달해야 합니다." "조직은 프로세스가 성숙해짐에 따라 자율적 AI를 도입해야 한다."
더 안전한 에이전트형 AI를 위한 5 가지 단계
보안 책임자들은 에이전트형 AI의 속도를 활용하면서도 중요한 판단권을 포기하지 않는 선에서, 이러한 에이전트를 통제하며 적절한 수준의 자율성을 확보하는 방법을 배웁니다.
”이것이 바로 이러한 거대한 기술 혁신의 물결이 일어날 때마다 우리가 목격하는 문제 중 하나입니다. “우리는 긍정적인 측면은 이야기하지만, 부정적인 측면에 대해서는 충분히 논의하지 않습니다.”S&P 글로벌 마켓 인텔리전스의 정보 보안 연구 책임자 스콧 크로포드
“여기에는 균형이 필요합니다,”라고 크로포드가 말했다. “이것이 바로 이러한 거대한 기술 혁명이 일어날 때마다 우리가 목격하는 문제 중 하나입니다.” 우리는 종종 긍정적인 측면에 대해 논의하지만, 대화에서 건전한 균형을 이루기 위해 부정적인 측면에 대해 충분히 논의하지는 않습니다. “안타깝게도, 그로 인해 사람들은 그 잠재력에 엄청난 기대를 품게 되지만, 정작 자신이 어떤 상황에 휘말리게 될지 그 파장에 대해서는 깊이 생각하지 않게 됩니다.”
기업이 이러한 균형을 제대로 유지할 수 있도록 취할 수 있는 몇 가지 조치가 있습니다:
1. 견고한 행위자 중심 AI 거버넌스 프레임워크 구축
먼저, 의사결정 규칙과 에 명시된 업계 표준 준수 사항을 포함하여, 보안 운영에서 자율형 AI를 어떻게 활용할지 명확히 규정하는 정책과 지침을 수립하는 것부터 시작하십시오.. 이를 통해 조직 내 모든 구성원이 경계와 책임을 명확히 이해할 수 있게 되며, 여기에는 배치되는 에이전트를 적절히 등록하는 것도 포함되어, 오용이나 법적 문제의 위험을 줄일 수 있습니다. 새로운 위협이나 규제에 대응하기 위해 이러한 체계를 정기적으로 검토하고 업데이트하며, 책임감 있는 문화를 조성해야 합니다.
“우리 직원들 중에는 자신만의 ‘에이전틱 에이전트’를 개발하고 있는 분들이 꽤 많습니다. 정말 대단한 일이죠.” 하지만 우리는 … 적절한 안전 장치를 마련한 상태에서 글이 작성되고 개발되도록 해야 합니다.”제프리 디무로, ServiceNow 부 CISO
이것이 바로 ServiceNow의 부 CISO인 제프리 디무로(Jeffrey DiMuro)가, 과거 회사 내에서 데이터 거버넌스( ,), 보안 리스크( ), 제3자 리스크(, ) 업무를 총괄했던 경험을 바탕으로, 이러한 거버넌스 체계 없이 자율적 AI가 확산되는 것에 대해 경고하는 이유 중 하나입니다.
“우리 직원들 중에는 스스로 ‘에이전틱 에이전트’를 개발하고 있는 사람들이 꽤 많습니다. 정말 대단한 일이죠,”라고 그는 말했다. “하지만 우리는 … 적절한 안전 장치를 마련하여 이러한 도구가 작성되고 개발되도록 해야 하며, 해당 [에이전트]들을 등록해야 하고, 중복된 노력을 피함으로써 우리 환경 전반의 모든 사용자가 검증된 도구에 접근할 수 있도록 해야 합니다.”
2. 세부적인 접근 제어를 통해 에이전트형 AI의 사용 범위를 설정합니다
AI 에이전트가 접근하고 수행할 수 있는 사항에 대해 세부적인 제어를 적용하고, 역할 기반 권한 부여 및 제로 트러스트 원칙과 같은 모델을 활용하여 노출 위험을 제한합니다. 이를 통해 무단 접근을 방지할 수 있으며, 는 잠재적인 위협으로부터 중요한 자산을 보호합니다.. 이러한 통제 장치는 AI가 새로운 취약점을 유발하지 않으면서 보안을 강화하도록 보장함으로써 사용자에게 안심감을 제공합니다.
예를 들어, 보안 담당자는 경보를 조사하고 로그를 조회할 수 있는 읽기 전용 권한을 가질 수 있지만, 문제 해결 조치를 실행할 수는 없습니다. 즉, 의심스러운 계정을 비활성화하는 대신 사람이 검토할 수 있도록 표시합니다. 다른 에이전트는 감염된 엔드포인트를 자동으로 격리할 수는 있지만, 신원 관리 시스템( )에 접속하여 자격 증명을 재설정할 수는 없습니다. 세 번째 방법은 취약점이 있는 애플리케이션을 수정할 수는 있지만, 방화벽 규칙을 변경할 수는 없습니다.
3. 다층 방어 체계를 통해 자율적 AI의 팀워크를 촉진하다
AI 시스템 주위에 여러 계층의 안전 장치를 구축하여, 한 계층이 실패하더라도 다른 계층이 대신 작동하여 보호 기능을 유지할 수 있도록 해야 합니다.
SOC 요원은 침해된 엔드포인트를 탐지하고 격리할 수 있지만, 별도의 네트워크 분할 계층이 해당 엔드포인트의 횡방향 이동을 차단합니다. 의 자동 패치 관리 에이전트 는 업데이트를 적용하지만, 패치로 인해 핵심 애플리케이션에 문제가 발생할 경우 별도의 롤백 시스템을 통해 변경 사항을 원상복구할 수 있습니다. 이러한 다층적 접근 방식은 개별 보안 침해로 인한 영향을 완화하여 운영을 안정적으로 유지합니다. 이는 비즈니스 연속성 목표와 부합하는 탄력적인 보안 태세를 조성합니다.
4. 주체성 있는 AI와 인간의 감독을 결합하다
특히 중대한 사안이 걸린 상황에서, 주요 AI 의사결정을 모니터링하고 승인하는 과정에 경험이 풍부한 인력이 지속적으로 참여하도록 해야 합니다. 이 하이브리드 모델은 인간의 판단력을 활용하여 AI의 강점을 보완함으로써 오류를 줄이고 신뢰성을 높입니다. 감독은 윤리적 기준을 준수하도록 보장하며, 필요할 때 신속하게 개입할 수 있게 해줍니다.
”여전히 사람의 개입이 필요합니다. 이것이 바로 ‘신뢰하되 검증하라’는 원칙입니다.”디무로
“만약 조수—제가 ‘에이전트형 AI’를, 제가 지금까지 접해본 것보다 더 많은 정보에 접근할 수 있는 조수라고 부르겠습니다—가 그 정보를 종합하여 제가 더 빨리 진행할 수 있도록 도와주게 하더라도, 여전히 그 과정에는 인간의 개입이 필요합니다.” “그게 바로 ‘신뢰하되 검증하라’는 원칙입니다,”라고 디무로가 조언했다.
5. 자율형 AI에 대한 지속적인 테스트 및 검증 수행
AI 성능을 테스트하고, 실제 운영에 영향을 미치기 전에 취약점을 파악하기 위해 정기적으로 공격 및 시나리오를 시뮬레이션해야 합니다. 이러한 지속적인 과정을 통해 시스템은 끊임없이 진화하는 위협에 대해 견고함을 유지합니다.
물론, 컴퓨팅의 황금률인 ‘쓰레기를 넣으면 쓰레기가 나온다(Garbage in, garbage out)’는 원칙이 적용됩니다. 조직은 AI 시스템에 입력하는 데이터가 정확하고 안전하게 관리되도록 하는 데 주력해야 합니다.
의지적 AI의 3대 요소: 투명성, 신뢰, 팀워크 구축
또한 결과가 어떻게 도출되었는지 설명해 주는 도구를 활용하고, 모든 조치를 기록하여 쉽게 검토할 수 있도록 함으로써 AI 의사결정 과정을 보다 이해하기 쉽게 만드는 것이 매우 중요합니다.
“오늘날 행위자형 AI가 효과적일 수는 있지만, 신뢰와 건전한 거버넌스를 위해서는 적절한 수준의 투명성과 설명 가능성이 필수적이다.”마이클 파넘, Cybr.SEC.Community 최고경영자(CEO)
이를 통해 팀과 이해관계자들 간의 신뢰가 구축되며, 문제나 이상 현상을 신속하게 파악할 수 있게 됩니다. 투명한 시스템은 또한 감사 절차를 원활하게 할 뿐만 아니라, 규제 당국과 파트너들에게 AI가 윤리적으로 사용되고 있음을 입증하는 데 도움이 됩니다.
기술 컨설팅 업체 Trace3 의 전 자문 CISO이자 현재 휴스턴에 본사를 둔 사이버 이벤트 기업 Cybr.SEC.Community의 CEO인 마이클 파넘은 “현재 에이전트형 AI가 효과적일 수는 있지만, 신뢰와 건전한 거버넌스를 위해서는 적절한 수준의 투명성과 설명 가능성이 필수적”이라고 말했다.
[관련 기사: AI 에이전트와 자동화된 워크플로우를 마침내 신뢰할 수 있게 될 때]
마지막으로, SOC 팀은 AI에 대비해야 하며, 의 직원들은 적절한 교육을 받아야 합니다.. 리더들은 AI를 도입하기 전에 조직의 현재 인프라, 데이터 준비 상태, 팀의 역량 및 조직 문화를 평가하여 부족한 부분을 파악하고, 원활한 도입을 보장해야 합니다. 교육 프로그램을 제공하면 직원들이 AI 도구와 효과적으로 협업할 수 있게 되어, 더 높은 부가가치를 창출하는 업무에 집중할 수 있게 됩니다. 이 준비 작업은 AI 도입에 따른 저항을 최소화하고 생산성 향상을 극대화하는 것을 목표로 합니다.
가상의 ‘센티넬’, ‘헌터’, ‘디펜더’와 같은 에이전트들이 현대 보안 운영 팀의 정식 구성원으로 자리 잡을 수 있을지는 아직 미지수다. 하지만 당분간은 이들이 우리 곁에 있으며 도움이 되고 있는 듯하므로, 보안 책임자들은 이들과 친분을 쌓고, 그들의 장단점을 파악하여 이를 최대한 활용해야 합니다.
과중한 업무에 시달리는 그들의 보안팀에게는 분명 도움이 필요할 것입니다.
