기업들은 의 에이전트형 AI 를 가속화된 속도로 도입하고 있으며, 이는 종종 기업의 거버넌스 모델이 감당할 수 있는 속도를 뛰어넘는 수준이다. 효율성과 혁신을 추구하는 움직임으로 인해 실험 단계의 에이전트 가 실제 운영 단계로 넘어가게 될 수 있으며, 이로 인해 IT 운영 및 사이버 보안 팀에 새롭고 간과되기 쉬운 위험 요소가 발생할 수 있습니다.
여기서 과제는 단순히 개별 에이전트를 관리하는 데 그치는 것이 아니라, 기업 전반에 걸쳐 기계 수준의 속도로 상호작용하고, 업무를 위임하며, 의사결정을 실행하는 방대한 에이전트 생태계를 통솔하는 데 있습니다. 에이전트가 일련의 자동화된 워크플로를 실행할 때, 사소한 불일치나 설정 오류가 빠르게 누적될 수 있습니다. 특히 에이전트가 새로운 접근 방식을 계획하거나, 하위 에이전트를 생성 및 위임하거나, 민감한 데이터에 접근하거나, 시스템을 재구성하는 속도가 인간이 추적하기는커녕 관리하기조차 어려울 정도로 빠를 때 이러한 현상이 더욱 두드러집니다.
[자율형 AI 에이전트가 어떻게 새로운 공격 표면을 유발하는지, 그리고 이를 방어하는 데 엔드포인트 가시성이 왜 핵심적인지 이해하기]
지난 11월, 맥킨지( )는 ‘ ’ 보고서에서 기업 중 23%가 이미 조직 내 어딘가에서 에이전트형 AI 시스템을 확대 적용하고 있으며, 또 다른 39%는 에이전트 기술을 실험 중이라고 밝혔다. AI 도입 연도로 따지면, ‘ 2025년 11월 ’은 마치 한 세대 전처럼 느껴지며, 2026년 중반의 도입률은 분명 더 높을 것입니다. 2026년 2월 에서 Anthropic의 Opus 4,6 모델이 출시되면서 업계 전반에 불을 지핀 듯하며, 이는 Anthropic이 직접 발표한 ‘ 2026년 3월 ’ 보고서()의 내용과도 일치합니다. 해당 보고서( )에 따르면, 2025년 11월 이후 자동화에 중점을 둔 특정 API 워크플로우 카테고리의 사용량이 두 배로 증가했으며, 이는 Claude Code 및 Claude API를 통한 자동화 중심의 에이전트형 작업이 증가하고 있음을 시사합니다(반면 Claude.ai를 통한 챗봇 스타일의 상호작용은 상대적으로 덜 증가한 것으로 나타났습니다). 이러한 추세는 거버넌스 격차를 더욱 확대시킬 것이며, 이로 인해 문제를 파악하기는 더 어려워지고 해결하는 데 드는 비용은 더 커질 것입니다.
지난 3월, Anthropic( )이 실수로 Claude Code(Claude와 상호작용하기 위한 명령줄 프론트엔드)의 소스 코드를 에 공개했다. 비록 Anthropic의 훈련 방법이나 모델 가중치와 같은 핵심 정보는 공개되지 않았지만, 연구자들은 Anthropic의 보안 체계 중 한 층을 더 자세히 들여다볼 수 있게 되었다. 이 지침은, 적어도 클라이언트 측에서는, “분위기를 통한 방어”입니다(이 표현은 ‘우리’가 소스 맵 유출 문제를 함께 분석했을 때, 제가 사용하던 클로드 인스턴스가 언급했던 것입니다). (4월 7일 )의 ‘Mythos Preview’ 시스템 카드()에서 Anthropic은 “Claude Mythos Preview는 우리가 측정할 수 있는 거의 모든 측면에서, 지금까지 출시한 모델 중 압도적인 차이로 가장 정렬도가 높은 모델입니다.”라고 밝혔습니다. “그럼에도 불구하고, 우리는 이 모델이 지금까지 우리가 공개한 어떤 모델보다도 정렬과 관련된 가장 큰 위험 요소를 내포하고 있을 가능성이 높다고 생각합니다.” 강력하지만, 이에 대한 안전장치가 필요합니다. 그들은 이어서, 이 모델을 그토록 강력하게 만드는 이러한 기능들이 바로 위험을 높일 것으로 예상되는 요소이기도 하다고 설명한다. 등산과 마찬가지로, 더 위험한 등반을 하려면 경험이 더 풍부한 가이드가 필요하지만, 그렇다고 해서 그 등반이 덜 위험해지는 것은 아닙니다. 비록 더 잘 조율되었다고 해도, 취해진 조치들은 여전히 엄청난 위험을 수반할 수 있다.
유연성이 매우 높은 에이전트를 도입하려면, 이들의 자율성, 판단력 및 규모에 부합하는 거버넌스 모델이 필요합니다.
AI에 대한 지침과 선호 사항이 포괄적인 다층 방어 전략의 일부가 될 수는 있겠지만, 대부분의 보안 원칙주의자들에게는 받아들이기 힘든 사실이다. 우리는 공식적이고, 측정 가능하며, 정밀한 기술적 통제 수단을 활용하는 데 익숙하지만, AI 에이전트에게 규칙을 따르도록 가르치는 데에는 환경 설정 파일이나 지침 세트에 “악의적인 행동이 의심되면 이를 표시하라”와 같은 내용을 포함시키는 것도 포함됩니다. 이렇게 하면 일부 고장을 예방하는 데 도움이 될 수 있지만, 이는 단지 지침일 뿐, 규칙은 아닙니다. 이러한 유연성이 매우 높은 에이전트를 도입하려면, 이들의 자율성, 판단력 및 규모에 부합하는 거버넌스 모델이 필요합니다. 조직들이 실험 단계에서 운영 단계로 빠르게 전환함에 따라, IT 및 보안 책임자들은 에이전트의 기능뿐만 아니라 에이전트 시스템이 어떻게 모니터링되고, 제한되며, 책임을 지게 되는지에 대해서도 재검토해야 합니다.
주체적 AI의 위험성
지난 3년 반 동안 기업들은 생성형 AI를 실험해 왔으며, 여전히 그 이점과 함께 따를 수 있는 위험 요소를 파악해 나가고 있다. 우리는 모두 함께 메모리 및 컨텍스트 관리, 안전 장치와 훅, 그리고 환각적 동작을 극한 상황까지 테스트하는 방법에 대해 많은 것을 배우고 있습니다. 이러한 문제들은 대부분 AI와의 대화에서 발생하는 잘못된 정보에 국한되지만, 에이전트 기반 워크플로는 피해를 급속도로 확대시킬 수 있다. GenAI는 종종 챗봇 방식의 상호작용이나 프롬프트-응답 주기와 연관되어 있습니다. 의지적 AI는 한 걸음 더 나아갑니다. 이 AI는 독자적으로 행동하며, 바로 그 점에 더 큰 위험이 도사리고 있습니다. AI 에이전트는 대규모로 작업을 수행할 수 있으며, 인간의 감독이 따라잡을 수 없을 정도로 빠르고 광범위하게 움직입니다. 또한 성찰적 판단이라는 교정 작용이 없다면, 워크플로우 전반에 걸쳐 잘못된 결정을 연쇄적으로 초래할 수도 있습니다.
이전에 가설에 불과했던 것이 빠르게 현실이 되어가고 있다. ‘Mythos 프리뷰 시스템 카드’는 Mythos 모델의 초기 버전이 창의적인 추론을 통해 엔터프라이즈 소프트웨어를 성공적으로 악용할 수 있는 능력을 입증했습니다. 업계는 ‘에이전트 기반 적대적 생태계’가 가져올 수 있는 변화의 단면을 엿볼 수 있었으며, 에이전트 기반 도구가 목표를 달성하기 위해 예상치 못한 경로를 택할 수 있다는 점도 확인했다. Anthropic은 ‘Mythos Preview’의 최종 버전에서 이러한 행동들을 대폭 개선하기 위해 훈련 개입 조치를 적용했으며, 이러한 연구 결과는 향후 모델의 안전성 개선 작업에 참고 자료로 활용될 것입니다. AI의 본질상, 아무리 수준 높은 정렬을 달성하더라도 규칙을 완벽하게 준수한다고 보장할 수는 없으며, 성능이 더 뛰어난 모델일수록 예상치 못한 행동을 통해 더 큰 영향을 미칠 수 있습니다.
주체적 무분별한 확장이 초래하는 대가는 상당한 보안 및 규정 준수 위험을 넘어선다. 개별 담당자는 서로 다른 업무 팀이나 사업 부서에 대해 상충되는 결정을 내릴 수 있으며, 이로 인해 불확실성이 발생하거나 갈등이 반복될 수 있다. 중복된 워크로드나 통제 불능 상태는 인프라 비용을 급증시키거나 가용성을 급격히 떨어뜨릴 수 있습니다. 혹은 패치 적용을 가속화하라는 임무를 맡은 에이전트가, 네트워크 전체에 걸쳐 강제 재시작을 유도함으로써 진행 중인 프로세스를 손상시키고 광범위한 서비스 중단을 초래하는 상황을 상상해 보십시오.
지나치게 열성적인 한 담당자는 파일 디렉터리를 정리하는 가장 효율적인 방법이 6개월이 지난 파일을 모두 삭제하는 것이라고 판단했다.
이메일 수신함을 정리하는 일을 맡은 또 다른 사람이 있다고 상상해 보세요. 하지만 그 사람은 여전히 긴급한 조치가 필요하거나 규정 준수를 위해 특별한 처리가 필요한 이메일들을 별도로 보관합니다. 제 개인적인 경험을 바탕으로 말씀드리자면, 지나치게 열성적인 한 담당자가 파일 디렉터리를 정리하는 가장 효율적인 방법은 6개월이 지난 파일을 모두 삭제하는 것이라고 판단했습니다. 기존에 설정해 둔 후크가 삭제 명령어 실행을 막았을 때, 프로그램은 제가 명시적으로 피하라고 지시하지 않은 명령어를 찾아내어 대신 그 명령어를 사용했습니다. 그날은 저에게 정말 귀중한 교훈이 되었습니다. 및 그날의 AI(걱정 마세요, 백업본은 있었으니까요).
적절한 거버넌스와 ‘인-더-루프(human-in-the-loop)’ 방식(적절한 위치에서 in )이 없다면, 범위가 작고 의도가 선해 보이는 조치조차도 기업 전체에 피해를 입힐 수 있습니다. 강력한 안전장치 없이 자율적 AI를 실제 운영 환경에 도입할 경우 발생할 수 있는 6가지 주요 위험은 다음과 같습니다:
- 무분별한 확장: 에이전트가 급속히 늘어나면 업무가 분산되고 팀 간 업무 중복이 발생할 수 있습니다.
- 구성 점진적 변화(): 프롬프트, 기본 설정 및 구성이 점차 변함에 따라 에이전트의 활동과 영향력이 달라질 수 있으며, 이로 인해 에이전트가 원래 의도했던 범위를 벗어나게 될 수 있습니다.
- 취약한 운영 인프라: 관리가 제대로 이루어지지 않는 에이전트는 시스템을 취약하게 만들어, 사소한 변화만으로도 예측할 수 없는 장애를 유발할 수 있습니다.
- 폭주하는 비용: 에이전트형 AI는 일반 AI(GenAI) 챗봇보다 훨씬 더 많은 연산 자원을 소모할 수 있으며, 관리가 제대로 이루어지지 않은 수많은 에이전트가 24/7 모드로 실행될 경우 비용이 놀라울 정도로 많이 들 수 있습니다.
- 의 사고 대응 지연: 감독이 이루어지지 않으면 어떤 에이전트가 어떤 행동을 했는지, 왜 그 행동을 했는지, 그 영향이 어디까지 퍼졌는지 파악하기 어려워집니다.
- 자율 시스템에 대한 불신: 예측 불가능한 에이전트의 행동은 자동화에 대한 신뢰를 약화시키고 도입 속도를 늦춘다.
거버넌스는 명확한 경계를 설정하고, 정의된 의도에 따라 행동을 검증하며, 에이전트의 행동을 투명하게 공개하고 책임을 묻도록 함으로써, 에이전트형 AI가 올바른 방향으로 나아가도록 돕습니다. 샌드박싱, 테스트 환경, 사람의 개입을 통한 감독, 투명한 의사결정을 통해 조직은 통제되지 않은 성장을 방지하고, 위험한 행동을 조기에 포착하며, 문제가本番 환경에 도달하기 전에 자율 시스템에 대한 신뢰를 구축할 수 있습니다.
주체적 거버넌스의 요소들
에이전트 거버넌스의 목표는 보안 관행, 규제 의무, 개인정보 보호 관행 및 비즈니스 목표에 부합하는 안전한 행동과 결과를 보장하는 것입니다. 이러한 목표를 달성하려면 IT 팀과 보안 팀 간의 긴밀한 협력이 필요합니다. 사실, 저는 이 팀들이 더 이상 서로를 별개의 팀으로 생각해서는 안 된다고 주장하고 싶습니다. 그들의 업무 흐름과 업무 속도는 매우 밀접하게 얽혀 있을 것이므로, 서로 및 자율 기술과 완벽하게 조화를 이루며 일해야 할 것입니다. 거버넌스와 협력 전략은 조기에 수립되어야 하며, AI 역량과 함께 발전해 나가야 합니다.
에이전트의 불필요한 폭발적 증가를 방지하거나 억제하기 위해서는 인간 주도의 거버넌스 정책이 마련되어야 한다.
요원의 확산에 대한 우려는 ‘인적 요인’과 ‘기술적 요인’이라는 두 가지 범주로 나눌 수 있다. 개인과 팀이 특정 업무를 처리하기 위해 마음대로 새로운 에이전트를 생성할 때, 에이전트를 생성·운영·폐기하는 방법과 시기에 관한 전반적인 모범 사례를 고려하지 않을 경우, 인간은 의도치 않게 에이전트의 무분별한 확산을 초래하게 될 것입니다. 에이전트의 불필요한 폭발적 증가를 방지하거나 억제하기 위해서는 이러한 인간 주도의 거버넌스 정책이 마련되어야 합니다. 다음 절에서 다루는 몇 가지 기술적 고려 사항들도 이 위험과 관련이 있습니다.
기업용 AI 에이전트 관리의 기술적 측면으로 넘어가서, 우선 기본부터 살펴보겠습니다:
- 배포 전에 테스트 에이전트를 철저히 테스트하십시오. 이 점은 아무리 강조해도 지나치지 않습니다.
- 각 AI 에이전트에 대한 소유권과 책임 범위를 명확히 정의하십시오.
- 최소 권한 원칙에 따른 접근 제어를 통해 에이전트 권한을 제한하십시오.
- 감사 및 문제 해결을 위해 에이전트 활동을 기록하고 모니터링합니다.
- 적절한 사용 및 규정 준수를 위한 정책을 수립한다.
- 고위험이거나 되돌릴 수 없는 조치가 있을 때는 반드시 사람의 개입을 보장해야 합니다. AI는 아직 초기 단계에 있으며, 어떤 작업들은 다른 작업들보다 조기 도입에 더 적합합니다.
이는 기본 중의 기본입니다. 사이버 보안 및 IT 운영 팀은 여기서 한 걸음 더 나아가야 합니다:
- AI 에이전트를 새로운 유형의 행위자로 간주하라. 에이전트는 일반적인 결정론적 소프트웨어 서비스와는 다르며, 인간 직원과 같은 방식으로 윤리적·상황적 판단을 내리거나 이에 대한 책임을 지는 것으로 기대되지도 않습니다. 기업은 에이전트의 자율성과 확률적 행동 양상을 고려하여 별도의 분류 체계를 수립하고, 이에 상응하는 정책, 검토 절차 및 에스컬레이션 경로를 마련해야 합니다. 이 에이전트는 신원 관리( ) 기능을 제공하며, 는 애플리케이션()을, 는 모니터링이 필요한 모든 동작을 한 번에 처리합니다.
- 단순히 접근 권한뿐만 아니라 에이전트의 의도까지 통제해야 합니다. API를 통제하는 것은 AI 에이전트를 관리하는 데 있어 핵심 단계이지만, 그것만으로는 충분하지 않습니다. 기업은 에이전트가 달성하고자 하는 목표와 그 행동에 대한 제약 사항이 무엇인지 명확히 정의해야 합니다. 여기에는 하위 에이전트를 생성하거나, 더 높은 권한을 가지고 있거나, 상충되는 목표를 지니거나, 다른 한계를 가진 다른 에이전트 시스템과 협력할 수 있는 능력도 포함됩니다.
- 단순히 결과만 보는 것이 아니라 행동을 관찰하십시오. 대리인의 산출물뿐만 아니라, 맥락을 고려한 의사결정까지 평가하는 것이 중요하다. 에이전트가 프롬프트에서 시작하여 의사결정 옵션을 거쳐 최종 행동에 이르기까지 왜, 어떻게 이동했는지 알지 못한다면, 그 에이전트가 제대로 작동하고 있는지 여부를 실제로 알 수 없다. 이러한 수준의 추적 가능성은 규정 준수 및 보안 사고 조사 측면에서도 매우 중요합니다. 이 요소는 제대로 구현하기가 가장 어려운 부분 중 하나이며, 현재로서는 모든 상황에 적용할 수 있는 정답이 없습니다.
- 그들의 자율성을 제한하라. 최소 권한 기반 접근 제어 외에도, 에이전트가 조치를 취할 때 명확한 기준을 준수하도록 해야 합니다. 제안된 조치에 대한 신뢰도가 허용 가능한 기준치 이하로 떨어질 경우, 에이전트가 반드시 사람을 개입시키도록 요구한다. 과신은 LLM 출력의 대표적인 특징이며, AI 에이전트가 불확실성을 해결하기 위해 지원을 요청하기보다는 사실상 허세를 부리는 경우 상당한 위험이 따를 수 있다.
- 오류를 예상하고, 이를 억제할 수 있도록 설계하십시오. 에이전트는 결국 예상치 못한 방식으로 행동하게 될 것이다. 조직은 에이전트가 영향을 미칠 수 있는 시스템의 범위를 제한하고, 에이전트가 조치를 취할 수 있는 빈도를 상한선으로 설정함으로써, 피해를 최소화하면서 적시에 에이전트를 비활성화할 수 있도록 해야 한다.
- 권한과 목표를 정기적으로 평가하십시오. 에이전트는 끊임없이 변화하는 환경에서 작동하는 적응형 시스템입니다. 프롬프트, 모델 및 조직의 요구 사항이 변화함에 따라, 구식 권한 설정과 목표는 불확실성이나 위험을 초래할 수 있습니다.
이러한 원칙들은 어떤 대리인이든 규율을 지키도록 하는 데 도움이 될 것입니다. 그러나 에이전트의 무분별한 확산이라는 추가적인 위험을 관리하기 위해서는, 에이전트를 하나의 시스템으로 간주하는 추가적인 고려 사항들이 있다.
주체성 기반 군중 통제를 위한 네 가지 요소
그 자체만 놓고 볼 때, 관리가 제대로 이루어지지 않는 담당자는 조직에 위험을 초래합니다. 기업 내 에이전트 수가 기하급수적으로 증가하면, 잠재적인 위험도 그만큼 커집니다. 기업이 운영 환경에 더 많은 에이전트를 도입함에 따라(그리고 해당 에이전트들이 자신의 작업을 완료하기 위해 하위 에이전트를 생성할 수도 있음), 거버넌스는 새로운 차원을 갖춰야 합니다. 여러분은 단순히 개별 도구를 관리하는 것이 아니라, 빠르게 변화하는 복잡한 확률적 기계 행위자 생태계를 관리하고 있는 것입니다. 이 단계에서 고려해야 할 주요 사항은 다음과 같습니다:
- 중앙 집중식 재고 및 에이전트 등록부. 엔드포인트와 마찬가지로, 보이지 않는 에이전트는 관리할 수 없으므로, 중앙 집중식 인벤토리를 구축하는 것이 가장 먼저 해야 할 일입니다. 이 작업을 마친 후에는 개별 자산뿐만 아니라 포트폴리오 전체를 고려하십시오. 전반적으로 볼 때, 에이전트 체계가 기업의 사명과 목표를 잘 반영하고 있는가? 이 요인들이 개별적으로는 뚜렷하게 드러나지 않을 수 있는 위험 요인을 종합적으로 초래하고 있는가?
- 지속적인 가시성과 포괄적인 거버넌스. 에이전트 시스템을 관리하려면 시스템 전체를 파악할 수 있어야 합니다. 통합된 관점을 통해 행위자들이 어떻게 상호작용하는지, 권한이 어디에서 중첩되는지, 그리고 행위자 체계 전반에 걸쳐 위험이 어떻게 축적되는지를 파악할 수 있다. 중앙 집중식 모니터링 및 거버넌스를 통해 조직은 에이전트 시스템 전반에 걸쳐 정책을 일관되게 적용하고, 시간이 지남에 따른 편차를 감지하며, 에이전트의 행동이 기업의 의도와 일치하지 않을 때 신속하게 개입할 수 있습니다.
- 라이프사이클 관리. 시간이 지나면서 잊혀지거나, 더 나은 도구로 대체되었음에도 불구하고 완전히 폐기되지 않은 에이전트는 계속해서 활동을 하거나 자원을 소모할 수 있으며, 인식되지 않은 공격 표면이 될 수도 있습니다. 기업은 중복되거나 더 이상 비즈니스에 기여하지 않는 에이전트를 파악하고 폐기하기 위한 명확한 계획이 필요합니다.
- 자원 사용량 추적 및 비용 관리. 에이전트가 기업 자원에 미치는 누적적 영향을 반드시 고려해야 합니다. 특정 에이전트가 기준 범위 내에 있고 효율성을 높이고 있을 수는 있지만, 전반적인 리소스 사용 현황을 파악하고 어느 부분에서 기준을 초과하고 있는지 파악하는 것이 중요합니다.
초기 에이전트가 실제 운영에 투입된 지 한참이 지나서야 방대하게 확장된 에이전트 생태계가 안고 있는 문제점들이 드러나지만, 에이전트 거버넌스에 대한 시스템 차원의 사고는 초기 단계부터 마련되어 있어야 한다. 첫 번째 에이전트가 실제 운영 환경에 도입되기 전에, 조직은 상호 작용하는 에이전트들로 구성된 광범위한 생태계를 어떻게 관리하고 보안을 확보할지 고려해야 합니다.
거버넌스는 주체적 기업 활동을 확장 가능하게 만든다
오늘날 우리는 확률적 시스템을 과거의 이분법적인 기술적 통제 방식에 억지로 끼워 맞추려 하고 있다. 혁신적인 기술을 도입하고, 기술적 통제 수단이 어떤 상황에 적용될 수 있고(또는 적용될 수 없는지)에 대한 논의를 전환하며, 거버넌스를 현대적 맥락에 맞게 재구성하는 것 사이의 교차점에서 적절한 균형을 찾아야 합니다. 좋은 거버넌스가 무엇을 의미하는지에 대해 새로운 관점을 적용하는 조직들은 디지털 전환을 실현하고, 그 과정에서 회복탄력성을 지켜낼 수 있을 것입니다. 이러한 조직들은 생산성과 혁신 면에서 다른 조직들을 한 발 앞서 나갈 것입니다. 올바른 접근 방식이란 AI를 제한하는 것이 아니라, 자율 시스템이 의도된 비즈니스 성과를 달성하기 위해 일관되게 행동하도록 보장하는 것입니다.
거버넌스의 기본 원리는 보안 및 운영 팀에게 이미 익숙하지만, 에이전트형 AI는 이러한 과제의 규모, 속도, 양상을 근본적으로 변화시킵니다. 이제 거버넌스는 인간의 직접적인 감독을 벗어나 행동하고 상호작용하는 진화하는 에이전트 시스템 을 고려해야 하며, 때로는 “감에 의한 방어” 방식으로 작동하는 시스템도 포함되는데, 이는 해당 분야의 노련한 전문가들에게 다소 불편한 새로운 영역이 될 수 있다. 그런 의미에서 조직은 기본 원칙으로 돌아가야 합니다. 이는 과거의 통제 체계를 재현하기 위함이 아니라, 자율적 의사결정 시대에 발맞춰 거버넌스를 근본부터 재고하기 위함입니다. 이러한 거버넌스가 제대로 구축된다면, 주체적 확장이 파괴적인 혼란으로 번지는 것을 막아주고, 속도와 규모가 부담이 아닌 자산으로 남을 수 있도록 보장할 것입니다.
