기업들은 종종 거버넌스 모델이 지원할 수 있는 것보다 빠른 속도로 에이전트 AI 를 수용하고 있습니다. 효율성과 혁신의 원동력은 실험 에이전트를 생산으로 밀어붙 여 IT 운영 및 사이버 보안 팀에 새롭고 덜 인정되는 위험을 초래할 수 있습니다.
문제는 개별 상담원을 관리하는 것뿐만 아니라 기업 전체에서 시스템 속도로 의사 결정을 상호 작용, 위임 및 실행하는 급증하는 상담원 에코시스템을 관리하는 것입니다. 에이전트가 일련의 자동화된 워크플로를 시작할 때, 특히 에이전트가 새로운 접근 방식을 계획하고, 하위 에이전트를 생성 및 위임하고, 민감한 데이터에 액세스하거나, 사람이 추적할 수 있는 것보다 더 빠르게 시스템을 재구성할 때 작은 오정렬 또는 잘못된 구성이 빠르게 복잡해질 수 있습니다.
[자율적인 AI 에이전트가 새로운 공격 표면을 도입하는 방법과 엔드포인트 가시성이 이러한 공격으로부터 방어하는 데 중요한 이유를 이해합니다]
지난 11월 McKinsey는 조직의 23%가 이미 기업 내 어딘가에서 에이전트 AI 시스템을 확장하고 있으며, 또 다른 39%는 에이전트를 실험하고 있다고 보고 했습니다. AI 채택 연도에는 한 세대 전처럼 2025년 11월 느껴지며 2026년 중반에는 채택률이 더 높습니다. 년 Anthropic의 Opus 4,6 모델 출시는 업계 전반의 융합을 밝혀주는 것으로 2026년 2월 보이며 Anthropic의 자체 2026년 3월 보고 와 상관관계가 있습니다. 이는 특정 자동화 중심 API 워크플로 범주 사용이 년 이후 두 배로 증가했으며, Claude Code 및 Claude API를 통한 자동화 중심의 에이전트 작업으로의 증가를 2025년 11월나타냅니다(또한 Claude.ai 챗봇 스타일 상호작용의 증가 감소). 또한 이 속도는 탐지하기 어렵고 수정하는 데 더 많은 비용이 드는 거버넌스 격차를 넓힐 것입니다.
3월에 Claude Code(Claude와 상호 작용하기 위한 명령줄 프런트엔드)의 소스 코드가 Anthropic에 의해 우연히 게시되었습니다.Anthropic의 훈련 방법 또는 모델 가중치의 왕관 보석을 공개하지는 않았지만, 연구자들에게 Anthropic 보호의 한 계층에 대한 더 많은 관점을 제공했습니다. 지침은 최소한 고객 측에서 “방어 바이브”(“우리”가 소스 맵 누출을 함께 분석할 때 참조된 Claude의 저 자신의 인스턴스)입니다. 4월 7일 Mythos Preview 시스템 카드에서 Anthropic은 “Claude Mythos Preview는 기본적으로 우리가 측정할 수 있는 모든 차원에서 현재까지 상당한 마진으로 출시한 가장 잘 정렬된 모델입니다. 그렇더라도 지금까지 출시한 모델 중 조정과 관련된 위험이 가장 크다고 생각합니다.” 강력하지만 가드레일이 필요합니다. 또한 모델을 강력하게 만드는 이러한 기능이 위험을 높일 것이라고 설명합니다. 등반과 마찬가지로, 더 위험한 클라이밍을 하기 위해서는 더 경험이 풍부한 가이드가 필요하지만, 그렇다고 해서 그렇게 하는 것이 덜 위험한 것은 아닙니다. 더 잘 조율되더라도 취해진 조치는 여전히 매우 위험할 수 있습니다.
고도로 유연한 에이전트를 채택하려면 자율성, 판단력 및 규모와 일치하는 거버넌스 모델이 필요합니다.
AI 지침 세트와 기본 설정은 포괄적인 심층 방어 전략의 일부가 될 수 있지만 대부분의 보안 전문가는 이를 삼키기 어렵습니다. 우리는 공식적이고 측정 가능하며 정확한 기술 제어를 활용하는 데 익숙하지만, AI 에이전트에게 규칙에 따라 플레이하도록 교육하는 것은 기본 설정 파일 또는 지침 세트에서 “악의적인 행동이 의심되는 경우 플래그 표시”와 같은 것을 포함합니다. 이는 일부 고장을 방지하는 데 도움이 될 수 있지만, 규칙이 아닌 지침일 뿐입니다. 이러한 고도로 유연한 에이전트를 채택하려면 자율성, 판단력 및 규모와 일치하는 거버넌스 모델이 필요합니다. 조직이 실험에서 생산으로 급증함에 따라 IT 및 보안 리더는 에이전트가 수행하는 작업뿐만 아니라 에이전트 시스템을 모니터링, 제한 및 책임지는 방법을 재평가해야 합니다.
에이전트 AI의 위험
3년 반 동안 조직들은 생성적 AI를 실험해 왔으며, 여전히 그 이점과 함께 발생할 수 있는 위험을 파악하고 있습니다. 종합적으로, 우리는 메모리 및 컨텍스트 관리, 안전 장치 및 후크, 환각 행동을 압력 테스트하는 방법에 대해 많이 배우고 있습니다. 이러한 과제는 대부분 AI와의 대화에서 잘못된 정보로 제한되지만 에이전트 워크플로우는 피해를 빠르게 증폭할 수 있습니다. GenAI는 챗봇 스타일 상호작용 및 프롬프트 응답 주기와 자주 연관됩니다. 에이전트 AI는 한 단계 더 발전합니다. 독립적인 조치가 필요하며 그 안에는 더 큰 위험이 있습니다. AI 에이전트는 대규모로 실행하여 인간의 감독이 추적할 수 있는 것보다 더 빠르고 광범위하게 이동할 수 있습니다. 또한 반사적 판단의 시정 조치 없이도 워크플로 전반에 걸쳐 잘못된 결정을 복잡하게 만들 수 있습니다.
이전 작업 이론은 빠르게 현실화되고 있습니다. Mythos Preview System Card는 기업 소프트웨어를 성공적으로 활용하는 방법을 창의적으로 추론하기 위해 초기 버전의 Mythos 모델의 성능을 문서화했습니다. 업계는 에이전트적 적대적 생태계가 가져올 수 있는 것과 에이전트적 툴링이 목표를 달성하기 위해 예기치 않은 경로를 취할 수 있는 방법을 깨닫고 있습니다. Anthropic은 Mythos Preview의 최종 버전에서 이러한 행동을 실질적으로 개선하기 위해 교육 개입을 적용했으며, 이러한 결과는 향후 모델에서의 안전 작업에 대한 정보를 제공할 것입니다. AI의 성격은 동급 최강의 조정조차 완벽한 규칙 준수를 보장하지 않으며, 보다 강력한 모델은 예상치 못한 조치를 취함으로써 더 많은 영향을 미칠 수 있다는 것입니다.
에이전트성 스프롤의 가격은 상당한 보안 및 규정 준수 위험을 넘어 확장됩니다. 개별 대리인은 서로 다른 업무 팀 또는 비즈니스 부서에 대해 상충하는 결정을 내릴 수 있으며, 이로 인해 불확실성 또는 상충 주기가 발생할 수 있습니다. 중복 워크로드 또는 런어웨이 동작으로 인해 인프라 비용이 급증하거나 가용성이 저하될 수 있습니다. 또는 전체 네트워크에서 즉시 다시 시작하도록 강제하고, 기내 프로세스를 손상시키고, 광범위한 서비스 중단을 야기하여 패치 준수를 가속화하도록 위탁받은 에이전트를 상상해 보십시오.
과장된 에이전트는 파일 디렉터리를 정리하는 가장 효율적인 방법은 6개월이 지난 것을 삭제하는 것이라고 결정했습니다.
이메일 받은 편지함을 정리한 다음 여전히 중요한 작업이 필요하거나 규정 준수 목적으로 특별한 처리가 필요한 이메일을 보관하는 또 다른 작업을 상상해 보십시오. 개인적인 경험을 통해 글을 씁니다. 너무 많은 에이전트가 파일 디렉터리를 정리하는 가장 효율적인 방법은 6개월이 지난 것을 삭제하는 것이라고 결정했습니다. 기존 후크가 삭제 명령을 실행하지 못하게 했을 때, 피하라고 명시적으로 지시하지 않은 명령을 발견하고 대신 사용했습니다. 그날 저 와 AI에게 중요한 교훈이었습니다(그리고 걱정하지 마세요. 백업이 있었습니다).
적절한 거버넌스와 (루프의 올바른 위치에) 인간-인-루프가 없으면, 적당한 범위와 긍정적인 의도 를 가진 것처럼 보이는 행동은 기업 전체에 해를 끼칠 수 있습니다. 강력한 가드레일 없이 에이전트 AI를 생산할 경우 6가지 중요한 위험은 다음과 같습니다.
- 스프롤: 상담원은 빠르게 증식하여 작업을 세분화하고 팀 간에 중복을 생성할 수 있습니다.
- 구성 크리프: 프롬프트, 기본 설정 및 구성이 드리프트되면 상담원의 활동 및 영향이 변경되어 원래 의도를 넘어 이동할 수 있습니다.
- 운영 인프라의 번거로움: 관리되지 않는 에이전트는 시스템을 취약하게 만들 수 있으므로 작은 변경으로 인해 예측할 수 없는 오류가 발생합니다.
- 런어웨이 비용: 에이전트 AI는 GenAI 챗봇보다 훨씬 더 많은 컴퓨팅을 사용할 수 있으며, 24/7 을 실행하는 관리가 부족한 에이전트의 급증은 엄청나게 비쌀 수 있습니다.
- 느린 사고 대응: 감독 없이는 어떤 에이전트가 조치를 취했는지, 왜 조치를 취했는지, 또는 그 영향이 얼마나 퍼졌는지 추적하기가 어려워집니다.
- 자율 시스템에 대한 불신: 예측할 수 없는 에이전트 행동은 자동화에 대한 신뢰를 약화시키고 채택을 늦춥니다.
거버넌스는 명확한 경계를 설정하고 정의된 의도에 대한 행동을 검증하며 에이전트 작업을 가시화하고 책임짐으로써 에이전트 AI를 순조롭게 유지하는 데 도움이 됩니다. 조직은 샌드박스, 테스트 환경, 인적 관리 감독 및 투명한 의사 결정을 통해 통제되지 않는 성장을 방지하고 위험한 행동을 조기에 포착하며 문제가 생산에 도달하기 전에 자율 시스템에 대한 신뢰를 구축할 수 있습니다.
에이전트 거버넌스의 요소
에이전트 거버넌스의 목표는 보안 관행, 규제 의무, 개인정보 보호 관행 및 비즈니스 목표에 부합하는 안전한 조치와 결과물을 보장하는 것입니다. 이러한 목표를 달성하려면 IT 팀과 보안 팀 간의 긴밀한 협업이 필요합니다. 사실 이 팀들은 더 이상 자신을 별도의 팀으로 생각할 여유가 없다고 주장합니다. 업무 흐름과 업무 속도가 매우 밀접하게 얽혀 있어 서로 및 에이전트 기술과 자물쇠로 작업해야 합니다. 거버넌스 및 협업 전략은 조기에 수립되어야 하며 AI 기능과 함께 진화해야 합니다.
에이전트의 불필요한 폭발을 피하거나 억제하기 위해 인간 중심의 거버넌스 정책이 마련되어 있어야 합니다.
우리는 에이전트의 확산에 대한 우려를 인간과 기술적이라는 두 가지 범주로 나눌 수 있습니다. 인간은 개인과 팀이 새로운 에이전트를 기꺼이 스핀 업하여 집중 작업을 처리할 때 의도치 않게 에이전트의 무분별한 확산을 엔지니어링합니다. 에이전트를 생성, 운영 및 폐기하는 방법과 시기에 대한 전반적인 모범 사례를 고려하지 않을 수도 있습니다. 이러한 인간 중심의 거버넌스 정책은 에이전트의 불필요한 폭발을 피하거나 억제하기 위해 마련되어 있어야 합니다. 다음 섹션의 기술적 고려 사항 중 일부는 이러한 위험에도 적용됩니다.
엔터프라이즈 AI 에이전트 관리의 기술적 측면으로 돌아가서, 우리는 다음과 같은 기본 사항부터 시작합니다.
- 배포 전에 에이전트를 광범위하게 테스트합니다. 이것은 과장될 수 없습니다.
- 각 AI 에이전트에 대한 소유권과 책임을 정의합니다.
- 최소 권한 액세스 제어를 사용하여 상담원 권한을 제한합니다.
- 감사 및 문제 해결을 위해 에이전트 활동을 기록하고 모니터링합니다.
- 허용 가능한 사용 및 규정 준수를 위한 정책을 수립합니다.
- 고위험 또는 돌이킬 수 없는 작업을 위해 사람을 루프에 두십시오. AI는 아직 초기 시대에 있으며, 일부 작업은 다른 작업보다 조기 채택에 더 적합합니다.
다음은 표의 이해 관계입니다. 사이버 보안 및 IT 운영 팀은 몇 가지 단계를 더 진행해야 합니다.
- AI 에이전트를 새로운 수준의 배우로 취급합니다. 에이전트는 일반적인 예측 가능한 소프트웨어 서비스가 아니며, 인간의 직원이 하는 방식으로 윤리적이고 맥락적인 판단을 내릴 책임이 있거나 그렇게 기대되지 않습니다. 기업은 자율성 및 확률적 행동을 고려하고 적절한 정책을 설정하고 프로세스 및 에스컬레이션 경로를 검토하는 상담원에 대해 별도의 분류를 정의해야 합니다. 상담원은 ID , 애플리케이션 및 모든 것을 하나로 모니터링하는 동작입니다.
- 액세스뿐만 아니라 상담원의 의도를 관리합니다. API 제어는 AI 에이전트를 관리하는 주요 단계이지만 충분하지 않습니다. 기업은 상담원이 달성하고자 하는 것과 작업에 대한 제한 사항을 정의해야 합니다. 여기에는 하위 에이전트를 생성하거나 더 높은 권한, 충돌하는 목표 또는 다른 제한이 있을 수 있는 다른 에이전트 시스템과 작업하는 기능이 포함됩니다.
- 결과뿐만 아니라 행동을 관찰합니다. 에이전트의 출력뿐만 아니라 컨텍스트에서 그 결정을 평가하는 것이 중요합니다. 에이전트가 프롬프트에서 의사 결정 옵션을 거쳐 최종 작업으로 이동한 이유와 방법을 모르는 경우, 에이전트가 올바르게 작동하는지 실제로 알 수 없습니다. 이러한 수준의 추적성은 규정 준수 및 보안 사고 조사에도 필수적입니다. 이 요소는 올바른 대처가 가장 어려운 요소 중 하나이며, 오늘날에는 모든 것에 적합한 답변이 없습니다.
- 독립성을 제한합니다. 최소 권한 액세스 제어 외에도 작업을 수행하기 위한 확실성 표준을 에이전트에게 적용합니다. 제안된 작업에 대한 신뢰가 허용 가능한 임계값 아래로 떨어질 때 에이전트가 루프에 사람을 가져오도록 요구합니다. 과신은 LLM 출력의 특징이며 AI 에이전트가 지원을 받기 위해 확대하지 않고 본질적으로 불확실성을 극복할 때 상당한 위험이 있을 수 있습니다.
- 격리를 위해 오류와 설계를 예상합니다. 에이전트는 결국 예상치 못한 방식으로 행동하게 됩니다. 조직은 에이전트가 영향을 미칠 수 있는 시스템의 범위를 제한하고 조직이 제한된 손상으로 적시에 에이전트를 비활성화할 수 있도록 조치를 취할 수 있는 빈도를 제한해야 합니다.
- 권한 및 목표를 정기적으로 평가합니다. 에이전트는 끊임없이 변화하는 환경에서 작동하는 적응형 시스템입니다. 프롬프트, 모델 및 조직의 요구가 변경되면 오래된 권한 및 목표는 불확실성 또는 위험을 초래할 수 있습니다.
이러한 원칙은 주어진 에이전트를 일관되게 유지하는 데 도움이 됩니다. 그러나 에이전트 확산의 추가 위험을 관리하기 위해 에이전트를 시스템으로 취급하는 추가 고려 사항이 있습니다.
에이전트적 군중 제어를 위한 4가지 요소
통제가 잘 되지 않는 에이전트는 독립적으로 조직에 위험을 초래합니다. 기업 내 상담원 수가 기하급수적으로 증가할 때 가능한 위험도 증가합니다. 기업이 더 많은 에이전트를 프로덕션에 투입함에 따라(그리고 이러한 에이전트는 아마도 하위 에이전트를 생성하여 작업을 완료함), 거버넌스는 새로운 차원을 가져야 합니다. 개별 도구만 관리하는 것이 아니라 확률적인 머신 공격자로 구성된 빠르게 움직이는 복잡한 에코시스템입니다. 이 수준의 주요 고려 사항은 다음과 같습니다.
- 중앙 집중식 인벤토리 및 에이전트 레지스트리. 엔드포인트와 마찬가지로 볼 수 없는 상담원을 관리할 수 없으므로 중앙 집중식 인벤토리를 설정하는 것이 첫 번째 작업입니다. 이를 통해 개별 에이전트뿐만 아니라 전체 포트폴리오를 고려합니다. 전체적으로 에이전트 시스템이 기업의 사명과 목표를 반영합니까? 에이전트가 개별 수준에서 명백하지 않을 수 있는 위험을 총괄적으로 제기합니까?
- 지속적인 관찰 가능성 및 포괄적인 거버넌스. 상담원 시스템을 관리하려면 전체 시스템에 대한 가시성이 필요합니다. 통합 보기는 상담원이 상호 작용하는 방식, 권한이 중복되는 위치 및 상담원 시스템 전반에서 위험이 누적되는 방법을 보여줍니다. 중앙 집중식 모니터링 및 거버넌스를 통해 조직은 에이전트 시스템에 정책을 일관되게 적용하고, 시간에 따른 드리프트를 감지하며, 에이전트 행동이 기업 의도와 다를 때 신속하게 개입할 수 있습니다.
- 수명 주기 관리. 에이전트는 시간이 지남에 따라 잊어버리거나 더 나은 도구로 교체되지만 해체되지는 않을 수 있으며, 계속 행동하거나 리소스를 사용하거나 인식할 수 없는 공격 표면이 될 수 있습니다. 기업은 중복되거나 더 이상 비즈니스에 서비스를 제공하지 않는 상담원을 식별하고 은퇴시키기 위한 명확한 계획이 필요합니다.
- 리소스 사용 추적 및 비용 관리. 엔터프라이즈 리소스에 대한 상담원의 누적 효과를 고려해야 합니다. 주어진 에이전트는 매개변수 내에 있고 효율성을 제공할 수 있지만, 전반적인 리소스 사용을 이해하고 매개변수가 초과되는 위치에 대한 통찰력을 갖는 것이 중요합니다.
시간이 지남에 따라 급증하는 에이전트성 에코시스템의 과제가 드러나지만, 초기 에이전트가 생산에 진입한 후에는 에이전트성 거버넌스에 대한 시스템 수준의 사고가 초기에 존재해야 합니다. 첫 번째 에이전트가 프로덕션으로 전환되기 전에 조직은 더 광범위한 상호작용 에이전트 에코시스템을 관리하고 보호하는 방법을 고려해야 합니다.
거버넌스는 에이전트적 기업을 확장 가능하게 합니다
오늘날 우리는 확률 시스템을 오래된 의 바이너리 기술 제어에 강제로 맞추려고 시도하고 있습니다. 혁신적인 기술을 채택하고, 기술적 통제가 어떤 것에 적응하는지(그리고 적응하지 않는지)에 대한 대화를 바꾸고, 현대를 위한 거버넌스를 해석하는 교차점에서 균형을 잡아야 합니다. 좋은 거버넌스의 의미에 새로운 관점을 적용하는 조직은 디지털 혁신을 가능하게 하고 프로세스에서 회복력을 보호할 것입니다. 이러한 조직들은 생산성과 혁신에서 벗어날 것입니다. 올바른 업무 수행은 AI를 제한하는 것이 아니라 자율 시스템이 의도한 비즈니스 결과를 위해 일관되게 행동하도록 보장하는 것입니다.
거버넌스의 기초는 보안 및 운영 팀에 익숙하지만 에이전트 AI는 근본적으로 과제의 규모, 속도 및 형태를 변화시킵니다. 거버넌스는 이제 직접적인 인간의 감독을 넘어 행동하고 상호작용하는 진화하는 에이전트 시스템 , 그리고 때로는 현장에서 노련한 전문가인 사람들에게 불편한 새로운 경계가 될 수 있는 “환경에 의한 방어”를 기반으로 운영되는 에이전트 시스템을 고려해야 합니다. 이러한 의미에서 조직은 이전 통제를 재생성하는 것이 아니라 자율적인 의사 결정의 시대를 위해 거버넌스를 처음부터 다시 생각하기 위해 첫 번째 원칙으로 돌아가야 합니다. 이러한 거버넌스는 에이전트의 무분별한 확산이 파괴적인 혼란이 되는 것을 방지하고 속도와 규모가 부채가 아닌 자산으로 유지되도록 보장합니다.
