인공지능(AI)에 대한 논쟁은 가장 무서운 시나리오들—즉, 인간 창조자들을 순식간에 지배하여 자신의 뜻대로 부리는 초지능이나, AI를 이용해 세계 정복을 시도하는 불량 국가—에 초점을 맞추고 있지만, AI가 초래할 가능성이 가장 높은 위험들은 오히려 훨씬 평범한 것들이다. 게다가 훨씬 다루기 쉬워요.
이는 프롬프트에 반응하여 새로운 텍스트, 이미지, 오디오 또는 코드를 생성할 수 있는 시스템, 즉 생성형 인공지능(GenAI)을 도입하고자 하는 수많은 기업 소유주들에게 반가운 소식이 될 것입니다. GenAI( )와 관련된 위험 요소는 이미 기업 기술 임원들과 최고정보보안책임자(CISO)들에게 잘 알려져 있습니다. 이는 데이터 , 거버넌스, , 데이터 보안, , 신뢰할 수 있고 윤리적인 의사결정, 그리고 AI 애플리케이션 자체의 보안과 관련이 있습니다.
이러한 우려 사항과 기업들이 수년 동안 직면해 온 보다 일반적인 사이버 보안 위험 사이의 차이점, 그리고 이는 매우 큰 차이점인데, 바로 기업 내의 생성형 AI(GenAI) 기술이 새로운 것이며 보안 결과가 예측 불가능하다는 점입니다. 이러한 예측 불가능성의 규모가 많은 과학자들을 우려하게 만들었지만, 극복할 수 없는 문제는 아닙니다. 기업이 생성형 AI의 전반적인 위험을 효과적으로 관리하기 위해 취할 수 있는 조치들이 있습니다.
AI 사이버 보안 기업 스택어웨어(StackAware)의 창립자이자 CEO인 월터 헤이독은 “첫 번째 단계는 최소한 대규모 언어 모델의 사용 방법에 대한 지침을 제공하는 정책을 마련하는 것”이라고 말했다. 현재 이용 가능한 모든 새로운 형태의 제너레이티브 AI(GenAI) 중에서, 요청에 따라 텍스트나 코드를 생성하는 대규모 언어 모델(LLM)은 모든 규모의 기업들로부터 큰 관심을 받고 있습니다.
“첫 번째 단계는 최소한 대규모 언어 모델의 사용 방법에 대한 지침을 제공하는 정책을 마련하는 것입니다.”월터 헤이독, StackAware 설립자 겸 CEO
Enterprises spent an estimated $19,4 billion on GenAI solutions in 2023 – and may invest as much as $151 billion by 2027 – according to figures from research firm International Data Corp. 특히 대규모 언어 모델(LLM)은 이미 여행(익스피디아), 보험(올스테이트), 금융 서비스(마스터카드), 제조(슈나이더 일렉트릭) 등 다양한 산업 분야의 주요 기업에서 챗봇으로 활용되고 있습니다.
무엇이 걸려 있는가? 탄탄한 내부 거버넌스 정책이 없는 기업들은 자체 개발한 대규모 언어 모델(LLM)의 산출물을 신뢰할 수 없다는 사실을 깨닫게 될 것입니다. 이들은 윤리 및 저작권 위반이나 데이터 유출에 더 취약해질 것입니다.. 또한 사이버 공격을 당할 경우, LLM 모델 자체에 대한 통제권을 상실할 수도 있습니다.
효과적인 GenAI 거버넌스 체계를 구축하는 데는 생각보다 시간이 덜 걸립니다.
세계 최고의 사이버 보안 연구 및 교육 기관인 SANS 연구소의 신흥 보안 동향 담당 이사인 존 페스카토레는 헤이독의 의견에 동의하며, 조직들이 포괄적인 거버넌스 모델부터 시작할 것을 권고한다. 여기에는 실제 모델 자체와 모델에 입력되는 데이터를 보호하고, 모델의 동작을 모니터링하는 것이 포함됩니다.
“모델을 구축하고 잊어버리는 것이 아니라, 지속적인 관리를 통해 비로소 성과를 거둘 수 있습니다.”SANS 연구소의 신흥 보안 동향 담당 이사 존 페스카토레
이 과정이 몇 달이나 걸릴 필요는 없습니다. 이 작업은 단 몇 주 만에 완료할 수 있지만, 이는 모든 GenAI 시스템을 영구적으로 관리하기 위한 최종적인 규칙과 지침을 정하는 것이 아니라는 점을 전제로 합니다. 기술과 기업의 요구 사항이 변화함에 따라, 귀사의 전략은 시간이 지남에 따라 조정될 것이며(또한 그렇게 되어야 합니다). “모델을 구축하고 나서 방치해 두는 것이 아니라, 지속적인 관리를 통해야 비로소 성과를 낼 수 있다”고 페스카토레는 말한다.
장기적으로 업무를 효과적으로 “완수”하기 위해 전문가들은 조직이 다음과 같은 조치를 취할 것을 권장합니다.
1. AI/LLM 및 데이터 거버넌스 프로그램의 범위를 정의하십시오
이는 생성형 AI 시스템의 구체적인 목표를 설정하고 명확히 밝히며, 그 한계를 명시하는 것을 의미합니다. 확고한 경계를 설정하면 규정 준수 또는 개인정보 보호 기준을 위반할 수 있는 결과물을 방지하는 데 도움이 됩니다. 역할, 책임 및 모범 사례를 확인하려면 다음 사항을 문의하고 명확히 하십시오. LLM 프로그램, 데이터 소스 및 LLM 내 데이터 분류를 보호하고 관리할 책임은 누구에게 있습니까? 그렇다면 해당 모델은 그 데이터를 어떻게 수집, 저장, 관리 및 활용할 것인가?
[함께 읽어보세요: 생성형 AI가 초래하는 3 가지 주요 위협(그리고 또 다른 위험 1가지)과 이를 막는 방법]
2. 철저한 데이터 관리 체계를 구축하십시오
조직은 대규모 언어 모델(LLM) 훈련에 사용되는 데이터를 어떻게 정제하고, 보강하며, 검증하는지 구체적으로 명시해야 합니다. 다시 말해, 누가 이러한 절차를 감독할지, 그리고 어떤 절차가 마련될지 명확히 규정해야 합니다. 훈련 데이터를 검증(정확성을 확인하기 위해)하고, 민감한 데이터, 규제 대상 데이터 또는 지적 재산권(대외용 모델인 경우)을 제거하는 것은 데이터 유출이나 개인정보 침해를 방지하는 데 필수적입니다.
3. 철저한 데이터 보안을 요구합니다
클라우드 보안 스타트업 센트라(Sentra)의 공동 창업자이자 최고기술책임자(CTO)인 론 라이터는 “간단히 말해, 데이터 보안은 기초가 된다”고 지적한다. “이동 중인 민감한 데이터를 철저히 보호한다면, 공격 표면을 최소화할 수 있어 더 나은 보안 정책을 수립할 수 있습니다,”라고 그는 말합니다.
또한 모델 및 모델 개발에 대한 접근 권한, 모델에 입력되는 데이터, 그리고 모델과 그 안에 포함된 데이터를 어떻게 보호할지에 대한 정책을 수립하는 것이 현명합니다. 거버넌스 기획자는 조직이 데이터와 모델의 작동이 의 정부 규정 및 회사 표준을 준수하도록 보장할 방법을 결정해야 합니다.
4. 지속적으로 모니터링하다
조직은 AI의 행동, 모델에 입력되는 데이터, 그리고 모델의 사용 방식을 모니터링할 수 있는 시스템을 구축해야 합니다. 모델이 악의적인 행동을 보이기 시작하거나 민감한 데이터를 유출할 경우, 해당 사업은 중단될 수 있습니다.
5. 편향 완화
편향을 완전히 없애는 것은 불가능하지만, 기업은 대규모 언어 모델(LLM) 시스템 내의 편향을 줄이고, 편향이 발생할 때 이를 파악할 수 있는 방안을 마련하여 실행할 수 있습니다. 생성형 AI(GenAI)에서 비롯된 편향은 대출 승인, 신용 평가, 채용 관행은 물론, 허위 정보의 확산에도 영향을 미칠 수 있습니다.. 완화 조치에는 데이터 큐레이션(다양한 출처의 데이터 활용), 편향 탐지 도구, 데이터 및 대규모 언어 모델(LLM)에 대한 투명성 확보, 그리고 정기적인 모니터링이 포함되어야 합니다. 기업은 기업 데이터 내에 잠재적인 편향이 존재할 수 있으므로, 편향된 결과가 발생하지 않도록 지속적인 점검을 실시해야 합니다.
6. 사고 대응 절차를 수정하십시오
사고 대응 매뉴얼 을 다시 꺼내서, 그 내용이 GenAI를 다루고 있는지 확인하십시오. 귀사의 사고 대응 계획에는 GenAI 시스템에 오작동이 발생하거나 사이버 공격을 당할 경우를 대비한 단계별 지침이 명시되어 있어야 합니다.
7. 유연성을 유지하십시오
기업들은 AI 기술의 발전과 미국 내 ( ) 및 해외() 등 정부 규제 당국의 새로운 규정에 유연하게 대응할 수 있는 GenAI 거버넌스 체계를 구축해야 합니다. 성공적인 GenAI 거버넌스 정책은 또한 기업 내 LLM 사용 현황을 정기적으로 점검하여 잠재적인 위반 사항을 파악하고, 정책의 효과성을 평가해야 합니다.
[함께 읽어보세요: AI 사이버 보안에 대한 종합 가이드 – 이점, 위험 및 보상]
8. 일관성을 유지하세요
AI 거버넌스 프레임워크가 조직 전반에 걸쳐 AI 사용 및 보안을 일관되게 관리하는 것이 필수적입니다. 효과적인 전략은 각 부서와 사업부가 AI 거버넌스와 관련하여 제각기 다른 방식으로 움직이지 않도록 보장해야 합니다.
GenAI 거버넌스 정책의 세부 조정
거버넌스 계획에는 기업이 사용하는 대규모 언어 모델(LLM)의 유형도 포함되어야 합니다. (기존의 LLM을 활용하거나, 사전 훈련된 LLM을 맞춤 설정하거나, 처음부터 직접 구축할 수 있습니다.) 직접 구축하는 경우, 하나의 대형 모델을 구축하고 여기에 입력되는 데이터를 가상으로 분리하여 각 부서에서 사용할 수 있도록 하는 것이 유리해 보일 수 있습니다. 더 나은 대안이 될 수 있는 방안: 마케팅, 연구, 재무 등의 분야별로 규모는 작지만 물리적으로 분리된 대규모 언어 모델(LLM)을 구축하여, 직원 및 기타 사용자가 접근 권한이 있고 정당한 필요성이 있는 데이터에만 접근할 수 있도록 하는 것입니다. GenAI 시스템에 대한 접근을 제한함으로써, 데이터 유출이 더 광범위하게 확산될 위험을 줄일 수 있습니다. “접근 권한 및 데이터 구획화와 관련해 모델을 보호할 수 있는 유일한 방법이라고 생각합니다.”라고 라이터는 말한다.
다른 포괄적인 사이버 보안 정책과 마찬가지로, 제3자 위험 관리 는 GenAI 거버넌스 계획에 필수적입니다. 기업 경영진과 보안 팀은 자사의 네트워크 아키텍처뿐만 아니라 제3자 공급업체의 거버넌스 및 보안 프로토콜까지 폭넓게 살펴보고, 해당 공급업체의 거버넌스 및 위험 관리 관행이 자사의 관행과 어떻게 연계되는지 평가하고 지속적으로 모니터링해야 합니다.
전반적인 거버넌스 계획과 마찬가지로, 제3자 위험 평가 역시 그리 많은 시간이 소요될 필요는 없습니다. “고객사들과의 경험을 바탕으로 볼 때, GenAI를 보호하기 위한 보안 환경을 평가하고 강화하는 작업은 일반적으로 60 일 이내에 완료될 수 있다”고, 비즈니스용 GenAI 확장을 위한 프라이스워터하우스쿠퍼스(PricewaterhouseCoopers)의 최근 ‘’ 가이드( )는 밝히고 있다.
[함께 읽어보세요: AI의 또 다른 하위 분야인 머신러닝은 방대한 양의 데이터에서 패턴과 통찰력을 도출해 낼 수 있습니다. 여기 입문 가이드가 있습니다]
의 보안 책임자와 최고 경영진이 같은 인식을 갖도록 하는 데 는 이 과정을 간소화하는 데 도움이 될 것이며, 특히 제3자 AI를 기업의 승인 목록에 포함시키기 위한 전제 조건이나 절차와 관련하여 더욱 그러할 것입니다. “만약 어떤 이유로든 보안 팀이 해당 도구의 사용이나 해당 유형의 데이터를 그 도구에 입력하는 것을 반대한다면, 비즈니스적 타당성을 바탕으로 위험 승인을 얻기 위한 절차는 다음과 같습니다.”라고 헤이독은 설명합니다.
전문가들은 이 모든 것의 핵심이 ‘설계 단계부터 보안 고려(security-by-design)’에 전념하고 이에 투자하는 데 있다고 입을 모은다.
페스카토레는 “생성형 AI를 도입하고 보안을 강화하기 위한 경쟁은 전형적인 양상을 띠고 있다. 기업들은 서둘러 이를 출시하려 하지만 보안은 뒤처지고 있다”고 말했다. "안타깝게도 보안은 항상 뒤쫓아가는 입장에 놓이게 마련입니다,"라고 그는 말한다. 그리고 경쟁자들을 뒤쫓는 것은 실패가 확실한 전략이다.
