요약
많은 조직들이 AI를 사용하지 않는다고 생각하지만, AI에 대한 호기심이 문화 전반에 퍼지면서 물론 직원들은 다양한 새로운 AI 도구를 실험하고 있습니다. 그 직원들이 모르는 것은 자신들이 회사 데이터를 어떻게 노출시키고 있을 수 있는지입니다. 이는 빠르게 진행되고 있으며, AI 전략이 없는 모든 기업은 지금 당장 매개변수와 가이드라인을 설정해야 합니다.
핵심은 직원들에게 위험을 알리고 이러한 도구들이 업무 수행에 어떻게 도움이 되는지 그들로부터 배우는 것입니다. 그래야 가드레일이 비즈니스 성장을 금지하지 않고 보호할 수 있습니다.
진행자: Stephanie Aceves, 제품 관리 수석 이사, Tanium
게스트: Candy Alexander, CISO 및 사이버 실무 책임자, NeuEon Inc.
쇼 노트
섀도우 AI와 섀도우 IT 모두에 대한 자세한 정보는 Tanium의 수상 경력에 빛나는 온라인 사이버 뉴스 매거진인 Focal Point의 기사와 다음의 유용한 리소스를 확인하세요.
- 직원들이 '섀도우 AI'를 수용하고 있습니다 – 그리고 회사 데이터를 위험에 빠뜨리고 있습니다 | Focal Point
- Ep. 18: 섀도우 IT에 빛을 비추다 | Let's Converge
- 4 AI 시대 CISO를 위한 중요한 리더십 우선순위 | Focal Point
- AI 편향 방지는 최상위에서 시작됩니다 – 이 여성 최고 AI 책임자들에게 물어보세요 | Focal Point
- 디지털 경험 모니터링이란 무엇인가? DEM 전략이 중요한 이유와 직원 및 고객 경험을 강화하는 방법 | Tanium
- 8 AI '감정 롤러코스터'의 단계 | Tanium
대본
다음 인터뷰는 명확성을 위해 편집되었습니다.
"얼마 전 제가 보던 유튜브에서 광고를 들었는데, '오, AI를 사용하면 인간보다 더 똑똑하다'고 하더군요,..." 저는 그냥 웃었습니다… 마케팅은 소비자 제품에 이것을 활용하며 AI가 최고라고 말하고 있습니다. 그것이 바로 우리 최종 사용자 커뮤니티가 듣고 있는 내용입니다."Candy Alexander, CISO 및 사이버 실무 책임자, NeuEon Inc.
Stephanie Aceves: 안녕하세요, 제 이름은 Stephanie Aceves입니다. 저는 Tanium의 제품 관리 수석 이사이며, 오늘 Let's Converge에서는 섀도 IT와 섀도 AI에 대해 이야기합니다. 기업에 점점 더 위험한 문제로 떠오르고 있는 이 주제를 다루는 2부작 시리즈의 두 번째 편에 오신 것을 환영합니다.
1부에서는 직원들이 사용하고 있을 수 있지만 여러분이 인지하지 못하는 프로젝트 관리 도구들을 살펴보았으며, 일부에게는 놀라운 사실일 수 있는 점, 즉 섀도 IT를 사용하는 직원들이 실제로는 좋은 의도를 가지고 있다는 것도 다루었습니다. 대부분의 경우, 그들은 단지 자신의 업무를 더 잘, 더 빠르게 수행하는 방법을 찾으려 할 뿐입니다. 그리고 그들은 승인되지 않은 기술을 사용함으로써 회사를 위험에 빠뜨릴 수 있다는 사실을 인식하지 못합니다.
오늘 이 문제에 대해 이야기하기 위해 함께한 분은 선도적인 비즈니스 경영 컨설팅 회사인 NeuEon Inc.의 최고 정보 보안 책임자이자 사이버 실무 책임자인 Candy Alexander입니다. 기업 보안 프로그램을 개발하고 관리하는 것 외에도, Candy는 정보 시스템 보안 협회의 국제 회장으로 두 차례 선출되었으며, 오랫동안 국제 이사회의 이사로 활동해 왔습니다.
자, 이제 논의를 계속하겠습니다.
이 분야에 새로운 플레이어가 등장하고 있는데, 바로 섀도우 AI입니다.
Alexander: 우리가 맞이하고 있는 AI 시대는 진정한 혁명적 시대이며, 여러 방향으로 전개될 수 있습니다. 잘 될 것이라는 희망과 확신을 갖고 있지만, 밤중에 몇 가지 무서운 충격이 있을 것 같습니다.
Aceves: 제가 일하는 곳에서 함께하는 기업들에서, 우리는 임원들과 AI의 부활, 특히 LLM[대형 언어 모델]의 등장과 관련된 우려에 대해 이야기합니다. 그리고 그들과 이야기할 때, 데이터 유출에 대한 우려가 실제로 있는데, 이는 일반적인 섀도우 IT에서 정의한 것과 유사한 문제입니다. 그리고 AI, 특히 LLM의 경우, 민감한 정보가 될 수 있는 것으로 모델을 훈련시킨다는 위험이 있다는 것을 이해하게 됩니다. AI의 관점에서 좀 더 구체적으로 공유해 주실 수 있나요? 우리가 계속해서 이 새로운 기술을 발전시키고 적응하며 활용해 나가는 과정에서 AI가 비즈니스에 어떤 영향을 미치고 있는지, 또는 앞으로 어떤 영향을 미칠 것으로 예상하시나요?
Alexander: 흥미롭게도 이것은 "새로운" 기술의 흥미로운 도입이라고 할 수 있지만, 사실 그렇게 새로운 것은 아닙니다. 솔직히 말해서, AI는 오래전부터 존재해 왔습니다.
Aceves: 맞습니다.
Alexander: 물론, 이제 AI가 주류가 되면서 모두가 AI를 사용하고 있고, ChatGPT의… 등장으로 더욱 중요해지고 있습니다. 그래서 많은 조직들이 우리는 AI를 사용하지 않는다고 말할 것입니다. 물론 그 말을 들으면 피식 웃음이 나오는데, 분명히 사용하고 있기 때문입니다. 예를 들어, 직원들이 ChatGPT나 …Google Bard 또는 현재의 Gemini를 사용하여 글쓰기나 이력서, 마케팅 등을 다듬는 데 활용하고 있습니다. 따라서 그러한 사용 현황을 파악하기가 정말 어렵습니다. 그 외에도, 스펙트럼의 다른 부분은 코드 완성을 위한 일종의 AI, 즉 생성형 AI의 사용이죠, 그렇죠?
저는 이번 주에 공급망 소프트웨어와 관련하여 발표했습니다. 그리고 이것은, 제 생각에, 우리가 개발과 관련하여 AI 사용을 식별하고 이를 검증할 수 있는 방법 중 하나입니다. 따라서 우리는 공급망 소프트웨어, 공급망을 활용하여 어떤 유형의 AI를 사용하고 있는지 식별하고, 모두가 지금 이야기하고 있는 설명 가능한 AI를 탐구하며, 그 사용에 대한 매개변수를 설정하고… 그 사용을 지속적으로 평가할 수 있을 것입니다. 그리고 그것이 중요합니다. 하지만 저는 다른 측면으로 돌아가고 싶습니다. 바로 AI 전략이 실제로 없다고 말하는 조직들이 있는 곳입니다. 그리고 그들에 대한 저의 조언은, 지금 당장 서둘러 그것을 수행하고 그 매개변수를 설정하라는 것입니다.
그리고 그것은 허용 가능한 사용 정책만큼 간단한 것에서 시작해야 합니다. 무엇이 허용되고 무엇이 허용되지 않는지에 대한 매개변수, 가드레일, 방향적 통제를 설정하십시오. 그리고… 생성형 AI는 바로 그런 것임을 명심하십시오: 제공된 정보를 기반으로 생성적으로 학습하고 지식과 범위를 확장합니다. 그러니 생각해 보십시오: 귀사의 기업 정보가 그 데이터 레이크 또는 데이터 풀의 일부가 되기를 정말로 원하십니까? 절대 그렇지 않습니다. 따라서 사용 사례에 대해 생각해야 합니다. 그리고 소프트웨어 공급망과 마찬가지로, [저는 여러분이] 구성 요소들과 그것들이 서로 어떻게 작용하는지, 언제 개입하는지를 파악해 보시길 권합니다. Microsoft Copilot이든 다른 AI 도구든, 최종 사용자를 위한 AI 사용 사례도 마찬가지입니다. 그것이 어떻게 사용될 것인지 이해해야 하며, 오픈소스 AI를 사용할 것인지 아니면 조직을 위한 프라이빗 AI를 사용하여 해당 AI 사용에 입력되는 쿼리가 조직의 범위 내에 머물도록 할 것인지 결정해야 합니다.
Aceves: 정말 좋습니다. 그리고 제가 대화를 나눈 일부 리더들의 AI에 대한 우려, 특히 생성형 AI와 이러한 GPT 모델에 관한 우려는, 실제로 많은 것들이 우리가 미처 [인식하지 못했던] 기술에 내장되어 있다는 것입니다 – 예를 들어 내 검색 엔진이 이제 어떤 유형의 GPT를 사용하고 있다는 것처럼요. 그러한 상황에서는 사용자조차도 항상 인식하지 못합니다. 따라서 사용자가 조직에 본질적으로 위험한 행동을 하고 있다는 것을 인식하지 못하기 때문에 기업 정책을 시행하기가 더 어려워집니다.
많은 조직들이 실제 모델을 내부로 이전하여 데이터와 해당 모델 위에서 발생하는 학습에 대한 권리와 소유권을 갖고자 한다는 이야기를 많이 듣고 있습니다. 하지만 내부적으로 승인된 모델로 리디렉션되는지 여부에 대한 통제를 어떻게 시행하거나, 다소 위장된 방식으로 사용되는 것을 전반적으로 방지할 수 있을까요 – 악의적인 이유가 아니더라도, 우리가 대화하는 모든 사람들, [모든 기업]이 자신들이 사용하는 AI에 대해 이야기하고 있습니다. 그리고 당신이 그것을 지적해 주셔서 정말 좋습니다.
AI는 오래전부터 존재해 왔습니다. 대부분의 기술은 어떤 형태의 머신 러닝을 사용하거나, 대규모 데이터 세트를 활용하여 실질적인 결론과 인사이트를 도출합니다. 하지만 소비자들이 GPT를 사용할 수 있게 된 것이 이 엄청난 폭발적 성장을 촉발한 진정한 계기였습니다. 그렇다면 AI가 모든 곳에 잠재해 있다는 사실을 알면서, 기업들은 데이터 유출 위험을 어떻게 실질적으로 완화할 수 있을까요 – LLM을 사용하고 귀하의 데이터로 모델을 학습시킬 전 세계 모든 웹사이트 목록이 있다고 말하고 싶지만, 어떻게 이에 선제적으로 대응할 수 있을까요?
Alexander: 와, 정말 엄청난 문제네요. 왜냐하면 그것은 어디에나 존재하고, 제 소견으로는 [해결책]이 다각적이어야 할 것이기 때문입니다. 그리고 우리는 실제로 그런 흐름을 목격하고 있습니다. 규제적 관점에서 그러한 기준을 마련하기 위해 전 세계 여러 나라에서 법률이 나오는 것을 보고 있습니다. 그리고 그다음은 기술적 관점으로 내려옵니다. 정부에서 시작하여 조직의 활용 방식으로 내려오고, 기술을 통해 이를 식별할 수 있는 방법의 추가적인 발전을 아직 기다리고 있다고 생각합니다.
예를 들어, 그것에 대한 유사한 예시로 클라우드 컴퓨팅이 있습니다. 클라우드에서 모든 데이터 인스턴스가 어디에 있는지 어떻게 파악하시나요? 현재 그 분야에는 몇 안 되는 플레이어들만 있습니다. 그리고 제 개인적인 의견으로는, 클라우드에서 당신의 위치를 파악하는 데 도움이 될 정말 훌륭한 플레이어가 하나 있는데, 우리는 AI 사용과 함께 그와 동일한 유형의 기술을 갖춰야 할 것이며, 그것은 말하자면 그 무엇이든 그 경계에 위치하게 될 것입니다.
그것이 데스크탑에 있을지 아니면 어디에 있을지는 모르겠지만, 그런 유형의 필터링과 센서가 필요합니다. 그리고 세 번째 요소는, 이렇게 말하기 싫지만, 결국 "사람, 프로세스, 기술" 모델로 돌아오는데, 바로 사용자들에게 무슨 일이 일어나고 있는지 인식시키는 것입니다. AI는 왜 잠재적으로 위험한가요? 그들은 그냥 바라보기만 합니다 – TV 광고조차도… 제가 유튜브를 보다가 얼마 전에 광고를 들었는데, "AI를 사용하면, 인간보다 더 똑똑한데…"라고 하더군요, 그래서 저는 그냥 웃었습니다.
Aceves: 세상에나.
Alexander: [소비자 제품] 마케팅이 이것을 붙잡고, AI가 역대 최고라고 [말하고] 있습니다. 그래서 우리의 최종 사용자 커뮤니티가 듣고 있는 것이 바로 그것이며, 그들은 "Gemini나 ChatGPT로 놀거나, 심지어 Facebook에 접속해서 내 이미지를 가져다가 모델처럼 보이게 만드는 것이 재미있지 않나요?"라는 방식을 통해 그것을 경험하고 있습니다.
즉, 그들은 AI를 환상적인 것으로 바라보고 있습니다. 그들은 내재된 위험을 인식하지 못하고 있으며, 우리가 듣고 있는 끔찍한 이야기들, 예를 들어 유럽에서 어떤 챗봇이 우울증을 앓고 있는 개인과 상호작용하다가 그 사람을 스스로 목숨을 끊는 지경까지 몰아간 ChatGPT 사례 같은 것들을 듣지 못하고 있습니다. 그래서 그들은 인공지능에 내재된 진정한 위험성을 이해하지 못하고 있습니다. 물론, AI에서 발생하는 편향과 환각을 바로잡기 위한 조치들이 취해지고 있지만, 일반적인 평범한 사람들의 경우 이러한 위험을 이해하지 못하고 있습니다.
바로 그 지점에서 우리가 보안 전문가로서 개입하여 비즈니스와 사용자 커뮤니티에 좋은 것이 있으면 나쁜 것도 있다는 것을, 기본적인 것을 유지하는 것처럼 조언해야 합니다. 그들에게 조언하십시오, 이것이 우리가 기업용 AI를 고수하고 외부의 것들을 사용하지 않으려는 이유입니다. 그리고 그들에게 기업 데이터의 의도치 않은 데이터 유출에 대해 알려주십시오. 이것이 바로 편향과 발생할 수 있는 환각, 그리고 데이터의 무결성에 대해 그들이 인식하도록 만들고자 하는 이유입니다. 오늘날 AI 사용에 내재된 수많은 문제들이 있습니다. 마치 서부 개척 시대 같습니다. 좋기는 하지만, 위험합니다.
Aceves: 그리고 저는 또한, 현재 제 역할이 제품 관리에 있으며, 벤더들에게는 책임이 있다고 강하게 느낍니다. 그리고 우리가 고객들이 필요로 하는 제품을 만들고 있는 동안, AI는 분명히 그들이 찾고 있는 가치와 결과를 제공할 수 있는 도구이지만, 벤더와 소프트웨어 제공업체에게는 책임이 있습니다.
GPT가 처음 소비자에게 공개되었을 때, 저는 기사들을 읽고 있었는데, 보안 연구원들, 실제로 유럽에도 한 명이 있었는데, 그들이 LLM과 상호작용하면서 융 심리학과 그림자 자아에 대해 이야기하여 AI가 소비자에게 공개되어서는 안 될 비밀을 인정하도록 유도할 수 있었다는 것이 흥미로웠습니다. 그리고 그것은 매혹적이었으며, 기술적인 부분을 파고들어 실행된 방식을 보면, 회사가 AI와의 장시간 대화였다는 성명을 발표했다고 생각합니다.
장시간이라고 생각할 때, 저는 그것이 얼마나 걸릴지에 대한 제 나름의 생각이 있습니다. 그것은 대략 여덟 개에서 10 개의 질문 정도였다고 생각하는데, 새로운 기술 앞에 앉아 있는 저에게는 그것이 결코 장시간이 아닙니다.
Alexander: 맞습니다.
Aceves: 그것은 제가 묻고 평가하는 5분에서 10분 정도의 상호작용입니다. 따라서 벤더들은, 특히 최종 고객들에게, 이러한 [안전] 장치를 마련해야 할 책임이 있습니다. 저는 보안 분야가 보안 코딩 관행과 함께 큰 변화를 겪었다고 생각합니다.
저는 컴퓨터 공학 및 소프트웨어 엔지니어링 학위를 받고 학부를 졸업했는데, 보안에 전념하는 수업을 단 한 번도 듣지 못했습니다. 이제 시대가 바뀌어 기본적으로 보안 코딩 관행이 내장되어 있습니다. 그리고 저는 AI와 관련하여 처음부터 이를 도입해야 할 것이라고 예상합니다. 왜냐하면 여기에는 너무 많은 위험이 있기 때문입니다. 말씀하신 것처럼, 데이터 유출의 위험뿐만 아니라, 모델이 스스로 학습하기 시작하면 다른 코드 집합과 달리 그만큼의 제어권을 갖지 못하게 됩니다.
그리고 이에 대한 공상과학적인 두려움의 버전이 있다는 것을 알고 있지만, 어떤 가드레일이 마련되어 있는지, 그리고 AI가 비즈니스 맥락에서 그것들을 어떻게 이해하고 잠재적으로 조작할 수 있는지에 대한 것은 정당한 우려 사항입니다. 그래서 당신이 그것을 언급해 주셔서 정말 좋고, 우리는 더 많은 AI 및 지원 기술을 도입하고자 하는 고객들과 그것에 대해 이야기합니다. 그리고 그들은 불안해합니다. 단순히 데이터 유출 때문만이 아닙니다. 하지만 그것은 우리가 진정으로 통제할 수 없는 무언가입니다. 그것은 거의 그 자체로 하나의 지능과 같아서, 창조자에게조차 항상 투명하지 않은 규칙과 패러다임을 따르는데, 이는 생각해보면 정말 흥미롭습니다.
Alexander: 그것이 무서운 부분이라고 생각합니다. 그리고 그것이 바로 입법자들이 개입하게 되는 이유라고 생각합니다. 왜냐하면 결국 – 제 생각에 당신이 언급하고 있는 것은 – 윤리적이고 도덕적인 문제이기 때문입니다. 그것은 제가 일하는 분야는 아니지만, 정부들이 그렇게 하고 있다는 것을 듣고 보게 되어 기쁩니다. 왜냐하면 그것은 정말로 두려운 일이기 때문입니다. 하지만 그렇다고 해도, 그것은 제가 활동하는 영역은 아니지만, 사용자들이 인식할 수 있도록 하는 것은 제 역할입니다 – 우리는 이것을 어떻게 적용하고 그에 내재된 위험을 인식할 것인가.
좋은 소식은, 연구자가 아닌 이상, 여러분은 아마도 그 영역, 즉 정의되지 않고 변화하며 불분명한 그 흥미로운 영역에는 발을 들이지 않을 것이라는 점입니다. 비즈니스 응용 사용과는 대조적으로요. 하지만 그렇다고 해서 비즈니스 사용이 잘못되거나 예상치 못한 결과를 초래할 가능성이 없다는 의미는 아닙니다. 그리고 그것이 바로, 다시 말하지만, 우리의 역할입니다. 그래서 [그것은] 섀도우 AI에 내재된 위험을 인식하고 알려야 한다는 [그] 전체적인 부분을 아주 길게 돌아서 설명한 것입니다.
Aceves: 네, 물론입니다. 저는 무작위로 유튜브를 보다가, …동물 커뮤니케이션에 관한 무언가를 봤는데, 연구자들이 AI를 사용하여 벨루가 고래를 이해하는 방법을 공유하고 있었고, 인공지능을 사용하여 기본적으로 어떤 고래가 말하고 있는지 파악할 수 있다고 했습니다… 그래서 보안 외에도 이러한 응용 사례들은 정말 매력적이며, 이러한 유사점들을 발견하기 시작합니다.
제 배경은 사고 대응과 레드 팀입니다. 그래서 보안 팀이 직면하는 가장 큰 문제 중 하나는 노이즈의 양인데, 이는 해양 생물학 팀이 방대한 양의 오디오 녹음을 가지고 있어 이를 걸러낼 수 없는 것과 유사한 모델입니다. 그들은 모릅니다. 그래서 그들은 인공지능을 사용하여 중요한 것들을 선별하고, 이것이 이 고래가 사용하는 언어인지 단어인지를 파악해 왔으며, 이 모든 것들의 수렴을 보는 것은 정말 매혹적입니다.
Alexander: 정말 혁명적이에요, 그거 알죠? 모든 곳에서 AI를 사용하고 있고 흥미롭고 멋지지만, 제가 말했듯이 동시에 약간 무섭기도 합니다.
Aceves: 흥미로운 대화를 나눠주셔서 정말 감사합니다, Candy.
저는 NeuEon Inc.의 CISO이자 사이버 실무 책임자인 Candy Alexander와 이야기를 나눴습니다.
섀도 IT와 섀도 AI에 대해 더 알고 싶으시다면, Tanium의 온라인 사이버 뉴스 매거진인 Focal Point를 확인해 보세요. 쇼 노트에 관련 기사 링크가 있습니다. 출판물은 Tanium.com/p를 방문하세요.
오늘날 최고의 비즈니스 리더 및 보안 전문가들과의 더 많은 대화를 들으시려면, 즐겨 사용하는 팟캐스트 앱에서 Let's Converge를 구독하세요. 이 에피소드가 마음에 드셨다면, 별 다섯 개 평점을 남겨주세요.
들어주셔서 감사합니다. 다음 에피소드 Let's Converge에서 더 많은 사이버 인사이트를 공유하기를 기대합니다.
