생성형 AI 기술은 이미 시대를 앞서가는 일부 기업들에게 매출, 고객 서비스, 마케팅, 자동화 분야에서 큰 성과를 가져다주고 있으며, 수많은 다른 기업들도 새해에 생성형 AI를 도입하기 위해 직원들을 준비시키고 있다. 생산성 향상에 대한 기대는 매우 매력적이지만, 기업들은 AI를 도입할 때 어떤 위험을 감수하게 되는지 파악해야 하며, 사이버 보안 분야에서 AI가 수행하는 역할에 대해서도 를 통해 확인해야 합니다.
다른 모든 연결형 디지털 기술과 마찬가지로, GenAI 대규모 언어 모델(LLM)과 이를 훈련하는 데 사용되는 데이터, 그리고 이를 사용하는 직원들은 잠재적인 데이터 유출 및 공격을 유발할 수 있습니다. 사실, 이미 몇 건의 놀라운 정보 유출 사건이 발생했습니다:
지난 봄, 삼성 직원들이 세 차례에 걸쳐 실수로 민감한 자료를 ChatGPT 에 업로드하여 유출하는 사고가 발생했는데, 여기에는 소프트웨어 코드와 회의 녹음 파일 등이 포함되어 있었으며, 이로 인해 회사는 직원들의 GenAI 서비스 사용을 금지했다. (ChatGPT나 구글의 Bard와 같은 제품의 편리함 때문에, 이러한 챗봇과 나누는 대화는 비공개가 아니라는 사실을 쉽게 잊게 됩니다.) 입력하신 정보는 를 통해 공개될 수 있습니다..) 불과 몇 주 전, 마이크로소프트 직원들이 개발자 플랫폼인 GitHub에 38 테라바이트 규모의 LLM 훈련 데이터를 올리는 과정에서 실수로 이를 공개해 버렸다.
이러한 보안 침해 사고는 대규모 언어 모델(LLM)을 활용하는 어떤 기업에게나 발생할 수 있지만, 그렇다고 해서 기업들이 생성형 AI에 대한 투자를 중단할 가능성은 낮다.
지난 11월 가트너(Gartner)의 설문조사에 따르면, IT 부서를 제외한 비즈니스 리더들은 2024 년에 기능별 예산의 평균 6,5%를 생성형 AI에 할당할 계획인 것으로 나타났는데, 가트너 그룹( ), 하버드 비즈니스 리뷰(Harvard Business Review),, , 은 이를 “자원 부족 상황에서 놀라울 정도로 높은 비중”이라고 평가했다. 또한 블룸버그 인텔리전스(Bloomberg Intelligence)의 ‘제너레이티브 AI 시장 전망( )’ 보고서( )에 따르면, 제너레이티브 AI 시장은 연평균 42% 성장하여 2032년까지 1,3 조 달러 규모에 달할 것으로 전망된다. 따라서 기업들은 이러한 시스템을 안전한 방식으로 설계, 구축 및 배포해야 할 책임이 있으며, 그렇지 않으면 위협 행위자들이 이러한 모델과 여기에 입력되는 데이터에서 막대한 가치를 찾아낼 것입니다.
로빈후드 파이낸셜(Robinhood Financial)의 전 최고보안책임자(CSO)이자 현재 클라우드 보안 연합(Cloud Security Alliance)의 AI 안전 이니셔티브 의장을 맡고 있는 케일럽 시마(Caleb Sima)는 “생성형 AI는 강력한 생산성 도구이지만, 우리는 이러한 시스템을 어떻게 보호해야 하는지 알아야 한다”고 말했다.
물론, LLM 사용에는 분산 서비스 거부(DDoS) 공격과 같은 많은 위험이 따르며, 이로 인해 고객이나 직원이 모델을 이용할 수 없게 될 수도 있습니다. 모델 자체의 애플리케이션 보안뿐만 아니라, 해당 모델에 연동되는 앱들에도 위험 요소가 존재하며, 이 모든 것이 데이터 유출 및 모델 탈취로 이어질 수 있습니다. 그리고 접근 권한 문제도 있습니다. 조직 내에서 LLM에 높은 수준의 권한을 부여해 다른 데이터베이스나 애플리케이션에 접근하게 하거나, 수표 발행이나 서비스 중단과 같은 작업을 수행할 수 있게 할 경우 발생할 수 있는 문제들을 상상해 보십시오. 적어도 당분간은 대규모 언어 모델(LLM)을 엄격히 통제해야 한다.
LLM과 관련된 보안 침해 사고를 방지하려면 이러한 시스템을 보호하기 위한 구체적인 조치가 필요합니다. 다음은 전문가들이 기업이 직면할 가능성이 높다고 보는 상위 3가지 공격과, 모든 조직이 반드시 마주하게 될 전반적인 GenAI 관련 과제, 그리고 각 공격에 대해 가장 효과적으로 방어하는 방법입니다:
1. 프롬프트 주입 공격
이게 뭐죠? 여기에는 공격자가 프롬프트, 즉 요청(“휴일 테마를 활용한 신제품 출시 아이디어를 생성해 주세요”)이나 질문(“LA에서 보스턴까지 가는 가장 빠른 경로는 무엇인가요?”)을 작성하는 과정이 포함됩니다. 이는 LLM에게 사용자가 원하는 행동을 지시하는 것으로, LLM을 조종하여 앱이 충돌하게 하거나 비공개 정보를 유출하도록 유도하는 등 원치 않거나 악의적인 행동을 유발하도록 설계되었습니다. 또한 고객 서비스 챗봇이 개인 데이터 또는 기타 민감한 정보를 요청하게 하거나, 공격자에게 무단 접근 권한을 부여하거나, 악성코드나 가짜 뉴스 기사를 생성하거나, 승인되지 않은 구매를 수행하도록 유도할 수 있습니다.
“생성형 AI는 강력한 생산성 도구이지만, 이러한 시스템을 어떻게 보호해야 하는지 알아야 합니다.”클라우드 보안 연합(Cloud Security Alliance) AI 안전 이니셔티브 의장, 케일럽 시마
가장 효과적인 방어책: 전문가들은 현재로서는 대규모 언어 모델(LLM)을 표적으로 삼는 프롬프트 주입 공격을 완전히 방어할 방법은 없다고 말하지만, 기업들이 위험을 완화하기 위해 취할 수 있는 조치들이 있습니다. 오픈 웹 애플리케이션 보안 프로젝트(OWASP)는 다음과 같이 권고합니다:
- LLM 또는 LLM 플러그인 에 대한 특권 액세스 권한을 가능한 한 최저 수준으로 제한하십시오. 예를 들어, 연구개발(R&D), 마케팅, 법무 등 특정 업무 분야에 특화된 대규모 언어 모델(LLM)을 구축하여 해당 부서의 사용자만 접근할 수 있도록 하는 것입니다. LLM 플러그인(언어 번역이나 다른 앱 및 데이터베이스와의 연동과 같은 추가 기능을 LLM에 제공하는 것)은 보안 측면에서 철저히 검토되어야 하며, 사용은 최소한으로 제한해야 합니다.
- 가능한 한 자주 를 통해 사람이 개입하여 출력을 확인하고 승인하도록 하십시오. 특히 LLM이 외부 데이터나 소프트웨어와 상호작용할 때는 더욱 그렇습니다.
- 의도하지 않은 상호작용을 방지하기 위해 사용자 프롬프트를 외부 콘텐츠 소스 와 분리하고, 해당 프롬프트를 별도로 처리하십시오.
- LLM을 신뢰할 수 없는 사용자로 간주하고 , 사용자와 시스템과의 상호작용 능력을 절대적으로 필요한 경우로만 제한하십시오. 최소 권한 원칙을 염두에 두세요. GenAI 도구(그리고 기업 컴퓨터 네트워크에서 사용되는 그 밖의 모든 도구와 절차도 마찬가지입니다)에 관해서는, 제로 트러스트 가 든든한 조력자가 되어 줄 것입니다.
2. 데이터 오염 공격
이게 뭐죠? LLM을 대상으로 한 데이터 중독 공격은 모델에 입력되는 훈련 데이터를 표적으로 삼거나, LLM을 악의적으로 조정하여 모델의 정확성이나 효율성을 저해할 수 있는 시스템상의 취약점을 유발하는 방식으로 이루어집니다. 데이터를 조작함으로써, 위협 행위자들은 모델을 조종해 허위 정보를 유포하도록 만들 수도 있다. 이러한 공격은 원한을 품은 직원 이나, 훈련 데이터에 접근하는 데 성공한 외부인에 의해 수행될 수 있습니다.
“[AI 도구의] 머신러닝 모델의 출처를 시간 경과에 따라 추적하고, 심지어 디지털 서명을 검증하여 신뢰하는 조직이 해당 모델이 자신들의 것임을 확인하도록 할 수 있습니다.”월터 헤이독, StackAware 설립자 겸 CEO
최고의 방어책: 데이터 포이즌 공격에 대비하기 위해 기업은 훈련 데이터의 무결성과 모델 자체의 무결성에 주력해야 합니다. AI 사이버보안 기업 스택어웨어(StackAware)의 창립자이자 CEO인 월터 헤이독은 “모델이 학습에 사용된 데이터의 출처와 모델 자체의 출처를 파악하고 싶어 한다”고 말했다.
헤이독(Haydock)은 기업들이 인공지능(AI) 모델 구축에 사용하는 소프트웨어 패키지를 소프트웨어 원자재 명세서(SBOM, )를 통해 추적할 것을 권고하고 있습니다.. 주어진 소프트웨어 제품 내의 모든 구성 요소와 종속성을 나열한 이 목록은 오늘날 비즈니스 운영에 있어 필수적이고 표준적인 요소가 되었습니다(또한 현재 연방 정부에 소프트웨어를 판매하는 모든 공급업체에게 의무화되어 있습니다). 이는 기업을 공격에 노출시킬 수 있는 애플리케이션의 위험 요소를 근절할 수 있기 때문입니다.
[관련 기사: 공급망을 강화하기 위한 미국 정부의 대응 방안]
“특정 머신러닝 (새 탭에서 열림) 모델의 출처를 시간의 흐름에 따라 추적할 수 있을 뿐만 아니라, 디지털 서명을 검증하여 신뢰할 수 있는 기관이 이 모델이 자신들의 것임을 확인한 것임을 알 수 있습니다,”라고 헤이독은 말합니다.
3. 데이터 유출
이게 뭐죠? LLM의 경우, 데이터 유출은 다른 데이터베이스나 데이터 저장 시스템에서 발생하는 데이터 유출과 유사합니다. 이러한 시스템과 관련 데이터를 적절히 관리하지 않을 경우, 대규모 언어 모델(LLM)과 이에 데이터를 공급하는 데이터 파이프라인을 통해 민감한 데이터, 규제 대상 데이터 또는 지적 재산권이 유출될 수 있으며, 이는 모두 심각한 보안 침해 및 개인정보 침해로 이어질 수 있습니다.
최고의 방어책: 기업은 모델에 입력하는 데이터의 출처를 파악하고, 해당 데이터가 정확하며 변조되지 않았음을 확인해야 하며, 민감한 정보, 독점 정보 또는 규제 대상 데이터가 제거되었는지 확인해야 합니다. 헤이독 등은 조직들이 데이터를 모델에 입력하기 전에 데이터를 정제할 수 있는 절차를 마련해 두도록 권고한다. “데이터 유출을 방지하는 가장 좋은 방법은 해당 데이터가 모델에 절대 전달되지 않도록 하는 것”이라고 그는 말한다. 즉, 연구자들이 모델에 “학습”을 시키기 위해 사용하는 훈련 데이터에 민감한 고객 정보, 기업의 지적 재산권, 또는 보호할 가치가 있는 기타 “데이터의 보물” 이 포함되지 않도록 해야 한다는 뜻입니다.
타사 AI 시스템을 사용할 때, 조직은 생성형 AI 모델이 사용자가 제공한 데이터를 기반으로 자체 학습을 수행하지 않는지 반드시 확인해야 하며, 이러한 제한 사항은 서비스 제공업체와의 계약서에 명확히 명시되어야 한다. 또한 의 직원 대상 사이버 보안 교육 프로그램 은 AI에 대한 내용을 포함하도록 업데이트되어야 하며, 이를 통해 직원들이 민감한 데이터를 제3자 모델과 공유해서는 안 된다는 점을 알 수 있도록 해야 합니다.
[함께 읽어보세요: 최신 사이버 보안 위협에 대해 직원들을 교육하는 비결은? 교육(및 재교육) – LA 카운티 CISO가 이를 어떻게 실천하는지 자세히 설명한다]
많은 GenAI 서비스들이 고객 데이터를 보호하기 위한 조치를 취하고 있습니다. 또한 조직은 이러한 생성형 AI 서비스를 자체 내부 데이터 소스나 연구 파일과 연결할 때마다 주의를 기울여야 합니다. 생성형 AI 서비스를 기존 데이터 저장소에 연결할 경우 민감한 데이터가 유출될 위험이 급격히 증가하기 때문입니다.
그리고 또 한 가지 – “섀도우 AI”의 불가피한 사용
이게 뭐죠? GenAI 시대에 모든 조직이 직면하게 될 “또 다른 위험”은 바로 직원들 사이에서 제3자 GenAI 서비스를 무단으로 사용하는 것입니다. 모바일 및 클라우드 컴퓨팅이 “섀도우 IT”를 통해 기업 내부로 비공식적인 엔드포인트 기기 및 애플리케이션을 유입시켰던 것처럼, 소비자용 대규모 언어 모델(LLM)은 직원들이 이러한 GenAI 서비스에 대한 이용권을 구매하여 다양한 업무에 활용할 수 있도록 하고 있습니다.
최고의 방어책: 모바일 및 클라우드 컴퓨팅의 초기 단계에서 얻은 교훈을 살펴보세요.. 그다지 오래전만 해도 기업들은 직원들이 근무 중 개인 소유의 기기와 소프트웨어를 사용하며 회사의 컴퓨터 네트워크에 접속할 때 발생하는 위험을 어떻게 관리해야 할지 고민해야 했습니다. 그때와 마찬가지로, 기업들의 대응 방식은 제각각일 것이며, 일부는 직원 주도의 제너레이티브 AI 사용을 전면 차단하려 할 것이고, 다른 일부는 사례별로 사용을 규제하려 할 것입니다.
[함께 읽기: 직원들이 사이버 보안 정책을 위반하는 이유]
“완전한 금지는 효과가 없을 것”이라고 헤이독은 말한다. “사람들은 그냥 무시해 버릴 거예요.” 그는 “[위험을 관리하는] 최선의 방법은 이것이 현실임을 인정하고, 가능한 한 이를 잘 파악하는 것”이라고 말한다. 일반적으로 이는 직원들이 새로운 생성형 AI(GenAI) 서비스를 이용하기 전에 승인을 받아야 하며, 보안팀과 기술팀이 해당 서비스를 검토한 후 직원들이 사용할 수 있는 승인된 AI 공급업체 목록에 추가해야 함을 의미합니다.
해당 정책을 제대로 수립하려면 직원들의 생산성과 보안 사이에서 적절한 균형을 찾을 때까지 몇 차례의 시행착오가 필요할 것입니다. 사실, 기업 내에서 생성형 AI를 보다 광범위하게 도입하는 데 있어서도 마찬가지일 가능성이 높습니다. 지금 가장 중요한 것은 주요 위험 요소를 파악하고, 이를 관리하기 위한 적절한 조치를 취하기 시작하는 것입니다.
