최근 딥페이크를 이용한 다양한 피해사례가 보도되고 있습니다. 혁신적 기술임이 분명하나 각종 부작용도 심각한 딥페이크, 이와 관련한 법적 쟁점 및 동향에 대해 알아보겠습니다.

딥페이크(Deepfake)란, 인공지능 기술인 딥러닝(Deep Learning)과 ‘가짜’를 의미하는 페이크(Fake)의 합성어로 인공지능 기술을 이용하여 진위 여부를 구별하기 어려운 가짜 이미지나 영상물을 뜻합니다. 실제와 유사한 데이터를 생성하려는 ‘생성 AI모델’과 데이터 진위여부를 판별하는 ‘분류 AI모델’을 경쟁시켜 각 모델의 학습을 반복하는 과정을 통해 원본과 구별이 거의 불가능할 정도로 정교한 합성물을 만들어내는 것입니다. 근래에는 생성형 AI를 이용한 모든 가짜 콘텐츠로 그 의미가 확대되어 사용되고 있습니다.

정교한 딥페이크 기술은 특수효과에 활용되어 사망 인물을 그려내거나, 높은 정확도의 의료영상을 구현하는 등 콘텐츠 품질 개선에 큰 기여를 합니다. 그러나 대량으로 제작 및 유포가 가능하므로 쓰이는 방향과 목적에 따라 심각한 문제를 일으키기도 하는데요, 주요 피해사례로는 1)사기 2)가짜뉴스 3)음란물 유포 4)저작권등 침해가 있습니다.

1. ⑴ 사기, 피싱범죄에 악용

   금년 2월, 한 다국적 금융회사의 홍콩지사가 회사 임직원들의 얼굴을 합성한 ‘딥페이크 화상회의’까지 동원한 사기에 속아 한화 약 340억 원의 손해를 입은 사건이 보도되었습니다. 금융사기는 직접적인 경제적 이익을 취하므로 생성형 AI를 활용하여 더욱 정교하고 악의적으로 발전할 수 있습니다.
   PwC UK는 금융사기 시 AI활용 방식으로 1)텍스트 및 이미지 생성 2)챗봇 3)딥페이크 영상 4)음성 복제 5)표적 정교화 6)무작위 해킹 시도 등을 제시하였는데요, 각 유형을 대략적으로 살펴보면 다음과 같습니다.

   구분	주요 내용
   텍스트 및 이미지 생성	- 사기를 위한 맞춤형 이메일, MMS, 이미지 콘텐츠 생성에 사용
   챗봇	- 대규모 인력 투입 없이 챗봇만으로 불특정 다수에게 연락 가능
   딥페이크 영상	- 딥페이크 동영상을 클릭 미끼로 사용하여 사기, 투자 등 유도
   음성 복제	- 기존 보이스피싱에서 친척, 지인 등의 음성 복제 후 실시간 대화까지 가능
   표적 정교화	- 빅데이터를 통해 피해자 식별 및 개인의 취향에 맞는 사기콘텐츠 제작 가능
   무작위 해킹 시도	- 금융 시스템에 대한 무차별 공격 가능(신용카드 BIN 공격 등)

   출처 : PwC UK & Stop Scams UK

   2022년 기준 국내 보이스피싱 피해금액이 약 1,451억 원으로 과거 대비 규모는 크게 감소하고 있으나(‘19년도 6,720억 원), 신종 사기 피해가 지속적으로 발생하고 있는 점, 보이스피싱 피해의 약 80%가 지인 사칭형이라는 점을 고려할 때 향후 생성형 AI기반의 딥페이크 영상 및 음성이 사기에 활용될 가능성은 상당히 높습니다. 이에 대응하여 은행권 중심으로 생성형 AI기반 금융사기를 사전에 탐지하거나 막을 수 있는 기술력 확보에 많은 투자가 이루어지는 중이지만 관련 제도 마련은 아직 시작단계로 볼 수 있습니다.

2. ⑵ 정치, 선거 가짜뉴스

   조 바이든을 비꼬는 해리스부터, 흑인과 다정한 포즈를 취하는 트럼프까지 이번 미 대선은 AI로 조작된 이미지나 영상을 사실과 구별하는 것이 그 어느 때보다 중요했습니다. 지난 2월에는 비록 가짜 영상임을 밝혔으나 윤석열 대통령이 “국민을 괴롭히는 법을 집행해 왔다”고 고백하는 딥페이크 영상이 국내외 웹사이트를 통해 유포되기도 했고요. 이렇듯 정치, 선거에서의 가짜뉴스는 유권자들이 객관적 사실보다 개인의 신념 또는 감정에 의지하는 탈 진실(Post Truth) 경향을 강화시켜 정치적 양극화를 심화시킵니다.
   
   작년 12월 개정된 ‘공직선거법’에서는 ‘딥페이크영상등’을 이용한 부정선거운동 또는 허위사실공표를 금지함으로써 변화된 선거환경에서 유권자가 선거 관련 객관적 정보를 습득할 수 있는 최소한의 제도적 안전장치를 마련했습니다.

   [공직선거법] (개정 2023.12.28.)

   제82조의8(딥페이크영상등을 이용한 선거운동)

   1. ① 누구든지 선거일 전 90일부터 선거일까지 선거운동을 위하여 인공지능 기술 등을 이용하여 만든 실제와 구분하기 어려운 가상의 음향, 이미지 또는 영상 등(이하 “딥페이크영상등”이라 한다)을 제작·편집·유포·상영 또는 게시하는 행위를 하여서는 아니 된다.

   제255조(부정선거운동죄)

   1. ⑤ 제82조의8제1항을 위반한 자는 7년 이하의 징역 또는 1천만원 이상 5천만원 이하의 벌금에 처한다.

   아울러, 선거운동기간이 아닌 때에도 가상의 정보라는 점을 명시하게 하고(제82조의8 제2항) 이를 위반한 경우 허위사실공표죄로서 최대 7년의 징역형에 처하도록 규정했습니다(제250조 제4항).

3. ⑶ 음란물 제작·유포

   딥페이크의 폐해가 가장 심각한 분야는 디지털성범죄일 것입니다. 지속적인 문제제기가 있었으나 최근 “텔레그램’을 이용한 일반인 대상의 딥페이크 음란물 합성 및 유포 피해사례가 공론화되며 심각한 사회문제로 인식되기 시작했습니다. 딥페이크 음란물은 기존 보편화된 컴퓨터그래픽 기술에 AI 딥러닝기법으로 누구나 손쉽게 제작이 가능하고 소셜미디어를 통해 급속도로 유포되며, 영상의 진위 여부를 완벽히 판별하기 어렵기 때문에 피해 규모가 광범위한 특성이 있습니다. 실제 지난 10월까지의 교육부 ‘학교 딥페이크 성범죄 피해 조사’ 결과 총 누적 피해자수가 900여명에 이르는 등 그 피해범위가 유명인을 넘어 일반인으로까지 확대된 것을 알 수 있습니다.
   
   이에 따라, 10월 16일부터 시행된 개정 ‘성폭력범죄의 처벌 등에 관한 특례법’(이하, ‘성폭력처벌법’) 및 ‘아동·청소년의 성보호에 관한 법률’(이하, ‘청소년성보호법’)에는 실존 인물 대상의 허위 음란물 제작 또는 유포에 대한 처벌을 강화 또는 신설하는 내용이 담겨있습니다.

   [성폭력처벌법] (개정 2024.10.16.) * 허위영상물을 반포등을 할 목적 없이 제작 및 소지만 해도 처벌하는 등 처벌 범위 확대

   제14조의2(허위영상물 등의 반포등)

   1. ① 사람의 얼굴·신체 또는 음성을 대상으로 한 촬영물·영상물 또는 음성물(이하 “영상물등”이라 한다)을 영상물등의 대상자의 의사에 반하여 성적 욕망 또는 수치심을 유발할 수 있는 형태로 편집·합성 또는 가공(이하 “편집등”이라 한다)한 자는 7년 이하의 징역 또는 5천만원 이하의 벌금에 처한다.
   2. ④ 제1항 또는 제1항에 따른 편집물등 또는 복제물을 소지·구입·저장 또는 시청한 자는 3년 이하의 징역 또는 3천만원 이하의 벌금에 처한다.

   [청소년성보호법] (개정 2024.10.16.) * 아동·청소년성착취물을 이용한 협박·강요 처벌규정 신설 및 수사기관이 선제적 조치를 취할 수 있는 법적 근거 마련

   제11조의2(아동·청소년성착취물을 이용한 협박·강요)

   1. ① 아동·청소년성착취물을 이용하여 그 아동·청소년을 협박한 자는 3년 이상의 유기징역에 처한다.

   제38조의2(아동·청소년대상 디지털 성범죄의 피해확대 방지 및 피해자 보호 등을 위한 조치)

   1. ① 사법경찰관리는 아동·청소년성착취물에 대한 신고를 받고 해당 성착취물이 정보통신망을 통하여 게시·상영 또는 유통되고 있다는 사실을 확인한 경우에는 지체없이 「방통위법」 제18조에 따른 방송통신심의위원회에 해당 성착취물에 대한 삭제 또는 접속차단 등의 조치를 하여줄 것을 요청하여야 한다. (이하 생략)

4. ⑷ 저작권, 퍼블리시티권 등 침해

   합성의 재료가 되는 영상, 사진, 음성 등의 자료가 페이스북, 인스타그램 등 SNS에 퍼져있을 경우 정교한 딥페이크 합성물에 의해 권리침해를 당할 위험성이 높습니다. 이는 ‘저작권법’상 복제권(제16조) 및 2차적저작물작성권(제22조) 침해에 해당할 여지가 있으며, 직접적인 저작권 침해가 아니더라도 유명인을 활용한 딥페이크 합성물을 영업에 사용할 경우 퍼블리시티권에 대한 침해로서 ‘부정경쟁방지 및 영업비밀보호에 관한 법률’(이하 ‘부정경쟁방지법’) 제2조 제1호 (타)목 소정의 부정경쟁행위에 해당할 가능성이 있습니다.
   
   딥페이크로 제작된 불법 합성물은 SNS를 통해 유포되므로 피해가 확산 및 지속되는 경향이 있습니다. 아울러, 사기나 피싱 범죄에 활용되어 추가 피해를 양산하기도 합니다. 딥페이크 합성물로 인한 권리침해에 대해서는 ‘정보통신망 이용촉진 및 정보보호 등에 관한 법률’ 상 불법정보 유통 금지의무등에 따른 권리구제가 가능합니다.(제44조부터 제44조의4까지) 딥페이크 합성물이 권리침해의 규모, 범위, 분야의 측면에서 기존 정보통신망법상의 불법정보와는 본질적으로 다르게 널리 권리침해에 약용될 소지가 있다는 점을 고려하여, 제22대 국회에서는 ① ‘인공지능 기본법’ 제정에 대한 논의를 포함 ② 온라인 플랫폼 운영주체에게 딥페이크 합성물과 같은 불법정보를 삭제할 의무를 부과하는 방안 ③ 생성형 인공지능 서비스에 가짜 정보임을 표시하는 ‘워터마크’를 의무화하는 방안 등이 논의되고 있습니다.
   
   해외의 경우 EU는 금년 3월 세계 최초의 포괄적 인공지능 규제법인 ‘인공지능법(EU AI Act)’을 제정하여 AI 규제에 대한 기초를 마련하였고 초대형 온라인 플랫폼 및 검색엔진 서비스 제공자에게 딥페이크 워터마크를 의무화하는 내용 등을 포함한 ‘디지털서비스법(DSA, ’24.2월 적용)’을 제정하였습니다. 미국도 주는 물론 연방 차원에서 ‘딥페이크 책임법안’, ‘딥페이크 신용사기 방지법안’ 등을 발의하여 딥페이크로 인한 피해자 보호 및 금융사기 방지를 위한 법적 기반을 마련하고 있습니다.
   
   딥페이크 피해방지를 위한 제도마련은 빠르게 발전하는 기술 속도에 비해 아직 전 세계적으로 시작 단계인 듯합니다. 미디어, 의료 등 산업 전방위로 활용 가능성이 무궁무진한 딥페이크, 적절한 제도적 뒷받침과 개인의 AI 리터러시(AI Literacy : 인공지능 기술을 이해하고 활용 및 비판적으로 평가하는 역량) 함양에 대한 관심이 발전하는 기술의 선(善)용을 최대화하고 악용은 최소화할 수 있다면 좋겠습니다.