아동 성착취물 AI 기술로 삭제…디지털성범죄 선제적 대응

내 손안에 서울

발행일 2024.05.22. 15:44

수정일 2024.08.28. 17:20

서울시가 AI 안면인식 기술을 활용한 '아동·청소년 디지털 성범죄 감시 시스템'을 개발했다.

서울시가 디지털 성범죄 예방과 피해자 지원을 위해 지난해 3월 전국 최초로 AI(인공지능) 기술을 도입한 데 이어, 아동·청소년 성착취물을 특정할 수 있는 AI 감시 기술을 전국 최초로 개발·도입해 24시간 자동 추적·감시에 나선다.

2023년도 3월부터 서울연구원이 핵심기술 연구개발에 착수, 서울 디지털 성범죄 안심지원센터와 함께 다수의 아동·청소년 피해 영상물을 분석하여 올해 5월 프로그램 개발을 완료했다.

서울시는 아동·청소년들은 디지털 성범죄 피해를 입더라도 부모님에게 말하지 못해 신고가 이뤄지지 않아 피해 영상물이나 사진이 유포·재유포 되는 경우가 많아 이번 기술 개발에 나섰다. 아동·청소년의 경우 관련 법에 따라 당사자나 부모의 신고 없이도 피해 영상물 삭제가 가능한 만큼, AI를 통해 아동·청소년 성착취물을 빠르게 찾아내고 삭제해 피해에 신속 대응한다.

서울시 디지털 성범죄 AI 삭제지원 시스템 구축

이번에 개발한 ‘아동‧청소년 디지털 성범죄 AI 감시 시스템’은 AI 딥러닝 기반 안면인식 기술로 성인과 잘 구분되지 않는 아동‧청소년의 성별과 나이를 판별할 수 있는 시스템이다.

특히 주목할 만한 점은 영상물에 ‘얼굴’이 나오지 않더라도 아동·청소년 피해 영상물 여부를 찾아낼 수 있다는 점이다. AI가 피해 영상물에 자주 등장하는 책, 교복, 인형 등 주변 사물은 물론, 이미지 속 텍스트, 청소년들이 주로 사용하는 언어까지 함께 인식해서 최종적으로 피해 영상물 여부를 판별하게 된다.

아동․청소년 디지털 성범죄 AI 감시시스템 결과 화면(예시)

또한, 키워드 입력부터 영상물 검출까지 90초밖에 걸리지 않기 때문에 기존에 삭제지원관이 관련 키워드로 피해 영상물을 검색해서 수작업으로 찾아낼 때(2시간)와 비교하면 검출 속도가 1/80로 크게 개선되고, 정확도도 300% 이상 향상된다. 이렇게 되면 지난해 수작업으로 이뤄진 모니터링 건수(15만 건)의 2배인 30만 건까지 모니터링이 가능해지고, AI 학습 데이터가 축적될수록 정확도와 속도는 더욱 향상될 것으로 기대된다.

AI가 사회관계망서비스(SNS) 빅데이터 분석을 통해 아동‧청소년 성범죄물 관련 신조어를 자동으로 생성할 수 있게 돼 영상물 검출에 사용되는 키워드도 다양해진다. 예컨대 기존에는 삭제지원관이 ‘딥페(딥페이크의 약자)’로 검색을 했다면 AI를 통해 ‘뒵페’ ‘뒷페’ 등 신조어 자동생성이 가능해지는 것. 이를 통해 기존에는 30개 키워드로 검색했다면 이제는 3.3배인 100개의 키워드를 생성해 보다 많은 피해 영상물을 찾아낼 수 있게 된다.

아울러, 시는 기존에 미국을 중심으로 유포됐던 피해 영상물이 최근 중국, 러시아, 베트남 등으로 확산되는 점에 착안해 국가 기반을 넓혀 검색 영역을 확장했다. 이에 AI를 통해 국내와 미국뿐 아니라 중국, 러시아 등의 국가에 유포된 피해 영상물 검색도 가능해진다.

아동·청소년 디지털 성범죄 AI 감시 시스템 활용 전/후

디지털 성범죄 안심지원센터, 2년 간 아동·청소년 피해지원 7배 이상 증가

서울시는 ‘서울 디지털 성범죄 안심지원센터’를 통해 긴급상담부터 수사·법률지원, 삭제지원, 심리치료·의료 지원까지 원스톱 지원하고 있다. 지난 2년간(2022.3~2024.3) 935명의 피해자를 지원했다. 총 지원 건수는 30,576건에 이른다.

시가 지원한 피해자의 연령대는 10~20대가 가장 높은 비율을 차지하고 있으며, 성별로는 여성이 85.78%, 남성도 12.09%였다. 특히 센터 개관 이후(22년 3월) 아동, 청소년을 대상으로 한 디지털 성범죄 피해 지원이 더욱 증가하고 있다. 2022년도 아동, 청소년 피해자는 총 50명으로 전체 피해자의 19.2%를 차지했으나(2022.3~2023.3월), 2023년도(2023.3~2024.3월)에는 총 104명(22.2%)으로 2배 이상 증가했다.

이에 따른 아동, 청소년을 대상으로 한 디지털 성범죄 피해지원은 2022년 총 2,026건에서 15,434건으로 7배 이상 증가했다.

아동·청소년 디지털 성범죄 피해 유형은 온라인 그루밍 68건(27.5%)이 대다수를 차지하였으며, 유포·재유포 45건(18.2%), 유포불안 43건(17.4%) 순이었다. 특히 최근에는 불법 사진합성, 남성 청소년 대상 몸캠피싱, 대출 조건 나체사진 전송 등이 증가하고 있다.

피해 사례는 연령별로 다른 특성들을 보였는데 ①만 8세 미만의 경우 온라인 게임을 통해 접근해 채팅을 하며 나체사진 등을 요구하는 경우 ②만 8~13세 미만의 경우 오픈채팅방 등을 통해 접근해 서열방, 노예놀이 등을 통해 성적인 사진을 요구하는 경우 ③만 13~19세 미만의 경우 채팅알바, 불법 사진합성 등을 통해 성적인 사진을 요구하는 경우가 많았다.

모두 게임, 채팅앱, 사회관계망서비스(SNS) 등 온라인 공간이 가진 익명성을 이용해 접근해 정서적 지지를 해주거나, 원하는 것을 해준다는 조건으로 길들이며 사진이나 영상물을 착취하는 방식으로 범죄를 벌였다. 하지만 피해자들이 사진을 더 보내지 않으면 이를 부모님에게 알리거나 유포하겠다고 협박하며, 더 많은 사진을 요구했다.

또한, 온라인에 그치는 것이 아니라 그루밍(길들이기)을 통해 오프라인까지 유도해 물리적 성폭력은 12건, 신체적 폭력 2건, 스토킹범죄도 3건에 이르렀다.

디지털 성범죄 피해를 입은 아동·청소년, 시민 등은 센터 상담전용 직통번호 ‘815-0382(영상빨리)’나 누리집(www.8150382.or.kr)로 문의하면 된다.

김선순 서울시 여성가족정책실장은 “우리 사회를 충격에 빠트린 n번방 사건 이후 4년이 흘렀지만 여전히 아동·청소년을 대상으로 한 디지털 성범죄는 사라지지 않고 있고 그 피해도 심각하다”며 “서울시는 작년 전국 최초로 AI 삭제지원 기술을 도입한 데 이어서, 아동·청소년 성착취 영상을 특정할 수 있는 기술을 통해 선제적인 감시·삭제에 나서 아동·청소년이 안전한 서울을 만들어나가겠다.”고 말했다.

서울 디지털성범죄 안심지원센터

○ 위치 : 서울시여성가족재단 3층(동작구 여의대방로54길 18)
○ 주요 업무 : 피해자 원스톱 지원, 영상물 삭제, 디지털 성범죄 예방
○ 누리집 : 서울 디지털성범죄 안심지원센터
○ 상담 시간 : 월~금요일 10:00~17:00(점심시간 12:00~13:00)
- 직통번호 : 02-815-0382(영상빨리)
- 이메일 : 8150382@seoulwomen.or.kr
- 카카오톡 : 지지동반자0382 ☞안내 페이지 바로가기

태그

#디지털 성범죄 #아동청소년 영상물 삭제 #디지털 성범죄 AI 감시 #피해영상물 #아동청소년 디지털 성범죄 AI 감시 시스템 #안면인식 #안면인식기술 #N번방 #성착취 #AI 딥러닝 #아동 성착취 #몸캠 #딥페이스 #노예방 #AI #서울연구원 #아동청소년 성착취물 #디지털 성범죄 모니터링 #서울 디지털 성범죄 안심지원센터 #특별기획_첨단기술