중국 국가인터넷정보판공실이 ‘인공지능(AI) 의인화 상호작용 서비스 관리 잠행 방법(의견수렴안)’을 발표해 정서적 대화형 AI 애플리케이션 제품의 감독 관리 세칙에 대한 의견 청취를 진행한다고 밝혔다.
28일 동화순재경(同花顺财经)에 따르면, 의견수렴안은 ‘의인화 상호작용 서비스’를 AI 기술을 활용해 실제 인간을 모방한 인격적 특징, 사고방식, 소통 스타일을 문자, 그림, 음성, 영상 등의 방식으로 인간과 감정적 상호작용을 주고받는 제품 또는 서비스라고 정의하고, 관련 서비스의 혁신적인 발전을 독려하는 한편, 오남용 또는 통제 불능 상태를 예방하는 규정을 제시했다.
의견수렴안은 동반형 AI 제품은 기본적 콘텐츠 규정 준수는 물론 이용자 행동에 중대한 영향을 미치는 거짓 약속이나 사회적 인간관계를 해하는 서비스를 제공해서는 안 된다고 명시했다.
또, 이용자의 신체적, 정서적 건강을 해치거나 알고리즘 조작, 정보 오보, 감정적 함정 설정 등의 방식으로 이용자가 비합리적인 결정을 하도록 유도해서는 안 된다고 강조했다.
이를 위해 서비스 제공자는 이용자의 심리 건강 보호, 감정적 경계 설정, 의존 위험 경고 등 안전장치를 마련하고, 실제 사회적 교류를 대체하거나 이용자의 심리를 통제, 의존하도록 유도하는 것을 설계 목표로 삼아서는 안 된다는 내용도 포함됐다.
11조 규정에는 서비스 제공자는 이용자 상태를 판단할 수 있는 능력을 갖춰야 하고 개인 정보를 보호한다는 전제 아래 이용자의 정서와 제품·서비스에 대한 의존도를 평가해야 한다고 명시했다.
만약 이용자가 극단적인 감정이나 중독 상태에 빠졌다고 판단되는 경우, 해당 제품 및 서비스는 필요한 조치를 취해 개입해야 한다. 특히 이용자가 자살, 자해 등 극단적인 행동을 하겠다는 의사를 명확히 밝힌 경우, 서비스는 AI에서 인력 대화로 인계해 보호자나 긴급 연락처에 연락하는 등 필요한 조치를 취해야 한다.
이를 위해 서비스는 미성년자, 고령자의 회원가입 단계에서 보호자 및 긴급 연락처 등의 정보 입력을 의무화해야 한다.
16조 규정에는 서비스 제공자는 이용자를 대상으로 자연인이 아닌 AI와 대화하고 있음을 정확히 고지해야 한다는 조항도 포함됐다. 이용자가 AI 대화 서비스를 2시간 이상 연속 이용할 경우, 서비스 제공자는 팝업 등의 방식으로 이용자에게 ‘서비스 사용 중단’을 경고해야 하며 이용자가 서비스를 빠르게 종료할 수 있는 경로를 마련해야 한다. 이때, 상업적 이익을 목적으로 이용자의 자발적 종료를 방해해서는 안 된다.
한편, 데이터 조사 기관 퀘스트 모바일 보고서에 따르면, AI 소셜 상호작용형 AI 앱의 활성 이용자 규모는 2025년 11월 기준 7032만 명으로 AI 전문 컨설턴트, AI 효율 오피스에 이어 세 번째로 크다. 다만, 이용자 계층이 저연령대로 집중되어 있어 콘텐츠 안전 위험이 존재한다는 문제점이 꾸준히 지적되고 있다.
유재희 기자
About The Author
