2026년 11월 6일(금) 오후 3시 서울특별시의회 제1대회의실(의원회관 1층)에서 서울특별시의회가 주최하고 김길영 서울특별시의회 국민의힘 대표의원과 광운대학교 인간-AI거버넌스연구소가 공동 주관하며, Ryan Research Institute(RRI)·보건의료신문이 협력한 「AI 감정해석과 시민권리 보호를 위한 정책적 과제 토론회」가 개최됐다.
이번 토론회는 “AI가 당신을 판단할 때, 누가 그 판단을 바로잡는가?”라는 핵심 질문을 바탕으로, 인공지능이 시민의 언어·감정·심리상태를 추론하여 공공 행정 및 서비스 판단 근거로 활용할 때 발생하는 해석 권한의 이동, 시민의 이의제기 및 정정 권리, 실질적인 인간 감독 체계를 다루기 위해 마련됐다. 이도희 서울특별시의회 도시계획균형위원회 부위원장의 사회로 진행된 행사에는 학계, 공공기관, 의회, 전직 정부 인사 등이 참석해 공공 AI 도입 현황과 정책적 대안을 논의했다.
주요 인사 개회사·환영사·축사
김길영 대표의원은 개회사에서 “AI 기술의 도입 속도보다 중요한 것은 어떠한 원칙과 기준에 따라 책임 있게 활용하느냐에 있다”며 “AI의 분석 결과가 공적 판단에 활용된다면 과정의 투명성과 객관성을 확보해야 하며, 최종적인 판단과 책임은 반드시 사람과 공공기관에 있어야 한다”고 강조했다.
이경일 인간-AI 거버넌스 연구소 설립위원장은 환영사에서 “좋은 기술은 사람을 신속하게 돕는 데 기여해야 하며, 좋은 제도는 기술이 놓친 사람의 사정을 다시 듣고 잘못된 판단을 바로잡을 길을 남겨 두어야 한다”며 “설명과 책임의 절차를 통해 기술의 발전을 시민의 신뢰로 이어가야 한다”고 밝혔다.
오세훈 서울특별시장은 영상 축사를 통해 “AI가 내린 판단으로부터 시민의 권리를 어떻게 지킬 것인가라는 무거운 질문에 대응하여, AI의 오판과 편향을 사람이 직접 검증하고 통제할 수 있는 제도적인 안전망을 다져 나가겠다”고 전했다.
임만균 서울특별시의회 의장과 성흠제·이성배 부의장은 서면 축사에서 AI의 수치화된 판단이 시민의 다양한 사정을 모두 대변할 수 없음을 지적하고, 시민 권리와 목소리가 지켜지는 행정 윤리 지침과 감시 체계 수립의 필요성을 밝혔다.
기조발제: 「AI 감정해석과 해석 권한의 이동」
기조발제를 맡은 김상백 광운대학교 연구교수(RRI Paris 소장)는 기계의 추론이 공적 판단의 권위로 승격되는 조건을 분석하고 ‘멘탈 AI(Mental AI) 시대’로의 진입을 선언했다.
그는 행정 상담 가상 사례를 제시하며, 시민이 “괜찮습니다”라고 말했을 때 AI가 위기 위험을 ‘낮음’으로 추정하고 담당자가 이에 의존해 추가 연락을 생략하는 시나리오를 통해 추론의 타당성과 권한 부여의 정당성을 분리해 평가해야 한다고 밝혔다. 이어 AI 위험 평가를 ▲인식론적 타당성(추론의 타당성) ▲규범적 정당성(채택 권한의 정당성) ▲절차적 구제(이의제기 및 사후 수정의 실효성)의 세 차원으로 구분했다.
특히 ‘해석-결정 결합(Interpretation-Decision Coupling)’ 개념을 통해 “AI의 추론 출력을 기관이 공적인 행정적 의사결정 근거로 채택하는 순간 책임이 발생하는 문턱이 형성된다”고 정의했으며, ‘감정주권(Affective Sovereignty)’을 “사람이 자기 감정의 최종 해석자로 남도록 보장하는 설계 원칙”으로 제시했다. 이는 당사자가 기계의 명명을 거절하거나 자기설명 및 이의제기를 할 수 있는 사회기술적 설계 권리를 의미한다.
실증연구 결과로 레딧(Reddit) 관계 서사 351,734건을 분석한 결과, 정서적 강도와 서사 구조적 복잡성 간 상관계수는 0.009에 불과했으며, 인간의 서사 정서 표현 공간이 AI보다 약 1.7배 넓다는 점을 근거로 들었다.
김 교수는 서울형 공공 AI를 위한 6대 운영 원칙으로
① 추론의 고지
② 목적과 결정의 분리
③ 실질적인 인간 재검토
④ 시민의 이의제기와 정정
⑤ 고위험 상황의 유보와 전문가 연결
⑥ 전 과정의 기록과 책임
을 제시했다. 또한 서울특별시의회 3단계 정책 실행 경로로 1단계(기능 목록화), 2단계(이질적 2~3개 서비스 시범 점검), 3단계(조달·성과평가 반영)를 제안했다.
해외 학술 서면 기고 소개
토론회 좌장을 맡은 박태훈 광운대학교 경영대학원 교수(인간-AI 거버넌스 연구소장)는 4개국 연구자 총 9인(8개 기고)이 보내온 학술 서면 기고자를 공식 소개했다.
▶ 알도 피사노·티지아나 카타르치(이탈리아)는 AI가 감정 패턴을 기술할 수는 있으나, 이를 바탕으로 사람의 가치나 행동을 규정하는 규범적 판단을 내려서는 안 된다고 지적하며, 시스템이 ‘몸 없는 신탁(bodiless oracle)’이 되는 위험을 경고했다.
▶ 케이토 이노시타(일본)는 ‘감정주권’의 중요성을 강조하며, AI가 정정을 받아들였다고 말하는 것에 그치지 않고 반사실적 대화를 통해 정정 이후에도 AI의 불확실성 모델 및 이후 추론 과정이 실제로 달라지는지 검증해야 한다고 제안했다.
▶ 노르베르트 슈바르츠(미국)는 AI가 붙이는 감정 라벨이 현재 느끼는 감정보다 ‘과거 감정을 재구성하는 기억’과 ‘향후 평가·선택’에 더 큰 영향을 미친다는 가설을 제시했다.
▶ 줄리아 발렌티니(이탈리아)는 이용자가 정정을 요구할 때 AI가 대화 상대의 압박이 아닌 근거에 따라 올바르게 행동을 수정하는지 체계적으로 평가해야 한다고 주장했다.
▶ 워렌 맨셀(호주)은 지각통제이론에 기반한 AI 치료 챗봇(MYLO) 및 평가 도구를 소개했다.
▶ 아네케 부포네(미국)는 아동의 감정 경험 불완전성과 내밀한 대화의 상업적 학습 데이터화 금지를 강조하며, 독립적인 장기 안전성 검증 전까지 아동 대상 AI 대화를 제한해야 한다고 지적했다.
▶ 마르티나 발투치(벨기에·이탈리아)는 의료 현장에서 AI의 예측과 환자의 진술이 충돌할 경우, 돌봄윤리 관점에서 의사의 중재 아래 대화의 여지를 유지하고 환자의 참여권을 보호해야 한다고 제안했다.
▶ 피터 진 홍(미국)은 판단은 상황을 가장 잘 아는 사람(Situation Holder)에게 속하며, AI는 인간의 판단을 보조해 바닥을 높이는 역할을 하고 최종 결정과 상한선은 인간이 지켜야 한다고 강조했다.
지정토론 주요 내용
지정토론에서는 다양한 분야의 전문가들이 의견을 교환했다.
문인철 서울연구원 AI빅데이터랩 연구위원은 “공무원이 결정을 내리기 전 AI가 민원을 요약하고 분류하는 앞 단계에서부터 주요 내용이 누락될 위험이 있다”며 “사람의 확인이 형식적 승인에 그치지 않도록 실질적인 검토 시간과 역량 교육이 병행되어야 한다”고 지적했다.
주성환 서울AI재단 AI혁신사업본부장은 2026년 1월 제정된 ‘서울특별시 인공지능 활용 윤리 지침’과 내년부터 의무화되는 행정안전부의 ‘공공분야 AI 영향평가’를 설명하며, 발제에서 제안된 6대 운영 원칙이 공공 조달 및 법·제도 체계에 연계되어야 함을 강조했다.
최소영 한국보건사회연구원 연구원은 2026년 10월 8일 발표된 「정신건강 목적 생성형 AI 이용 가이드라인」을 언급하며, 자기 감정을 확신하지 못하는 이용자에게 AI의 라벨링이 성급한 자가 진단으로 이어질 수 있음을 밝혔다. 또한 서울시 AI 상담 챗봇 ‘마음이’ 등의 사례를 들어 고위험 상황의 전문가 실질 연결 체계 구축을 제안했다.
조지현 한국전자통신연구원(ETRI) AI안전연구소 선임연구원은 “한국어 표현의 맥락 이해 오류, 상태 추론 오류, 실제 행정 판단 활용 오류를 명확히 구분하여 평가해야 한다”며, 한국 사회문화적 맥락과 청소년·고령층 등 이용자 특성을 반영한 맥락 기반 AI 위험 벤치마크 평가 체계의 중요성을 설명했다.
권덕철 전 보건복지부 장관은 해외 EU AI Act의 위험 등급별 규제 모델과 국내 인공지능 기본법 체계를 비교하며, 공공 서비스뿐만 아니라 민간 생성형 AI 서비스가 이용자에게 미치는 정서적 의존 및 위험 상황에 대한 종합적인 법적·제도적 거버넌스 구축을 주문했다.
육명렬 전 강원지방기상청장은 기상청의 슈퍼컴퓨터 및 초기 AI 기법 도입 경험을 공유하며 “기술이 완벽하지 않은 단계에서 현장 담당자가 통제하고 개입할 수 있는 프로세스와 전문 인력 양성이 반드시 수반되어야 한다”고 조언했다.
종합토론 결과 및 3대 후속 과제
발제자와 토론자들은 교차 토론을 통해 서울시 공공 AI 행정 개선을 위한 3가지 핵심 후속 과제에 합의했다.
▶ 해석의 경계 확인
시민의 원래 진술, AI가 작성한 요약·추론, 실제 기관의 행정 조치를 명확히 구별하여 기록·관리한다.
▶ 인간 판단의 독립성 확보
담당자가 원문을 직접 확인하고 독립적으로 재검토할 수 있는 시간·권한·역량을 실질적으로 보장한다.
▶ 정정과 도움의 실효성 확보
시민의 이의제기 시 실제 조치 및 기록 변경을 이행하고, 위기 및 고위험 상황 발생 시 전문가에게 실질적으로 인계한다.
이번 토론회는 AI가 시민의 감정과 심리를 해석해 공적 판단에 활용되는 현실에서, 시민의 권리 보호와 인간 감독의 실질적 작동을 위한 정책적 과제를 공론화했다는 점에서 의미가 크다.
토론회 전체 영상은 서울시의회 공식 유튜브 채널(https://www.youtube.com/watch?v=BomgBb1rcgA)에서 확인할 수 있다.
){kind=small}
){kind=small}
){kind=small}
){kind=small}
