기계는 외국인의 한국어를 어떻게 들어야 하는가 ― 몸을 가진 음성과 AI 평가

핵심 요지 — 글과 다른 음성의 시간성·억양·몸의 특성을 살펴보고, 외국인과 장애인의 발화를 공정하게 평가하는 AI가 갖춰야 할 조건을 제안한다.

글을 평가하는 것과 말을 평가하는 것은 다르다. 글은 멈춰 놓고 다시 읽을 수 있지만 음성은 시간 속에서 지나간다. 같은 문장도 말하는 사람의 목소리와 속도, 억양, 긴장에 따라 다르게 들린다. 음성은 육체에 기반한 시계열 신호다.

외국인의 한국어 발음을 한국인 화자의 데이터로 만든 음성인식기에 넣으면 오류가 커질 수 있다. 장애인의 발화, 지역 억양, 어린이와 노인의 목소리도 표준 화자 중심의 모델에서는 쉽게 주변으로 밀려난다. 기계가 알아듣지 못한 것을 사람의 잘못으로 돌리면 AI 평가는 교육이 아니라 배제가 된다.

정확한 받아쓰기와 좋은 말하기는 다르다

음성인식은 말한 내용을 문자로 바꾸는 기술이다. 말하기 평가는 그보다 넓다. 음소의 정확성뿐 아니라 리듬과 강세, 억양 같은 초분절적 요소, 내용의 조직과 청자에게 전달되는 방식까지 다룬다. 구술 에세이라면 무엇을 말했는지와 어떻게 전개했는지도 함께 보아야 한다.

따라서 인식률이 높은 모델에 점수 기능을 붙인다고 평가 시스템이 완성되지는 않는다. 교육 목표를 정의하고, 학습자의 발달 단계에 맞는 피드백 단위를 설계하며, 기계가 자신 없는 부분을 사람에게 넘기는 구조가 필요하다.

화자 집단마다 다른 데이터가 필요하다

외국인 학습자의 발음에는 모국어의 음운 체계가 남는다. 장애인의 발화에는 개인별 운동 특성이 반영된다. 이를 오류로만 지우려 하지 말고 어떤 차이가 의사소통을 방해하고 어떤 차이는 다양성으로 받아들일 수 있는지 구분해야 한다.

데이터 수집 단계부터 다양한 화자를 포함하고, 집단별 성능을 따로 공개해야 한다. 점수가 낮을 때는 발음이 문제인지, 녹음 환경인지, 모델이 해당 화자 집단을 충분히 학습하지 못했는지 설명할 수 있어야 한다.

AI 교사의 역할은 심판보다 코치에 가깝다

사람이 모든 발화를 처음부터 끝까지 듣고 채점하면 시간과 비용이 많이 든다. AI는 반복 청취와 기초 분석을 맡고, 학습자에게 즉각적인 연습 과제를 줄 수 있다. 교사는 기계가 놓친 맥락과 학습자의 목표를 판단한다.

좋은 시스템은 하나의 점수로 사람을 줄 세우기보다 다시 시도할 방법을 보여준다. 특정 음소를 천천히 연습하게 하고, 억양을 시각화하며, 같은 내용을 다른 속도로 말해보게 하는 식이다.

몸을 가진 음성을 다루는 기술

말은 텍스트의 소리 나는 버전이 아니다. 호흡과 근육, 사회적 관계와 정체성이 함께 나타나는 행동이다. 음성 AI가 교육과 의사소통을 돕기 위해서는 이 몸의 차이를 제거해야 할 잡음이 아니라 설계의 출발점으로 보아야 한다.


페이스북 원문: 〈액자 미팅: 오늘의 생계형 인지과학 구직활동〉 · 〈생계형 인지과학 구직활동 #4〉 (2025년 2월 7일·12일)


댓글 남기기