핵심 요지 — 2015년 마지막 날, 나는 말이 만들어지는 과정을 다룬 빌럼 레벨트의 연구와 자동 말하기 평가 서비스를 한 글에 놓았다. 인지과학의 설명이 교육 현장의 측정 도구와 만나는 장면이 흥미로웠기 때문이다. 그러나 둘을 곧바로 하나의 공식으로 묶을 수는 없다.
2015년 마지막 날, 나는 말이 만들어지는 과정을 다룬 빌럼 레벨트의 연구와 자동 말하기 평가 서비스를 한 글에 놓았다. 인지과학의 설명이 교육 현장의 측정 도구와 만나는 장면이 흥미로웠기 때문이다. 그러나 둘을 곧바로 하나의 공식으로 묶을 수는 없다.
말이 만들어지는 과정과 점수가 만들어지는 과정
레벨트의 2001년 논문은 말하려는 개념에서 단어를 찾고, 소리 형태를 준비해 발화하는 과정을 설명한다. 반면 말하기 평가 서비스는 녹음된 응답에서 무엇을 어떻게 측정하고 점수로 환산할지를 결정해야 한다. 언어 산출 이론은 평가를 생각하는 데 도움을 주지만, 특정 제품의 채점 방식이 그 이론 하나에서 바로 나온다고 말할 근거는 없다.
당시 내 글은 빠르게 말하고 멈춤이 적으면 좋은 점수를 받는다는 식으로 평가를 지나치게 단순화했다. Pearson이 공개한 Versant English Test 설명을 보면 말의 속도와 휴지기뿐 아니라 발음, 문장과 어휘의 정확성 등 여러 요소를 다룬다. 현재 공개된 제품 설명을 2015년의 모든 버전에 그대로 소급할 수도 없다.
평가를 설계할 때 중요한 질문은 지표가 단순한가만이 아니다. 그 지표가 실제로 알고 싶은 능력을 재는가, 과제와 응시자의 차이를 어떻게 다루는가, 점수를 사람이 이해하고 검토할 수 있는가를 함께 물어야 한다. 연구의 개념을 제품으로 옮기는 일은 이 질문을 줄이는 과정이 아니라 명확하게 만드는 과정이다.
이 글은 2015년 원문을 사실 관계에 맞춰 다시 썼다. 원문의 기업 인수 시점, 시장 순위와 경쟁사 평가는 확인되지 않아 제외했다.