핵심 요지 — 2024년 말, 생성형 AI에 수능 영어의 심경 변화 문항 하나를 풀게 했다. 이야기 속 인물이 처음에는 계획이 잘될 것이라 확신하다가 예약에 실패해 실망하는 내용이었다. AI는 적절한 선택지를 골랐고, 앞뒤 상황을 짚어 이유도 설명했다. 문제 자체가 어렵지는 않았다.
2024년 말, 생성형 AI에 수능 영어의 심경 변화 문항 하나를 풀게 했다. 이야기 속 인물이 처음에는 계획이 잘될 것이라 확신하다가 예약에 실패해 실망하는 내용이었다. AI는 적절한 선택지를 골랐고, 앞뒤 상황을 짚어 이유도 설명했다. 문제 자체가 어렵지는 않았다. 그런데 답보다 더 오래 남은 것은 ‘우리는 무엇을 평가한 것인가’라는 질문이었다.
맞힌 문제와 설명한 과정
한 문항의 정답은 그 문항에서의 수행을 보여준다. 해설은 모델이 어떤 단서에 주목했는지 독자가 점검할 자료를 준다. 그러나 한 문제만으로 모델이 다른 종류의 글도 안정적으로 이해하는지, 같은 질문을 바꿔 물어도 같은 판단을 하는지, 새로운 상황에서 배운 것을 적용하는지는 알 수 없다.
사람의 시험도 비슷한 한계를 가진다. 짧은 시간의 점수로 입학이나 채용처럼 큰 결정을 내리지만, 점수가 한 사람의 지능이나 성품 전체를 뜻하지는 않는다. AI의 성적이 좋아질수록 시험이 무엇을 재고 무엇을 놓치는지 더 분명히 말해야 한다.
비교하려면 조건부터 기록해야 한다
모델을 제대로 평가하려면 사용한 모델과 버전, 질문 방식, 답변을 몇 번 생성했는지, 정답 판단 기준을 남겨야 한다. 쉬운 문제와 어려운 문제, 암기와 추론, 단일 문항과 긴 과제를 구분해야 한다. 사람이 치르는 시험을 AI에 적용할 때는 이미 공개된 문항을 학습했을 가능성도 고려해야 한다.
2024년의 짧은 체험은 결론이라기보다 질문의 출발점이었다. AI가 시험을 잘 보면 교육평가를 다시 생각하게 된다. 그 사실이 곧 AI와 인간의 지능을 하나의 숫자로 줄 세워도 된다는 뜻은 아니다. 좋은 평가는 정답 수만 세지 않고, 어떤 능력을 어떤 조건에서 확인했는지 밝힌다.
이 글은 2024년 12월의 체험 기록을 다시 썼다. 원문에 적힌 제품명과 당시 가격은 확인 자료가 없어 본문에서 제외했고, 시험 지문도 재인용하지 않았다.