가르치는 기계의 뚜껑을 열다: LLM·SAE 기반 학습자 모델링

핵심 요약 — 같은 점수와 같은 오답 뒤에는 서로 다른 학습 상태가 있을 수 있습니다. 이번 발표는 교육과정의 개념·선수 관계를 LLM 내부의 특징·계산 경로와 연결하고, 개입에 따른 변화를 시험하는 시뮬레이션 학습자의 설계와 검증 과제를 제안합니다.

2026년 11월 14일 토요일, 교육공학회에서 LLM·SAE 기반 학습자 모델링을 발표했습니다. 슬라이드는 쉽지 않았고 20분에 담은 내용도 많았지만, 발표를 마치고 세 개의 질문을 받았습니다. 제게는 SAE라는 기술 자체를 넘어, 언어와 인지의 배후에서 어떤 구조가 작동하는지에 대한 관심을 느끼게 한 시간이었습니다.

그 관심을 이어가기 위해 발표 슬라이드 20장과 해설을 함께 공개합니다. SAE를 처음 접하는 분도 분수 오답 사례부터 따라오실 수 있도록 구성했습니다. 학술적 질문은 끝까지 남겨두었습니다. 모델 안에서 설명할 수 있다는 것과 실제 학생의 학습을 설명하고 도울 수 있다는 것은 각각 검증해야 하기 때문입니다.

자료 안내. 이 글은 발표 슬라이드, 수정 발표자 노트, 발표초록을 바탕으로 웹용 해설을 재구성한 기록이며 현장 발언의 녹취록은 아닙니다. 이미지는 발표본을 그대로 실었습니다. 그림 속 특징 번호와 일부 수식·도식은 설계 설명용이며, 이번 발표는 구현 효과나 인간 학습자 실험 결과의 보고가 아닙니다. 이미지를 누르면 큰 화면으로 볼 수 있습니다.

  • 발표: 이수화 · 서울대학교 빅데이터혁신융합대학 연구교수
  • 일시: 2026년 11월 14일(토) · 교육공학회 발표
  • 주제: LLM·SAE 기반 학습자 모델링 — 뉴로심볼릭 시뮬레이션 학습자의 설계를 중심으로
  • 구성: 발표 본문 20분 · 슬라이드 20장
  • 발표자료: 전체 슬라이드 PDF 보기·다운로드

처음 읽는 분을 위한 용어와 길잡이

용어이 글에서의 뜻
LLM대규모 언어모델. 여기서는 내부 활성에 접근해 실험할 수 있는 모델을 연구 대상으로 삼습니다.
SAE희소 오토인코더. 모델 내부의 겹친 활성을 더 해석하기 쉬운 특징 조합으로 표현하려는 도구입니다.
지식그래프개념을 점으로, 관계를 연결선으로 표현한 지도입니다. 이 지도의 선수 관계도 검증 대상입니다.
뉴로심볼릭사람이 읽는 개념·관계와 신경망 내부 표현을 함께 다루는 접근입니다.
시뮬레이션 학습자특정 개념·과정의 결손과 개입 반응을 시험하도록 구성하려는 인공 모델입니다. 실제 학생의 뇌 복제본을 뜻하지 않습니다.

핵심 사례부터 보려면 슬라이드 8, SAE 설명은 슬라이드 10, 검증 계획은 슬라이드 17부터 읽으셔도 됩니다.

  1. PART 1. 같은 점수와 같은 오답이 가리는 것
  2. PART 2. 교육과정과 오개념을 지도로 만들기
  3. PART 3. LLM 내부의 특징과 계산 경로
  4. PART 4. 개입 이후의 변화와 학습자 주도성
  5. PART 5. 그럴듯한 설명을 검증 가능한 연구로

PART 1. 같은 점수와 같은 오답이 가리는 것

[Slide 01] 가르치는 기계의 내부 구조를 묻다

이수화 교육공학회 LLM·SAE 학습자 모델링 발표 슬라이드 01: 가르치는 기계의 내부 구조를 묻다
발표 슬라이드 01/20 — 가르치는 기계의 내부 구조를 묻다 · 이미지를 누르면 크게 볼 수 있습니다.

이번 발표의 출발점은 간단합니다. AI가 학생의 답을 채점하는 데서 더 나아가, 오류가 생기는 원인과 개입 이후의 반응을 시험할 수 있을까요? 이를 위해 교육과정의 개념 지도와 대규모 언어모델의 내부 표현을 연결하는 뉴로심볼릭 시뮬레이션 학습자의 설계를 제안했습니다.

여기에는 기술보다 먼저 오는 교육적 질문이 있습니다. 페퍼트가 던진, 아이가 컴퓨터를 프로그래밍하는가, 컴퓨터가 아이를 프로그래밍하는가라는 물음입니다. AI의 성능이 좋아졌다는 사실만으로 학생의 주도권이 커지는 것은 아닙니다. 어떤 학습자 모델을 만들고, 그 모델을 누구의 활동을 위해 쓰는지가 중요합니다.

[Slide 02] LLM 에듀테크와 티칭머신의 연속성

이수화 교육공학회 LLM·SAE 학습자 모델링 발표 슬라이드 02: LLM 에듀테크와 티칭머신의 연속성
발표 슬라이드 02/20 — LLM 에듀테크와 티칭머신의 연속성 · 이미지를 누르면 크게 볼 수 있습니다.

과거의 교수기계와 오늘의 LLM 채팅 화면은 겉모습이 크게 다릅니다. 그런데 AI가 문제를 내고, 학생은 답하고, 시스템이 채점하는 구조가 유지된다면 학생이 할 수 있는 일은 여전히 제한됩니다. 요약과 퀴즈 생성은 유용하지만, 그것을 대화창에 모았다고 학습자 중심 설계가 완성되지는 않습니다.

슬라이드의 ‘화려한 귀환’이라는 표현은 이 설계 방식에 대한 비판입니다. 모든 LLM 교육 도구가 동일하다는 판정은 아닙니다. 소크라테스식 질문도 학생의 탐색을 돕는지, 미리 정해진 정답으로 유도하는지에 따라 의미가 달라집니다. 언어 인터페이스의 발전과 함께 학습자 모델과 주도권의 설계도 바뀌었는지 물어야 합니다.

[Slide 03] 같은 62점에 가려진 서로 다른 학습 상태

이수화 교육공학회 LLM·SAE 학습자 모델링 발표 슬라이드 03: 같은 62점에 가려진 서로 다른 학습 상태
발표 슬라이드 03/20 — 같은 62점에 가려진 서로 다른 학습 상태 · 이미지를 누르면 크게 볼 수 있습니다.

두 학생이 똑같이 62점을 받았다고 해보겠습니다. 한 학생은 원리를 이해하지만 계산 실수가 많습니다. 다른 학생은 힌트를 따라 풀었지만 원리를 설명하지 못합니다. 점수는 같아도 필요한 지원은 다릅니다.

‘이해력’이나 ‘추론력’은 여러 능력과 기제를 담은 여행가방 같은 말입니다. 가방의 무게를 더 정밀하게 재도 안에 무엇이 들었는지는 따로 살펴야 합니다. 점수는 비교에 유용하지만, 어느 개념과 연결이 부족한지까지 보여주지는 못합니다.

그래서 맞춤형 콘텐츠를 만드는 순서도 다시 생각하려 합니다. 기존 문항 풀에 난이도 필터를 적용하는 방식에 더해, 학습자의 상태를 구조적으로 표현하고 그 상태에 맞는 활동을 생성하는 방식을 탐색하는 것입니다. 내부 상태를 표현하는 모델과, 그에 맞는 콘텐츠를 만드는 생성 능력이 함께 필요합니다.

[Slide 04] 예측 성능을 넘어 기제와 개입을 설명하기

이수화 교육공학회 LLM·SAE 학습자 모델링 발표 슬라이드 04: 예측 성능을 넘어 기제와 개입을 설명하기
발표 슬라이드 04/20 — 예측 성능을 넘어 기제와 개입을 설명하기 · 이미지를 누르면 크게 볼 수 있습니다.

다음 문제를 맞힐지 예측하는 능력과, 왜 틀렸으며 무엇을 바꾸면 나아지는지 설명하는 능력은 서로 다른 과제입니다. 예측 성능이 높아져도 교육적 설명과 개입의 문제가 저절로 해결되지는 않습니다. 슬라이드의 AUC 0.85는 이 문제의식을 강조하는 예시이며, 이번 연구에서 얻은 성능 수치가 아닙니다. AUC를 ‘정답률 85%’로 읽어서도 안 됩니다.

바스카의 관점은 관찰된 결과 아래에서 작동하는 기제를 묻게 합니다. 마의 분석 수준은 수행 목표와 물리적 구현 사이에 어떤 표현과 알고리즘이 있는지 묻게 합니다. 두 이론을 동일시하기보다, 결과와 구현 사이에 설명해야 할 층위가 있다는 문제의식으로 연결했습니다.

어떤 내부 표현이 개념과 연결되고, 그것을 바꾸면 풀이가 어떻게 달라지는지 살펴보자는 것입니다. SAE는 그 층위를 관찰하는 도구 후보입니다. 다만 도구가 제공하는 해석이 실제로 타당한지는 별도 실험으로 확인해야 합니다.

PART 2. 교육과정과 오개념을 지도로 만들기

[Slide 05] 교육과정을 정렬의 기준으로 삼는 이유

이수화 교육공학회 LLM·SAE 학습자 모델링 발표 슬라이드 05: 교육과정을 정렬의 기준으로 삼는 이유
발표 슬라이드 05/20 — 교육과정을 정렬의 기준으로 삼는 이유 · 이미지를 누르면 크게 볼 수 있습니다.

첫 번째 축은 교육과정입니다. 일반 상식 전체를 대상으로 하면 개념의 경계와 관계부터 논쟁거리가 됩니다. 교육과정은 무엇을 배우고 어떤 성취를 기대하는지 문서로 규정하므로, 연구 범위와 검증 기준을 세우기 좋은 출발점입니다.

여기서 ‘닫힌계’란 실제 학습이 완전히 닫혀 있다는 뜻이 아닙니다. 중학교 수학의 일부로 범위를 한정하고, 분모·분자, 등가분수, 통분 같은 개념과 관계를 명시하겠다는 뜻입니다. 교육과정에 적힌 순서가 곧 인간의 인지적 인과관계라는 보장도 없습니다. 지도 자체가 검증 대상입니다.

또 하나의 문제는 LLM이 교과서와 유사한 자료를 이미 학습했을 가능성입니다. 교육과정 문장을 그럴듯하게 되풀이하는 것과 개념을 실제 풀이에 사용하는 것을 구별해야 합니다. 발표에서 ‘코퍼스 반향(Corpus Echo)’ 통제를 강조한 이유입니다.

[Slide 06] 오개념은 빈칸일 수도, 작동 중인 잘못된 규칙일 수도 있다

이수화 교육공학회 LLM·SAE 학습자 모델링 발표 슬라이드 06: 오개념은 빈칸일 수도, 작동 중인 잘못된 규칙일 수도 있다
발표 슬라이드 06/20 — 오개념은 빈칸일 수도, 작동 중인 잘못된 규칙일 수도 있다 · 이미지를 누르면 크게 볼 수 있습니다.

이 구상은 제가 해온 하이브리드 AI 자동평가 연구의 연장선에 있습니다. 영어 발음교정에서는 정상 음소 68개와 모국어 간섭에 따른 오류 음소 150개를 병렬로 모델링했습니다. 조음장애 진단과 학습자 에세이 분석에서도 정상과 오류를 함께 보았습니다. 이 수치는 이번 SAE 연구의 실험 결과가 아니라 선행 연구 경험입니다.

그 경험에서 얻은 교훈은 오개념을 지식의 부재로만 처리해서는 안 된다는 것입니다. 분자끼리, 분모끼리 더하는 학생에게는 잘못된 규칙이 능동적으로 작동할 수 있습니다. 이 경우 필요한 것은 빈칸 채우기와는 다른 접근입니다.

확신이 낮을 때 판정을 유보하고, 정답을 바로 알려주기보다 오류 위치를 표시해 자기교정을 유도하는 설계도 같은 맥락입니다. 정개념과 오개념을 함께 표현하되, 그것을 학생의 사고와 주도권을 살리는 데 사용하려 합니다.

[Slide 07] 외부 지식그래프의 성취와 내부 과정이라는 과제

이수화 교육공학회 LLM·SAE 학습자 모델링 발표 슬라이드 07: 외부 지식그래프의 성취와 내부 과정이라는 과제
발표 슬라이드 07/20 — 외부 지식그래프의 성취와 내부 과정이라는 과제 · 이미지를 누르면 크게 볼 수 있습니다.

지식요소, 오개념 유형, 인지진단을 연결한 그래프는 단일 점수보다 풍부한 정보를 제공합니다. 다만 외부 그래프에서 ‘통분’이라는 항목을 검색했다는 사실과 모델이 통분에 해당하는 내부 과정을 실제로 사용했다는 사실은 구별해야 합니다. RAG의 검색 결과가 곧 내부 인과 기제의 증거는 아닙니다.

각 노드에 정답률만 저장하면 점수의 항목은 늘어나도 개입에 따른 변화 과정을 표현하기는 어렵습니다. 이번 제안은 외부 그래프를 없애자는 것이 아닙니다. 그래프의 개념과 연결이 모델 내부의 무엇에 대응하는지 찾고, 그 대응을 조작 실험으로 검토하자는 것입니다.

따라서 선행연구의 예측 지표와 이번 설계의 목표를 직접적인 우열로 비교하지 않습니다. 무엇을 예측하는가와, 무엇을 설명하고 시험하려는가가 다른 문제이기 때문입니다.

[Slide 08] 1/2 + 1/3 = 2/5라는 오답의 네 가지 경로

이수화 교육공학회 LLM·SAE 학습자 모델링 발표 슬라이드 08: 1/2 + 1/3 = 2/5라는 오답의 네 가지 경로
발표 슬라이드 08/20 — 1/2 + 1/3 = 2/5라는 오답의 네 가지 경로 · 이미지를 누르면 크게 볼 수 있습니다.

학생이 1/2 + 1/3 = 2/5라고 답했습니다. 정답은 5/6입니다. 그러나 오답 하나만으로 원인을 확정할 수는 없습니다. 같은 크기의 단위로 바꿔야 한다는 것은 알지만 통분 절차를 진행하지 못했을 수 있습니다. 1/2과 3/6이 왜 같은 양인지 이해하지 못했을 수도 있습니다.

문장으로 제시된 상황을 수식으로 옮기는 데 어려움이 있었을 가능성도 있습니다. 또는 분모끼리도 더하면 된다는 잘못된 규칙을 적용했을 수 있습니다. 이 네 가지는 확정된 진단이 아니라, 추가 질문과 활동으로 구별해야 할 경쟁 가설입니다.

진단의 산출물은 어느 개념과 연결을 더 확인해야 하는지 보여주는 지도여야 합니다. 우선 중학교 수학의 수와 연산 또는 함수 영역에서 30~50개 개념으로 범위를 좁혀 검증하려 합니다. CASE 표준은 교육과정·역량 정보를 시스템 간에 교환하는 형식을 참고하는 데 쓰입니다. 표준을 채택했다고 인지적 선수 관계까지 입증되는 것은 아닙니다.

PART 3. LLM 내부의 특징과 계산 경로

[Slide 09] 기호 구조와 신경망 표현의 내재적 정렬

이수화 교육공학회 LLM·SAE 학습자 모델링 발표 슬라이드 09: 기호 구조와 신경망 표현의 내재적 정렬
발표 슬라이드 09/20 — 기호 구조와 신경망 표현의 내재적 정렬 · 이미지를 누르면 크게 볼 수 있습니다.

지식그래프와 신경망을 집의 두 층으로 생각해 보겠습니다. 위층에는 사람이 읽고 검토할 수 있는 교육과정의 개념 지도가 있습니다. 아래층에는 언어모델이 실제로 계산할 때 나타나는 내부 활성 패턴이 있습니다. 이 두 층의 대응을 찾는 것이 여기서 말하는 ‘내재적 정렬’입니다.

등가분수 개념과 관련된 특징을 찾을 수 있는가? 등가분수에서 통분으로 이어진다고 본 관계가 모델 내부의 정보 흐름과 연결되는가? 기호와 신경망이 모두 관계를 표현한다고 해서 두 구조가 자동으로 같아지지는 않습니다. 대응을 찾고, 우연한 유사성이나 자료 암기와 구별해야 합니다.

이 정렬은 사용자의 가치에 모델을 맞추는 일반적인 AI 정렬과 문맥이 다릅니다. 여기서는 교육과정의 개념·관계와 모델 내부의 표현·과정 사이의 대응을 뜻합니다.

[Slide 10] SAE는 겹친 내부 활성을 읽기 위한 도구다

이수화 교육공학회 LLM·SAE 학습자 모델링 발표 슬라이드 10: SAE는 겹친 내부 활성을 읽기 위한 도구다
발표 슬라이드 10/20 — SAE는 겹친 내부 활성을 읽기 위한 도구다 · 이미지를 누르면 크게 볼 수 있습니다.

SAE는 희소 오토인코더(Sparse Autoencoder)입니다. 언어모델의 내부 활성에는 여러 정보가 겹쳐 나타납니다. SAE는 그 활성을 가능한 한 소수의 특징 조합으로 다시 표현하도록 학습합니다. 여러 악기가 섞인 소리에서 구별할 수 있는 성분을 찾는 작업에 비유할 수 있습니다.

뉴런 하나에 개념 하나가 반드시 들어 있다는 전제는 두지 않습니다. 분산된 표현을 더 해석하기 쉬운 특징으로 분해하려는 것입니다. Templeton 등의 2024년 연구는 Claude 3 Sonnet에서 해석 가능한 특징을 추출하고 일부 특징의 활성을 조절해 출력을 바꿀 가능성을 보여주었습니다.

슬라이드의 ‘Feature #14732 = 등가분수’는 우리가 찾고 검증하려는 대응을 그린 설명용 예시입니다. 해당 선행연구에서 그 번호의 등가분수 특징이 발견되었다는 뜻이 아닙니다. 또한 Park 등의 개념 기하학 연구가 다루는 범주·분류 위계는 교육과정의 선수학습 관계와 다릅니다. 이 간격을 실제로 건널 수 있는지가 이번 연구의 질문입니다.

[Slide 11] 개념은 특징에, 과정은 회로에 대응시키는 이원적 정렬

이수화 교육공학회 LLM·SAE 학습자 모델링 발표 슬라이드 11: 개념은 특징에, 과정은 회로에 대응시키는 이원적 정렬
발표 슬라이드 11/20 — 개념은 특징에, 과정은 회로에 대응시키는 이원적 정렬 · 이미지를 누르면 크게 볼 수 있습니다.

교육과정에는 개념과 과정이 함께 들어 있습니다. 등가분수를 아는 것과, 그것을 이용해 통분하는 것은 연결되지만 같은 대상은 아닙니다. 그래서 정렬도 두 층위로 나눕니다.

첫째는 개념과 특징의 정렬입니다. 정개념과 오개념을 SAE 특징 또는 특징들이 이루는 부분공간에 대응시킵니다. 반드시 한 개념과 한 특징이 일대일로 대응한다고 가정하지 않습니다. 둘째는 과정과 계산 경로의 정렬입니다. 등가분수에 관한 정보가 통분을 거쳐 답으로 이어지는 데 실제로 사용되는지 살펴봅니다.

두 특징이 함께 활성화됐다는 사실만으로 인과 경로가 확인되지는 않습니다. 한쪽을 억제하거나 복원했을 때 관련 과제의 수행이 어떻게 달라지는지 확인해야 합니다. 개념의 표현과 과정의 작동을 구별해야 개념 부족과 절차 부족도 서로 다른 실험으로 다룰 수 있습니다.

[Slide 12] 관찰·절제·고정·조향으로 시뮬레이션 학습자를 시험하기

이수화 교육공학회 LLM·SAE 학습자 모델링 발표 슬라이드 12: 관찰·절제·고정·조향으로 시뮬레이션 학습자를 시험하기
발표 슬라이드 12/20 — 관찰·절제·고정·조향으로 시뮬레이션 학습자를 시험하기 · 이미지를 누르면 크게 볼 수 있습니다.

정렬이 가능하다면 네 가지 실험을 구상할 수 있습니다. 관찰은 문제를 풀 때 어떤 특징과 경로가 활성화되는지 보는 것입니다. 절제는 특정 특징의 활성을 억제하고 수행 변화를 확인하는 것입니다. 이는 가중치를 다시 학습시키는 일과 구별되는 활성 수준의 개입입니다.

고정은 오개념 관련 특징의 활성을 일정 수준으로 유지해 특정 오류가 반복되는지 시험하는 것입니다. 조향은 특징을 직접 조절하거나 힌트·반례를 제시하면서 풀이 경로의 변화를 비교하는 것입니다. 모델 내부를 직접 바꾸는 실험과 교육적 입력을 주는 실험은 구분해 측정해야 합니다.

슬라이드의 ‘살아있는 뇌’, ‘메스’는 실험 가능한 인공 모델을 설명하는 비유입니다. 실제 학생의 뇌를 조작한다는 뜻이 아닙니다. 통분 절차가 부족하도록 구성한 모델과 등가분수 개념이 부족하도록 구성한 모델에 같은 힌트를 주고, 반응이 어떻게 다른지 먼저 시험하자는 제안입니다.

PART 4. 개입 이후의 변화와 학습자 주도성

[Slide 13] 학습 상태를 개입 이후의 미래 궤적으로 표현하기

이수화 교육공학회 LLM·SAE 학습자 모델링 발표 슬라이드 13: 학습 상태를 개입 이후의 미래 궤적으로 표현하기
발표 슬라이드 13/20 — 학습 상태를 개입 이후의 미래 궤적으로 표현하기 · 이미지를 누르면 크게 볼 수 있습니다.

두 번째 핵심 제안은 학습 상태의 정의입니다. 현재 점수에 더해 어떤 개입 뒤에 어떻게 변화할 것인가로 상태를 표현하려 합니다. 발표에서는 이를 개입적 예측상태와 신경구성주의를 결합한 IPS-NC 구상으로 제시했습니다.

수식은 세 부분으로 읽으면 됩니다. 지금까지의 응답·오류·조작 기록이 과거 이력입니다. 힌트·반례·조작 도구 제공과 발판 제거가 개입입니다. 그 뒤의 수행·유지·전이·자율성에 대한 확률분포가 미래 궤적입니다. do(π)는 관찰된 조건을 묶는 것이 아니라 의도적으로 개입한다는 표기입니다. 이를 썼다는 사실만으로 인과 효과가 식별되지는 않습니다.

같은 62점이어도 힌트 뒤에 새로운 문제로 전이하는 학생과, 힌트를 없애면 풀지 못하는 학생은 다르게 표현해야 합니다. 신경구성주의의 가소성과 경로의존성은 여러 변화 궤적을 생성하는 사전모형의 관점으로 사용합니다. 인간 뇌와 LLM의 동일성을 입증하는 근거로 쓰는 것은 아닙니다. 실제 반응으로 후보 모델을 갱신하는 과정이 필요합니다.

[Slide 14] 진단과 학습 지원을 함께 고려하는 활동 선택

이수화 교육공학회 LLM·SAE 학습자 모델링 발표 슬라이드 14: 진단과 학습 지원을 함께 고려하는 활동 선택
발표 슬라이드 14/20 — 진단과 학습 지원을 함께 고려하는 활동 선택 · 이미지를 누르면 크게 볼 수 있습니다.

다음 활동은 어떻게 고를까요? 진단만 잘하는 질문과 학습에 도움이 되는 활동이 늘 같지는 않습니다. 능동추론의 기대자유에너지(EFE)를 참고해, 학생을 알아가는 일과 학습을 지원하는 일을 함께 고려하는 선택 기준을 구상했습니다.

인식적 가치는 학생에 대한 불확실성을 얼마나 줄이는가입니다. 통분 절차 미숙과 등가분수 개념 부족을 구별하는 질문이 여기에 해당합니다. 실용적 가치는 목표 성취와 지연 전이에 얼마나 도움이 되는가입니다. 학습진전은 호기심과 도전 수준을 조절하기 위한 항입니다. 근접발달영역과 게임의 동적 난이도 조정(DDA)을 설계의 참고점으로 삼았습니다.

슬라이드의 세 항은 이를 교육적으로 풀어 쓴 설계식입니다. 기존의 적응형 검사·지식추적·동적 난이도 조정이 이미 하나의 수식으로 수학적으로 통합되었다는 결과는 아닙니다. 각 항의 정의와 측정, 가중치와 이론 사이의 관계는 검증해야 합니다. 지향하는 것은 배우면서 진단하고, 진단하면서 배우는 구조입니다.

[Slide 15] 진단·콘텐츠 생성·반응 갱신을 잇는 폐루프

이수화 교육공학회 LLM·SAE 학습자 모델링 발표 슬라이드 15: 진단·콘텐츠 생성·반응 갱신을 잇는 폐루프
발표 슬라이드 15/20 — 진단·콘텐츠 생성·반응 갱신을 잇는 폐루프 · 이미지를 누르면 크게 볼 수 있습니다.

분수 오답으로 돌아가겠습니다. 학생의 응답을 바탕으로 모델이 원인과 개입 효과를 예측하고, 그 상태를 조건으로 활동을 생성합니다. 활동 뒤의 반응을 다시 받아 모델을 갱신합니다. 게임의 절차적 콘텐츠 생성(PCG)을 학습자 모델과 연결한 폐루프입니다.

통분 절차가 미숙하다면 중간 단계를 확인하는 질문 카드를, 등가분수 개념이 부족하다면 분수 막대를 움직여 같은 양을 만드는 활동을 고려할 수 있습니다. 문장을 수식으로 옮기는 데 어려움이 있다면 그 변환을 연습하는 활동을 구성할 수 있습니다. 어느 활동이 적절한지는 원인 가설과 학생의 실제 반응으로 다시 판단해야 합니다.

생성된 문항과 도구가 수학적으로 정확하고 목표 개념에 맞는지도 확인해야 합니다. 생성 결과가 학생이 답해야 할 문제만 늘린다면 역할은 크게 달라지지 않습니다. 학생이 직접 만들고 조작하며 자신의 생각을 시험할 대상을 생성할 때, AI를 탐구의 도구로 설계할 가능성이 생깁니다.

[Slide 16] 학생이 AI의 오류를 찾아 가르치는 상대

이수화 교육공학회 LLM·SAE 학습자 모델링 발표 슬라이드 16: 학생이 AI의 오류를 찾아 가르치는 상대
발표 슬라이드 16/20 — 학생이 AI의 오류를 찾아 가르치는 상대 · 이미지를 누르면 크게 볼 수 있습니다.

시뮬레이션 학습자는 학생이 가르칠 수 있는 동료가 될 수도 있습니다. 특정 개념의 결손을 보이도록 구성한 모델을 두고, 학생이 오류를 찾아 설명하게 하는 것입니다. AI를 언제나 옳은 평가자 자리에 두는 대신, 학생이 논박할 수 있는 상대로 바꾸는 설계입니다.

슬라이드의 AI는 2x + 5 = 11에서 x = 4라고 주장합니다. 이것은 의도적으로 제시한 오답이고 정답은 x = 3입니다. 학생은 4를 대입하면 좌변이 13이 된다는 것을 보이거나, 양변에서 5를 빼고 2로 나누어 설명할 수 있습니다. 다만 오류를 말하도록 프롬프트로 연기시키는 것과, 설정한 내부 결손 때문에 오류가 나타나는 것은 별개입니다.

플레이어 모델링과 DDA는 학생이 도전할 만한 상대를 구성하는 참고점입니다. 학생이 정말 더 잘 배우는지는 정답률 외에도 근거를 드는 설명, 반박 활동, 지연 전이와 자율성으로 검증해야 합니다.

PART 5. 그럴듯한 설명을 검증 가능한 연구로

[Slide 17] 대응·인과 경로·선택적 성능 변화의 세 가설

이수화 교육공학회 LLM·SAE 학습자 모델링 발표 슬라이드 17: 대응·인과 경로·선택적 성능 변화의 세 가설
발표 슬라이드 17/20 — 대응·인과 경로·선택적 성능 변화의 세 가설 · 이미지를 누르면 크게 볼 수 있습니다.

H1은 개념과 특징의 대응입니다. 같은 개념을 다양한 표현과 문맥으로 제시해도 관련 특징이 일관되게 나타나는지 확인합니다. 이 단계가 성립해도 개념을 사용하는 인과 기제까지 증명된 것은 아닙니다.

H2는 선수 관계와 계산 경로의 대응입니다. 등가분수에 관련된 정보가 통분 수행에 실제로 쓰이는지 검증합니다. ‘개는 포유류다’라는 분류 관계와 ‘이 지식이 다른 과제의 수행에 필요하다’는 관계는 다릅니다. 분류 위계의 발견을 곧바로 선수학습 관계의 발견으로 읽을 수 없습니다.

H3는 선택적 성능 붕괴입니다. 선수 개념에 대응한다고 본 특징을 억제했을 때, 그에 의존하는 후속 과제의 수행이 특히 떨어져야 합니다. 관계없는 문제까지 모두 못 풀면 특정 기제를 찾은 것이 아니라 모델을 전반적으로 손상시킨 것일 수 있습니다. 무관한 특징을 비슷한 강도로 억제하는 조건과 비교하고, 세 단계가 성립하기 전에는 교육과정의 인과 구조를 발견했다고 주장하지 않겠습니다.

[Slide 18] 교차언어 검사와 가짜 지식맵 대조군

이수화 교육공학회 LLM·SAE 학습자 모델링 발표 슬라이드 18: 교차언어 검사와 가짜 지식맵 대조군
발표 슬라이드 18/20 — 교차언어 검사와 가짜 지식맵 대조군 · 이미지를 누르면 크게 볼 수 있습니다.

특징에 그럴듯한 이름이 붙는 것만으로 설명이 검증되지는 않습니다. 첫 번째 통제는 교차언어와 표현 변화에 대한 일관성입니다. 한국어·영어와 여러 문장 표현에서도 같은 개념에 대응하는 특징이 유지되는지 살펴봅니다. 연구 1주차에 20개 개념으로 먼저 점검하고, 계속 진행할지 정렬 방법을 바꿀지 판단하는 초기 관문을 두려 합니다.

언어 간 불일치가 나타났다고 개념의 부재를 즉시 단정할 수는 없습니다. 표현과 토큰화, 모델의 언어별 성능 차이도 살펴야 합니다. 반대로 여러 언어에서 일치한다는 결과만으로 인과성이 입증되는 것도 아닙니다.

두 번째 통제는 가짜 지식맵입니다. 선수 순서를 뒤집거나 무관한 개념을 연결한 지도에도 같은 분석을 적용합니다. 진짜 지도와 비슷한 결과가 나오면 교육과정 구조를 찾았다는 해석을 재검토해야 합니다. 무작위 특징 억제와 선택적 절제 실험을 함께 사용해 자료 암기와 사후 해석 가능성을 줄이고, 기대와 다른 결과도 기록하려 합니다.

[Slide 19] 모델 내부의 설명 가능성과 인간 학습자 타당성은 별도로 검증한다

이수화 교육공학회 LLM·SAE 학습자 모델링 발표 슬라이드 19: 모델 내부의 설명 가능성과 인간 학습자 타당성은 별도로 검증한다
발표 슬라이드 19/20 — 모델 내부의 설명 가능성과 인간 학습자 타당성은 별도로 검증한다 · 이미지를 누르면 크게 볼 수 있습니다.

모델과 학생이 같은 오답을 내더라도 사고 과정은 다를 수 있습니다. 그래서 검증을 두 단계로 나눕니다. A단계는 컴퓨터 안의 ‘개념 풍동’ 실험입니다. 약 40개 개념에 대해 탐색용 대조 문장 8천~2만 개와, 개입 효과 평가용 문항 800~1,200개를 구분해 구축하려 합니다. 이 수치는 확보한 데이터나 실험 성과가 아니라 계획 범위입니다.

성취기준 문장이 곧 지식그래프는 아닙니다. 개념·오개념·선수 관계를 정리하고 그에 맞는 대조 자료를 만드는 작업부터 필요합니다. 개념과 특징의 대응, 계산 경로, 선택적 개입 효과를 이 단계에서 먼저 시험합니다.

B단계는 실제 학습자의 검증입니다. 기존 지식추적과 적응형 검사 기반 접근에 비해 지연 전이, 장기 유지, 발판 제거 뒤의 자율성이 나아지는지 살펴봅니다. 풍동 시험이 실제 비행을 대신하지 않듯, 모델 내부를 해석할 수 있는가와 그 모델이 사람의 학습에 도움이 되는가는 각각 증명해야 합니다.

[Slide 20] 작은 공동 검증과 학생에게 넘길 조종간

이수화 교육공학회 LLM·SAE 학습자 모델링 발표 슬라이드 20: 작은 공동 검증과 학생에게 넘길 조종간
발표 슬라이드 20/20 — 작은 공동 검증과 학생에게 넘길 조종간 · 이미지를 누르면 크게 볼 수 있습니다.

출발점은 중학교 수학 한 영역의 작은 공동 실증입니다. CASE를 참고한 지식맵을 함께 검토하고, 대조 자료와 정렬·절제 코드를 공개하며, 첫 관문에서부터 가설을 점검하는 연구를 제안합니다. 교육공학 연구자와 교과 전문가가 무엇을 개념으로 잡고 어떤 관계를 검증할지 함께 설계해야 합니다.

제가 기대하는 것은 학생을 더 촘촘하게 분류하는 감독관만은 아닙니다. 학생이 AI의 오류를 발견하고 고치며, 자신의 설명과 조작으로 생각을 시험하는 학습 환경입니다. 기술의 검증과 함께 학습자의 주도권을 어떻게 넓힐지도 연구의 중심에 두고 싶습니다.

발표의 처음과 끝을 잇는 질문을 다시 남깁니다. 기계를 더 똑똑한 감독관으로 만들 것인가, 학생에게 조종간을 넘길 것인가. LLM과 SAE를 연결하는 시도는 그 선택을 구체적인 설계와 반증 가능한 연구로 옮겨 보기 위한 제안입니다.


발표를 읽고 이어서 생각할 질문

아래 문답은 글의 이해를 돕기 위한 정리입니다. 현장에서 받은 세 질문을 재현한 것은 아닙니다.

SAE가 학생의 생각을 직접 읽는다는 뜻인가요?

아닙니다. SAE로 읽고 조절하려는 것은 인공 언어모델의 내부 활성입니다. 그 모델이 실제 학습자를 얼마나 잘 설명하고 예측하는지는 별도의 인간 학습자 연구로 검증해야 합니다.

일부러 틀리게 답하라고 시키면 시뮬레이션 학습자가 되지 않나요?

그런 역할 연기도 교육적으로 활용할 수 있습니다. 다만 이번 연구 질문은 설정한 개념·과정의 결손이 특정 오류와 개입 반응으로 이어지는지를 내부 실험으로 확인할 수 있는가입니다. 같은 오답을 보인다는 사실만으로 두 접근의 기제가 같다고 볼 수는 없습니다.

연구가 성공했는지는 무엇으로 판단하나요?

먼저 모델 안에서 개념 대응, 계산 경로, 선택적 개입 효과를 대조군과 비교합니다. 그다음 실제 학습자의 지연 전이·유지·자율성이 나아지는지 확인합니다. 해석하기 좋은 그림과 교육적으로 유효한 모델 사이의 거리를 줄여야 합니다.

관련 연구와 참고 자료

  1. Templeton, A., et al. (2024). Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet. SAE를 이용한 특징 추출과 활성 조절의 선행연구입니다.
  2. Park, K., Choe, Y. J., Jiang, Y., & Veitch, V. (2024 공개 원고, 2025 개정). The Geometry of Categorical and Hierarchical Concepts in Large Language Models. 범주·분류 위계의 기하학을 다루며, 교육과정 선수 관계에 관한 실증으로 읽어서는 안 됩니다.
  3. 1EdTech. Competencies and Academic Standards Exchange (CASE). 교육과정·역량 정보 교환을 위한 표준입니다.
  4. 이수화. LLM·SAE 기반 학습자 모델링 발표 슬라이드, 수정 발표자 노트 및 발표초록. 교육공학회 발표, 2026년 11월 14일. 발표 슬라이드 PDF.

함께 읽을 강연

부인과 진료에 바로 사용 가능한 인공지능 만들기: 문진부터 설명·추적까지, 우리 진료실의 다섯 짚인간 — 진료실에서는 전문가의 작업 기억과 판단을, 이번 발표에서는 학습자의 사고와 개입 반응을 다룹니다. 두 강연 모두 사람의 활동과 주도권을 중심에 두고 AI를 어떻게 설계할지 묻습니다.

댓글 남기기