핵심 요지 — 오픈웨이트 언어모델을 개인용 컴퓨터에서 돌려 케플러 법칙 시뮬레이터를 만들며, 작은 로컬 AI의 가능성과 한계를 시험했다.
오픈웨이트 언어모델을 내 자리의 컴퓨터에 설치해 돌려보았다. 목표는 단순한 대화가 아니었다. 추론과 코딩을 한꺼번에 시험하고 싶었다. 먼저 명량해전의 의사결정 문제를 던졌고, 이어 케플러의 세 법칙을 설명하고 움직이는 시뮬레이터를 만들어보라고 했다.
결과는 놀라웠다. 모델은 타원 궤도, 같은 시간 동안 같은 면적을 쓸어가는 제2법칙, 공전주기 제곱과 장반경 세제곱의 관계를 한 화면에 배치했다. 그러나 처음 만든 애니메이션은 너무 느렸다. 태양계의 실제 시간 규모를 그대로 옮기려 했기 때문이다. 문제를 다시 설명하자 모델은 시각화를 위한 시간 배율을 따로 두는 해법을 제안했다.
작아진 모델, 가까워진 실험
클라우드 AI는 강력하지만 모든 질문과 자료를 외부로 보내야 한다. 로컬 모델은 상대적으로 작고 느릴 수 있지만, 자료가 내 컴퓨터를 떠나지 않고 반복 실험의 비용을 통제할 수 있다. 네트워크가 불안정한 환경에서도 작동한다는 장점도 있다.
무엇보다 ‘내 도구’라는 감각이 생긴다. 모델을 바꾸고, 같은 질문을 여러 설정으로 돌리고, 실패한 코드를 즉시 고칠 수 있다. 완성품을 소비하는 것이 아니라 작업대를 갖는 셈이다.
증류와 양자화는 다르다
당시에는 위스키를 증류해 맛을 압축하듯 거대한 모델을 작은 파일에 담는다고 표현했다. 비유는 직관적이지만 기술적으로는 구분이 필요하다. 모델 증류는 큰 모델의 행동을 작은 모델이 배우게 하는 학습 과정이고, 4비트 양자화는 가중치를 더 적은 비트로 표현해 메모리 사용량을 줄이는 방식이다. 둘 다 모델을 가볍게 만들 수 있지만 같은 기술은 아니다.
양자화된 모델에서는 아주 미세한 정확도가 줄 수 있다. 그 대신 개인용 컴퓨터에서 실행할 수 있는 범위가 넓어진다. 중요한 것은 ‘거대한 모델과 똑같은가’가 아니라, 내 목적에 충분한가이다.
정답보다 중요한 디버깅
케플러 시뮬레이터의 느린 속도는 실패가 아니라 좋은 시험이었다. 모델이 만든 코드는 물리 법칙을 그대로 구현했지만, 학습 도구로서는 사용하기 어려웠다. 실제 척도와 교육용 표현 사이의 차이를 사람이 발견하고 다시 설계해야 했다.
로컬 AI의 가치는 가장 큰 모델을 흉내 내는 데 있지 않다. 자신의 문제를 가까이에서, 반복해서, 책임 있게 실험할 수 있다는 데 있다.
작아진 모델이 남기는 것은 압축된 지능만이 아니다. 전문가가 직접 만지고 고칠 수 있는 작업 환경이다. 그 환경에서 코드는 결과물이 아니라 질문을 시험하는 장치가 된다.
32년 뒤 AI와 다시 만난 케플러 이야기 · 페이스북 실험 기록