핵심 요지 — DeepSeek 7B 모델을 노트북에서 직접 실행한 경험과 GPU 교체 과정을 통해 로컬 AI가 개인 연구자의 도구가 되는 순간을 기록한다.
DeepSeek-R1 7B 모델을 노트북에 설치했다. Ollama로 모델을 내려받고, Docker와 웹 인터페이스를 연결했다. ‘로마제국에 대한 임의의 사실을 말해보라’고 하자 한참 생각한 뒤 사람이 타이핑하는 속도로 답이 나타났다. 약 7GB의 파일 안에 인간이 남긴 수많은 문장의 흔적이 압축되어 있다는 사실이 놀라웠다.
노트북은 전력을 다했다. CPU와 메모리, 작은 GPU가 거의 가득 찼고 열이 올라왔다. 클라우드의 거대한 서버에서 돌아가던 LLM이 내 책상 위에서 느리게나마 대답하는 순간이었다.
왜 굳이 내 컴퓨터에서 돌리는가
온라인 AI 서비스는 빠르고 편하다. 반면 로컬 LLM은 느리고 설치할 것도 많다. 그럼에도 직접 실행하는 이유가 있다. 데이터가 내 장비 밖으로 나가지 않게 할 수 있고, 모델과 설정을 바꾸어가며 작동 원리를 관찰할 수 있으며, 서비스 정책이 바뀌어도 실험을 계속할 수 있다.
연구자에게는 완성된 답보다 실패하는 과정이 중요할 때가 있다. 메모리가 부족하면 모델 크기와 정밀도가 어떤 관계인지 알게 되고, 응답이 느리면 연산량과 하드웨어의 한계를 체감하게 된다. 설치와 오류 자체가 학습 자료가 된다.
GPU는 개인 연구실의 실험 장비가 되었다
12GB 메모리의 RTX 3060을 중고로 구해 작은 모델을 돌리고, 이후 24GB 메모리의 RTX 4090을 연구용 데스크톱에 넣었다. 그래픽카드는 원래 화면을 그리는 부품이었지만, 이제는 모델을 미세조정하고 추론을 실험하는 개인용 계산 장비가 되었다.
큰 GPU에는 큰 전원과 넓은 케이스, 발열 대책이 필요하다. 최신 장비를 사는 것만으로 연구가 시작되는 것은 아니다. 어떤 모델을 어떤 데이터로 시험하고 무엇을 측정할지 결정해야 비싼 부품이 연구 도구가 된다.
오픈소스가 연구의 문턱을 낮춘다
Ollama, Docker, 공개 모델과 웹 인터페이스 덕분에 개인도 LLM 환경을 조립할 수 있다. 예전에는 조직의 서버와 개발팀이 있어야 가능했던 실험을 연구자와 학생이 직접 시작할 수 있다. 무상 코랩이 딥러닝 실습의 문턱을 낮췄듯, 로컬 LLM 생태계는 생성형 AI 실험의 문턱을 낮춘다.
책상 위에 생긴 작은 연구실
로컬 LLM의 의미는 클라우드 모델보다 성능이 좋다는 데 있지 않다. AI를 멀리 있는 서비스가 아니라 분해하고 조절할 수 있는 대상으로 바꾸는 데 있다. 뜨거워지는 노트북과 복잡한 케이블은 불편하지만, 그 불편을 통과하면 인공지능을 소비하는 사람에서 실험하는 사람으로 자리가 조금 이동한다.
페이스북 원문: 〈역사의 순간: LLM 설치하다〉 · 〈보았느뇨 RTX3060 12GB〉 · 〈RTX4090으로 선수교체〉 (2025년 4월)