RAG는 학습하지 않는다 — 카르파티의 LLM 위키가 지식 패러다임을 완전히 바꾼다
RAG는 학습하지 않는다 — 카르파티의 LLM 위키가 지식 패러다임을 완전히 바꾼다
프롤로그: 모두가 '문서와 대화'하고 있다
모든 AI 제품이 "당신의 문서와 대화하세요"라고 외치고 있다. NotebookLM, PDF 채팅 앱, 기업용 Copilot, ChatGPT 파일 업로드까지.
유용한가? 전적으로 그렇다.
하지만 나는 다른 생각이 든다.
그 모든 시스템은 근본적으로 학습하지 않는다.
매번 새로운 질문을 받을 때마다, AI는 당신의 문서를 처음 보는 것처럼 청크를 검색하고, 답변을 만들고, 그 합성을 버린다. 그리고 다음 질문이 오면 다시 처음부터 시작한다. 지속적인 합성은 없다. 진화하는 구조는 없다. 지식이 복리되는 일도 없다.
그저 원시 컨텍스트 창 위에서 일어나는 일시적인 추론일 뿐이다.
I – RAG의 숨겨진 치명적 결함
2025~2026년 현재, RAG(Retrieval-Augmented Generation)는 여전히 AI 지식 시스템의 표준이다. 하지만 Vectara의 FaithBench 연구(2025)에 따르면, RAG 환경에서도 hallucination(환각) 비율은 결코 0이 아니다.
- Gemini-2.5-pro: 약 6.65%
- GPT-4.5-preview: 약 11.94%
- Llama-3.1-8B: 약 28%
더 큰 문제는 "Lost in the Middle" 현상이다. 관련 정보가 컨텍스트 중간에 위치하면 모델의 성능이 급격히 떨어진다. 수백만 토큰 창이 열렸음에도, RAG는 여전히 이 문제를 완전히 해결하지 못했다.
"RAG에는 이해에 대한 기억이 없다. 데이터의 기억일 뿐이다."
전통적인 RAG는 상태가 없다(stateless). 지식을 유지하지 않고, 매번 재구축한다. 이는 유지보수 비용이 결국 감당할 수 없을 정도로 커지는 인간이 만든 지식 시스템의 오래된 문제를 그대로 물려받은 셈이다.
II – 카르파티가 제시한 대안: LLM Wiki
2026년 4월, Andrej Karpathy는 GitHub Gist를 통해 "LLM Wiki" 패턴을 발표했다. 이 아이디어는 단순하지만, 아키텍처를 완전히 뒤바꾼다.
기존 RAG가 문서를 "지속적으로 다시 스캔해야 할 대상"으로 취급한다면, LLM Wiki는 사용자와 원본 소스 사이에 영구적인 위키 레이어를 둔다.
임베딩 인덱스가 아니다. 진화하는 지식 기반이다.
구조화된 마크다운 페이지들. 서로 연관된 개념들. 엔티티 맵. 요약. 비교. 모순. 미해결 질문. 장기 합성.
그리고 가장 중요한 점: 시스템은 이 레이어를 시간이 지남에 따라 지속적으로 업데이트한다.
새로운 논문이나 트랜스크립트를 추가하면, 모델은 단순히 "저장"하지 않는다. 통합한다.
- 기존 요약을 다듬는다
- 엔티티 페이지를 수정한다
- 새로운 개념적 연결을 만든다
- 불일치를 표면화한다
- 이전 결론을 강화하거나 약화시킨다
- 시스템 전체의 장기 합성을 업데이트한다
지식 기반 자체가 복리(compounding)된다.
III – 유지보수 비용이 0에 가까워질 때 일어나는 일
인간이 만든 지식 시스템은 왜 쇠퇴하는가?
링크가 깨지고, 메모가 조각나고, 모순이 쌓이고, 분류 체계가 변질되고, 맥락이 사라지기 때문이다. 결국 시스템을 유지하는 비용이 재구축 비용보다 커진다.
LLM은 이 공식을 처음으로 바꾼다.
지속적인 조직 유지 관리를 거의 무료로 만들어준다.
2026년 arXiv 논문들(2605.07068, 2604.12034 등)은 LLM Wiki를 세 가지 레이어로 설명한다:
-
Raw sources — 불변의 원본 문서 (읽기 전용)
-
Compiled Wiki — LLM이 유지하는 구조화된 마크다운 Git 저장소 (Obsidian에서 직접 편집 가능)
-
Schemas/Summaries — 더 높은 수준의 추상화와 검증 메커니즘
"Obsidian은 IDE, LLM은 프로그래머, 위키는 코드베이스, 당신은 아키텍트다."
이 비유가 정확하다.
IV – RAG와 LLM Wiki의 결정적 차이
graph TD
subgraph RAG_사이클 ["🔴 전통 RAG: 매번 처음부터"]
A[문서 업로드] --> B[청크 검색]
B --> C[답변 생성]
C --> D[합성 폐기]
D --> B
end
subgraph LLM_Wiki_플라이휠 ["🟢 LLM Wiki: 지식이 복리된다"]
E[원본 문서] --> F[위키 통합]
F --> G[요약·링크·모순 업데이트]
G --> H[지식 기반 성장]
H --> I[미래 쿼리: 더 깊고 저렴한 추론]
I --> G
end
| 구분 | 전통 RAG | LLM Wiki |
|---|---|---|
| 지식 상태 | Stateless (매 쿼리 재구축) | Persistent (누적 합성) |
| 새 정보 처리 | 저장 후 검색 | 통합 (refine, link, contradict) |
| 토큰 비용 | 쿼리당 높음 (반복) | 초기 컴파일 후 50~85% 절감 |
| 지연 시간 | 검색 오버헤드 존재 | CAG + Wiki로 3~12배 향상 |
| 유지보수 | 인간이 관리 (쇠퇴) | LLM이 거의 무상 유지 |
| 결과물 | 일시적 추론 | 복리되는 이해 |
arXiv 연구에 따르면, Wiki 기반 접근은 장기적으로 토큰을 "소모재"가 아닌 "자본"처럼 다룰 수 있게 만든다. 특히 장기 실행 에이전트, 개인 세컨드 브레인, 조직 메모리, 연구 시스템에 적합하다.
V – 당신의 지식 시스템은 지금 어떤 상태인가
RAG는 컨텍스트를 검색한다.
LLM 위키는 지식을 축적한다.
그 둘은 같은 것이 아니다.
2026년 현재, 우리는 AI를 "필요할 때 정보를 가져오는 도구"로만 사용하고 있지 않은가?
아니면 AI가 우리의 이해를 지속적으로 구축하고 다듬는 파트너로 진화하도록 설계하고 있는가?
💭 이 글을 읽고 생각해볼 질문
-
RAG와 LLM Wiki를 결합했을 때, AI가 '일회성 추론'에서 '누적된 이해'로 진화하기 위해 가장 먼저 해결해야 할 것은 무엇일까?
-
지식 유지보수 비용이 거의 0에 가까워진 시대에, 개인과 조직의 '두 번째 두뇌'는 어떤 구조와 리듬을 가져야 하는가?
-
우리가 문서를 단순히 '저장'하는 것이 아니라 '통합'하기 시작한다면, 연구·학습·의사결정의 패턴은 구체적으로 어떻게 달라질까?
댓글로 당신의 생각을 공유해주세요. 어떤 지식 시스템을 구축하고 계신가요?
결론: AI는 이제 '이해를 축적'하기 시작했다
시의적 주제는 RAG의 한계와 Karpathy의 2026년 제안이다.
하지만 보편적 질문은 이것이다.
지식은 저장하는 것이 아니라, 살아있는 관계망으로 진화하는 것이다.
당신이 지금 AI와 함께 쌓아가는 것은 단순한 파일들의 집합인가, 아니면 시간이 지날수록 더 똑똑해지고 더 연결되는 하나의 살아있는 지식 생물인가?
그 차이가, 2026년 이후 당신의 생산성과 사고의 깊이를 결정할 것이다.
"RAG는 컨텍스트를 검색한다. LLM 위키는 지식을 축적한다. 그 둘은 같은 것이 아니다."
Sources
이 글이 도움이 되셨다면, 한 명의 친구에게 공유해주세요. 지식은 공유할 때 더 빠르게 복리됩니다.