LLM-PKM 공개 구축기

1. LLM-PKM 공개 구축기 1/12편

   AI와 함께 10년 지식을 정리하기 시작했습니다: 그 이유와 출발점

   지난 10년간 쌓아온 OTT·DRM 경험을 AI와 함께 정리하는 개인 지식관리 시스템, LLM-Wiki를 만들어가는 과정을 공개로 기록합니다. 왜 시작했는지, 그리고 몇 주 만에 무엇이 쌓였는지 살펴봅니다.

2. LLM-PKM 공개 구축기 2/12편

   정보 수집가에서 지식 건축가로: 나쁜 정보는 나쁜 위키를 만든다

   AI에게 아티클을 던져주기만 하면 위키가 저절로 채워지던 시절, 저는 지식을 쌓고 있다고 착각했습니다. 나쁜 소스를 걸러내는 3단계 품질 체크 시스템 'Ingest 2.0'을 만들게 된 과정을 공유합니다.

3. LLM-PKM 공개 구축기 3/12편

   인사이트 도출의 실제 모습: DRM 전문성과 AI 에이전트 경제가 만나는 단 하나의 지점

   OTT 보안 기술과 AI 에이전트가 만나는 지점을 찾다가, 첫 번째 답이 틀렸다는 것을 알게 됐습니다. 억지 연결을 버리고 진짜 연결점 하나를 찾아낸 과정을 공유합니다.

4. LLM-PKM 공개 구축기 4/12편

   AI 플러그인이 많을수록 좋다는 착각: 컨텍스트 낭비와 최소 구성의 원칙

   세션을 시작하자마자 50,000 토큰이 사라졌습니다. 93KB짜리 개발 프레임워크가 모든 프로젝트에 자동으로 로드되고 있었기 때문입니다. AI 설정에도 최소 권한 원칙이 필요하다는 것을 배운 과정.

5. LLM-PKM 공개 구축기 5/12편

   한 공간, 세 가지 역할: 독자가 달라지면 규칙도 달라진다

   개인 메모, 범용 템플릿, 공개 블로그가 한 공간에 뒤섞이면 AI 에이전트도 경계를 구분하지 못합니다. 위키를 네 개의 레이어로 물리적으로 분리한 이유와, 그 과정에서 제 시스템의 어떤 부분이 사실 보편적 원리가 아니었는지 알게 된 이야기.

6. LLM-PKM 공개 구축기 6/12편

   내 생각인 줄 알았다: AI가 조용히 판단력을 대신하고 있었다

   매번 Claude의 요약을 보고 '맞네'라고 넘어갔는데, 어느 순간 제 생각 자체가 이미 AI의 프레임 안에서 형성되어 있었습니다. 소피아 킨테로의 글에서 배운 '마찰 주입' 원칙을 위키 워크플로우에 적용한 이야기.

7. LLM-PKM 공개 구축기 7/12편

   이미 확인했다는 착각: AI의 소스 판단에 진짜 '기억'을 심기까지

   소스 신뢰도 판단이 세션마다 달라지는 문제를 해결하기 위해 레지스트리를 만들었습니다. S축(출처 유형)과 V축(검증 가능성)을 분리하고 저자 단위까지 확장하기까지의 과정. 그리고 그 레지스트리 씨앗 데이터가 이미 같은 문제를 안고 있었다는 발견.

8. LLM-PKM 공개 구축기 8/12편

   추측을 막으려 만든 레지스트리가 추측투성이였다: 소스 신뢰도 데이터 감사하기

   '이 레지스트리 항목들, 어디서 나온 거야?' 12개 초기 데이터 중 10개는 AI의 추측이었습니다. 과거 인제스트 이력에서 증거를 역추적해 초기 데이터를 바로잡은 과정, 그리고 AI가 생성한 데이터와 사람이 확인한 데이터를 구분하지 않으면 생기는 일.

9. LLM-PKM 공개 구축기 9/12편

   다섯 개가 쌓이자 도장을 찍고 있었다: '묵인 승인' 패턴 없애기

   소스 한두 개는 신중하게 검토했습니다. 일곱 개가 쌓이자 다섯 번째부터는 제목만 훑어보고 승인하고 있었습니다. '묵인 승인' 패턴을 발견하고 인제스트를 분석·검토·쓰기 세 단계로 분리한 이야기.

10. LLM-PKM 공개 구축기 10/12편

    다 읽어야 '세컨드 브레인'이 된다는 착각: 주간 리뷰 루틴과 슬랙 알림까지

    이 프로젝트를 시작한 뒤로 직접 읽어본 위키 페이지가 몇 개나 될지 세어봤더니 거의 없었습니다. AI가 모든 연결을 만들면 지식 그래프는 AI의 것이 됩니다. 주간 리뷰 워크플로우와 슬랙 알림 루틴을 만들어 제 사고를 시스템 안에 남기려 한 과정.

11. LLM-PKM 공개 구축기 11/12편

    200만 단어 위키에 가벼운 로컬 검색을 붙인 과정

    위키 원문이 200만 단어를 넘자 인덱스 파일을 통째로 읽는 방식이 한계에 다가왔습니다. 모델 용량이 큰 도구를 제외하고 SQLite와 정적 임베딩으로 하이브리드 검색을 만든 과정과, 에이전트가 사용법을 몰라도 이를 쓰게 만든 방법을 정리했습니다.

12. LLM-PKM 공개 구축기 12/12편

    위키 검색이 실제로 얼마나 잘 찾는지 측정한 과정

    질의 20개에서 0.95점이던 위키 검색은 더 어려운 질의 40개에서 0.70점으로 내려갔습니다. 평가 세트를 만들고, 번역과 더 큰 모델을 시험하고, 마지막에 두 가지 개선으로 영어 점수를 0.80에서 0.97로 올린 과정을 정리했습니다.

← 전체 글 목록으로