200만 단어 위키에 가벼운 로컬 검색을 붙인 과정
위키 원문이 200만 단어를 넘자 인덱스 파일을 통째로 읽는 방식이 한계에 다가왔습니다. 모델 용량이 큰 도구를 제외하고 SQLite와 정적 임베딩으로 하이브리드 검색을 만든 과정과, 에이전트가 사용법을 몰라도 이를 쓰게 만든 방법을 정리했습니다.
‘AI 지식 관리’ 태그가 달린 글
위키 검색이 실제로 얼마나 잘 찾는지 측정한 과정
질의 20개에서 0.95점이던 위키 검색은 더 어려운 질의 40개에서 0.70점으로 내려갔습니다. 평가 세트를 만들고, 번역과 더 큰 모델을 시험하고, 마지막에 두 가지 개선으로 영어 점수를 0.80에서 0.97로 올린 과정을 정리했습니다.
이 디지털 가든을 가꾸는 이유
AI 기반 지식 작업을 중심으로 한 공개 노트, 그리고 복잡한 시스템을 오래 만들고 문서로 풀어 온 사람이 이곳을 가꾸는 이유.