이미 확인했다는 착각: AI의 소스 판단에 진짜 '기억'을 심기까지
위키에 새 소스를 하나 넣을 때마다, AI는 가장 먼저 이 소스를 얼마나 믿어도 되는지부터 판단합니다. 원 연구 논문인지, 누군가의 즉흥적인 의견인지에 따라 위키에 반영하는 방식도, 인용 강도도 달라지기 때문입니다.
저는 그 판단을 세션마다 확인하고 넘어갔습니다. 그런데 한 가지 질문이 계속 걸렸습니다.
“이 분류가 그날 세션을 맡은 모델이 누구냐에 따라 달라질 수 있는 것 아닌가?”
이 글에서는 이 질문에서 출발해 소스 신뢰도 판단에 실제로 ’기억’을 심는 과정, 그리고 그 과정에서 제가 만든 해결책 자체가 원래 문제와 똑같은 결함을 안고 있었다는 사실을 발견하기까지의 과정을 정리해보겠습니다.
판단은 사실 두 개의 축으로 나뉜다
먼저 확인한 것은 ’신뢰도 등급’이라는 하나의 숫자처럼 보이는 판단이, 실제로는 성격이 전혀 다른 두 개의 축으로 이루어져 있다는 점이었습니다.
- ‘출처 유형’(Source Type, 이하 S축): 이 매체나 저자가 원 저작자인지, 실적이 검증된 전문가인지, 업계지인지, 개인 블로그인지를 나타냅니다. 이는 매체·저자에 고정된 속성이라 한 번 확인하면 이후에는 바뀌지 않습니다.
- ‘검증 가능성’(Verifiability, 이하 V축): 이 글 한 편이 자신의 주장을 실제로 근거와 함께 제시하는지를 나타냅니다. 이는 글마다 다를 수밖에 없어 매번 새로 판단해야 합니다.
문제는 V축만 매번 새로 판단하면 되는데, S축까지 세션마다 처음부터 다시 추측하고 있었다는 것입니다. 이미 여러 차례 확인한 매체나 저자조차 매번 새로 판단받는 구조였던 셈입니다.
판단에 기억을 심다
그래서 schema/source_registry.yml이라는 레지스트리 파일을 만들었습니다. AI가 추측하기 전에 먼저 확인하는 파일입니다. 한 번 확인된 매체나 저자는 여기에 기록되고, 이후 세션에서는 다시 추측할 필요가 없습니다.
이 판단을 실제로 수행하는 것은 tools/classify_source.py입니다. 소스 URL을 넣으면 레지스트리에 기록된 값을 찾아 반환하고, 기록이 없으면 새로 판단해야 한다고 알려줍니다.
새 소스 두 건으로 실제 인제스트 세션에 붙여 테스트해봤습니다. 정상적으로 작동했습니다.
고친 것도 같은 문제를 안고 있었다
문제는 그다음이었습니다. 레지스트리를 처음 만들 때 초기값을 12개 채워 넣었는데, 그중 10개는 제가 일반적으로 알고 있는 지식을 바탕으로 한 추측이었을 뿐, 실제로 확인받은 적이 없었습니다. ’레지스트리’라는 이름을 붙였다고 해서 그 판단이 확인된 사실이 되는 것은 아니었습니다. 파일 형태를 갖췄을 뿐, 본질은 원래 문제와 똑같은 미확인 추측이었습니다.
이 씨앗 데이터를 어떻게 바로잡았는지는 다음 편에서 이어집니다.
저자 단위로 확장하기
그 다음으로 걸린 질문은 이것이었습니다. 이 판단이 매체 단위로만 기록되어 있는데, 같은 사람이 다른 매체에 쓴 글은 어떻게 되는가.
실제 사례가 있었습니다. Rost Glukhov라는 저자는 medium.com/@rosgluk에 쓴 글 11건을 근거로 이미 S2로 확인되어 있었습니다. 그런데 같은 사람이 운영하는 개인 도메인 glukhov.org는 완전히 미확인 상태로 남아 있었습니다. 같은 사람인데도 레지스트리는 둘을 전혀 다른 존재로 취급하고 있었던 것입니다.
더 살펴보니 문제가 하나 더 있었습니다. 이 저자의 이름 자체가 과거 요약 파일들 안에서 네 가지 다른 형태로 기록되어 있었습니다. 위키링크로 감싼 형태, 평문, 성만 남긴 형태, 그리고 “Unknown”으로 처리된 경우까지 있었습니다. 저자 단위로 신뢰도를 연결하기 전에, 이 이름 표기부터 정리가 필요했습니다.
그래서 매체와 별개로 저자 단위 축을 추가했습니다. 매체를 먼저 확인하고, 매체가 미확인 상태일 때만 저자 이름으로 다시 확인하는 순서입니다. 이름 대조는 정확히 일치할 때만 인정하고, 부분적으로만 겹치는 경우는 “같은 사람일 가능성”으로만 표시하고 자동으로 합치지 않도록 했습니다. 서로 다른 두 사람을 성이 같다는 이유로 잘못 합치는 사고를 막기 위해서입니다.
이 방식으로 과거 이력을 저자 단위로 다시 모아보니, 여러 매체에 흩어져 있던 근거가 한 사람 아래로 합쳐지면서 훨씬 뚜렷한 패턴이 나왔습니다. Rost Glukhov는 4개 매체에 걸친 19건, Theo James는 2개 매체에 걸친 15건 등, 모두 명확한 근거로 저자 6명을 새로 확인했습니다.
마치며
이 작업 이전에는 위키가 소스를 추가할 때마다 S축을 새로 추측했습니다. 이제는 한 번 확인된 판단이 누적되고 남습니다. 저자 단위로 확장하면서 여러 매체에 흩어진 근거가 하나로 모이자 패턴이 훨씬 뚜렷해졌습니다. Rost Glukhov는 4개 매체에 걸친 19건, Theo James는 2개 매체에 걸친 15건, 이런 식으로 저자 6명을 새로 확인했습니다.
다만 이 구조가 제대로 작동하려면 한 가지 전제가 필요합니다. 레지스트리 씨앗 데이터 자체가 신뢰할 수 있어야 한다는 것입니다. 그 이야기는 다음 편에서 이어집니다.
읽어주셔서 감사합니다. 비슷한 방식으로 위키나 개인 지식 시스템을 운영하고 계신 분이라면, 댓글이나 DM으로 의견 나눠주시면 좋겠습니다.