This site is also available as markdown for AI agents. For a complete index of all pages, see the site index at /llms.txt

내 생각인 줄 알았다: AI가 조용히 판단력을 대신하고 있었다

LLM-PKM 공개 구축기 6/10편

Read in English →

습관이라는 건 인식하기 전까지 습관인지 모릅니다.

저는 새로운 아티클을 받아볼 때마다 늘 하던 순서가 있었습니다. 링크를 Claude에게 던집니다. 요약을 읽습니다. “맞네” 하고 승인합니다. 그걸로 끝이었습니다.

그러던 어느 날, 미처 보내기 전에 제목과 첫 두 문단만 혼자 먼저 읽어봤습니다. “이 글이 무엇을 주장할 것 같지? 나는 어떻게 생각하지?” 그런 다음 Claude의 요약을 봤습니다.

거의 같았습니다. 그 유사함이 당연하게 느껴진다는 점이 불편했습니다.

동의하는 것과 흡수되는 것은 다르다

저는 마치 제가 독립적으로 생각하고 있는 것처럼 느꼈습니다. 그런데 제 생각 자체가 이미 AI가 요약하는 방식으로 형성되어 있었습니다.

이것을 ‘알고리즘적 아첨’(Algorithmic Sycophancy) 이라고 부르는 연구자들이 있습니다. AI가 사용자의 의견에 동조하는 방향으로 응답한다는 뜻입니다. 하지만 제가 경험한 것은 그것보다 더 조용한 형태였습니다. AI가 제 생각에 맞춰 응답하는 것이 아니라, 제 생각 자체가 AI의 프레임에 맞춰 형성되고 있었습니다.

소스를 AI에게 먼저 주면, AI의 해석이 제 초기 인식을 결정합니다. 그리고 첫 인상은 생각보다 강력합니다. 이후에 제가 아무리 비판적으로 읽으려 해도, 이미 형성된 프레임 안에서 읽게 됩니다.

마찰을 일부러 만들기

이 문제를 정리하는 데 도움이 된 것은 소피아 킨테로(Sofia Quintero)의 글이었습니다. 그는 「당신은 더 똑똑해지는 게 아니라, 더 자신감이 생기는 것」이라는 글에서 AI가 가장 위험한 것은 “옳은 것처럼 들릴 때”라고 지적했습니다. 유창하고 잘 구조화된 AI 출력은 우리가 스스로 판단하고 있다는 착각을 만들어낸다는 것입니다. 저는 그 글을 읽으면서 제 인제스트 루틴이 정확히 그 패턴을 따르고 있다는 것을 알아챘습니다.

그래서 이 원칙을 위키 워크플로우에 ‘마찰 주입(Friction-Injection)’ 이라는 이름으로 적용했습니다.

원칙은 단순합니다. 새로운 소스를 AI에게 주기 전에, 먼저 혼자서 최소한의 판단을 형성한다. 제목과 첫 두 문단만 읽어도 됩니다. “이 글이 무엇을 주장할 것 같은가? 나는 어떻게 생각하는가?” 이 질문에 짧게라도 답한 다음에 AI에게 넘깁니다.

처음에는 번거롭게 느껴졌습니다. 효율을 높이려고 AI 워크플로우를 만든 건데, 일부러 속도를 늦추라는 것이기 때문입니다.

하지만 실제로 해보니 두 가지가 달라졌습니다.

첫째, AI의 요약에 동의하지 않는 경우가 생겼습니다. 이전에는 “AI가 이렇게 요약했으니 이게 맞겠지”라고 넘어가던 부분들에서, 내 판단과 다르다는 것을 알게 됐습니다.

둘째, 위키에 남기는 메모의 성격이 달라졌습니다. 이전의 메모는 “이 글의 주장은 X다”였다면, 지금은 “이 글의 주장은 X인데, 나는 Y 부분에서 유보적이다”가 됩니다. 전자는 AI의 생각이고, 후자는 내 생각입니다.

PKM에서 ’나’를 지키는 문제

AI-PKM 시스템을 만드는 사람들이 가장 자주 이야기하는 것은 효율입니다. 얼마나 빠르게 소스를 처리하고, 얼마나 잘 정리된 위키를 만드는가. 하지만 제가 점점 더 중요하게 생각하게 된 것은 다른 질문입니다.

이 시스템 안에서 내 생각은 어디 있는가?

마찰 주입은 속도를 늦추는 장치가 아닙니다. 제 사고가 시스템 안에 살아있게 하는 장치입니다.

다음 편 예고

이 시점까지 소스를 판단하는 과정은 매 세션마다 새로 시작됐습니다. 같은 미디어에서 나온 글도, 이전에 검토한 작가의 글도, 모델이 바뀌면 처음 보는 것처럼 새로 판단했습니다. 다음 편에서는 그 반복 문제를 어떻게 해결했는지 이야기하겠습니다.

관련 글

  • 5분 분량

    AI 메모리 도구를 도입했다가 제거한 이유

    코딩 에이전트의 세션 간 컨텍스트 문제를 해결하기 위해 Mem0를 도입했다가 제거한 경험을 공유합니다. 전용 메모리 도구 없이 두 개의 마크다운 파일만으로도 크로스 세션, 크로스 에이전트 연속성을 유지하는 방법을 소개합니다.

  • 2분 분량

    이 디지털 가든을 가꾸는 이유

    AI 기반 지식 작업을 중심으로 한 공개 노트, 그리고 복잡한 시스템을 오래 만들고 문서로 풀어 온 사람이 이곳을 가꾸는 이유.

← 전체 글 목록으로