AI가 그럴듯하게 틀릴 때 — 왜 '분석'을 '조언'이라 부르기로 했나

AI 개발 도구의 진짜 위험은 "못 하는 것"이 아니라, 틀린 걸 자신있게 사실처럼 내놓는 것이다. KarnelVault에서 그 한 줄을 바꾼 이야기.

한눈에

KarnelVault는 프로젝트를 분석해 "이 영역이 빠졌다(gap)" 같은 판정을 내준다.
그런데 그 판정은 LLM 두 개(codex·claude)를 불러 받은 결과 — 같은 입력에 다른 답이 나올 수 있고, 그럴듯한 거짓을 낼 수도 있다.
그래서 그 출력에 "AI 조언이지 검증된 사실이 아니다" 라벨을 붙였다. 숫자를 더 그럴듯하게 만드는 대신, 불확실성을 드러내는 쪽을 택했다.

문제: 도구가 확신에 차서 틀린다

KarnelVault가 하는 일 중 하나는 "커버리지 점검"이다. 프로젝트의 핵심 초점이 준비된 직종·스킬로 덮이는지 보고, 안 덮이면 "gap N개, 착수 차단 M개" 같은 판정을 문서에 적어준다.

유용하다. 빈 페이지 앞에서 "뭘 빠뜨렸지?"를 대신 짚어주니까.

문제는 그 판정이 어떻게 나오느냐다. 내부적으로 LLM(codex·claude)을 실제로 호출해서 답을 받는다. 이건 세 가지 성질을 갖는다:

비결정적 — 같은 프로젝트를 두 번 돌리면 다른 판정이 나올 수 있다.
무출처 — "이 근거로 gap이다"의 근거가 검증되지 않는다.
환각 가능 — LLM은 존재하지 않는 문제를, 혹은 있는 문제의 반대를, 자신있게 말할 수 있다.

그런데 결과물엔 그냥 "gap 2개, 착수 차단 1개" 라고 적혀 있었다. 마치 컴파일러 에러처럼, 측정된 사실처럼. 사용자가 이걸 보고 "아, 여기가 막혔구나" 하고 결정을 내리면 — 그게 위험하다.

우리가 한 것: 숫자를 꾸미는 대신 라벨을 붙였다

고칠 방향은 두 가지였다.

분석을 "더 똑똑하게" 만들어 신뢰도를 올린다.
지금 신뢰수준을 정직하게 드러낸다.

1번은 매력적이지만 함정이다. LLM 판정은 아무리 다듬어도 비결정적이고 환각 가능하다. "더 그럴듯하게"는 오히려 사용자가 더 믿게 만들어 위험을 키운다.

그래서 2번을 택했다. 커버리지 판정 위에 이 배너를 얹었다:

⚠️ AI 조언이지 검증된 사실이 아니다. codex+claude 교차검증(불일치 N개) / 단일 AI 판정. LLM 출력은 비결정적(재실행 시 달라질 수 있음)이고 누락·환각 가능. 결정 근거가 아니라 검토용 사각지대 체크리스트로 볼 것 — 각 항목은 직접 확인하라.

그리고 교차검증 여부와 불일치 개수를 그대로 노출했다. codex와 claude가 서로 다른 판정을 내면 "둘이 안 맞았다(N개)"고 보여준다. 단일 AI로만 돌았으면 "교차검증 없음"이라고 적는다. 사용자가 그 판정을 얼마나 믿을지 스스로 판단할 재료를 준 것이다.

같은 원칙, 다른 곳에도

이건 배너 하나로 끝나는 이야기가 아니라 태도다.

게이트 체크는 프로젝트가 구현 준비됐는지 판정하는데, 통과해도 이렇게 말한다: "계획은 됐다. 하지만 재미가 증명된 건 아니다 — 그건 프로토타입 플레이테스트로만 안다." AI가 못 하는 걸 못 한다고 적는다.
스킬 카탈로그에서, 사람이 승인했지만 아직 품질 판정을 안 돌린 스킬에는 품질 점수를 지어넣지 않는다. 대신 "판정 미실행 — 누락이 아니라 미판정"이라고 기록한다. 빈칸을 그럴듯한 숫자로 채우는 게 제일 쉬운 거짓말이라서.

왜 이게 중요한가

AI 도구의 마케팅은 보통 확신을 판다. "AI가 분석해 드립니다", "AI가 최적의 답을 찾습니다."

하지만 실제로 그 출력을 돈·시간·결정에 걸어보면, 확신은 부채가 된다. 재현 안 되고, 출처 없고, 그럴듯하게 틀릴 수 있는 걸 사실로 믿는 순간 손해는 사용자 몫이다.

그래서 KarnelVault는 반대로 간다. 되는 건 되게 하고, 불확실한 건 불확실하다고 적는다. 초안 생성기로 쓰면 강력하고, 사실 판정기로 믿으면 위험하다 — 그 경계를 도구가 스스로 말한다.

가장 어려운 "무엇을 만들지"는 도구가 초안을 던져 빈 페이지 공포를 없앤다. 하지만 그게 맞는지 검증하는 건 — 여전히 사람의 몫이다. 그 선을 흐리지 않는 것, 그게 이번에 바꾼 한 줄의 핵심이다.

Sources

KarnelLabs: https://karnellabs.com

초안(draft). 발행 전 상단 사니타이즈 체크리스트를 사람이 검증할 것.