유창함은 진실이 아니다 이미지: AI 생성

AI에게 어떤 조사를 맡겼더니, 세련되고 구조화되고 확신에 찬 답이 돌아왔다 — 그리고 우연히 잡아내지 못했다면 몰랐을 방식으로 틀려 있었다. 처음 든 생각은 “내가 잘못 쓰고 있는 건가?“였다. 문헌은 아니라고 말한다. 알아차리지 못하는 것은 신중한 사람들에게도 기본적으로 벌어지는 결과이고, 해법은 경계심을 더 키우는 게 아니다. 그 불편함을 기계가 검사할 수 있는 무언가로 바꾸는 것이다.

LLM이 깨버린 유창성 휴리스틱

인간은 값싼 지름길 위에서 작동한다: 처리하기 쉬운 것은 아마 참일 것이라는 지름길이다. 심리학자들은 이를 유창성 휴리스틱(fluency heuristic)이라 부르는데, 인류사 대부분의 기간 동안 이것은 합리적인 도박이었다 — 명료하고 자신감 있고 일관되게 말하는 화자는 대개 실제로 유능하다. 인간의 제약 아래서 그런 종류의 말을 만들어내는 것은 오래 위장하기 어렵기 때문이다. LLM은 이 상관관계를 깨뜨린 최초의 대량생산 화자다. 이제 유창함은 모델에게 아무런 비용도 들지 않는다. 자신감은 검증된 이해의 신호가 아니라, 토큰 분포일 뿐이다.

이 간극은 사람들이 AI의 출력을 평가하는 방식에 그대로 드러난다: 같은 답이라도, AI가 만들었다고 들었을 때가 사람이 만들었다고 들었을 때보다 더 자신감 있다고 판단한다 (phys.org, 2026-05). 모델이 더 확신하게 된 게 아니다. 독자의 사전 믿음이 바뀐 것이다.

전문가도 예외는 아니다

이것이 경험 부족의 문제라면, 훈련으로 고칠 수 있을 것이다. 그렇지 않다.

AI 보조 진단 훈련을 이미 받은 의사들조차 그럴듯하게 들리지만 틀린 LLM 추천을 걸러내지 못했다 — 자동화 편향(automation bias)은 그것을 막기 위해 설계된 훈련조차 뚫고 살아남았다 (medRxiv, 2025-08). 이것이 메커니즘이고, 들리는 것보다 더 심각하다. 왜냐하면 통과하는 오류들이 쉬운 종류가 아니기 때문이다. 해석 수준의 오류는 사실적 오류보다 잡아내기 어렵다 — 틀린 이름이나 틀린 날짜는 눈에 띄지만, 틀린 프레임은 그렇지 않다. 그럴듯하게 들리고 독자가 이미 예상하던 서사에 들어맞기 때문이다 (Not Wrong, But Untrue, arXiv:2509.25498). 도메인 지식은 사실을 잡아낸다. 프레이밍은 안정적으로 잡아내지 못한다.

이 두 발견 밑에는 캘리브레이션 간극이 있다: LLM은 실제 정확도를 체계적으로 웃도는 수준으로 자신감을 보고한다. 11개 모델과 6개 질문 세트에 걸쳐 측정한 결과, 평균 명시된 자신감은 88%였던 반면 실제 정확도는 79%였다 (Confidence Calibration in Large Language Models, arXiv:2605.23909). 모델이 확신에 대해 거짓말을 하는 게 아니다. 캘리브레이션이 어긋난 것이고, 그 어긋남이 권위처럼 읽히는 것이다.

느려졌는데 빨라졌다고 느끼다

이것이 지식의 문제가 아님을 가장 분명하게 보여주는 것은 숙련된 오픈소스 개발자들을 대상으로 한 METR의 2025년 연구다 — 개발자 16명, 실제 작업 246건, 평균 100만 줄이 넘는 저장소. 이들은 AI를 순진하게 신뢰하는 사람들이 아니다. 매일 프로덕션 코드를 다루는 사람들이다.

  • AI가 자신들을 24% 더 빠르게 만들어줄 것이라 기대했다.
  • 실측 결과는 19% 더 느려짐이었다.
  • 작업을 끝낸 뒤에도 — 실제 소요 시간이 이미 지나간 뒤에도 — 여전히 자신이 20% 더 빨랐다고 믿었다.

이 착각은 작업이 이미 끝나고 시간까지 다 측정된 뒤에도 지속되었다. 여기서 곱씹을 만한 대목이 있다: 체감된 경험은 증거가 아니며, 스스로 교정되지 않는다는 것이다. 작동하고, 출시되고, “생산적으로 느껴지는” 상태는 측정상 생산적이지 않을 때조차 안정적으로 지속될 수 있으며, 그 과정을 직접 겪었다는 사실 자체는 그것을 저절로 고쳐주지 않는다.

이 연구가 감당할 수 있는 범위를 정확히 하자면: 개발자 16명은 작은 표본이고, METR 스스로도 이 결과가 특정 상황에 국한된다는 점을 명시한다 — 노련한 메인테이너들, 그들이 깊이 알고 있던 성숙한 100만 줄짜리 코드베이스라는 맥락이다. 그러니 이것을 “모두에게 AI는 느리게 만든다"로 확장해서는 안 된다. 19%라는 숫자를 어디에도 point estimate로 들고 다니지 마라. 이 논증이 기대는 것은 간극의 크기가 아니라 부호(sign)다: 측정된 효과는 음수였고, 체감된 효과는 작업 전후 모두 양수였으며, 사후 추정치의 평균은 실측치가 아니라 사전 기대치 근처에 머물렀다. 만약 자기 인식이 그저 노이즈에 불과했다면, 사후 추정치들은 실측된 진실 주변에 흩어져 있어야 했을 것이다. 그렇지 않았다. 기대했던 자리에 그대로 머물렀다.

검증의 경제학이 무너진 이유

LLM 이전에는, 산출물만 보고 품질을 판단하는 것이 생산자의 역량을 판단하는 합리적인 대리 지표였다 — 둘은 상관되어 있었다. 부실한 결과물은 부실한 생산 과정에서 나왔기 때문이다. LLM은 이 연결을 끊어버렸다. 산출물의 품질과 생산자의 역량은 더 이상 결합되어 있지 않으며, 이는 산출물만 보는 평가가 진단 도구로서 작동을 멈췄다는 뜻이다 (Fluent, Confident, Wrong, ScienceDirect 2026). 검증이 생산보다 더 비싸졌다.

더 심각한 것은, 오류의 비용이 오류율에 비례하지 않는다는 점이다. 틀린 부분이 맞는 부분과 정확히 똑같이 읽힐 때 — 같은 어조, 같은 자신감, 같은 다듬어짐 — 피해 부위를 특정할 수 없기 때문에, 몇 퍼센트의 오염이 몇 퍼센트의 비용으로 끝나지 않는다. 전체를 오염시킨다: 출력 안의 모든 주장이 이제 가장 나쁜 그 하나의 의심을 함께 짊어진다. 그래서 “이 모델은 95%의 확률로 맞다"는 말이 들리는 것만큼 안심되는 숫자가 아닌 것이다. 신뢰는 정확도가 무너지기 훨씬 전에 불연속적으로 무너진다.

거의 아무도 검증 습관을 이 변화에 맞춰 업데이트하지 않았다 — 이것이 바로 이 사이트의 Ratchet Pattern 논증이 딛고 서 있는 간극이다: 생성은 확률적으로 남아있어도 되지만, 그것을 검사하는 것은 그럴 수 없다.

오용이 아니다 — 인구 전체의 기본값

그래서: 내가 잘못 쓰고 있는 걸까? 문헌은 정반대로 말한다. 오용의 교과서적 정의는 유창함을 신뢰 신호로 취급해 검증을 꺼버리는 것이다 — 그리고 이것은 예외적인 경우가 아니라, 훈련받은 사람들을 포함해 대부분의 사람들이 기본적으로 빠지는 상태다. 자동화 편향 연구에 등장한 의사들은 자신의 이견 신호를 붙들지 못했다. METR 연구의 개발자들도 마찬가지였다. 유창하고 반증 불가능해 보이는 답 앞에서 계속 의심을 품는 것이 편집증처럼 느껴진다면, 그것만으로도 이미 측정된 인구 대부분보다 — 이것을 잡아내는 것이 원래 직무였던 사람들까지 포함해서 — 앞서 있다는 점을 알아둘 만하다.

이 사이트에서 새삼스러운 관찰은 아니다 — 비즈니스 피처로서의 아첨 편향과 에이전트는 왜 작동하고 왜 깨지는가 둘 다 같은 지점에 도달한다: 이 실패 양상은 구조적인 것이지 개인의 주의력 결핍이 아니며, “그냥 더 조심하라"는 말은 아무리 반복해도 이것에 맞서 확장되지 않는다.

유일한 해법

여기서 중요한 조정은 딱 하나뿐이다: 불편한 느낌에서 멈추지 마라. 그것을 관찰 가능한 수락 기준(acceptance criterion)으로 바꾸고, 그 기준을 작업이 끝난 뒤가 아니라 시작되기 전에 정하라. 느낌은 스스로 교정되지 않는다 — METR이 이를 직접 증명했다 — 하지만 측정은 교정된다.

“전환한다"는 기분이 아니라 절차다. 어떤 결정을 형성하려는, 하중을 짊어진 주장이라면 그것을 받아들이기 전에 두 가지 질문에 답하라:

  1. 이것이 성립하려면 무엇이 참이어야 하는가? 유창한 출력은 자신의 전제를 좀처럼 명시하지 않는다. 전제를 프레임 속으로 세탁해 넣어버리는데, 바로 그 때문에 도메인 지식이 여기서 미끄러진다. 이 질문은 숨겨진 전제를 주장의 수준까지 끌어올려서, 마침내 공격할 수 있게 만든다.
  2. 만약 이것이 틀렸다면 나는 무엇을 관찰하게 될까? 이 질문은 주장이 세상에 지분을 걸도록 강제한다. 자신의 부정(negation)과 관찰 가능한 차이를 전혀 만들어내지 않는 결론은 지식이 아니다 — 그것은 정합성(coherence)일 뿐이고, 아무것도 걸려 있지 않을 때 모델이 최적화하는 것이 바로 정합성이다.

AI가 생성한 코드에 대해서는, 이 두 질문이 하나의 빈칸으로 압축된다. 코드가 존재하기도 전에 채워야 할 빈칸이다: “이것이 쓸모 있다면, 출시된 직후 사용자는 ___할 수 있다.” 이 빈칸은 코드의 세계가 아니라 사용자의 세계 속 행동을 명시해야 한다 — 깨끗한 빌드와 통과하는 런타임은 정합성 검사이지, 쓸모 검사가 아니다. 그리고 빈칸을 채울 수 없다면, 그것이 이 절차 전체에서 가장 값진 산출물이다: 아직 자신이 무엇을 요청했는지조차 모른다는 뜻이고, 그 유창한 답이 하마터면 그 사실을 감춰버릴 뻔했다는 뜻이다.

완화 방안을 다루는 문헌의 나머지 전부 — 자신감 있는 언어와 검증된 사실을 분리하는 것, 출력을 독립적으로 검사 가능한 단위로 쪼개는 것, 유창한 답이 도착하기 전에 마찰을 미리 심어두는 것 — 은 이 동일한 전환을 서로 다른 층위에 적용한 것일 뿐이다.

“이건 그냥 회의주의를 재포장한 것 아닌가?”

당연한 반론이 있다: “신뢰하기 전에 확인하라"는 회의주의가 항상 의미해온 바 아닌가, 그렇다면 여기서 실제로 새로운 게 뭔가? 답은 판단이 언제 일어나는가이며, 그 시점이 메커니즘의 전부다.

회의주의는 출력을 바라보는 동안 취하는 태도다 — 그리고 위의 모든 연구는 바로 그 태도가 실패하는 것을 측정한 것이다. 그 의사들은 잘 속는 사람들이 아니었다. 그들은 AI 보조 진단 훈련을 받았고 — 정확히 이 태도를 심어주기 위해 설계된 개입이다 — 추천 내용을 똑바로 들여다보고 있었다. 그럼에도 그 추천은 그들의 방어를 무너뜨렸다. 유창한 산출물은 자신에게 적용되는 판단 자체를 조절하기 때문이다 — 그것이 바로 유창성 휴리스틱의 정체다. 출력이 존재하기 전에 정해진 기준에는, 방어를 무너뜨릴 유창한 산출물이 존재하지 않는다. 자신감이 작동할 대상이 아무것도 없다. 검사가 출력이 도달할 수 없는 시점에 이미 고정되었기 때문이다.

과학은 같은 이유로 같은 조치를 제도화했다. 사전등록(preregistration)이 존재하는 이유는 심사자들에게 회의주의가 부족해서가 아니다. 이미 수집된 데이터를 들여다보는 연구자는 어떤 결과든 유창하게 정당화할 수 있기 때문에, 이 분야는 가설을 데이터보다 앞자리로 옮긴 것이다. 만약 이 구분이 공허한 것이라면 — 사후 회의주의가 사전 기준만큼 잘 작동한다면 — 훈련받은 평가자들은 나쁜 추천을 높은 비율로 걸러냈을 것이다. 그것이 바로 자동화 편향 연구가 실시한 실험이었고, 결과는 부정적이었다.

“검증이 생산보다 비싸다면 — 누가 감당할 수 있나?”

더 날카로운 반론도 있다: 출력을 검사하는 비용이 생성하는 비용보다 크다면, “신뢰하기 전에 검증하라"는 조언은 결국 남들보다 느려지라는 조언이며, 실제 대부분의 의사결정은 그 비용을 감당할 수 없다. 이 반론은 처방을 두 번 오독한 것이다.

첫째, 기준은 검증 그 자체가 아니다. 주장이 틀렸을 때 무엇을 관찰하게 될지 적어두는 데는 문장 하나면 충분하고, 검사 비용은 하중을 짊어진 주장에 대해서만 치르면 된다. 미리 명시된 관찰 가능 항목은 유창한 산출물을 열린 결말로 감사하는 것보다 검사하기 훨씬 저렴하기도 하다 — 사후 검증 비용의 대부분은 검사 자체가 아니라 어디서부터 시작해야 할지 모른다는 데서 나오고, 기준은 바로 그 탐색 공간을 무너뜨리는 역할을 한다.

둘째, 검증을 건너뛴다고 비용이 사라지는 게 아니다 — 비용을 뒤로 미루고 장부에서 지울 뿐이다. METR의 개발자들은 비용을 피한 게 아니었다. 비용은 실측된 시간에 그대로 나타났고, 그들의 체감 회계는 이익으로 기록했을 뿐이다. 그것이 이 반론이 잘못 비교하는 지점이다. 이것은 “검증 대 공짜"의 대결이 아니다. 지금 값이 매겨지고 눈에 보이는 검증과, 나중에 값이 매겨지지 않은 채 이익으로 장부에 기록되는 오류 흡수 사이의 대결이다.

리뷰어를 코드로 짜라

위 두 가지 질문 절차에는 여전히 약점이 하나 있다: 누군가 그것을 실행하기로 기억해야 한다는 데 의존한다는 것이다. 이는 같은 실패를 한 단계 위에서 되풀이하는 것일 뿐이다. 한 사람의 머릿속에만 사는 규율은 그 불편함 자체와 정확히 같은 방식으로 마모된다 — 처음 신중하게 읽을 때는 날카롭지만, 열 번째 유창한 읽기에서는 사라져 있다. “관찰 가능한 수락 기준으로 바꾼다"의 내구성 있는 형태는 습관이 아니다. 빌드 단계다: 그 기준을 기계에 넘기고, 그것 없이는 파이프라인이 통과를 거부하게 만드는 것이다.

이건 가정이 아니다 — 지금 읽고 있는 이 글도 바로 이렇게 게이트를 통과했다. Reins는 정확히 이를 위해 만들어진 오픈소스 프레임워크다: 각 수락 기준은 quest가 된다. Fact{Where, Expected, Actual}를 평가해 합격/불합격을 보고하는 규칙이며, 주변 산문이 그럴듯하게 들리는지는 결코 묻지 않는다. 이 글의 문장 하나가 쓰이기도 전에, 사람이 이 글이 주장해도 되는 구체적인 claim들을 먼저 적어두었다. 기계는 초안을 그 목록에 대조해 걸러냈다. 그리고 claim 커버리지를 확인한 리뷰어는 초안을 쓴 것과는 분리된 맥락에서 작업했다 — 자기 검토는 검토가 아니기 때문이다. 이 사이트가 돌아가는 quest 시스템인 abloq는 그것을 요청이 아니라 규칙으로 인코딩한다.

이것이 “그냥 느끼지 말라"는 말의 실제 내용이다. 더 많은 경계심이 아니라, 경계심이 더 이상 의존 대상이 아니게 되는 파이프라인 상의 한 지점이다. 앞 절에서 나온 두 질문 — 무엇이 참이어야 하는가, 무엇이 그것을 반증할 것인가 — 은 게이트 규칙이 되고 나면 더 이상 스스로 기억해서 물어야 할 대상이 아니게 된다. quest는 열 번째 읽기에서도 지치지 않는다.

관련 글

출처

변경이력

  • 2026-07-09: 초판