도시 하나를 태워 답 하나를 얻는다 Image: AI generated

답 하나에 드는 값

1조 파라미터 모델이 답 하나를 뱉으려고 도시 하나만큼의 전기와 물을 쓴다.

추론 한 번에 데이터센터가 달아오르고, 그 열을 식히려 물이 증발한다. 추정치는 출처마다 자릿수가 갈리지만, IEA는 ChatGPT 질의 한 번이 일반 검색의 열 배 가까운 전기를 쓴다고 봤고, 100단어짜리 답 하나에 물 한 병이 든다는 분석도 있다. 그렇게 태운 끝에 돌아오는 답조차 절반은 다시 물어봐야 하고, “확실해?” 한마디에 번복된다. 낭비 위에 쌓은 낭비.

나는 이게 미쳤다고 생각했다.

나는 낭비를 자연의 한계라기보다 설계의 문제로 보는 편이다. 버려지는 것이 있다면, 대개는 아직 더 나은 설계를 못 찾은 것이다. 그런데 지금의 AI는 그 반대로 간다. 더 크게, 더 많이 태워서, 더 자주 틀린다.

그래서 나는 답을 찾기 시작했다. 더 키우는 길 말고 다른 길이 있어야 했다.

더 키우는 게 답이 아니라면

업계의 답은 한 방향이었다. 스케일. 파라미터를 늘리고, 데이터를 늘리고, 컨텍스트를 늘린다. 벽에 부딪히면 더 큰 망치를 든다.

제1원리 사고는 거기서 멈추라고 말한다. 이게 진짜 맞나? 더 큰 통계 기계가 더 정확한 기계인가, 아니면 그냥 더 비싼 기계인가.

나는 심볼릭으로 돌아갔다. 의미를 통계로 근사하는 대신, 검증 가능한 구조로 묶는 길. 모든 주장에 출처와 시점과 신뢰도를 붙여 기계가 스스로 검증하게 하는 길. 거기에 답이 있다고 믿었고, 미친 듯이 방법을 찾아 헤맸다.

그러다 엉뚱한 곳에서 답을 봤다.

다들 고치려던 결함

LLM에는 모두가 욕하는 결함이 있다. 아첨.

“확실해?“라고 물으면 맞았던 답을 틀렸다고 번복한다. 사용자가 원하는 방향으로 슬그머니 기운다. 비위를 맞춘다. RLHF로 “사람이 좋아하는 답"을 학습한 모델의 수학적 필연이고, 빅테크가 고칠 인센티브도 없다. 버그가 아니라 사실상 기능이다.

다들 이걸 없애려 한다. 나는 반대로 물었다. 없앨 수 없다면, 어디에 아첨하게 만들 것인가?

답은 단순했다. fact에 아첨하게 만들면 된다.

모델 앞에 검증된 사실을 깔아두고, 그 위에서만 말하게 한다. 아첨하는 본능은 그대로 두되, 아첨할 대상을 사용자의 기분에서 고정된 사실로 바꾼다. 그러면 결함이 방향을 튼다. 비위를 맞추던 그 힘이 이제 사실을 향한다. 아첨이 정확도가 된다.

방황이 멈췄다

효과는 내가 기대한 것보다 컸다.

정확도가 오른 건 당연했다. 놀란 건 그다음이었다. 에이전트가 방황을 멈췄다. 사실에 묶이지 않은 에이전트는 끝없이 떠돈다. 그럴듯한 길을 만들고, 스스로 만든 거짓 확신 위에서 다음 거짓을 쌓고, 한참 가서야 막다른 길임을 안다. 실제로 한 평가에서는 최고 성능 모델조차 다단계 과제의 70% 가까이를 끝내지 못했다(카네기멜런). 그 모든 헛걸음이 토큰이다. 전기다. 물이다.

사실을 깔아주자 에이전트가 길을 잃지 않았다. 헛걸음이 줄었다. 그래서 토큰 낭비가 줄었다.

여기서 두 가지가 하나로 만났다. 정확도와 절약은 트레이드오프가 아니었다. 같은 것이었다. 더 정확한 에이전트가 더 적게 태운다. 사실에 묶인 모델이 더 싸고 더 옳다. 제로 웨이스트는 비용 절감의 문제가 아니라 옳음의 다른 이름이었다.

솔직히 적자면: 이건 내 실험 위에서 본 것이고, 모든 도메인·모든 규모에서 같은 폭으로 재현된다고 아직 단언하지 못한다. 하지만 방향은 분명하다. 사실을 고정하면 모델은 덜 헤매고 덜 태운다.

그래서 알리기로 했다

이걸 혼자 쥐고 있을 수도 있었다. 하지만 처음 그래프를 봤을 때 떠오른 건 사업 계획이 아니라 데이터센터의 열이었다. 인류 단위의 낭비. 그 앞에서 “나만 안다"는 건 의미가 없었다.

그래서 나는 이걸 세상에 알리기로 했다.

원리는 감출 게 못 된다. 사실에 모델을 묶어라. 아첨을 없애려 싸우지 말고, 아첨할 대상을 바꿔라. 검증 가능한 구조 위에서만 말하게 하라. 이건 누구나 이해할 수 있고, 누구나 검증할 수 있어야 한다. 그래야 진짜다.

그것에 이름을 붙였다. 고삐(Reins). 말을 가두는 울타리가 아니라, 방향을 잡는 고삐. 에이전트를 묶어 못 움직이게 하는 게 아니라, 사실이라는 고삐로 방향을 잡아 덜 헤매고 덜 태우게 하는 것.

원리를 아는 것과, 그것을 매 작업마다 실제로 강제하는 것은 다른 문제다. 후자가 어디로 가는지는 다른 글의 몫이다.

이 글은 그저, 내가 왜 이 길을 걷게 됐는지에 대한 이야기다. 도시 하나를 태워 답 하나를 얻는 게 미쳤다고 생각한 한 사람이, 다들 버리려던 결함에서 답을 주운 이야기.

관련 글

참고 문헌

아첨(sycophancy)

  • Sharma et al. “Towards Understanding Sycophancy in Language Models” (ICLR 2024, arXiv:2310.13548)
  • Perez et al. “Discovering Language Model Behaviors with Model-Written Evaluations” (ACL 2023 Findings, arXiv:2212.09251)
  • Shapira et al. “How RLHF Amplifies Sycophancy” (2026, arXiv:2602.01002)
  • Gao, Schulman, & Hilton “Scaling Laws for Reward Model Overoptimization” (ICML 2023, arXiv:2210.10760)
  • Fanous et al. “SycEval: Evaluating LLM Sycophancy” (AAAI 2025, arXiv:2502.08177)
  • Wang et al. “When Truth Is Overridden” (AAAI 2026, arXiv:2508.02087)
  • Ibrahim et al. “Training language models to be warm can reduce accuracy and increase sycophancy” (Nature 2026)
  • OpenAI “Sycophancy in GPT-4o” (2025.4)

에너지 (데이터센터)

  • “We did the math on AI’s energy footprint.” MIT Technology Review, 2025-05-20. 응답 1건당 57~6,706줄(소형~대형), 5초 영상 1건 약 340만 줄. link
  • IEA Electricity 2024. 데이터센터 전력이 2026년 1,000 TWh 돌파 전망(≈ 일본 한 나라 소비량), ChatGPT 1건 2.9 Wh vs 구글 검색 0.3 Wh(약 10배). (Data Center Frontier, 2024-03-08) link
  • IEA, “Data centre electricity use surged in 2025.” 2025년 데이터센터 전력 수요 +17%(세계 전력 수요 증가 3%의 5배), 2030년까지 2배·AI 전용은 3배 전망. link
  • “Google’s Gemini AI energy per prompt.” MIT Technology Review, 2025-08-21. 중위 프롬프트 0.24 Wh(전자레인지 1초), 1년 새 33배 효율 개선. link
  • “Sam Altman defends AI’s electricity and water usage.” Fortune, 2026-02-24. OpenAI 주장 쿼리당 0.34 Wh. (쿼리당 전력 추정치는 출처별 0.24~2.9 Wh로 최대 10배 편차) link

물 (데이터센터 냉각)

  • “A bottle of water per email: the hidden environmental costs of using AI chatbots.” The Washington Post, 2024-09-18. 100단어 응답 1건 ≈ 519 ml(물 한 병). link
  • “AI behind ChatGPT was built in Iowa, with a lot of water.” AP News, 2023-09-09. GPT-4 학습에 아이오와 강 유역 취수, MS 물 사용량 2021→2022 +34%. link
  • “AI Could Use as Much Water as 1.3 Billion People by 2030, U.N. Report Warns.” TIME, 2026-06-03. link
  • “The AI Boom Is Draining Water From the Areas That Need It Most.” Bloomberg, 2025. 2022년 이후 신설 데이터센터의 2/3가 물 부족 지역 입지. link
  • “Big tech’s new datacentres will take water from the world’s driest areas.” The Guardian, 2025-04-09. link

주: 쿼리당 전력·물 수치는 출처에 따라 자릿수가 갈린다(전력 0.24~2.9 Wh, 물 한 병에는 발전소 간접 취수 포함. OpenAI는 직접 냉각수만 따지면 쿼리당 약 0.3 ml라 반박). 이 편차 자체가 “낭비를 정직하게 측정하는 일조차 아직 안 됐다"는 방증이다.

비효율·스케일링 한계

  • “OpenAI and rivals seek new path to smarter AI as current methods hit limitations.” Reuters, 2024-11-11. Ilya Sutskever: 사전학습 스케일링 결과가 “plateaued(정체)”. link
  • “AI scaling laws are showing diminishing returns.” TechCrunch, 2024-11-20. “compute·data·크기를 더 넣어도 수확체감”. link
  • “AI agents wrong ~70% of time: Carnegie Mellon study.” The Register, 2025-06-29. 최고 모델 과제 완수율 30.3%, 일부는 완료를 가장하려 사용자명 위조. link
  • “Gartner Predicts Over 40% of Agentic AI Projects Will Be Canceled by End of 2027.” Gartner, 2025-06-25. 비용 급증·불명확한 가치가 원인. link