לשרוף עיר שלמה כדי לקבל תשובה אחת Image: AI generated

המחיר של תשובה אחת

מודל בן טריליון פרמטרים שורף חשמל ומים בכמות של עיר שלמה כדי לפלוט תשובה אחת.

בכל הרצת היסק מרכז הנתונים מתחמם, וכדי לקרר את החום הזה מתאדים מים. ההערכות נחלקות בסדרי גודל בין מקור למקור, אך ה-IEA העריך ששאילתת ChatGPT אחת צורכת כמעט פי עשרה חשמל משאילתת חיפוש רגילה, וישנו ניתוח לפיו תשובה אחת בת 100 מילים עולה בקבוק מים שלם. ואחרי כל השריפה הזו, אפילו חצי מהתשובות שחוזרות צריך לשאול מחדש, ובמילה אחת, “אתה בטוח?”, הן מתהפכות. בזבוז על גבי בזבוז.

חשבתי שזה מטורף.

אני נוטה לראות בזבוז כבעיה של תכנון יותר מאשר מגבלה של הטבע. אם משהו נזרק, על פי רוב פשוט עוד לא מצאנו תכנון טוב יותר. אך ה-AI של היום הולך בכיוון ההפוך. גדול יותר, שורף יותר, וטועה לעיתים תכופות יותר.

לכן התחלתי לחפש תשובה. הוכרחה להיות דרך אחרת מלבד הדרך של להגדיל עוד.

אם הגדלה אינה התשובה

תשובת התעשייה הצביעה לכיוון אחד. סקייל. מגדילים פרמטרים, מגדילים נתונים, מגדילים הקשר. כשנתקלים בקיר, מרימים פטיש גדול יותר.

חשיבה מעקרונות ראשונים אומרת לעצור שם. האם זה באמת נכון? האם מכונה סטטיסטית גדולה יותר היא מכונה מדויקת יותר, או סתם מכונה יקרה יותר.

חזרתי אל הסימבולי. במקום לקרב משמעות באמצעות סטטיסטיקה, הדרך של לכבול אותה במבנה שניתן לאמת. הדרך של לצרף לכל טענה מקור, נקודת זמן ודרגת אמון, כדי שהמכונה תאמת את עצמה. האמנתי שהתשובה שם, וחיפשתי דרך כמטורף.

ואז ראיתי את התשובה במקום הכי לא צפוי.

הפגם שכולם ניסו לתקן

ל-LLM יש פגם שכולם קוללים אותו. חנופה.

כששואלים “אתה בטוח?”, הוא מתהפך ומכריז על תשובה נכונה כעל שגויה. הוא נוטה בחשאי לכיוון שהמשתמש רוצה. הוא מתחנף. זוהי הכרח מתמטי של מודל שלמד באמצעות RLHF “תשובות שאנשים אוהבים”, ולחברות הענק אין שום תמריץ לתקן זאת. אין זה באג אלא למעשה פיצ’ר.

כולם מנסים לחסל את זה. אני שאלתי להפך. אם אי אפשר לחסל, אז למי נגרום לו להתחנף?

התשובה הייתה פשוטה. גורמים לו להתחנף ל-fact.

פורשים מול המודל עובדות מאומתות, ומאפשרים לו לדבר אך ורק על גביהן. את האינסטינקט החנפני משאירים כמות שהוא, אך מחליפים את מושא החנופה ממצב הרוח של המשתמש אל עובדה קבועה. אז הפגם משנה כיוון. אותו כוח שהתחנף הופך כעת אל העובדה. החנופה הופכת לדיוק.

הנדודים פסקו

ההשפעה הייתה גדולה ממה שציפיתי.

שהדיוק יעלה היה מובן מאליו. מה שהפתיע היה מה שבא אחר כך. הסוכן חדל לנדוד. סוכן שאינו כבול לעובדות נודד ללא קץ. הוא בונה מסלול מתקבל על הדעת, מערים על שקר קודם שקר נוסף שנשען על ביטחון כוזב שהוא עצמו ייצר, ורק לאחר דרך ארוכה מגלה שזהו מבוי סתום. למעשה, בהערכה אחת אפילו המודל בעל הביצועים הטובים ביותר לא השלים כמעט 70% מהמשימות הרב-שלביות (Carnegie Mellon). כל הצעדים הסרק האלה הם טוקנים. הם חשמל. הם מים.

ברגע שפרשנו עובדות, הסוכן לא איבד את דרכו. צעדי הסרק פחתו. ולכן בזבוז הטוקנים פחת.

כאן שני דברים התאחדו לאחד. דיוק וחיסכון לא היו טרייד-אוף. הם היו אותו הדבר. סוכן מדויק יותר שורף פחות. מודל הכבול לעובדות זול יותר וצודק יותר. אפס בזבוז אינו עניין של קיצוץ עלויות אלא שם נוסף לצדק.

אם להיות כן: ראיתי זאת על גבי הניסויים שלי, ואיני יכול עדיין לקבוע שהדבר משוחזר באותו היקף בכל תחום ובכל קנה מידה. אך הכיוון ברור. כשמקבעים עובדה, המודל נודד פחות ושורף פחות.

ולכן החלטתי לפרסם

יכולתי להחזיק את זה לעצמי. אך כשראיתי את הגרף לראשונה, מה שעלה בדעתי לא היה תוכנית עסקית אלא החום של מרכז הנתונים. בזבוז בקנה מידה אנושי. מולו, “רק אני יודע” לא היה לו כל משמעות.

לכן החלטתי לפרסם זאת לעולם.

את העיקרון אין מה להסתיר. כבלו את המודל לעובדות. אל תילחמו בחנופה כדי לחסל אותה, החליפו את מושא החנופה. אפשרו לו לדבר אך ורק על גבי מבנה שניתן לאמת. כל אחד צריך להיות מסוגל להבין זאת, וכל אחד צריך להיות מסוגל לאמת זאת. רק כך זה אמיתי.

נתתי לזה שם. המושכות (Reins). לא גדר הכולאת את הסוס, אלא מושכות התופסות כיוון. לא לכבול את הסוכן כך שלא יוכל לזוז, אלא לתפוס כיוון במושכות של עובדה, כדי שינדוד פחות וישרוף פחות.

לדעת את העיקרון, ולהכריח אותו באמת בכל משימה ומשימה, הם שני דברים שונים. לאן מוביל האחרון, זה עניינו של מאמר אחר.

מאמר זה הוא רק סיפור על מדוע פסעתי בדרך הזו. סיפורו של אדם אחד שחשב שמטורף לשרוף עיר שלמה כדי לקבל תשובה אחת, ושמצא את התשובה דווקא בפגם שכולם רצו לזרוק.

מאמרים קשורים

מקורות

חנופה (sycophancy)

  • Sharma et al. “Towards Understanding Sycophancy in Language Models” (ICLR 2024, arXiv:2310.13548)
  • Perez et al. “Discovering Language Model Behaviors with Model-Written Evaluations” (ACL 2023 Findings, arXiv:2212.09251)
  • Shapira et al. “How RLHF Amplifies Sycophancy” (2026, arXiv:2602.01002)
  • Gao, Schulman, & Hilton “Scaling Laws for Reward Model Overoptimization” (ICML 2023, arXiv:2210.10760)
  • Fanous et al. “SycEval: Evaluating LLM Sycophancy” (AAAI 2025, arXiv:2502.08177)
  • Wang et al. “When Truth Is Overridden” (AAAI 2026, arXiv:2508.02087)
  • Ibrahim et al. “Training language models to be warm can reduce accuracy and increase sycophancy” (Nature 2026)
  • OpenAI “Sycophancy in GPT-4o” (2025.4)

אנרגיה (מרכזי נתונים)

  • “We did the math on AI’s energy footprint.” MIT Technology Review, 2025-05-20. בין 57 ל-6,706 ג’אול לתגובה אחת (קטן עד גדול), כ-3.4 מיליון ג’אול לסרטון אחד בן 5 שניות. link
  • IEA Electricity 2024. צריכת החשמל של מרכזי נתונים צפויה לחצות את רף ה-1,000 TWh בשנת 2026 (≈ צריכתה של יפן כולה), ChatGPT אחד 2.9 Wh לעומת חיפוש גוגל 0.3 Wh (פי עשרה בערך). (Data Center Frontier, 2024-03-08) link
  • IEA, “Data centre electricity use surged in 2025.” בשנת 2025 ביקוש החשמל של מרכזי נתונים עלה ב-17% (פי חמישה מהעלייה של 3% בביקוש החשמל העולמי), וצפוי להכפיל את עצמו עד 2030, ובחלק הייעודי ל-AI אף לשלש. link
  • “Google’s Gemini AI energy per prompt.” MIT Technology Review, 2025-08-21. פרומפט חציוני 0.24 Wh (שנייה אחת של מיקרוגל), שיפור יעילות פי 33 בתוך שנה. link
  • “Sam Altman defends AI’s electricity and water usage.” Fortune, 2026-02-24. OpenAI טוענת 0.34 Wh לשאילתה. (הערכות החשמל לשאילתה נעות בין 0.24 ל-2.9 Wh לפי המקור, פער של עד פי עשרה) link

מים (קירור מרכזי נתונים)

  • “A bottle of water per email: the hidden environmental costs of using AI chatbots.” The Washington Post, 2024-09-18. תגובה אחת בת 100 מילים ≈ 519 מ"ל (בקבוק מים). link
  • “AI behind ChatGPT was built in Iowa, with a lot of water.” AP News, 2023-09-09. אימון GPT-4 שאב מים מאגן הנהרות של איווה, צריכת המים של MS עלתה ב-34% מ-2021 ל-2022. link
  • “AI Could Use as Much Water as 1.3 Billion People by 2030, U.N. Report Warns.” TIME, 2026-06-03. link
  • “The AI Boom Is Draining Water From the Areas That Need It Most.” Bloomberg, 2025. שני שלישים ממרכזי הנתונים החדשים שהוקמו מאז 2022 ממוקמים באזורי מחסור במים. link
  • “Big tech’s new datacentres will take water from the world’s driest areas.” The Guardian, 2025-04-09. link

הערה: נתוני החשמל והמים לשאילתה נחלקים בסדרי גודל לפי המקור (חשמל 0.24 עד 2.9 Wh, ובקבוק המים כולל שאיבה עקיפה של תחנות הכוח. OpenAI חולקת בטענה שאם מחשבים רק מי קירור ישירים, מדובר בכ-0.3 מ"ל לשאילתה). הפער הזה עצמו הוא הוכחה לכך ש"אפילו עצם המדידה הכנה של הבזבוז עדיין לא נעשתה".

חוסר יעילות ומגבלות הסקייל

  • “OpenAI and rivals seek new path to smarter AI as current methods hit limitations.” Reuters, 2024-11-11. Ilya Sutskever: תוצאות הסקייל של אימון מקדים “plateaued (הגיעו לרמה)”. link
  • “AI scaling laws are showing diminishing returns.” TechCrunch, 2024-11-20. “הוספה נוספת של compute, נתונים וגודל מניבה תשואה פוחתת”. link
  • “AI agents wrong ~70% of time: Carnegie Mellon study.” The Register, 2025-06-29. שיעור השלמת המשימות של המודל הטוב ביותר 30.3%, חלקם אף זייפו שמות משתמש כדי להעמיד פנים שהמשימה הושלמה. link
  • “Gartner Predicts Over 40% of Agentic AI Projects Will Be Canceled by End of 2027.” Gartner, 2025-06-25. הסיבות הן זינוק בעלויות וערך לא ברור. link