שטף אינו אמת תמונה: נוצרה על ידי בינה מלאכותית

ביקשתי מבינה מלאכותית לחקור נושא מסוים, והיא חזרה עם תשובה מלוטשת, מובנית, בטוחה בעצמה — ושגויה באופן שגיליתי רק במקרה. התגובה הראשונית שלי הייתה: האם אני משתמש בזה לא נכון? הספרות אומרת שלא. אי-הבחנה היא התוצאה השכיחה גם אצל אנשים זהירים, והפתרון אינו ערנות. הפתרון הוא להמיר את אי-הנוחות לדבר-מה שמכונה יכולה לבדוק.

היוריסטיקת השטף ש-LLM שברו

בני אדם פועלים לפי קיצור דרך זול: אם משהו קל לעיבוד, כנראה שהוא נכון. פסיכולוגים קוראים לזה היוריסטיקת השטף, ולאורך רוב ההיסטוריה זה היה הימור סביר — דובר שנשמע ברור, בטוח בעצמו וקוהרנטי בדרך כלל באמת מוכשר יותר, כי קשה לזייף דיבור כזה לאורך זמן במגבלות האנושיות. LLM הם הדוברים ההמוניים הראשונים ששוברים את הקורלציה הזו. שטף כעת לא עולה למודל דבר. ביטחון הוא התפלגות טוקנים, לא סימן להבנה מאומתת.

הפער בא לידי ביטוי ישירות באופן שבו אנשים מדרגים פלט של בינה מלאכותית: כשנותנים לאנשים את אותה תשובה בדיוק, הם שופטים אותה כבטוחה יותר כשאומרים להם שהיא הגיעה מבינה מלאכותית לעומת כשאומרים להם שהיא הגיעה מבן אדם (phys.org, 2026-05). המודל לא נהיה בטוח יותר בעצמו. הציפייה המוקדמת של הקורא כן.

מומחים אינם פטורים

אילו זו הייתה בעיה של חוסר ניסיון, הכשרה הייתה פותרת אותה. היא לא.

רופאים שכבר הוכשרו על אבחון בסיוע בינה מלאכותית עדיין נכשלו בסינון המלצות LLM שנשמעות סבירות אך שגויות — הטיית האוטומציה שרדה את ההכשרה שהייתה אמורה לחסן מפניה (medRxiv, 2025-08). זה המנגנון, וזה גרוע יותר משזה נשמע, כי השגיאות שחומקות אינן מהסוג הקל. שגיאות ברמת הפרשנות קשות יותר לזיהוי משגיאות עובדתיות — שם שגוי או תאריך שגוי בולטים לעין; מסגור שגוי לא בולט, כי הוא נשמע סביר ומתאים לנרטיב שהקורא כבר ציפה לו (Not Wrong, But Untrue, arXiv:2509.25498). ידע תחומי תופס עובדות. הוא לא תופס באופן אמין מסגור.

מתחת לשני הממצאים מסתתר פער כיול: מודלי LLM מדווחים על רמת ביטחון שעולה באופן שיטתי על הדיוק בפועל שלהם. במדידה על פני אחד עשר מודלים ושישה מערכי שאלות, הביטחון הממוצע המוצהר עמד על 88% לעומת דיוק בפועל של 79% (Confidence Calibration in Large Language Models, arXiv:2605.23909). המודל לא משקר לגבי היותו בטוח. הוא לא מכויל כראוי, וחוסר הכיול נקרא כסמכותיות.

מרגישים מהירים יותר בזמן שהם איטיים יותר

ההדגמה הברורה ביותר לכך שזו אינה בעיית ידע מגיעה ממחקר של METR משנת 2025 על מפתחי קוד פתוח מנוסים — 16 מפתחים, 246 משימות אמיתיות, מאגרי קוד שממוצעם עולה על מיליון שורות קוד. אלה אינם אנשים שבוטחים בבינה מלאכותית בתמימות. הם עובדים בקוד ייצור מדי יום.

  • הם ציפו שהבינה המלאכותית תהפוך אותם למהירים יותר ב-24%.
  • נמדד שהם היו איטיים יותר ב-19%.
  • אחרי שסיימו את המשימות — כאשר עלות הזמן בפועל כבר הייתה מאחוריהם — הם עדיין האמינו שהיו מהירים יותר ב-20%.

האשליה נמשכה גם אחרי שהמשימה כבר הסתיימה ונמדדה בזמן. זה החלק שכדאי לעצור עליו: חוויה מורגשת אינה ראיה, והיא אינה מתקנת את עצמה. מצב של עבודה, שילוח, תחושת “זה פרודוקטיבי” יכול להתמיד ביציבות גם כשהוא, במדידה, לא פרודוקטיבי, ושום כמות של לעבור את זה בפועל לא מתקנת זאת מעצמה.

כדי להיות מדויקים לגבי מה שהמחקר הזה יכול לשאת: שישה עשר מפתחים הם מדגם קטן, ו-METR עצמה מציינת במפורש שהתוצאה תלוית-הקשר — מתחזקים ותיקים, מאגרי קוד בשלים בני מיליון שורות שהכירו לעומק — ואין למתוח אותה לכלל “בינה מלאכותית מאיטה את כולם”. אז אל תיקחו את ה-19% לשום מקום כאומדן נקודתי. מה שהטיעון הזה נשען עליו הוא לא הגודל אלא הסימן של הפער: האפקט הנמדד היה שלילי, האפקט הנתפס היה חיובי גם לפני העבודה וגם אחריה, והאומדן הבדיעבד הממוצע נחת קרוב לציפייה המוקדמת, לא קרוב בכלל למדידה. אילו התפיסה העצמית הייתה סתם רועשת, האומדנים בדיעבד היו מתפזרים סביב האמת הנמדדת. הם לא. הם נשארו במקום שבו הייתה הציפייה.

מדוע כלכלת האימות קרסה

לפני LLM, שיפוט איכות הפלט על ידי הסתכלות על הפלט היה פרוקסי סביר לשיפוט כשירות היצרן — השניים היו מתואמים, כי עבודה רשלנית נבעה מייצור רשלני. LLM ניתקו את הקשר הזה. איכות הפלט וכשירות היצרן כבר לא צמודות זו לזו, מה שאומר שהערכה המבוססת על הארטיפקט בלבד הפסיקה לתפקד ככלי אבחוני (Fluent, Confident, Wrong, ScienceDirect 2026). האימות נעשה יקר יותר מהייצור.

וגרוע מכך, עלות השגיאה אינה פרופורציונלית לשיעור השגיאות. כשהחלקים השגויים נקראים בדיוק כמו החלקים הנכונים — אותו רגיסטר, אותו ביטחון, אותו ליטוש — אי אפשר למקם את הנזק, ולכן כמה אחוזי זיהום לא עולים לך כמה אחוזים. הם מרעילים את כל הדלי: כל טענה בפלט נושאת כעת את החשד המוטל על הגרועה מביניהן. זו הסיבה ש"המודל צודק ב-95% מהמקרים" הוא לא המספר המרגיע שהוא נשמע. האמון קורס באופן לא-רציף הרבה לפני שהדיוק קורס.

כמעט אף אחד לא עדכן את הרגלי האימות שלו בהתאם — וזה בדיוק הפער שעליו בנוי הטיעון של Ratchet Pattern באתר הזה: הייצור יכול להישאר הסתברותי, אבל הבדיקה שלו לא יכולה.

לא שימוש לרעה — ברירת המחדל האוכלוסייתית

אז: האם אני משתמש בזה לא נכון? הספרות אומרת ההפך. ההגדרה הקלאסית לשימוש לרעה היא להתייחס לשטף כאל סימן אמון ולכבות את האימות — וזה לא מקרה קצה, זו ברירת המחדל של רוב האנשים, כולל המוכשרים שבהם. הרופאים במחקר הטיית האוטומציה לא החזיקו באות אי-ההסכמה שלהם. גם המפתחים במחקר METR לא. אם להישאר חשדנים מול תשובה שוטפת שנראית בלתי ניתנת להפרכה מרגיש כמו פרנויה, כדאי לשים לב שזה כבר מציב אתכם לפני רוב האוכלוסייה הנמדדת — כולל אלה שתפקידם היה בדיוק לתפוס את זה.

זו לא תצפית חדשה עבור האתר הזה — זה אותו השטח שאליו נוחתים גם חנופה כתכונה עסקית וגם מדוע סוכנים עובדים ומדוע הם נשברים: אופן הכשל הוא מבני, לא פליטת קשב אישית, ושום כמות של “פשוט תהיו יותר זהירים” לא נותנת מענה שקנה-מידה לזה.

התיקון היחיד

יש בדיוק התאמה אחת שחשובה כאן: אל תעצרו בתחושת אי-הנוחות. המירו אותה לקריטריון קבלה נצפה, וקבעו את הקריטריון הזה לפני שהעבודה מתחילה, לא אחריה. תחושה אינה מתקנת את עצמה — METR הוכיחו זאת ישירות — אבל מדידה כן.

“להמיר” הוא נוהל, לא מצב רוח. עבור כל טענה נושאת-עומס — כזו שעומדת לעצב החלטה — ענו על שתי שאלות לפני שאתם נותנים לה לעשות זאת:

  1. מה חייב להיות נכון כדי שזה יחזיק? פלט שוטף לעיתים רחוקות מציין את ההנחות שלו; הוא מלבין אותן לתוך המסגור, וזו בדיוק הסיבה שידע תחומי מחליק ממנו. השאלה הזו גוררת את ההנחה הנסתרת לרמה של טענה, שבה ניתן סוף-סוף לתקוף אותה.
  2. מה הייתי מבחין בו אם זה היה שגוי? זה מכריח את הטענה לנעוץ יתד בעולם. מסקנה שלא מרמזת על שום הבדל נצפה מהשלילה של עצמה אינה ידע — היא קוהרנטיות, וקוהרנטיות היא מה שמודל ממטב כשאין שום דבר על הכף.

בקוד שנוצר על ידי בינה מלאכותית, שתי השאלות מתכווצות לחלל ריק יחיד, שממלאים אותו לפני שהקוד קיים בכלל: “אם זה שימושי, אז מיד אחרי שהוא משתלח, משתמש יכול ___.” החלל הריק חייב לציין פעולה בעולם של המשתמש, לא בעולם של הקוד — בנייה נקייה והרצה תקינה הן בדיקות קוהרנטיות, לא בדיקות שימושיות. ואם אינכם מצליחים למלא את החלל, זה הפלט הכי בעל-ערך של כל הנוהל: זה אומר שעדיין אינכם יודעים מה ביקשתם, והתשובה השוטפת עמדה להסתיר את זה מכם.

כל השאר בספרות ההפחתה — הפרדת שפה בטוחה מעובדה מאומתת, פירוק הפלט ליחידות שניתן לבדוק בנפרד, בניית חיכוך עוד לפני שהתשובה השוטפת נוחתת — הם אותה המרה עצמה, המיושמת בשכבות שונות.

“האם זו סתם ספקנות, בשם חדש?”

ההתנגדות המובנת מאליה: “לבדוק לפני שבוטחים” זה בדיוק מה שספקנות תמיד אמרה, אז מה בעצם חדש כאן? התשובה היא מתי השיפוט מתרחש, והתזמון הוא המנגנון כולו.

ספקנות היא עמדה שמיישמים תוך כדי הסתכלות על הפלט — וכל מחקר שהוזכר למעלה הוא מדידה של בדיוק העמדה הזו נכשלת. הרופאים לא היו קלי-אמונה; הם הוכשרו על אבחון בסיוע בינה מלאכותית — ההתערבות שאמורה להתקין בדיוק את העמדה הזו — והם הביטו ישירות בהמלצות. ההמלצות פירקו את הנשק שלהם בכל זאת, כי ארטיפקט שוטף מווסת את השיפוט המופעל עליו — זה בדיוק מה שהיוריסטיקת השטף היא. לקריטריון שנקבע לפני שהפלט קיים אין ארטיפקט שוטף שיכול לפרק את נשקו. אין על מה שהביטחון יעבוד, כי המבחן נקבע בנקודת זמן שהפלט לא יכול להגיע אליה.

המדע ביסס את אותו מהלך מאותה סיבה. רישום מוקדם (preregistration) לא קיים כי לבודקים חסרה ספקנות; הוא קיים כי חוקר שמסתכל על נתונים שכבר נאספו יכול להצדיק בשטף כל תוצאה, אז התחום העביר את ההשערה לנקודה שלפני הנתונים. אילו ההבחנה הזו הייתה ריקה מתוכן — אילו ספקנות-אחרי הייתה עובדת באותה מידה כמו קריטריונים-לפני — אז מעריכים מוכשרים היו מסננים המלצות גרועות בשיעורים גבוהים. זה בדיוק הניסוי שמחקר הטיית האוטומציה ערך, והתוצאה שחזרה הייתה שלילית.

“האימות עולה יותר מהייצור — מי יכול להרשות זאת לעצמו?”

ההתנגדות החדה יותר: אם בדיקת הפלט עולה יותר מיצירתו, אז “לאמת לפני שבוטחים” היא עצה להיות איטיים יותר מכולם, ורוב ההחלטות האמיתיות לא יכולות לעמוד בעלות הזו. זה קורא את המרשם לא נכון פעמיים.

ראשית, הקריטריון אינו האימות עצמו. לכתוב מה הייתם מבחינים בו אם הטענה הייתה שגויה עולה משפט אחד, ואתם משלמים את עלות הבדיקה רק על טענות שהן נושאות-עומס. תצפית שהוגדרה מראש גם זולה הרבה יותר לבדיקה מאשר ביקורת פתוחה של ארטיפקט שוטף — רוב עלות האימות בדיעבד היא לא הבדיקה עצמה, אלא אי-הידיעה מאיפה להתחיל, והקריטריון הוא מה שמכווץ את מרחב החיפוש הזה.

שנית, דילוג על אימות לא מסיר את העלות — הוא מזיז אותה במורד הזרם ומוציא אותה מהספרים. המפתחים במחקר METR לא נמנעו מלשלם; העלות הופיעה בזמן הנמדד בעוד החשבונאות המורגשת שלהם רשמה רווח. זו ההשוואה שההתנגדות טועה בה. זה לא “אימות מול חינם”. זה אימות עכשיו, מתומחר וגלוי, לעומת ספיגת שגיאה בהמשך, לא מתומחרת ורשומה כרווח.

כתבו את המבקר כקוד

לנוהל שתי השאלות שהוצג למעלה יש עדיין נקודת תורפה: הוא תלוי במישהו שיזכור להפעיל אותו. זהו אותו כשל בדיוק, מנוסח מחדש רמה אחת גבוה יותר. משמעת שחיה רק בראשו של אדם מתכלה בדיוק כמו אי-הנוחות עצמה — חדה בקריאה הזהירה הראשונה, נעלמת עד הקריאה השוטפת העשירית. הצורה העמידה של “המירו את זה לקריטריון קבלה נצפה” אינה הרגל. זהו שלב בנייה: מוסרים את הקריטריון למכונה וגורמים לצינור העבודה לסרב לעבור בלעדיו.

זה לא היפותטי — זה בדיוק מה שקבע אם המאמר שאתם קוראים עכשיו יעבור את השער. Reins היא מסגרת קוד פתוח שנבנתה בדיוק לשם כך: כל קריטריון קבלה הופך ל-quest, כלל שמעריך Fact{Where, Expected, Actual} ומדווח עבר/נכשל מבלי לשאול אף פעם אם הפרוזה שמסביב נשמעת משכנעת. לפני שמשפט אחד מהחלק הזה היה קיים, בן אדם רשם את הטענות הספציפיות שהוא הורשה לטעון בהן; מכונה סיננה את הטיוטה מול הרשימה הזו; והמבקר שבדק את כיסוי הטענות עבד מתוך הקשר נפרד מזה שכתב את הטיוטה, כי ביקורת עצמית היא לא ביקורת — abloq, מערכת ה-quest שהאתר הזה רץ עליה, מקודדת את זה ככלל, לא כבקשה.

זה התוכן האמיתי של “אל תסתפקו בהרגשה”. לא עוד ערנות — אלא מקום בתוך צינור העבודה שבו הערנות כבר אינה התלות. שתי השאלות מהחלק הקודם — מה חייב להיות נכון, מה היה מפריך את זה — מפסיקות להיות משהו שצריך לזכור לשאול ברגע שהן הופכות לכלל שער במקום פתק מחשבתי. quest לא מתעייף בקריאה העשירית.

מאמרים קשורים

מקורות

יומן שינויים

  • 2026-07-09: פרסום ראשוני