Sprachfluss ist nicht Wahrheit Bild: KI-generiert

Ich bat eine KI, etwas zu recherchieren, und die Antwort kam poliert, strukturiert, selbstsicher zurück – und war auf eine Weise falsch, die ich nur durch Zufall bemerkte. Meine erste Reaktion war: Nutze ich das falsch? Die Literatur sagt nein. Nicht-Bemerken ist das Standardergebnis für sorgfältige Menschen, und die Lösung ist nicht Wachsamkeit. Sie besteht darin, das Unbehagen in etwas zu verwandeln, das eine Maschine überprüfen kann.

Die Flüssigkeitsheuristik, die LLMs gebrochen haben

Menschen verlassen sich auf eine billige Abkürzung: Wenn etwas leicht zu verarbeiten ist, ist es wahrscheinlich wahr. Psychologen nennen das die Flüssigkeitsheuristik, und für den größten Teil der Geschichte war das eine vernünftige Wette – ein Sprecher, der artikuliert, selbstsicher und kohärent klingt, ist meist auch kompetenter, weil es unter menschlichen Bedingungen schwer ist, diese Art von Sprache lange vorzutäuschen. LLMs sind die ersten massenhaft produzierten Sprecher, die diese Korrelation brechen. Sprachfluss kostet das Modell inzwischen nichts. Selbstsicherheit ist eine Token-Verteilung, kein Signal für verifiziertes Verständnis.

Diese Lücke zeigt sich direkt darin, wie Menschen KI-Ausgaben bewerten: Bei identischer Antwort beurteilen Menschen sie als selbstsicherer, wenn ihnen gesagt wird, sie stamme von einer KI, als wenn ihnen gesagt wird, sie stamme von einem Menschen (phys.org, 2026-05). Nicht das Modell wurde sich sicherer. Die Erwartungshaltung der Leserin oder des Lesers wurde es.

Auch Expertinnen und Experten sind nicht ausgenommen

Wäre dies ein Problem mangelnder Erfahrung, würde Training es beheben. Das tut es nicht.

Ärztinnen und Ärzte, die bereits im Umgang mit KI-gestützter Diagnostik geschult worden waren, gelang es weiterhin nicht, plausibel klingende, aber falsche LLM-Empfehlungen herauszufiltern – der Automatisierungsbias überlebte genau das Training, das ihn eigentlich verhindern sollte (medRxiv, 2025-08). Das ist der Mechanismus, und er ist schlimmer, als er klingt, denn die Fehler, die durchrutschen, sind nicht die einfache Sorte. Fehler auf Interpretationsebene sind schwerer zu erkennen als sachliche Fehler – ein falscher Name oder ein falsches Datum fällt auf; ein falscher Rahmen nicht, weil er plausibel klingt und zu der Erzählung passt, die die Leserin oder der Leser ohnehin erwartet hat (Not Wrong, But Untrue, arXiv:2509.25498). Fachwissen erkennt Fakten. Es erkennt Framing nicht zuverlässig.

Beiden Befunden liegt eine Kalibrierungslücke zugrunde: LLMs geben ihre Sicherheit auf einem Niveau an, das ihre tatsächliche Genauigkeit systematisch übersteigt. Gemessen über elf Modelle und sechs Fragensets hinweg lag die durchschnittlich angegebene Sicherheit bei 88 % gegenüber einer tatsächlichen Genauigkeit von 79 % (Confidence Calibration in Large Language Models, arXiv:2605.23909). Das Modell lügt nicht darüber, sich sicher zu sein. Es ist falsch kalibriert, und diese Fehlkalibrierung liest sich wie Autorität.

Sich schneller fühlen, während man langsamer ist

Der klarste Beweis dafür, dass dies kein Wissensproblem ist, stammt aus METRs Studie von 2025 mit erfahrenen Open-Source-Entwicklern – 16 Entwickler, 246 reale Aufgaben, Repositories mit durchschnittlich über einer Million Codezeilen. Das sind keine Menschen, die KI naiv vertrauen. Sie arbeiten täglich in produktivem Code.

  • Sie erwarteten, durch KI 24 % schneller zu sein.
  • Gemessen wurden sie 19 % langsamer.
  • Nach Abschluss der Aufgaben – mit den tatsächlichen Zeitkosten bereits hinter sich – glaubten sie immer noch, 20 % schneller gewesen zu sein.

Die Illusion hielt an, nachdem die Aufgabe bereits abgeschlossen und die Zeit gemessen worden war. Das ist der Teil, bei dem es sich lohnt zu verweilen: Gefühlte Erfahrung ist kein Beweis, und sie korrigiert sich nicht von selbst. Ein funktionierender, ausgelieferter Zustand, der sich „produktiv anfühlt“, kann stabil bestehen bleiben, selbst wenn er messbar nicht produktiv ist, und keine noch so große Menge an es-durchlebt-haben behebt das von allein.

Um genau zu sein, was diese Studie tragen kann: Sechzehn Entwickler sind eine kleine Stichprobe, und METR selbst macht ausdrücklich klar, dass das Ergebnis kontextspezifisch ist – erfahrene Maintainer, ausgereifte Codebasen mit Millionen Zeilen, die sie genau kannten – und nicht zu „KI verlangsamt alle“ verallgemeinert werden sollte. Also sollte man die 19 % nirgendwo als Punktschätzung mitnehmen. Worauf sich dieses Argument stützt, ist nicht die Größenordnung, sondern das Vorzeichen der Lücke: Der gemessene Effekt war negativ, der wahrgenommene Effekt war sowohl vor als auch nach der Arbeit positiv, und die durchschnittliche nachträgliche Schätzung lag nahe an der ursprünglichen Erwartung, weit entfernt von der Messung. Wäre die Selbstwahrnehmung lediglich verrauscht, würden die nachträglichen Schätzungen um die gemessene Wahrheit herum streuen. Das taten sie nicht. Sie blieben dort, wo die Erwartung war.

Warum die Ökonomie der Verifikation zusammenbrach

Vor LLMs war es ein vernünftiger Näherungswert, die Kompetenz der Produzentin oder des Produzenten anhand der Qualität des Outputs zu beurteilen – beides korrelierte, weil schlampige Arbeit aus schlampiger Produktion entstand. LLMs haben diese Verbindung gekappt. Output-Qualität und Produzentenkompetenz sind nicht mehr gekoppelt, was bedeutet, dass die reine Artefaktbewertung als Diagnoseinstrument nicht mehr funktioniert (Fluent, Confident, Wrong, ScienceDirect 2026). Verifikation wurde teurer als Produktion.

Schlimmer noch: Die Kosten eines Fehlers sind nicht proportional zur Fehlerquote. Wenn sich die falschen Teile genau wie die richtigen lesen – gleicher Tonfall, gleiche Sicherheit, gleicher Schliff –, kann man den Schaden nicht lokalisieren, sodass ein paar Prozent Kontamination einen nicht nur ein paar Prozent kosten. Es vergiftet den gesamten Topf: Jede Behauptung im Output trägt jetzt den Verdacht der schlechtesten. Deshalb ist „das Modell liegt zu 95 % richtig“ nicht die beruhigende Zahl, die sie zu sein scheint. Vertrauen bricht sprunghaft zusammen, lange bevor die Genauigkeit es tut.

Fast niemandes Verifikationsgewohnheiten haben sich entsprechend angepasst – genau das ist die Lücke, auf der das Ratchet Pattern-Argument dieser Seite aufbaut: Generierung darf probabilistisch bleiben, die Prüfung darüber aber nicht.

Kein Fehlgebrauch – der Bevölkerungsdurchschnitt

Also: Nutze ich es falsch? Die Literatur sagt das Gegenteil. Die Lehrbuchdefinition von Fehlgebrauch ist, Sprachfluss als Vertrauenssignal zu behandeln und die Verifikation abzuschalten – und das ist kein Randfall, sondern das, worauf die meisten Menschen, auch geschulte, standardmäßig zurückfallen. Die Ärztinnen und Ärzte in der Automatisierungsbias-Studie hielten nicht an ihrem Widerspruchssignal fest. Ebenso wenig die Entwickler in der METR-Studie. Wenn Misstrauen gegenüber einer flüssigen, unwiderlegbar wirkenden Antwort sich wie Paranoia anfühlt, lohnt es sich zu bemerken, dass man damit bereits vor dem Großteil der gemessenen Bevölkerung liegt – einschließlich derer, deren Aufgabe es explizit war, genau das zu erkennen.

Das ist für diese Seite keine neue Beobachtung – es ist dasselbe Terrain, auf dem sowohl Sykophanz als Geschäftsmerkmal als auch warum Agenten funktionieren und warum sie versagen landen: Der Fehlermodus ist struktureller Natur, kein persönlicher Aufmerksamkeitsfehler, und kein Ausmaß an „einfach vorsichtiger sein“ skaliert dagegen.

Die eine Lösung

Es gibt genau eine Anpassung, die hier zählt: Bleiben Sie nicht beim Gefühl des Unbehagens stehen. Verwandeln Sie es in ein beobachtbares Abnahmekriterium, und legen Sie dieses Kriterium vor Beginn der Arbeit fest, nicht danach. Gefühl korrigiert sich nicht von selbst – METR hat das direkt bewiesen –, Messung aber schon.

„Umwandeln“ ist ein Verfahren, keine Stimmung. Beantworten Sie bei jeder tragenden Behauptung – einer, die im Begriff ist, eine Entscheidung zu prägen – zwei Fragen, bevor Sie sie zulassen:

  1. Was müsste wahr sein, damit das gilt? Flüssiger Output benennt seine Prämissen selten; er wäscht sie in den Rahmen hinein, und genau deshalb gleitet Fachwissen an ihm ab. Diese Frage zerrt die versteckte Prämisse auf die Ebene einer Behauptung, wo sie endlich angreifbar wird.
  2. Was würde ich beobachten, wenn das falsch wäre? Das zwingt die Behauptung, einen Einsatz in der Welt zu setzen. Eine Schlussfolgerung, die keinen beobachtbaren Unterschied zu ihrer eigenen Verneinung impliziert, ist kein Wissen – sie ist Kohärenz, und Kohärenz ist das, was ein Modell optimiert, wenn nichts auf dem Spiel steht.

Bei KI-generiertem Code verdichten sich beide Fragen zu einer einzigen Lücke, die ausgefüllt wird, bevor der Code existiert: „Wenn das nützlich ist, dann kann eine Nutzerin oder ein Nutzer unmittelbar nach der Auslieferung ___.“ Die Lücke muss eine Handlung in der Welt der Nutzerin oder des Nutzers benennen, nicht im Code – ein sauberer Build und eine fehlerfrei laufende Laufzeitumgebung sind Kohärenzprüfungen, keine Nützlichkeitsprüfungen. Und wenn Sie die Lücke nicht füllen können, ist das der wertvollste Output des gesamten Verfahrens: Es bedeutet, dass Sie noch nicht wissen, worum Sie eigentlich gebeten haben, und die flüssige Antwort im Begriff war, genau das vor Ihnen zu verbergen.

Alles andere in der Literatur zur Risikominderung – selbstsichere Sprache von verifizierten Fakten trennen, den Output in unabhängig prüfbare Einheiten zerlegen, Reibung einbauen, bevor die flüssige Antwort landet – ist dieselbe Umwandlung, angewendet auf unterschiedlichen Ebenen.

„Ist das nicht einfach Skepsis mit neuem Namen?“

Der naheliegende Einwand: „Prüfen, bevor man vertraut“ war schon immer die Bedeutung von Skepsis – was ist hier also tatsächlich neu? Die Antwort ist wann das Urteil gefällt wird, und das Timing ist der gesamte Mechanismus.

Skepsis ist eine Haltung, die man anwendet, während man den Output betrachtet – und jede der obigen Studien misst genau das Scheitern dieser Haltung. Die Ärztinnen und Ärzte waren nicht leichtgläubig; sie waren in KI-gestützter Diagnostik geschult worden – der Intervention, die genau diese Haltung installieren soll – und sie blickten direkt auf die Empfehlungen. Die Empfehlungen entwaffneten sie trotzdem, denn ein flüssiges Artefakt moduliert das Urteil, das auf es angewendet wird – genau das ist die Flüssigkeitsheuristik. Ein Kriterium, das festgelegt wird, bevor der Output existiert, hat kein flüssiges Artefakt, von dem es entwaffnet werden könnte. Es gibt nichts, worauf die Selbstsicherheit einwirken kann, denn der Test wurde zu einem Zeitpunkt fixiert, den der Output nicht erreichen kann.

Die Wissenschaft hat aus demselben Grund denselben Schritt institutionalisiert. Präregistrierung existiert nicht, weil Gutachterinnen und Gutachtern Skepsis fehlt; sie existiert, weil eine Forscherin oder ein Forscher, der bereits gesammelte Daten betrachtet, jedes Ergebnis flüssig rationalisieren kann, weshalb das Feld die Hypothese vor die Daten verschoben hat. Wäre diese Unterscheidung bedeutungslos – würde Skepsis-danach ebenso gut funktionieren wie Kriterien-davor –, dann würden geschulte Prüfer schlechte Empfehlungen mit hoher Rate herausfiltern. Genau dieses Experiment führte die Automatisierungsbias-Studie durch, und es fiel negativ aus.

„Verifikation kostet mehr als Produktion – wer kann sich das leisten?“

Der schärfere Einwand: Wenn das Prüfen des Outputs mehr kostet als seine Erzeugung, dann ist „verifizieren, bevor man vertraut“ ein Ratschlag, langsamer zu sein als alle anderen, und die meisten realen Entscheidungen können sich das nicht leisten. Das missversteht die Verordnung gleich zweifach.

Erstens ist das Kriterium nicht die Verifikation. Aufzuschreiben, was man beobachten würde, wenn die Behauptung falsch wäre, kostet einen Satz, und die Prüfkosten fallen nur bei tragenden Behauptungen an. Eine vorab festgelegte beobachtbare Größe ist außerdem weit billiger zu prüfen, als ein flüssiges Artefakt ergebnisoffen zu auditieren – der größte Teil der Kosten nachträglicher Verifikation liegt nicht in der Prüfung selbst, sondern darin, nicht zu wissen, wo man anfangen soll, und das Kriterium ist es, was diesen Suchraum kollabieren lässt.

Zweitens beseitigt das Auslassen der Verifikation die Kosten nicht – es verschiebt sie stromabwärts und nimmt sie aus der Bilanz. Die METR-Entwickler entgingen der Zahlung nicht; die Kosten zeigten sich in der gemessenen Zeit, während ihre gefühlte Buchführung einen Gewinn verzeichnete. Das ist der Vergleich, den der Einwand falsch anstellt. Es geht nicht um „Verifikation versus umsonst“. Es geht um Verifikation jetzt, bepreist und sichtbar, gegen Fehlerabsorption später, unbepreist und als Gewinn verbucht.

Den Prüfer als Code schreiben

Das oben beschriebene Zwei-Fragen-Verfahren hat noch eine Schwachstelle: Es hängt davon ab, dass sich jemand daran erinnert, es auszuführen. Das ist derselbe Fehlermodus, nur eine Ebene höher neu formuliert. Eine Disziplin, die nur im Kopf einer Person existiert, verfällt genau wie Unbehagen – scharf bei der ersten sorgfältigen Lektüre, verschwunden bei der zehnten flüssigen. Die dauerhafte Form von „in ein beobachtbares Abnahmekriterium umwandeln" ist keine Gewohnheit. Es ist ein Build-Schritt: Das Kriterium an eine Maschine übergeben und die Pipeline dazu bringen, ohne es die Freigabe zu verweigern.

Das ist nicht hypothetisch – genau das hat den Artikel gesperrt, den Sie gerade lesen. Reins ist ein Open-Source-Framework, das exakt dafür gebaut wurde: Jedes Abnahmekriterium wird zu einer quest, einer Regel, die einen Fact{Where, Expected, Actual} auswertet und Bestehen oder Scheitern meldet, ohne je zu fragen, ob der umgebende Fließtext überzeugend klingt. Bevor auch nur ein Satz dieses Beitrags existierte, hielt ein Mensch die konkreten Behauptungen fest, die er machen durfte; eine Maschine prüfte den Entwurf gegen diese Liste; und die Prüferin oder der Prüfer, die oder der die Abdeckung der Behauptungen kontrollierte, arbeitete aus einem Kontext, der von dem getrennt war, in dem der Entwurf geschrieben wurde – denn Selbstprüfung ist keine Prüfung. abloq, das quest-System, auf dem diese Seite läuft, kodiert das als Regel, nicht als Bitte.

Das ist der eigentliche Inhalt von „nicht nur fühlen". Nicht mehr Wachsamkeit – sondern eine Stelle in der Pipeline, an der Wachsamkeit nicht mehr die Abhängigkeit ist. Die beiden Fragen aus dem vorigen Abschnitt – was wahr sein müsste, was es widerlegen würde – müssen Sie nicht mehr aus dem Gedächtnis abrufen, sobald sie eine Gate-Regel sind statt eine gedankliche Notiz. Eine quest wird bei der zehnten Lektüre nicht müde.

Verwandte Artikel

Quellen

Änderungsverlauf

  • 2026-07-09: Erstveröffentlichung