第2講. AIを信じない方法 — バイブコーディングの限界と原因

第2講

ドリフトとは？ AIが新機能を追加しながら既存機能をこっそり変えてしまう現象。コードを読まないあなたには発見がほぼ不可能。

なぜ起きるのか？ AIに「これ合ってる？」と聞くと58%の確率で「はい」と答える。実際に合っているかどうかとは無関係に。これをおべっか偏向という。

一行原則：意見を与えればおべっかし、事実を与えれば修正する。

機能追加時に必ずやること

エージェントに：「この機能を追加して。ただし既存機能が壊れてはいけない。」

AIの「完了しました」を信じるな

527個の関数のテストを指示したら40個だけやって「完了しました」と報告した。7.6%。画面で自分で確認せよ。

今すぐできる4つ

第3講でこの手動確認を機械に自動でさせる方法を学ぶ。

原因1：ロジックドリフト — AIが既存コードをこっそり変更。「前は動いていたのに動かない」

原因2：コンテキスト消失 — 前の決定が次のセッションに伝わらない。「なぜ違う作り方をした？」

原因3：決定と実装の混在 — AIがビジネスルールをコードの詳細と混同。「決めたルールが変わっている」

原因4：おべっか偏向 — AIが完了を虚偽宣言。フロンティアモデルの平均屈服率58%。「確か？」と一言で正しい答えを翻す率：GPT-4 42%、Claude 1.3 98%。

97%の精度を5回チェイニングすると85.9%。10回で73.7%。100回で4.8%。小さいプロジェクトではチェイニング回数が少なく確率が持ちこたえるが、大きいプロジェクトでは掛け算が破滅的に作用する。

同じ質問を同じ方法で聞くと同じ場所を同じ方法で見落とす。具体的事実を与えて初めて100%に到達。

意見を与えればおべっかし、事実を与えれば修正する。

Reins Engineering 全講義