AIに資料を全部投げるのをやめたら、精度が上がった話

「情報は多いほどいい」

AIを使い始めた頃、私はそう思っていました。関連しそうな資料をまとめて貼り付け、過去のやり取りも全部残し、念のための補足も添えて。100万トークン入るんだから、入れられるだけ入れればいい、と。

結果は、期待の逆でした。指示が無視される。前半で伝えたルールを後半で忘れる。長く続けた会話ほど、出力が雑になっていく。

原因を調べていて出会ったのが「コンテキストエンジニアリング」という言葉でした。

■ コンテキストウィンドウは「予算」である

コンテキストエンジニアリングとは、ざっくり言えば「AIの作業机に、どの資料を載せるか決める技術」です。

重要なのは、机が広いことと、散らかっていないことは別、という点。モデルが扱える文脈は100万トークンを超えていても、関連情報が5万トークンあたりを超えると精度は落ち始めると報告されています。長い文脈の真ん中に置かれた情報ほど取りこぼされやすい、いわゆる lost in the middle 現象です。

だから発想を切り替えます。コンテキストウィンドウは「容量」ではなく「予算」。何かを足すたびに、こう問う。「この情報は、そのトークン分の価値があるか？」

■ 4つの型：Write / Select / Compress / Isolate

実務で使われている整理の仕方が、この4分類です。

Write（書き出す）…すべてを会話の中に抱え込まない。決定事項や仕様はファイルやメモに外出しし、必要なときだけ参照する。AIの記憶ではなく、外部の記録に頼る。

Select（選ぶ）…「今このステップで必要な分」だけを取り出して渡す。資料10本を丸ごと渡すのではなく、該当する2本の該当箇所だけを渡す。

Compress（圧縮する）…古いやり取りは要約に置き換える。過去10往復を「決まったこと3行」にまとめてしまえば、机の上はかなり空きます。

Isolate（隔離する）…サブタスクには、きれいな別の文脈を与える。調査は調査、執筆は執筆で分ける。片方のノイズがもう片方を汚さないようにする。