プロンプトの長さとコンテキストウィンドウ：LLMパフォーマンスの真の制限

LLMは急速に進化しているが、その背後にある物理法則は変わっていない。モデルにはメモリの限界であるコンテキストウィンドウがあり、プロンプトの長さはこの制約に合わせて設計する必要がある。プロンプトが長すぎると、切り捨て、圧縮、注意の崩壊などの問題が起こる。一方、プロンプトが短すぎると出力が一般的で浅くなる。長文書対応モデルが登場したが、プロンプトの長さと品質の関係は変わらない。適切なモデルの選択、トークンカウントの確認、プロンプトの最適化が重要。