Claude Codeのための代理店メモリツールを構築 — 「最良」のモデルはロケーション、ハードウェア、コードベースによって異なる

著者は、Claude Codeのためのエージェントメモリシステムを構築する際に、どのエンベディングモデルが最適かという問題に直面しました。クラウドモデルの速度はロケーションによって異なり、ローカルモデルでは、ハードウェア、OS、バックグラウンドプロセスなどの要因によって大きく変わることがわかりました。そのため、著者はClaudeMem内に組み込まれたベンチマーキング機能を開発し、実際のコードベースに対する各モデルの性能を測定できるようにしました。

Details

著者は、Claude Codeのためのエージェントメモリシステムを構築する際に、どのエンベディングモデルが最適かという問題に直面しました。一般的に、ユーザーは「最良」のモデルを使用することが多いですが、「最良」とは誰が判断したものなのかが問題となります。著者は、クラウドモデルの速度がロケーションによって大きく異なることを発見しました。同じモデルでも、サンフランシスコとシドニーでは大きな差が生じます。さらに、ローカルモデルの場合は、ハードウェア、OS、バックグラウンドプロセスなどの要因によって性能が大きく変わることがわかりました。同じマシン上でも、バックグラウンドプロセスの有無によって、Ollamaモデルの性能が大きく変化したそうです。そのため、著者はClaudeMem内にベンチマーキング機能を組み込み、実際のコードベースに対する各モデルの性能を測定できるようにしました。NDCG、MRR、Hit@5といった指標を使って、モデルの品質、順位付け、コード検索精度を評価できます。著者は、高価なモデルが必ずしも最良ではなく、「最速」のモデルも必ずしも自分の環境で速くないことを発見しました。最適なモデルを見つけるには、自分の環境で実際にテストする必要があるとしています。