# ZeroEntropy 共同創業者 Ghita Houir Alami 氏に聞く：リランカー訓練、校正された関連度スコア、エージェント時代の検索モデル - 番組: [Weaviate Podcast](https://ai-curator.jp/podcasts/shows/cmv8ukqps000871106w428xh5)（Weaviate） - 元のタイトル: ZeroEntropy with Ghita Houir Alami - Weaviate Podcast #150! - 配信日: 2026年11月9日 - 長さ: 56分 - 要約作成日: 2026年11月10日 - トピック: [#リランカー](https://ai-curator.jp/topics/%E3%83%AA%E3%83%A9%E3%83%B3%E3%82%AB%E3%83%BC) [#Cross-Encoder](https://ai-curator.jp/topics/Cross-Encoder) [#zELO](https://ai-curator.jp/topics/zELO) [#エージェント検索](https://ai-curator.jp/topics/%E3%82%A8%E3%83%BC%E3%82%B8%E3%82%A7%E3%83%B3%E3%83%88%E6%A4%9C%E7%B4%A2) [#RAG](https://ai-curator.jp/topics/RAG) [#小型特化モデル](https://ai-curator.jp/topics/%E5%B0%8F%E5%9E%8B%E7%89%B9%E5%8C%96%E3%83%A2%E3%83%87%E3%83%AB) - URL: https://ai-curator.jp/podcasts/cmw9elg3000004h11i62tuzd4 ## 要約 ZeroEntropy 共同創業者で現在 Notion のモデルリサーチを率いる Ghita Houir Alami 氏が、Weaviate Podcast でリランカー開発の経緯と技術を語った。クロスエンコーダの分類器化、校正スコアによる動的 K、ペアワイズ比較から Elo スコアを学習する zELO 手法、推論インフラの工夫を解説。エージェント検索での軽量リランキングの価値や、指示追従型リランカーが関連性の定義を変える点にも触れ、特化型モデルの post-training への期待で締めくくった。 ## ポイント - ZeroEntropy は検索 API から出発し、モデルが重要と気づいてリランカーを最初に公開した。コーパス全体の再埋め込みが不要で、最終段をステートレス API 呼び出しに差し替えるだけで済むためだという。 - トリプレット損失で訓練した一般的なリランカーのスコアは 0.4〜0.6 に集中しがちと述べている。校正されたスコアがあれば、関連度に応じて返す件数を変える動的 K が可能になる。 - zELO は、ハードネガティブ採掘で未注釈の正例に行き当たる問題を避けるため、ペアワイズ比較を Thurstone モデルで Elo スコアに変換する手法。比較を疎にサンプリングしても十分な信号が得られ、ペアワイズ版をポイントワイズ版へ蒸留してほぼ同精度を保った。 - インフラ面では量子化対応訓練、リランカー向けバッチ処理、米国内の複数 GPU への分散を行い、月次の予約容量と Modal などのバースト用容量を組み合わせたと説明した。 - マルチステージ検索を支持し、埋め込みだけでは次元数の限界があると指摘。リストワイズは少数の上位に限り必要な場合のみ追加するのが理想とした。 - エージェント検索では軽量なリランキングが高価な LLM トークンの節約になる。指示追従型リランカーは、記憶システムで「ナッツアレルギー」が夕食の質問に最も関連するという形で関連性の定義を変える。 ## 章立て - [00:00] **ZeroEntropy 創業とリランカー first** — 検索 API の構築からモデル開発へ移った経緯と、最初にリランカーを出した理由を語る。 - [03:04] **Notion との協業と買収** — Notion のエンタープライズ検索でリランカーが使われ、クエリ書き換えモデルでも協力して買収に至った経緯と、社内モデル訓練の意義。 - [08:14] **決定モデルと校正スコア・動的K** — クロスエンコーダを分類器化する方法、スコアが 0.4〜0.6 に偏る問題、校正による動的 K と autocut との関係。 - [16:47] **zELO とペアワイズ蒸留** — ハードネガティブ採掘の限界から、ペアワイズ比較と Elo／Thurstone モデルでポイントワイズモデルを作る手法を解説する。 - [28:47] **推論インフラと GPU 調達** — キャッシュ、量子化対応訓練、バッチ処理、予約容量とバースト用容量の組み合わせ、ネットワーク問題などを語る。 - [36:06] **多段階検索とエージェント検索** — 埋め込みの限界、リストワイズの規模の課題、エージェント検索でのリランキングの役割と Cursor・Notion の例。 - [47:17] **指示追従リランカーとメタデータ** — 関連性の定義を変える指示追従の事例と、価格などのメタデータは別モデルで扱う方針。 - [53:52] **今後の展望：特化モデルと RSI** — 社内の反復タスク向けに open-weight モデルを post-training する流れと、AI による AI 訓練への期待。 ## 解説記事 ベクトル検索データベース Weaviate のポッドキャスト第150回に、ZeroEntropy 共同創業者で、現在は Notion のモデルリサーチを率いる Ghita Houir Alami 氏が登場した。リランカー（検索結果を再順位付けするモデル）の訓練手法から推論インフラ、エージェント時代の検索の位置づけまでが語られた。本稿ではその要点を整理する。 #### リランカーから始めた理由と Notion への合流 ZeroEntropy は当初、エンドツーエンドの検索 API を作っていた。だが検索を支えるモデルこそが重要だと気づき、モデル訓練へ軸足を移したという。最初に出したのは埋め込みではなくリランカーだった。Alami 氏によれば、埋め込みモデルの乗り換えにはコーパス全体の再インデックスが必要で、顧客の依存度も高くなる。一方、リランカーは既存の検索システムの最終段をステートレスな API 呼び出しに置き換えるだけで済み、効果も説明しやすい。 その後、Notion のエンタープライズ検索でこのリランカーが使われるようになった。さらに、クエリをさまざまな言い回しに高速で書き換え、並列検索を可能にするモデルでも協業が進み、買収につながったという。現在は Notion 内でチームを拡大し、最初のモデルにも取り組んでいると述べている。同氏は、汎用の open-weight モデルを特定タスク向けに post-training すれば、精度・レイテンシ・コストの Pareto 曲線を上れると見ている。 #### 校正されたスコアと動的 K 話題は、軽量な判定モデル（decision model）の流れと、クロスエンコーダの分類器化に及んだ。ZeroEntropy の zerank-2 は、そうした用途向けに訓練されていないにもかかわらず、あるベンチマークで良いスコアを出したという。閾値をデータ分析で決めれば、クロスエンコーダを正負ラベルの分類器として使える。 ここで重要になるのがスコアの校正だ。トリプレット損失で訓練した一般的なリランカーは、順位付けさえ正しければよいため、スコアが 0.4〜0.6 に集中しがちだと Alami 氏は述べる。LLM のアンサンブルや人手の注釈と比べても線形の関係にはならないという。スコアが校正されていれば、関連度に応じて 3 件を返すことも 20 件を返すこともできる動的 K が実現する。聞き手は、Weaviate が埋め込み距離の急な落ち込みで結果を切る autocut を提供していると紹介し、両者を近い発想として位置づけた。網羅的な検索が必要な場面にも役立つという見方も示された。 #### zELO：ペアワイズ比較から Elo スコアへ zerank-1 と zerank-2 の基盤となる zELO の出発点は、ハードネガティブ採掘の限界である。難しい負例を探し続けると、実際には未注釈の正例を負例として学習してしまい、モデルは学べなくなる。人手で巨大なコーパスを網羅的に注釈するのも現実的ではない。 そこでペアワイズ比較に注目した。二つの文書のどちらが関連するかを選ぶ信号はクリーンだからである。この比較結果を、チェスの Elo レーティングに似た Thurstone モデルで単一のスコアに変換する。全ての組み合わせを比較する必要はなく、疎なサンプリングでも十分な信号が得られると説明している。ペアワイズのリランカーを訓練し、それを効率的なポイントワイズのリランカーへ蒸留して、ほぼ同等の精度に到達したという。ペアワイズ版は計算コストが高く本番では扱いづらいが、今後公開するかもしれないとも語った。3〜4 件の集合で比較すれば推移性の仮定を緩和できるのではという聞き手の案には、未検証だが zELO 2.0 の候補として興味を示した。なお合成ハードネガティブも試したが、当時の LLM では学習効果が確認できる信号を得られなかったという。 #### インフラとマルチステージ検索 推論では、リランカー特有の「入力トークンが多く、できるだけ速く返す」という形式に合わせてバッチ処理を最適化し、量子化対応訓練や、米国内に分散した GPU での提供により低レイテンシを実現したと述べた。調達は月次の予約インスタンスを基盤とし、突発的なトラフィックにはコールドスタートのある事業者や Modal を併用した。大手企業に囲まれた小規模クラスタゆえに、ネットワークの不安定さに悩まされたとも語っている。 検索アーキテクチャについては、多段階構成を支持する。埋め込みだけでは次元数の制約から、小さな K でも正しい順序で全文書を取り出せないという研究があるためだ。ポイントワイズのリランカーが最も効率的で、必要な場合だけ上位の少数にリストワイズを重ねるのが理想的とした。聞き手は、Weaviate の実験で上位 100 件ならリストワイズが機能したが、500 件では扱いきれなかったと共有した。 #### エージェント検索と指示追従リランカー Alami 氏は、今後の検索の大半はエージェント検索になると見る。重要なのはエージェントが必要な文脈を最短かつ少ないトークンで得ることで、軽量なリランキングに予算を割けば、高価な LLM トークンの浪費を防げると主張する。例として、Cursor が意味検索の導入で Composer のトークン使用量と undo が減ったと示したことを挙げた。Notion のハーネスでも、検索回数の多いモデルほど回答品質が高い傾向があるという。聞き手は、反復的なループは必須でなく、クエリ書き換えと大規模な候補取得、リランキングで代替できるとの立場を示し、議論は分かれた。 指示追従型リランカーについては、記憶システムを作る顧客の事例が紹介された。「今夜何を作ろうか」という質問に対し、「ナッツに強いアレルギーがある」は従来の意味では回答でないが、記憶システムでは最も重要な情報である。関連性の定義を指示で変えられるようにしたところ、大きく改善したという。指示の書式は XML、Markdown、箇条書きなど複数で訓練しており、特定の区切り文字に依存しない。価格や在庫のようなメタデータは、XGBoost のような別モデルでリランカーのスコアと組み合わせる方が扱いやすいとした。聞き手は Weaviate の Boost API も同種の手段として挙げた。 #### まとめ 本エピソードの核心は、検索モデルを「順位付け器」から「校正された判断器」へ拡張する視点にある。スコアが信頼できれば、動的 K や分類への転用、エージェントのトークン節約が現実的になる。日本の実務者にとっては、既存の検索基盤を保ったままリランカーを差し替えて品質を上げる戦略や、メタデータを別モデルで扱う設計が参考になるだろう。 また Alami 氏は、社内の反復タスクに対して open-weight モデルを post-training する動きに強い期待を示し、AI で AI を訓練する流れが再帰的自己改善（RSI）の一形態になりうると述べた。自社データを持つ企業が小型の特化モデルを育てる潮流は、日本の企業にも示唆が大きい。 > この要約・解説記事は、元の音声の文字起こしをもとに AI（Claude）が日本語で作成したものです。出典: Weaviate Podcast「ZeroEntropy with Ghita Houir Alami - Weaviate Podcast #150!」