LLMの出力を決定論的にする方法
ユーザーのクエリや過去のチャット履歴から正確な構造化JSONレスポンスを生成する際、LLMの確率的性質により時に正しい抽出ができないという問題に直面している。温度を0に設定したり、シード値を設定することで決定論的な出力を得ようとしているが、十分な改善が見られないという。
💡
Why it matters
ユーザークエリからの正確な情報抽出は、対話システムの信頼性と使い勝手に直結する重要な課題である。
Key Points
- 1LLMの確率的性質により、同じ入力・プロンプトでも正しい抽出ができないことがある
- 2温度を0に設定したり、シード値を設定しても十分な改善が見られない
- 3Azure OpenAI GPT 4.1ベースモデルを使用しているが、一部の実行で正しい値を抽出できない
Details
ユーザーのクエリや過去のチャット履歴から、正確な構造化JSONレスポンスを生成する用途で、LLMの確率的性質により時に正しい抽出ができないという問題に直面している。温度を0に設定したり、シード値を設定することで決定論的な出力を得ようとしているが、十分な改善が見られないという。Azure OpenAI GPT 4.1ベースモデルを使用しているが、一部の実行で正しい値を抽出できないことが課題となっている。
Like
Save
Cached
Comments
No comments yet
Be the first to comment