OpenAI APIのプロンプトキャッシュ
ユーザーは、OpenAI APIを使ってイメージ分析と応答テキストを生成しているが、コスト最適化のためにプロンプトキャッシュ機能に注目している。しかし、プロンプトキャッシュは一部のユーザーにのみ自動的に有効化されているようで、ユーザーのリクエストでは「cached_tokens」が0になっている。プロンプトが1,024トークンを超えているため、キャッシュが機能していないのかもしれない。OpenAIはプロンプトキャッシュを一部のユーザーにのみ提供しているのか、それともユーザーの設定に問題があるのかを確認したい。
Like
Save
Cached
Comments
No comments yet
Be the first to comment