OpenAI APIのプロンプトキャッシュ

ユーザーは、OpenAI APIを使ってイメージ分析と応答テキストを生成しているが、コスト最適化のためにプロンプトキャッシュ機能に注目している。しかし、プロンプトキャッシュは一部のユーザーにのみ自動的に有効化されているようで、ユーザーのリクエストでは「cached_tokens」が0になっている。プロンプトが1,024トークンを超えているため、キャッシュが機能していないのかもしれない。OpenAIはプロンプトキャッシュを一部のユーザーにのみ提供しているのか、それともユーザーの設定に問題があるのかを確認したい。

Like
Save
Read original
Cached
Comments
?

No comments yet

Be the first to comment

AI Curator - Daily AI News Curation

AI Curator

Your AI news assistant

Ask me anything about AI

I can help you understand AI news, trends, and technologies