AIゲートウェイのレート制限における攻撃と防御の戦い

AIゲートウェイのレート制限は、トークン使用量に基づいて行われます。しかし、トークン使用量を隠蔽する攻撃手法が存在し、これを防ぐには非同期課金への対応が重要です。トークン数の代替指標として、リクエスト数やバイト数を用いたレート制限も検討すべきです。

Details

AIゲートウェイではトークン使用量に基づいてレート制限が行われますが、トークン使用量情報を隠蔽する攻撃手法が存在します。例えば、レスポンス中にトークン使用量情報を含めないようにしたり、リクエストを早期に終了させたりすることで、ゲートウェイがトークン使用量を把握できないようにする方法があります。一方で、モデル提供者側は正確なトークン使用量を把握しているため、最終的な請求額は正しくなります。この問題の根本原因は非同期課金にあり、ゲートウェイがリアルタイムにトークン使用量を把握できないことが攻撃の機会を生んでいます。対策としては、トークン数以外の指標（リクエスト数やバイト数）によるレート制限を併用することが考えられます。また、モデル提供者の公開トークナイザーを活用するなど、ゲートウェイ側でもトークン使用量を推定する方法を検討する必要があります。