スロットリングの制限ページは、AIサービスにおけるさまざまなモデルタイプの呼び出し枠とレート制限を表示するために使用されます。この記事では、各種モデルの月間トークン枠、1分あたりのトークン上限(TPM)、1分あたりのリクエスト数上限(RPM)を確認できるため、アプリケーションの接続、呼び出し戦略の設計、スロットリング問題の調査に役立ちます。
上部ナビゲーションバーの組織アカウント名をクリックし、スロットリングの制限 ページに移動します。
スロットリングの制限について
- 組織モデルのレート上限は、組織内のすべてのプロジェクトに適用される最高制限となります。
- APIの使用は、1分あたりのトークン(TPM)と1分あたりのリクエスト数(RPM)によって制限されます。ある1分間のトークンまたはリクエスト数が制限を超えた場合、その分の後続リクエストは制限され、リソース使用の公平性とシステムの安定性を確保します。より高い組織レート設定が必要な場合は、チケットを提出してください。
ページはモデルタイプごとに、現在の組織のスロットリングの制限情報を表示します。リストには以下のフィールドが含まれます：
ページはモデルタイプごとに、現在の組織内のスロットリング限度額情報を表示します。リストには以下のフィールドが含まれます：
フィールド |
説明 |
|---|---|
| モデルタイプ | モデルが属するタスクタイプ。例：テキスト生成、テキスト埋め込み、全モーダル、画像生成、動画生成など。 |
| 月間枠(M Tokens) | そのモデルタイプが1か月間に消費できる最大トークン数。単位は百万トークンです。 |
| 1分あたりのトークン(TPM) | そのモデルタイプが1分間に消費できる最大トークン数。 |
| 1分あたりのリクエスト数(RPM) | そのモデルタイプが1分間に発生できる最大リクエスト数。 |
適用シナリオ
スロットリングの制限情報は、以下のシナリオで適用されます：
アプリケーション接続評価：アプリケーションがAIサービスに接続する前に、現在のスロットリングの制限がビジネスのピークニーズを満たしているかどうかを評価します。
スロットリング問題の調査：呼び出しが失敗したり、リクエストが拒否されたり、応答が異常だったりした場合、TPMまたはRPMの制限がトリガーされたかどうかを判断します。
呼び出し戦略の最適化：異なるモデルタイプのスロットリングの制限に基づいて、リクエスト頻度、バッチ処理方法、ビジネスの再試行戦略を最適化します。
容量計画：ビジネスの成長前に、より高いレートクォータを申請する必要があるかどうかを事前に評価します。
使用上の推奨事項
アプリケーション側では、リクエスト数だけでなく、TPMとRPMにも同時に注意を払うことを推奨します。
高同時実行ビジネスでは、ローカルスロットリング、キューイング、または再試行メカニズムを追加し、瞬間的なトラフィックがプラットフォームのスロットリングをトリガーするのを防ぐことを推奨します。
単一リクエストの入力が長い場合や出力が大きい場合は、TPMの消費状況に特に注意を払うことを推奨します。
組織レベルの呼び出しピークを統一的に計画し、プラットフォームのスロットリングをトリガーするのを防ぐことを推奨します。