制限
選択したモデルのコンテキストとリクエストの制約に従うよう、クライアントを設計します。
リクエストは、モデル、API キー、アカウント、ウォレット、リクエストレート、クライアントの設定によって制限される場合があります。制限に達した場合は、まずどの層が原因かを特定してください。
制限の種類
| 層 | 確認すること |
|---|---|
| モデルの機能 | コンテキスト、最大出力、入力の種類、メディアのサイズや数 |
| API キー | 予算、有効期限、モデルの範囲、リクエストあたりのコスト、アクセス元の制限 |
| アカウントとウォレット | アカウントの状態、利用可能な残高、サービスの提供状況 |
| リクエストレート | 一定時間内に許可されるリクエスト数、トークン数、同時実行数 |
| クライアント | タイムアウト、接続数、再試行回数、リクエストキュー |
送信前に確認する
- 実際の制限値をモデルのドキュメントで確認します。
- 会話履歴、現在の入力、出力用に確保する分を合算して計算します。
- メディアファイルとリクエスト全体のサイズを確認します。
- API キーの予算、有効期限、モデルの範囲を確認します。
- クライアントのタイムアウト、同時実行数、再試行回数に適切な上限を設定します。
あるモデルの制限をすべてのモデルに当てはめないでください。
制限への対応
| 問題 | 推奨される対応 |
|---|---|
| 入力が長すぎる | 不要な履歴を削除するか、内容を圧縮または分割します |
| 出力上限の指定が無効 | モデルが対応しているフィールドと値を使用します |
| キーの有効期限切れまたは予算の使い切り | キーの設定を確認し、コンソールの手順に従います |
| リクエストが多すぎる | 処理をキューに入れ、レートと同時実行数を下げます |
| モデルへのアクセスが制限されている | アカウント、キー、モデルの提供状況を確認します |
| クライアントのタイムアウト | リクエストログで元のリクエストを確認します |
チャージしてもレート制限が引き上げられるとは限りません。また、モデルの機能や API キーのポリシーを超えて利用できるようになるわけでもありません。
制限の調整を申請する
サポートに問い合わせる際は、Model ID、想定リクエスト量、同時実行数、平均の入力量と出力量、業務時間帯、リクエスト ID の例を伝えてください。申請を送信しただけでは制限は変更されません。明確な結果が届くまでは、変更を前提にしないでください。