限制
用戶端應遵守所選模型的上下文與請求限制。
呼叫限制可能來自模型、API Key、帳號、錢包、請求速率或用戶端設定。遇到限制時,先判斷限制屬於哪個層級。
限制類型
| 層級 | 需要檢查的內容 |
|---|---|
| 模型能力 | 上下文、最大輸出、輸入類型、媒體大小和數量 |
| API Key | 預算、有效期限、模型範圍、單次費用和來源限制 |
| 帳號與錢包 | 帳號狀態、可用餘額和服務可用性 |
| 請求速率 | 單位時間請求量、Token 量或並行限制 |
| 用戶端 | 逾時、連線數、重試次數和請求佇列 |
傳送前檢查
- 從模型說明取得實際限制值。
- 同時計算歷史訊息、目前輸入和預留輸出。
- 檢查媒體檔案和請求本文的總大小。
- 確認 API Key 的預算、有效期限和模型範圍。
- 在應用程式中設定合理的逾時、並行和重試上限。
不要把一個模型的限制套用到所有模型。
限制觸發後的處理
| 問題 | 處理方式 |
|---|---|
| 輸入過長 | 刪除不必要的歷史訊息,壓縮或拆分內容 |
| 輸出上限無效 | 使用模型支援的欄位和值 |
| Key 到期或預算不足 | 檢查 Key 設定並依主控台流程處理 |
| 請求過多 | 排隊、降低頻率並減少並行 |
| 模型存取受限 | 核對帳號、Key 和模型可用性 |
| 用戶端逾時 | 核對 Requests 中的原請求狀態 |
儲值不一定會提高速率限制,也不會繞過模型能力和 API Key 政策。
申請調整限制
聯絡客服時,提供 Model ID、預計請求量、並行數、平均輸入和輸出、業務時段以及 Request ID 範例。提交需求不表示限制已經調整,使用前請等待明確結果。