串流輸出
在模型生成過程中逐段接收內容。
串流輸出讓應用程式在模型生成過程中持續接收內容,適合聊天介面和較長的回覆。使用前,請確認所選模型和介面支援串流回應。
啟用串流輸出
在聊天請求中設定:
{
"stream": true
}完整請求範例:
curl --no-buffer --silent --show-error \
"https://api.vergora.ai/v1/chat/completions" \
-H "Authorization: Bearer ${VERGORA_API_KEY}" \
-H "Content-Type: application/json" \
-d '{
"model": "YOUR_STREAMING_MODEL_ID",
"messages": [
{
"role": "user",
"content": "用三句話解釋串流輸出。"
}
],
"stream": true
}'讀取事件
相容 SSE 的串流回應可能包含以下事件結構:
data: {"choices":[{"delta":{"content":"你好"},"finish_reason":null}]}
data: {"choices":[{"delta":{},"finish_reason":"stop"}]}
data: [DONE]實際事件結構和結束訊號以介面回傳為準。
正確處理資料串流
- 依 SSE 事件邊界讀取資料。
- 不要把單次收到的網路資料區塊直接當作完整 JSON。
- 依序合併增量文字。
- 處理空增量、結束事件和串流中的錯誤。
- 只有收到正常結束訊號後,才把回答標記為完整。
中斷、重試與費用
網路中斷或用戶端逾時後,將已接收的內容標記為未完成。重新傳送通常會產生一筆新請求,可能再次產生費用。先到 Requests 核對原請求狀態,再決定是否重試。
串流中沒有用量欄位不表示請求沒有產生用量。最終用量和費用以請求紀錄為準。