ストリーミング
生成された部分から順に出力を受け取ります。
ストリーミングを使うと、モデルが生成している途中のコンテンツをアプリケーションで受け取れます。チャット画面や長い応答に適しています。有効にする前に、選択したモデルとインターフェースがストリーミングに対応していることを確認してください。
ストリーミングを有効にする
チャットリクエストで次のフィールドを設定します。
{
"stream": true
}リクエストの完全な例:
curl --no-buffer --silent --show-error \
"https://api.vergora.ai/v1/chat/completions" \
-H "Authorization: Bearer ${VERGORA_API_KEY}" \
-H "Content-Type: application/json" \
-d '{
"model": "YOUR_STREAMING_MODEL_ID",
"messages": [
{
"role": "user",
"content": "ストリーミングについて 3 文で説明してください。"
}
],
"stream": true
}'イベントを読み取る
互換性のある SSE レスポンスには、次のようなイベントが含まれる場合があります。
data: {"choices":[{"delta":{"content":"こんにちは"},"finish_reason":null}]}
data: {"choices":[{"delta":{},"finish_reason":"stop"}]}
data: [DONE]イベントの構造と完了シグナルは、実際のインターフェースのレスポンスを基準にしてください。
ストリームを正しく処理する
- SSE のイベント境界ごとにデータを読み取ります。
- 1 つのネットワークチャンクを完全な JSON 値として扱わないでください。
- テキストの差分を順番どおりに結合します。
- 空の差分、完了イベント、ストリーム内のエラーを処理します。
- 想定どおりの完了シグナルを受け取ってから、回答を完了としてマークします。
中断、再試行、コスト
ネットワークの中断やクライアントのタイムアウトが発生した場合は、受信済みのコンテンツを未完了としてマークします。リクエストを再送信すると、通常は別のリクエストが作成され、追加の料金が発生する可能性があります。再試行する前に、リクエストログで元のリクエストを確認してください。
ストリームに使用量のフィールドが含まれていなくても、使用量が発生していないとは限りません。最終的な使用量とコストは、リクエストの記録で確認してください。