マルチモーダル入力
同じユーザーメッセージでテキストと画像を送信します。
マルチモーダル入力を使うと、対応するモデルでテキストや画像などのコンテンツをまとめて処理できます。このページでは、テキストと画像を含むチャットリクエストを例に説明します。すべてのモデルが画像、音声、動画に対応しているという意味ではありません。
モデルを選ぶ
リクエストを送信する前に、次の点を確認してください。
- モデルが画像入力に対応している。
- モデルがチャット補完インターフェースに対応している。
- 画像の形式、枚数、サイズ、解像度が制限内である。
- 現在の API キーでモデルにアクセスできる。
テキストと画像の例
{
"model": "YOUR_MULTIMODAL_MODEL_ID",
"messages": [
{
"role": "user",
"content": [
{
"type": "text",
"text": "この画像の主な内容を説明してください。"
},
{
"type": "image_url",
"image_url": {
"url": "https://example.com/image.jpg"
}
}
]
}
]
}これは互換性のある構造の例です。URL、Base64 データ、その他の入力方法に対応しているかどうかは、選択したモデルによって異なります。
画像を準備する
| 確認項目 | 説明 |
|---|---|
| アクセス可能性 | リクエストを処理するサービスから画像の URL にアクセスできる必要があります |
| ファイル形式 | モデルが明示的に対応している MIME タイプを使用します |
| ファイルサイズ | 画像 1 枚あたりの上限と、リクエスト全体の上限を超えないようにします |
| 画像の枚数 | 1 回のリクエストで許可されている枚数を超えないようにします |
| データの権限 | その画像を送信して処理する権限があることを確認します |
ローカルのファイルパスや、ブラウザでのログインが必要な Web ページは、通常リモート画像の入力として使用できません。API を呼び出すためだけに非公開のファイルを公開しないでください。
使用量を管理する
画像は通常のテキストとは異なる方法で計量される場合があります。不要な画像や重複した履歴を削除し、モデルのドキュメントに従ってメディアの使用量とコストを確認してください。
トラブルシューティング
- 画像を読み込めない:URL が画像を返し、サービスからアクセスできることを確認します。
- 形式に対応していない:拡張子だけを変更するのではなく、対応している形式にファイルを変換します。
- リクエストが大きすぎる:画像を圧縮またはリサイズするか、画像の枚数を減らします。
- レスポンスの構造が異なる:選択したモデルのインターフェースのドキュメントに従います。