バッチ割引とキャッシュされたプロンプト割引により、リアルタイム価格とのギャップが拡大します

バッチおよびキャッシュされたワークロードの大幅な割引により、コスト計画が再構築され、レイテンシを許容したりコンテキストを再利用したりできるチームに報酬が与えられます。

概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。