The Information のレポートによると、OpenAI は AI モデルの推論コストを半分以下に削減しました。同社は ChatGPT に最適化を適用し、必要な Nvidia GPU の数がわずか数個に減少しました。
コンピューティングの供給、エネルギー、データセンターの容量によって、AI をいかに安価に実行できるかが決まります。インフラストラクチャの変化は数週間後に推論コストに現れます。
概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。