AI エージェントは答えを生成するだけではありません。彼らは情報を検索し、データベースにクエリを実行し、コードを作成してテストし、アクションを実行します。これらの各ステップは CPU に依存しており、エージェントは GPU 推論と CPU 実行の間を移動します。
コンピューティングの供給、エネルギー、データセンターの容量によって、AI をいかに安価に実行できるかが決まります。インフラストラクチャの変化は数週間後に推論コストに現れます。
概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。