Amazon SageMaker Inference は、NVIDIA マルチインスタンス GPU (MIG) による GPU パーティショニングをサポートするようになりました。これにより、1 つの GPU がハードウェアで分離されたパーティションに分割されるため、それぞれで異なるモデルを実行したり、適切なサイズのフラクトを取得したりできます。
コンピューティングの供給、エネルギー、データセンターの容量によって、AI をいかに安価に実行できるかが決まります。インフラストラクチャの変化は数週間後に推論コストに現れます。
概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。