Amazon SageMaker Inference prend désormais en charge le partitionnement GPU avec NVIDIA Multi-Instance GPU (MIG), qui divise un GPU en partitions isolées par le matériel afin que vous puissiez exécuter un modèle différent dans chacune ou prendre une fraction de bonne taille…
L’approvisionnement informatique, l’énergie et la capacité du centre de données déterminent le coût de fonctionnement de l’IA. Les changements d’infrastructure apparaissent dans les coûts d’inférence des semaines plus tard.
Entreprises et modèles mentionnés dans cette histoire — ouvrez leurs pages et prix en direct
Les résumés sont regroupés à titre d’information uniquement – suivez le lien source pour l’histoire complète. Les entrées de démonstration sont illustratives.