Amazon SageMaker Inference unterstützt jetzt die GPU-Partitionierung mit NVIDIA Multi-Instance GPU (MIG), die eine GPU in hardwareisolierte Partitionen unterteilt, sodass Sie in jeder ein anderes Modell ausführen oder einen Bruchteil mit der richtigen Größe verwenden können.
Rechenleistung, Energie und Rechenzentrumskapazität entscheiden darüber, wie kostengünstig KI betrieben werden kann. Infrastrukturverschiebungen zeigen sich Wochen später in den Inferenzkosten.
In dieser Geschichte erwähnte Unternehmen und Modelle – öffnen Sie ihre Seiten und sehen Sie die aktuellen Preise
Zusammenfassungen werden nur zu Informationszwecken aggregiert – folgen Sie dem Quelllink für die vollständige Geschichte. Demo-Einträge dienen der Veranschaulichung.