SGLang-Neuron artık AWS Derin Öğrenme Container'ı aracılığıyla herkesin erişimine açık. SGLang-Neuron ile aynı SGLang int'sini kullanarak AWS Trainium'da SGLang ile modeller sunabilir ve takviyeli öğrenme sunumları oluşturabilirsiniz.
Yeni modeller kapasite ve fiyat-performans sınırını sıfırlıyor. Ekipler, bir lansman dolar başına mümkün olanı değiştirdiğinde neyin üzerine inşa edileceklerini yeniden değerlendiriyor.
Özetler yalnızca bilgi amaçlı olarak toplanmıştır; hikayenin tamamı için kaynak bağlantısını takip edin. Demo girişleri örnek niteliğindedir.