SGLang-Neuron est désormais accessible au public via un conteneur AWS Deep Learning. Avec SGLang-Neuron, vous pouvez servir des modèles et générer des déploiements d'apprentissage par renforcement avec SGLang sur AWS Trainium en utilisant le même int SGLang…
Les nouveaux modèles repoussent les limites des capacités et du rapport qualité-prix. Les équipes réévaluent les éléments sur lesquels s'appuyer chaque fois qu'un lancement modifie ce qui est possible par dollar.
Les résumés sont regroupés à titre d’information uniquement – suivez le lien source pour l’histoire complète. Les entrées de démonstration sont illustratives.