Testé sur le benchmark InferenceX de SemiAnalysis, Jalapeño a enregistré à la fois plus de jetons par utilisateur et plus de débit par kilowatt que l'état de l'art actuellement disponible.
L’approvisionnement informatique, l’énergie et la capacité du centre de données déterminent le coût de fonctionnement de l’IA. Les changements d’infrastructure apparaissent dans les coûts d’inférence des semaines plus tard.
Entreprises et modèles mentionnés dans cette histoire — ouvrez leurs pages et prix en direct
Les résumés sont regroupés à titre d’information uniquement – suivez le lien source pour l’histoire complète. Les entrées de démonstration sont illustratives.