Google, Red Hat und IBM haben llm-d 1.0 veröffentlicht, einen Open-Source-Kubernetes-nativen Stack für verteilte LLM-Inferenz. Es bietet mehrmandantenfähige Flusskontrolle, Upgrades ohne Ausfallzeiten und agentenbewusstes Routing über vLLM, SGLang, TP …
Open-Weights verringern den Preisdruck und erweitern den Zugang, wodurch sich die Build-vs-Buy-Mathematik für das gesamte Ökosystem ändert.
In dieser Geschichte erwähnte Unternehmen und Modelle – öffnen Sie ihre Seiten und sehen Sie die aktuellen Preise
Zusammenfassungen werden nur zu Informationszwecken aggregiert – folgen Sie dem Quelllink für die vollständige Geschichte. Demo-Einträge dienen der Veranschaulichung.