Die Prefill-Decode-Disaggregation von vLLM teilt die LLM-Inferenz auf Engine-Instanzen auf, muss jedoch den KV-Cache zwischen ihnen übertragen. In diesem Beitrag wird ein Push-basierter NIXL-Anschluss vorgestellt, der die Übertragungskoordination vom Cr… verlagert.
Neue Modelle setzen die Leistungs- und Preis-Leistungs-Grenze neu. Die Teams bewerten neu, worauf sie aufbauen können, wenn eine Markteinführung das Mögliche pro Dollar verändert.
Zusammenfassungen werden nur zu Informationszwecken aggregiert – folgen Sie dem Quelllink für die vollständige Geschichte. Demo-Einträge dienen der Veranschaulichung.