Google, Red Hat, dan IBM merilis llm-d 1.0, tumpukan asli Kubernetes sumber terbuka untuk inferensi LLM terdistribusi. Ia menambahkan kontrol aliran multi-penyewa, peningkatan tanpa waktu henti, dan perutean sadar agen di vLLM, SGLang, TP…
Rilis bobot terbuka menekan harga tertutup dan memperluas akses, mengubah perhitungan build-vs-buy untuk keseluruhan ekosistem.
Perusahaan dan model yang disebutkan dalam cerita ini — buka halaman mereka dan harga langsung
Ringkasan dikumpulkan untuk informasi saja — ikuti tautan sumber untuk cerita selengkapnya. Entri demo bersifat ilustratif.