Google, Red Hat ve IBM, dağıtılmış LLM çıkarımına yönelik açık kaynaklı Kubernetes yerel yığını olan llm-d 1.0'ı yayınladı. vLLM, SGLang, TP genelinde çok kiracılı akış kontrolü, sıfır kesinti süreli yükseltmeler ve aracı bilinçli yönlendirme ekler…
Açık ağırlıklar, kapalı fiyatlandırma baskısını ortadan kaldırır ve erişimi genişleterek tüm ekosistem için yap-satın al matematiğini değiştirir.
Bu hikayede adı geçen şirketler ve modeller — sayfalarını açın ve canlı fiyatları
Özetler yalnızca bilgi amaçlı olarak toplanmıştır; hikayenin tamamı için kaynak bağlantısını takip edin. Demo girişleri örnek niteliğindedir.