أصدرت Google وRed Hat وIBM الإصدار llm-d 1.0، وهو عبارة عن حزمة أصلية مفتوحة المصدر من Kubernetes لاستدلال LLM الموزع. فهو يضيف تحكمًا في التدفق متعدد المستأجرين، وترقيات بدون توقف، وتوجيهًا مدركًا للوكيل عبر vLLM، وSGLang، وTP...
تعمل الأوزان المفتوحة على إطلاق ضغط التسعير المغلق وتوسيع نطاق الوصول، مما يؤدي إلى تغيير حسابات البناء مقابل الشراء للنظام البيئي بأكمله.
يتم تجميع الملخصات للحصول على معلومات فقط - اتبع رابط المصدر للحصول على القصة الكاملة. الإدخالات التجريبية توضيحية.