أصدرت Buoyant Kinference، وهو مستوى التحكم في الاستدلال Apache 2.0 لـ vLLM على Kubernetes. فهو يضيف سياسات توجيه تعريفية، وموازنة تحميل مدركة لذاكرة التخزين المؤقت لـ KV، ومقاييس لكل مستأجر، ويخفض متوسط TTFT بنسبة 95% في Buoya...
تعمل الأوزان المفتوحة على إطلاق ضغط التسعير المغلق وتوسيع نطاق الوصول، مما يؤدي إلى تغيير حسابات البناء مقابل الشراء للنظام البيئي بأكمله.
يتم تجميع الملخصات للحصول على معلومات فقط - اتبع رابط المصدر للحصول على القصة الكاملة. الإدخالات التجريبية توضيحية.