تقوم NVIDIA Dynamo Snapshot بنقاط تفتيش وتستعيد عمال استدلال vLLM على Kubernetes باستخدام أدوات CRIU وCuda-checkpoint. المنشور NVIDIA AI تطلق Dynamo Snapshot: نظام بدء تشغيل سريع قائم على CRIU لاستدلال الذكاء الاصطناعي...
تعمل النماذج الجديدة على إعادة ضبط حدود القدرة والأداء والسعر. تقوم الفرق بإعادة تقييم ما يجب البناء عليه عندما يؤدي الإطلاق إلى تغيير ما هو ممكن لكل دولار.
يتم تجميع الملخصات للحصول على معلومات فقط - اتبع رابط المصدر للحصول على القصة الكاملة. الإدخالات التجريبية توضيحية.