Disagregasi dekode pra-pengisian vLLM membagi inferensi LLM di seluruh mesin tetapi harus mentransfer cache KV di antara mesin tersebut. Posting ini memperkenalkan konektor NIXL berbasis push yang memindahkan koordinasi transfer dari ...
Model-model baru mengatur ulang batas kemampuan dan harga-kinerja. Tim mengevaluasi kembali apa yang harus dikembangkan setiap kali peluncuran mengubah apa yang mungkin dilakukan per dolar.
Ringkasan dikumpulkan untuk informasi saja — ikuti tautan sumber untuk cerita selengkapnya. Entri demo bersifat ilustratif.