A desagregação de pré-preenchimento-decodificação do vLLM divide a inferência do LLM entre as instâncias do mecanismo, mas deve transferir o cache KV entre elas. Esta postagem apresenta um conector NIXL baseado em push que move a coordenação de transferência para fora do cr…
Novos modelos redefinem a fronteira de capacidade e preço-desempenho. As equipes reavaliam o que desenvolver sempre que um lançamento muda o que é possível por dólar.
Os resumos são agregados apenas para fins informativos – siga o link da fonte para ver a história completa. As entradas de demonstração são ilustrativas.