Buoyant ha rilasciato Kinference, un piano di controllo dell'inferenza Apache 2.0 per vLLM su Kubernetes. Aggiunge policy di routing dichiarative, bilanciamento del carico KV-cache-aware e metriche per tenant e riduce il TTFT mediano del 95% in Buoya...
I pesi aperti allentano la pressione sui prezzi chiusi e ampliano l’accesso, cambiando la matematica build-vs-buy per l’intero ecosistema.
I riepiloghi sono aggregati solo a scopo informativo: segui il collegamento alla fonte per la storia completa. Le voci demo sono illustrative.