Zyphra Hierarchical Attention (ZHA) est une méthode d'attention clairsemée indexée par arbre qui modernise les LLM gelés avec des jetons de distillation 4B, correspondant à une attention dense sur le raisonnement et à 256 000 points de référence de récupération. Le post Zyph…
Les nouveaux modèles repoussent les limites des capacités et du rapport qualité-prix. Les équipes réévaluent les éléments sur lesquels s'appuyer chaque fois qu'un lancement modifie ce qui est possible par dollar.
Les résumés sont regroupés à titre d’information uniquement – suivez le lien source pour l’histoire complète. Les entrées de démonstration sont illustratives.