Gigatoken est un tokenizer Rust BPE sous licence MIT qui encode le texte à des gigaoctets par seconde. Sur un AMD EPYC 9565 à 144 cœurs, il exécute la tokenisation GPT-2 à 24,53 Go/s. Cela représente 989x tokenizers HuggingFace et 681x tiktoken, ag…
Les pondérations ouvertes relâchent la pression sur les prix fermés et élargissent l'accès, modifiant ainsi le calcul de la construction par rapport à l'achat pour l'ensemble de l'écosystème.
Les résumés sont regroupés à titre d’information uniquement – suivez le lien source pour l’histoire complète. Les entrées de démonstration sont illustratives.