Gigatoken è un tokenizzatore Rust BPE con licenza MIT che codifica il testo a gigabyte al secondo. Su un AMD EPYC 9565 a 144 core, esegue la tokenizzazione GPT-2 a 24,53 GB/s. Si tratta di 989 token HuggingFace e 681 tiktoken, ag...
I pesi aperti allentano la pressione sui prezzi chiusi e ampliano l’accesso, cambiando la matematica build-vs-buy per l’intero ecosistema.
I riepiloghi sono aggregati solo a scopo informativo: segui il collegamento alla fonte per la storia completa. Le voci demo sono illustrative.