Gigatoken é um tokenizer Rust BPE licenciado pelo MIT que codifica texto em gigabytes por segundo. Em um AMD EPYC 9565 de 144 núcleos, ele executa tokenização GPT-2 a 24,53 GB/s. São 989x tokenizers HuggingFace e 681x tiktoken, ag…
Os lançamentos de pesos abertos pressionam os preços fechados e ampliam o acesso, mudando a matemática construção versus compra para todo o ecossistema.
Os resumos são agregados apenas para fins informativos – siga o link da fonte para ver a história completa. As entradas de demonstração são ilustrativas.