Gigatoken es un tokenizador Rust BPE con licencia del MIT que codifica texto a gigabytes por segundo. En un AMD EPYC 9565 de 144 núcleos, ejecuta la tokenización GPT-2 a 24,53 GB/s. Eso es 989x tokenizadores HuggingFace y 681x tiktoken, ag...
Las liberaciones de pesos abiertos presionan los precios cerrados y amplían el acceso, cambiando la matemática de construcción versus compra para todo el ecosistema.
Los resúmenes se agregan únicamente con fines informativos; siga el enlace fuente para ver la historia completa. Las entradas de demostración son ilustrativas.