认识 Gigatoken：一种 Rust BPE Tokenizer，以 24.53 GB/s 的速度对文本进行编码，比 HuggingFace Tokenizer 快 989 倍

Gigatoken 是 MIT 许可的 Rust BPE 分词器，能够以每秒 GB 的速度对文本进行编码。在 144 核 AMD EPYC 9565 上，它以 24.53 GB/s 的速度运行 GPT-2 标记化。那是 989x HuggingFace tokenizers 和 681x tiktoken，ag...

摘要仅供参考,请点击来源链接查看全文。演示条目为示意。