Perkenalkan Gigatoken: Tokenizer BPE Karat yang Mengkodekan Teks dengan kecepatan 24,53 GB/dtk, hingga 989x Lebih Cepat dibandingkan Tokenizer HuggingFace

Gigatoken adalah tokenizer Rust BPE berlisensi MIT yang mengkodekan teks dengan kecepatan gigabyte per detik. Pada AMD EPYC 9565 144-core, ia menjalankan tokenisasi GPT-2 pada 24,53 GB/s. Itu adalah 989x tokenizer HuggingFace dan 681x tiktoken, ag…

Ringkasan dikumpulkan untuk informasi saja — ikuti tautan sumber untuk cerita selengkapnya. Entri demo bersifat ilustratif.