Gigatoken のご紹介: HuggingFace トークナイザーよりも最大 989 倍高速、24.53 GB/秒でテキストをエンコードする Rust BPE トークナイザー

Gigatoken は、毎秒ギガバイトでテキストをエンコードする MIT ライセンスの Rust BPE トークナイザーです。 144 コアの AMD EPYC 9565 では、GPT-2 トークン化が 24.53 GB/秒で実行されます。これは、合計 989 個の HuggingFace トークナイザーと 681 個の tiktoken に相当します。

概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。