Gigatoken ist ein MIT-lizenzierter Rust BPE-Tokenizer, der Text mit Gigabyte pro Sekunde kodiert. Auf einem AMD EPYC 9565 mit 144 Kernen läuft die GPT-2-Tokenisierung mit 24,53 GB/s. Das sind 989x HuggingFace-Tokenizer und 681x Tiktoken, ag…
Open-Weights verringern den Preisdruck und erweitern den Zugang, wodurch sich die Build-vs-Buy-Mathematik für das gesamte Ökosystem ändert.
Zusammenfassungen werden nur zu Informationszwecken aggregiert – folgen Sie dem Quelllink für die vollständige Geschichte. Demo-Einträge dienen der Veranschaulichung.