مفتوح المصدر· MarkTechPost· 23 يوليو 2026· قبل 6 أيام· قراءة دقيقة 1

تعرف على Gigatoken: جهاز Tokenizer Rust BPE الذي يقوم بتشفير النص بسرعة 24.53 جيجابايت/ثانية، وهو أسرع بما يصل إلى 989x من HuggingFace Tokenizers

Gigatoken هو برنامج رمزي Rust BPE مرخص من معهد ماساتشوستس للتكنولوجيا (MIT) يقوم بترميز النص بسرعة غيغابايت في الثانية. على معالج AMD EPYC 9565 ذو 144 نواة، يقوم بتشغيل ترميز GPT-2 بسرعة 24.53 جيجابايت/ثانية. هذا يعني 989x من رموز HuggingFace و681x من tiktoken، بالإضافة إلى...

لماذا يهم

تعمل الأوزان المفتوحة على إطلاق ضغط التسعير المغلق وتوسيع نطاق الوصول، مما يؤدي إلى تغيير حسابات البناء مقابل الشراء للنظام البيئي بأكمله.

استكشف البيانات وراء ذلك

صفحات HotON.ai ذات الصلة

نماذج →يقارن →

تعرف على Gigatoken: جهاز Tokenizer Rust BPE الذي يقوم بتشفير النص بسرعة 24.53 جيجابايت/ثانية، وهو أسرع بما يصل إلى 989x من HuggingFace Tokenizers

لماذا يهم

استكشف البيانات وراء ذلك

المزيد من الأخبار

تعرف على Gigatoken: جهاز Tokenizer Rust BPE الذي يقوم بتشفير النص بسرعة 24.53 جيجابايت/ثانية، وهو أسرع بما يصل إلى 989x من HuggingFace Tokenizers

لماذا يهم

استكشف البيانات وراء ذلك

المزيد من الأخبار