Gigatoken — это токенизатор Rust BPE, лицензированный MIT, который кодирует текст со скоростью гигабайт в секунду. На 144-ядерном процессоре AMD EPYC 9565 он выполняет токенизацию GPT-2 со скоростью 24,53 ГБ/с. Это 989 токенизаторов HuggingFace и 681 токен tiktoken, а…
Релизы с открытыми весами оказывают давление на закрытые цены и расширяют доступ, меняя математику «сборка против покупки» для всей экосистемы.
Краткое изложение собрано только для информации — перейдите по ссылке на источник, чтобы получить полную информацию. Демонстрационные записи носят иллюстративный характер.