Google выпустила TPU Sync, библиотеку C++ с открытым исходным кодом, которая перемещает кэши KV и веса по HBM TPU, DRAM хоста, хранилищу и сети. Google сообщает о снижении задержки передачи KV более чем на 90 % на моделях MoE с 235B по 480B. Поз…
Релизы с открытыми весами оказывают давление на закрытые цены и расширяют доступ, меняя математику «сборка против покупки» для всей экосистемы.
Компании и модели, упомянутые в этой статье — откройте их страницы и узнайте цены в реальном времени.
Краткое изложение собрано только для информации — перейдите по ссылке на источник, чтобы получить полную информацию. Демонстрационные записи носят иллюстративный характер.