Мы реализовали xFormers, практический toolkit для быстрого, памятьэффективных моделей Transformer на GPU. Мы проверили памятьэффективное внимание против стандартной реализации, затем сравнили скорость и память по последовательностям...
Новые модели сбрасывают границы возможностей и цены-качества. Команды пересматривают, на чем основываться, всякий раз, когда запуск меняет возможный размер за доллар.
Краткое изложение собрано только для информации — перейдите по ссылке на источник, чтобы получить полную информацию. Демонстрационные записи носят иллюстративный характер.