Meta AI が MetaRoCE を導入: AI スケールのイーサネット用に構築されたクリーンシート RDMA トランスポート

フロンティア モデルのトレーニングと提供は、コンピューティングの問題であると同時にネットワークの問題でもあります。 all-reduce や all-to-all などの集合的な操作は、トレーニング中に数千のアクセラレータを同期しますが、最も遅いアクセラレータは…

概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。