i14 がネイティブ PyTorch を使用して AWS Trainium2 上で線形注意モデルである Laplace 3B をどのようにトレーニングして提供したかを学びます。その反復状態は、コンテキストの長さに関係なく、シーケンスごとに 29.5 MB に固定され、キーの増大を回避します。
新しいモデルは、機能と価格パフォーマンスの最前線をリセットします。チームは、ローンチによって 1 ドルあたりの可能性が変わるたびに、何を構築するかを再評価します。
概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。