Amazon SageMaker AI上でP-EAGLEを使用して推測的なデコーディングを並列化

この記事では、Amazon SageMaker AI内でP-EAGLEを使用する方法について説明します。SageMaker JumpStartカタログから互換モデルを選択し、並列草案の指定を設定する方法をデモストレーションします。

概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。