Perplexity オープンソース Lily: Apple Silicon 上の Qwen3.6-35B-A3B 用の Rust + Metal 推論エンジン

Perplexity は、Perplexity Computer のハイブリッド コンピューティングの背後にあるローカル推論エンジンである Lily をオープンソース化しました。 1 つのチップ ファミリ上の 1 つのモデル用にカスタム Metal カーネルを備えた Rust が組み込まれており、平均 1.23 倍の MLX-LM のプリフィル スループットを実現します。

概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。