PrismML llama.cpp および OpenAI 互換のローカル推論ワークフローを使用した 1 ビット Bonsai-27B モデルのデプロイ

このチュートリアルでは、llama.cpp の PrismML フォークを使用して 1 ビット Bonsai-27B 言語モデルをデプロイします。これは、モデルの Q1_0_g128 GGUF 量子化形式をデコードするために必要な特殊な CUDA カーネルを提供します。

概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。