Bonsai 27BはiPhoneにフィットするフルオープン推理モデルです

PrismML は、270 億パラメータの AI モデルを 4 GB 以下に圧縮し、iPhone 上で実行できる程度のサイズにしました。同社独自のベンチマークでは、最小バージョンでも元のパフォーマンスの 90% が維持されており、計算と計算が可能です。

概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。