モデルを選択する際に重要となる単一のグラフ: 1 ドルあたりどれだけの測定されたインテリジェンスが得られるか。実際の LMArena Elo に対して混合トークン価格をプロットし、効率的なフロンティアを追跡します。低価格で品質において他に勝るものはないモデルです。
品質は本物です LMArena Elo — 私たちの独自の推定ではなく、盲目的な直接投票による人間の好みのランキングです。価格は、各モデルの追跡価格からの入力および出力の $/100 万トークンの混合平均です。
より高い Elo とそれ以下または同等の価格の両方を備えたモデルが他にない場合、そのモデルは効率的なフロンティアにあります。価格とランキングが更新されるとフロンティアが再計算されます。
私たちは意図的に「1 ドルあたりの Elo」比率を公表しません。Elo は間隔スケールであるため、それを価格で割ることは統計的に意味がありません。フロンティアは、品質とコストを比較する正直な方法です。