コーディング評価における信号とノイズの分離

OpenAI による新しい分析により、人気のあるコーディング ベンチマークである SWE-Bench Pro の問題が明らかになり、AI モデルの評価の信頼性と精度に対する懸念が生じています。

概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。