研究者は、なぜ大規模な言語モデルが小規模な言語モデルが見逃しているスキルを習得するのかを特定する

小規模な言語モデルは、頻度の高いタスクでは学習した内容を常に上書きするため、まれなタスクでは失敗します。 400 万から 40 億のパラメーターにわたるモデルを使用した新しい研究は、このメカニズムを詳細に示し、次のことを提供します…

概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。