OpenAI の詳細 GPT-Red: 即時注入で人間のレッドチーマーを 84% 対 13% 上回る内部自動レッドチーミング モデル

OpenAI は、防御側 LLM の母集団に対してセルフプレイ強化学習を使用して、内部専用の攻撃者モデルである GPT-Red をトレーニングしました。複製された間接プロンプト インジェクション アリーナで、人間のレッドチームを 84% 対 13% で破りました…

概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。