2024 年 3 月 20 日
逆転の呪い
GPT-4 や Llama-2 のような大規模言語モデル (LLM) は、理解において優れた能力を実証しています。膨大な範囲の知識を網羅した、人間のようなテキストを生成します。しかし、彼らは、学んだ事実を覆すという、一見簡単な仕事に失敗します。 「逆転の呪い」と呼ばれるこの制限は、LLM が「A には特徴 B がある」という学習から「B は A の特徴である」と推論できないことを意味します。これは子供でも持つ基本的な推論スキルです。このペーパーでは、双方向トレーニング アプローチを活用して、順方向と逆方向の両方の形式での事実のモデルの理解を強化することで、この課題に対処する新しい方法である「逆方向トレーニング」を紹介します。
逆転の呪いの起源
この問題は、通常 自己回帰的な左から右への学習を伴う LLM の基本的なトレーニング アプローチから発生します。この方法は本質的に、モデルに逆の順序で情報を理解したり生成したりすることを教えるものではありません。ジップの法則に従ったデータ配布の性質を考えると、多くの事実が一方向にしか言及されていないことが、この問題を悪化させています。 「逆転の呪い」により、LLM のステートメントにおける相互関係と等価性の理解が制限され、彼らの推論能力に重大な欠陥が生じます。
逆トレーニングで逆転の呪いを克服する
提案されたソリューションであるリバース トレーニングでは、トレーニング文字列の元のバージョンと逆バージョンの両方を含めることで、利用可能なトレーニング データが 2 倍になります。反転プロセスでは、エンティティ名などの特定の部分文字列が変更されないように注意し、コンテキストを維持するために元のシーケンスを維持します。この方法は、LLM が学習するための第 2 言語を導入するのと似ており、両方向で情報を処理および生成するモデルの能力が大幅に向上します。
リバーストレーニングメソッドのテスト
著者らは、提案した方法をテストするために次の実験を実施しました。
1- シンボリック リバース タスク: 逆の関係を推論して適用するメソッドの能力を実証する、制御された環境テスト。
2- 伝記の逆引きタスク: 伝記データセットを利用して、与えられた詳細から人物名を逆に生成するパフォーマンスを評価します。
3- 現実世界の知識の逆転: 有名人とその関係に関する事実を逆転するなど、現実世界のシナリオにおける方法の有効性を評価します。
4- 架空の事実の微調整: 新しく導入された、逆転された架空の事実に関するモデルの学習能力をテストします。
これらの実験全体を通じて、リバース トレーニングはリバーサル カースを軽減しただけでなく、場合によっては完全に排除しました。この方法は、エンティティ名が反転プロセス中に元の順序で保持される場合に特に効果的であることが証明され、特定のコンテキスト アンカーを維持することの重要性が強調されました。
影響と将来の方向性
Reversal Curse に対処する Reverse Training の成功により、LLM トレーニング方法論に新たな道が開かれます。このアプローチは、ステートメント内の相互関係と等価性についてのモデルの理解を強化することにより、より洗練された推論機能への扉を開きます。今後の研究では、逆転プロセスのさらなる最適化、他の言語モデル アーキテクチャでの逆転トレーニングの統合の可能性、および自然言語の理解と生成タスクにおけるこの方法のより広範な応用が探求される可能性があります。