長さの正規化は、短いまたは長いシーケンスへの偏りに対処するために、ビーム サーチまたはその他のシーケンス生成アルゴリズムで使用される手法です。これは、特に確率ベースのスコアリング方法を使用する場合に、異なる長さのシーケンスの公正な評価とランク付けを保証することを目的としています。
ビーム検索のコンテキストでは次のようになります。
問題は解決されました
- 長さのバイアス: 長さの正規化がないと、単に各ステップでの確率の乗算により、長いシーケンスは短いシーケンスに比べて確率が低くなる傾向があります。その結果、より短いシーケンスは、発生確率が高いため、ビーム探索において優勢となることがよくあります。
長さの正規化の仕組み
-
目的: 長さの正規化の目標は、候補シーケンスの長さに基づいてスコアまたは確率を調整し、特定の長さへの偏りを防ぐことです。
-
正規化係数: これには、シーケンスの長さを考慮した係数によるシーケンスのスコアのスケーリングが含まれます。
-
長さペナルティ: 通常、これには、対数確率 (またはスコア メトリック) をシーケンスの長さで割るか、シーケンスの長さに反比例するペナルティ項を適用することが含まれます。
例
-
2 つのシーケンスがあるとします。シーケンス A の長さは 5、対数確率は -10、シーケンス B は長さ 7、対数確率は -15 です。
-
長さを正規化しないと、シーケンス A は短いにもかかわらず、確率が高く見える (-10 > -15 であるため)。
-
長さの正規化では、対数確率をそれぞれのシーケンスの長さで割ることによってスコアが調整される可能性があります。シーケンス A の調整されたスコアは -10/5 = -2 になり、シーケンス B の調整されたスコアは -15/7 ≈ -2.14 になります。
-
長さの正規化後、シーケンス B は、その長い長さを考慮して、調整された確率がわずかに高くなる可能性があります。
目的と影響
-
平等な評価: 長さの正規化は、シーケンスの長さを考慮してシーケンスの公平な評価とランク付けを保証し、短いシーケンスへの偏りを軽減することを目的としています。
-
バランスの取れた探索: 長さに基づいてスコアを正規化することで、ビーム探索はさまざまな長さのシーケンスをより均等に探索でき、生成される出力の多様性を促進します。
シーケンス生成の重要性
-
長さの正規化は、出力シーケンスの長さが大幅に変化するタスクや、より短いシーケンスまたはより長いシーケンスを優先することが偏った結果につながる可能性があるタスクでは特に重要です。
-
簡潔で一貫した出力の生成と、より長く、より文脈に富んだシーケンスの探索との間のバランスを取るのに役立ちます。
本質的に、ビームサーチにおける長さの正規化は、候補シーケンスの長さに基づいて候補シーケンスのスコアを調整し、公平な比較とランキングを保証し、異なる長さのシーケンスのよりバランスのとれた探索を促進します。
