正則化 とは、モデルの過学習を防止し、一般化を改善するために使用される一連の手法を指します。過学習は、モデルがトレーニング データを学習しすぎて、新しい未確認のデータに適用されないノイズや特定の詳細をキャプチャした場合に発生します。正則化は、ペナルティ項をモデルの目的関数に追加することでこれを制御し、過度に複雑なモデルを阻止します。
正規化の一般的な 2 つのタイプは、L1 正規化と L2 正規化です。
L1 正則化 (なげなわ回帰):
-
L1 正則化は、モデルの係数の絶対値に等しいペナルティ項をコスト関数に追加します。
-
一部の係数を正確にゼロに縮小することでモデルのスパース性を促進し、特徴選択を効果的に実行します。
-
結果として得られるモデルは、最も重要な機能のみを選択し、関連性の低いものは破棄するため、よりシンプルで解釈しやすくなります。
L2 正則化 (リッジ回帰):
-
L2 正則化では、モデルの係数の 2 乗の大きさに等しいペナルティ項をコスト関数に追加します。
-
重要度の低い特徴の係数をゼロに向けて縮小する傾向がありますが、正確にゼロに設定されることはほとんどありません。
-
L2 正則化は、大きな重みにペナルティを課すことで過学習を防止し、それによってモデルの複雑さを軽減するのに効果的です。
L1 正則化手法と L2 正則化手法は両方とも、過剰適合を軽減し、目に見えないデータに対して一般化するモデルの能力を向上させるのに役立ちます。 L1 正則化と L2 正則化のどちらを選択するかは、多くの場合、特定の問題、機能の性質、および望ましい結果によって異なります。最も関連性の高い特徴を特定する必要がある場合は、特徴選択プロパティを備えたなげなわ (L1) 正則化が推奨されます。リッジ (L2) 正則化は、すべての機能が潜在的に重要であり、完全に削除することなくその影響を軽減することが望ましい場合に適しています。さらに、Elastic Net 正則化 として知られる両方の手法を組み合わせて使用すると、L1 正則化と L2 正則化の両方を同時に利用できます。
