正则化是指一组用于防止过度拟合和提高模型泛化性的技术。当模型对训练数据学习得很好，捕获了不适用于新的、未见过的数据的噪声和特定细节时，就会发生过度拟合。正则化通过在模型的目标函数中添加惩罚项来帮助控制这一点，从而阻止过于复杂的模型。
两种常见的正则化类型是 L1 和 L2 正则化：
L1 正则化（套索回归）：
-
L1 正则化向成本函数添加了一个等于模型系数的绝对值的惩罚项。
-
它通过将一些系数缩小到恰好为零来鼓励模型中的稀疏性，从而有效地执行特征选择。
-
生成的模型更简单且更易于解释，因为它仅选择最重要的特征，同时丢弃不太相关的特征。
L2 正则化（岭回归）：
-
L2 正则化在成本函数中添加了一个惩罚项，等于模型系数的平方。
-
它倾向于将不太重要的特征的系数缩小到零，但很少将它们精确地设置为零。
-
L2 正则化可以通过惩罚大权重来有效防止过度拟合，从而降低模型的复杂性。
L1 和 L2 正则化技术都有助于减少过度拟合并提高模型泛化到未见过的数据的能力。 L1 和 L2 正则化之间的选择通常取决于具体问题、特征的性质和期望的结果。当需要识别最相关的特征时，套索（L1）正则化及其特征选择属性是首选。当所有特征都可能很重要并且优选减少其影响而不完全消除它们时，岭（L2）正则化是合适的。此外，这两种技术的组合（称为弹性网络正则化）可用于同时利用 L1 和 L2 正则化。
