L1、L2 范数的理解 —— Ridge 回归与 Lasso 回归
在机器学习和统计学中，L1 和 L2 范数广泛应用于模型正则化。正则化的主要目的是通过引入惩罚项来防止模型过拟合。正则化通过限制模型的复杂度，使得模型在训练数据之外具有更好的泛化能力。L1 和 L2 范数作为两种常见的正则化形式，分别对应于 Lasso 回归和 Ridge 回归。
1. L1 范数与 Lasso 回归
L1 范数是向量中所有元素绝对值之和，公式如下：
$$
||\mathbf{w}||1 = \sum{i=1}^{n} |w_i|
$$
在机器学习模型中，L1 正则化通过增加 L1 范数的惩罚项，鼓励权重向量 $\mathbf{w}$ 中的某些元素变为零。这种特性使得 L1 正则化可以用于特征选择，因为它可以将不重要的特征权重缩减为零。
Lasso 回归（Least Absolute Shrinkage and Selection Operator）正是基于 L1 正则化的回归模型。其损失函数定义为：
$$
\text{Lasso Loss} = \frac{1}{2N}\sum_{i=1}^{N}(y_i - \hat{y}i)^2 + \lambda \sum{j=1}^{p} |w_j|
$$
其中，$\lambda$ 是正则化强度的超参数，用于控制正则化项对损失函数的影响。
- 特性：Lasso 回归的主要特点是能够进行特征选择，通过将不相关的特征的权重缩减为零，从而实现稀疏性。随着 $\lambda$ 值的增加，模型中的一些特征会被完全忽略。
- 适用场景：Lasso 回归在高维数据、稀疏特征的场景中效果显著，尤其适用于当特征数量多于样本数量的情况。
2. L2 范数与 Ridge 回归
L2 范数是向量中所有元素平方和的平方根，通常称为欧氏距离，公式如下：
$$
||\mathbf{w}||2 = \sqrt{\sum{i=1}^{n} w_i^2}
$$
L2 正则化通过增加 L2 范数的惩罚项，鼓励权重向量 $\mathbf{w}$ 中的元素尽可能小，但不会将其缩减为零。它倾向于将权重均匀地分布在所有特征上，而不是完全舍弃某些特征。
Ridge 回归（岭回归）是基于 L2 正则化的回归模型，其损失函数定义为：
$$
\text{Ridge Loss} = \frac{1}{2N}\sum_{i=1}^{N}(y_i - \hat{y}i)^2 + \lambda \sum{j=1}^{p} w_j^2
$$
其中，$\lambda$ 是正则化强度的超参数。
- 特性：Ridge 回归通过对模型的权重施加 L2 范数的惩罚，使得模型更倾向于平滑、均匀地缩小所有特征的权重，而不是让权重变为零。这意味着 Ridge 回归通常不会进行特征选择，而是降低所有特征的影响。
- 适用场景：Ridge 回归在多重共线性（即多个特征高度相关）的数据集中效果较好，适合应用于特征较多但重要性未知的场景。
3. Lasso 与 Ridge 回归的区别与联系
- 特征选择：Lasso 回归可以进行特征选择，直接将某些不相关的特征权重缩减为零，而 Ridge 回归则不会舍弃特征，只是将所有特征的权重缩小。
- 模型复杂度：Lasso 回归倾向于生成稀疏模型，更适合特征稀疏的场景。而 Ridge 回归则保持所有特征权重较小，生成更为平滑的模型。
- 超参数调节：两者的正则化强度都通过超参数 $\lambda$ 来控制。较大的 $\lambda$ 值会加重正则化项的影响，进而更强地限制模型的复杂度。
4. Elastic Net 回归
在实际应用中，有时需要兼顾 L1 和 L2 正则化的优点。这时，可以使用 Elastic Net 回归，它结合了 Lasso 和 Ridge 回归的思想。Elastic Net 的损失函数为：
$$
\text{Elastic Net Loss} = \frac{1}{2N}\sum_{i=1}^{N}(y_i - \hat{y}_i)^2 + \lambda1 \sum{j=1}^{p} |w_j| + \lambda2 \sum{j=1}^{p} w_j^2
$$
Elastic Net 通过在 L1 和 L2 正则化之间进行权衡，可以既实现特征选择，又保留 Ridge 回归的稳定性。
总结
L1 和 L2 范数在机器学习模型的正则化中起着关键作用。Lasso 回归通过 L1 范数可以实现特征选择，而 Ridge 回归通过 L2 范数可以稳定地缩减权重。在实际问题中，选择合适的正则化方式需要根据数据特性和模型需求进行权衡，而 Elastic Net 则提供了一种结合 Lasso 和 Ridge 优点的方案。
