在机器学习中，逻辑回归是一种广泛应用的分类算法。然而，当模型复杂度过高或训练数据中存在噪声时，逻辑回归模型容易出现过拟合现象。为了有效预防过拟合，L2正则化（也称为权重衰减）被广泛采用。本文将详细阐述L2正则化在逻辑回归中的应用原理和实现方法。
逻辑回归模型通过线性组合输入特征并应用sigmoid函数来预测二分类问题的概率输出。模型表达式如下：
\[ h_\theta(x) = \sigma(\theta^T x) = \frac{1}{1 + e^{-\theta^T x}} \]
其中，$\theta$ 是模型参数向量，$x$ 是输入特征向量，$\sigma$ 是sigmoid函数。
过拟合指的是模型在训练数据上表现优异，但在测试数据上表现较差的现象。这通常是因为模型复杂度过高，捕捉到了训练数据中的噪声。
L2正则化通过在损失函数中添加模型参数的平方和（即权重的平方和）的惩罚项，来限制模型复杂度。修改后的损失函数如下：
\[ J(\theta) = -\frac{1}{m} \sum_{i=1}^{m} \left[ y^{(i)} \log h_\theta(x^{(i)}) + (1 - y^{(i)}) \log (1 - h_\theta(x^{(i)})) \right] + \frac{\lambda}{2m} \sum_{j=1}^{n} \theta_j^2 \]
其中，$m$ 是样本数量，$n$ 是特征数量，$\lambda$ 是正则化参数，用于控制正则化强度。
L2正则化的直观理解是：通过增加权重的平方和作为惩罚项，使得模型在选择参数时倾向于选择较小的权重值，从而限制模型的复杂度，防止过拟合。
在训练逻辑回归模型时，通过梯度下降算法优化带有L2正则化的损失函数。梯度下降更新规则如下：
\[ \theta_j := \theta_j - \alpha \left( \frac{1}{m} \sum_{i=1}^{m} (h_\theta(x^{(i)}) - y^{(i)}) x_j^{(i)} + \frac{\lambda}{m} \theta_j \right) \]
其中，$\alpha$ 是学习率。
下面是Python中使用scikit-learn库实现带有L2正则化的逻辑回归模型的示例代码：
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_breast_cancer
from sklearn.metrics import accuracy_score
# 加载数据集
data = load_breast_cancer()
X = data.data
y = data.target
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 创建逻辑回归模型，并设置正则化参数C（C与lambda成反比）
model = LogisticRegression(C=1.0, solver='liblinear', penalty='l2')
# 训练模型
model.fit(X_train, y_train)
# 预测测试集
y_pred = model.predict(X_test)
# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print("Accuracy:", accuracy)
本文详细介绍了L2正则化在逻辑回归中的应用原理和实现方法。通过引入L2正则化项，可以在训练过程中限制模型复杂度，有效预防过拟合问题。在实际应用中，合理调整正则化参数C和学习率$\alpha$，可以进一步提升模型的泛化能力。