Python梯度下降算法

梯度下降（Gradient Descent）是机器学习中用于最小化损失函数的优化算法。在Python中，可以通过手动实现或使用现有的库（如scikit-learn）来应用梯度下降算法。以下是手动实现简单线性回归问题的梯度下降算法的示例：

1. 定义损失函数（Cost Function）

假设我们使用的是均方误差（Mean Squared Error, MSE）作为损失函数：

[ \text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i - (w \cdot x_i + b))^2 ]

其中，( y_i ) 是真实值，( w \cdot x_i + b ) 是预测值，( w ) 是权重，( b ) 是偏置，( n ) 是样本数量。

2. 计算梯度

对于权重 ( w ) 和偏置 ( b ) 的梯度分别为：

[ \frac{\partial \text{MSE}}{\partial w} = -2 \cdot \frac{1}{n} \sum_{i=1}^{n} (y_i - (w \cdot x_i + b)) \cdot x_i ]

[ \frac{\partial \text{MSE}}{\partial b} = -2 \cdot \frac{1}{n} \sum_{i=1}^{n} (y_i - (w \cdot x_i + b)) ]

3. 更新权重和偏置

使用梯度下降更新规则：

[ w := w - \alpha \cdot \frac{\partial \text{MSE}}{\partial w} ]

[ b := b - \alpha \cdot \frac{\partial \text{MSE}}{\partial b} ]

其中，( \alpha ) 是学习率。

4. Python实现

import numpy as np

# 假设X是特征矩阵，y是目标变量
X = np.array([[1], [2], [3], [4]])
y = np.array([2, 4, 6, 8])

# 初始化权重和偏置
w = 0.0
b = 0.0

# 学习率和迭代次数
learning_rate = 0.01
iterations = 1000

# 梯度下降
for i in range(iterations):
    # 预测值
    y_pred = np.dot(X, w) + b
    
    # 计算损失
    loss = (1/len(X)) * np.sum((y - y_pred) ** 2)
    
    # 计算梯度
    dw = (-2/len(X)) * np.dot(X.T, (y - y_pred))
    db = (-2/len(X)) * np.sum(y - y_pred)
    
    # 更新权重和偏置
    w -= learning_rate * dw
    b -= learning_rate * db
    
    # 打印损失
    if i % 100 == 0:
        print(f"Iteration {i}: w={w}, b={b}, loss={loss}")

print(f"Final parameters: w={w}, b={b}")

在这个示例中，我们使用了简单的梯度下降算法来拟合线性回归模型。对于更复杂的模型和优化问题，可能需要更高级的优化算法，如随机梯度下降（SGD）、批量梯度下降（Batch Gradient Descent）或小批量梯度下降（Mini-batch Gradient Descent）。

此外，scikit-learn库提供了许多内置的优化器，如SGDRegressor和SGDClassifier，它们可以方便地应用于各种机器学习任务。