理论知识推导
决策树回归是一种非参数监督学习方法,用于回归问题。它通过将数据集划分成较小的子集来建立模型,并在这些子集上构建简单的预测模型(通常是恒定值)。下面是决策树回归的数学推导过程:
实施步骤与参数解读
数据准备: 准备训练数据集和测试数据集。
特征工程: 对数据进行预处理和特征工程。
模型训练: 使用训练数据训练决策树模型。
模型评估: 使用测试数据评估模型性能。
模型优化: 调整模型参数以提高模型性能。
重要参数:
max_depth
:树的最大深度,防止过拟合。min_samples_split
:内部节点再划分所需最小样本数。min_samples_leaf
:叶节点最少样本数。max_features
:在分裂时考虑的最大特征数。
未优化模型实例
import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeRegressor
from sklearn.metrics import mean_squared_error
from sklearn.datasets import make_regression
import matplotlib.font_manager as fm
# 设置全局字体为楷体
plt.rcParams['font.family'] = 'KaiTi'
# 生成多维数据集
X, y = make_regression(n_samples=500, n_features=5, noise=0.1)
y = y.reshape(-1, 1)
# 数据集划分
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 未优化模型
regressor = DecisionTreeRegressor()
regressor.fit(X_train, y_train)
y_pred = regressor.predict(X_test)
mse_unoptimized = mean_squared_error(y_test, y_pred)
# 优化后的模型
optimized_regressor = DecisionTreeRegressor(max_depth=5, min_samples_split=10, min_samples_leaf=5)
optimized_regressor.fit(X_train, y_train)
y_pred_optimized = optimized_regressor.predict(X_test)
mse_optimized = mean_squared_error(y_test, y_pred_optimized)
# 输出结果
print(f"未优化模型的MSE: {mse_unoptimized}")
print(f"优化后的模型的MSE: {mse_optimized}")
# 可视化
plt.figure(figsize=(12, 6))
# 原始数据的二维投影
plt.subplot(1, 2, 1)
plt.scatter(X_test[:, 0], y_test, color='blue', label='Actual')
plt.scatter(X_test[:, 0], y_pred, color='red', label='Predicted')
plt.title('未优化模型')
plt.xlabel('Feature 0')
plt.ylabel('Target')
plt.legend()
plt.subplot(1, 2, 2)
plt.scatter(X_test[:, 0], y_test, color='blue', label='Actual')
plt.scatter(X_test[:, 0], y_pred_optimized, color='red', label='Predicted')
plt.title('优化后的模型')
plt.xlabel('Feature 0')
plt.ylabel('Target')
plt.legend()
plt.show()
结果解释
- 未优化模型:均方误差(MSE)相对较高,表示模型在测试数据上的预测不够准确。
- 优化后的模型:均方误差(MSE)较低,表示模型在测试数据上的预测更加准确。
可视化图展示
- 未优化模型:图中红色点表示模型预测值,蓝色点表示实际值。预测值与实际值之间有明显差距。
- 优化后的模型:图中红色点表示优化后的模型预测值,与实际值(蓝色点)更加接近,说明优化后的模型性能更好。
通过上述步骤,我们实现了决策树回归模型的训练和优化,并通过可视化对比了两个模型的效果。