Sklearn 深入教程
Scikit-learn（sklearn）是Python中功能强大且广泛使用的机器学习库。本教程将深入探讨sklearn中的高级主题，涵盖高级数据预处理、高级特征工程、复杂模型调参、高级集成学习、模型持久化与部署等内容。
目录
高级数据预处理
复杂数据变换
在实际应用中，数据通常需要复杂的变换才能适应模型的需求。sklearn中的ColumnTransformer可以帮助我们同时处理数值和类别特征。
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
import pandas as pd
# 创建数据
data = pd.DataFrame({
'numerical_feature': [1, 2, 3, 4],
'categorical_feature': ['A', 'B', 'A', 'B']
})
# 定义变换器
preprocessor = ColumnTransformer(
transformers=[
('num', StandardScaler(), ['numerical_feature']),
('cat', OneHotEncoder(), ['categorical_feature'])
])
# 变换数据
data_transformed = preprocessor.fit_transform(data)
print(data_transformed)
生成多项式特征
多项式特征可以提升线性模型的表现。sklearn中的PolynomialFeatures可以方便地生成多项式特征。
from sklearn.preprocessing import PolynomialFeatures
# 创建数据
X = np.array([[2, 3], [3, 4], [4, 5]])
# 生成多项式特征
poly = PolynomialFeatures(degree=2)
X_poly = poly.fit_transform(X)
print(X_poly)
自定义转换器
有时我们需要进行一些特殊的数据变换，这时可以定义自定义转换器。
from sklearn.base import BaseEstimator, TransformerMixin
class CustomTransformer(BaseEstimator, TransformerMixin):
def __init__(self, factor=2):
self.factor = factor
def fit(self, X, y=None):
return self
def transform(self, X):
return X * self.factor
# 使用自定义转换器
transformer = CustomTransformer(factor=3)
data_transformed = transformer.fit_transform(data[['numerical_feature']])
print(data_transformed)
高级特征工程
特征选择算法
除了基本的特征选择方法，sklearn还提供了基于模型的重要性进行特征选择的功能。
from sklearn.ensemble import RandomForestClassifier
from sklearn.feature_selection import SelectFromModel
# 加载数据
X, y = load_iris(return_X_y=True)
# 使用随机森林进行特征选择
clf = RandomForestClassifier()
clf.fit(X, y)
selector = SelectFromModel(clf, prefit=True)
X_new = selector.transform(X)
print("Selected Features Shape:", X_new.shape)
特征提取方法
除了PCA，sklearn还提供了其他特征提取方法，如LDA（线性判别分析）。
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
# 使用LDA进行特征提取
lda = LinearDiscriminantAnalysis(n_components=2)
X_lda = lda.fit_transform(X, y)
print("LDA Features Shape:", X_lda.shape)
复杂模型调参
随机搜索
网格搜索在参数空间较大时会很耗时，随机搜索是一个高效的替代方法。
from sklearn.model_selection import RandomizedSearchCV
from scipy.stats import randint
# 定义参数分布
param_dist = {'n_estimators': randint(50, 200), 'max_depth': randint(2, 10)}
# 随机搜索
random_search = RandomizedSearchCV(clf, param_distributions=param_dist, n_iter=10, cv=5)
random_search.fit(X, y)
print("Best Parameters:", random_search.best_params_)
贝叶斯优化
贝叶斯优化是一种先进的优化技术，可以更高效地找到最佳参数。
from skopt import BayesSearchCV
# 定义参数搜索空间
param_space = {'n_estimators': (50, 200), 'max_depth': (2, 10)}
# 贝叶斯优化
bayes_search = BayesSearchCV(clf, search_spaces=param_space, n_iter=10, cv=5)
bayes_search.fit(X, y)
print("Best Parameters:", bayes_search.best_params_)
高级集成学习
堆叠模型
堆叠模型通过组合多个模型的输出作为输入来训练一个更强的模型。
from sklearn.ensemble import StackingClassifier
# 定义基础模型
base_learners = [
('rf', RandomForestClassifier(n_estimators=50)),
('gb', GradientBoostingClassifier(n_estimators=50))
]
# 堆叠分类器
stacking_clf = StackingClassifier(estimators=base_learners, final_estimator=LogisticRegression())
stacking_clf.fit(X_train, y_train)
y_pred = stacking_clf.predict(X_test)
print("Stacking Model Predictions:", y_pred)
多模型融合
多模型融合通过加权平均多个模型的预测结果来提高预测的稳定性。
from sklearn.ensemble import VotingClassifier
# 多模型融合
voting_clf = VotingClassifier(estimators=base_learners, voting='soft')
voting_clf.fit(X_train, y_train)
y_pred = voting_clf.predict(X_test)
print("Voting Classifier Predictions:", y_pred)
模型持久化与部署
模型持久化
训练好的模型可以使用joblib或pickle进行保存，以便后续使用。
import joblib
# 模型保存
joblib.dump(stacking_clf, 'stacking_model.pkl')
# 模型加载
loaded_model = joblib.load('stacking_model.pkl')
y_pred_loaded = loaded_model.predict(X_test)
print("Loaded Model Predictions:", y_pred_loaded)
模型部署
模型可以通过API进行部署，常见的方法是使用Flask或FastAPI。
from flask import Flask, request, jsonify
import joblib
app = Flask(__name__)
# 加载模型
model = joblib.load('stacking_model.pkl')
@app.route('/predict', methods=['POST'])
def predict():
data = request.get_json(force=True)
prediction = model.predict([data['features']])
return jsonify({'prediction': prediction.tolist()})
if __name__ == '__main__':
app.run(port=5000, debug=True)
以上就是sklearn的深入教程。通过掌握这些高级技巧，您可以更灵活高效地处理数据、优化模型、并将模型部署到生产环境中。希望本教程对您有所帮助！
