逻辑回归是一种广义的线性回归模型,用于解决二分类问题。它通过Sigmoid函数将线性回归模型的输出转换为0到1之间的概率值,用于预测二元响应变量的分类概率。在逻辑回归中,我们通过极大化似然函数或最小化损失函数(如对数损失函数)来求解模型参数,并利用梯度下降算法进行参数优化。
案例分析
前进银行搜集了贷款用户的数据,包括用户年龄、欠款额(百元)、月收入(元)和是否逾期的信息,数据在下表中。使用五个用户的数据建立一个逻辑回归模型。通过6号用户的个人信息,判断用户贷款20万元后是否会逾期。
阶段一:建立逻辑回归模型
STEP1:加载数据集
import pandas as pd
df = pd.read_csv("exp08credit-overdue.csv", header=0) # 加载数据集
df.head() #查看前5行数据
STEP2:绘制数据的散点图,查看数据分布情况
from matplotlib import pyplot as plt
## 在Notebook中内嵌绘图,使得绘制的图形可以直接在Notebook中显示
%matplotlib inline
plt.figure(figsize=(10, 6))
# 定义了一个字典map_size,它将overdue列的值(假设为0或1)映射到一个特定的大小
map_size = {0: 20, 1: 100}
# 使用map函数和一个匿名函数(lambda函数)来根据df['overdue']列中的每个值从map_size字典中获取对应的大小,
# 并将结果转换为列表。这样,我们就得到了一个与df['overdue']列相对应的大小列表。
size = list(map(lambda x: map_size[x], df['overdue']))
# 根据DataFrame df中的三列数据('debt', 'income', 和 'overdue')来绘制一个散点图
# 其中点的大小和颜色都根据'overdue'列的值来确定。
plt.scatter(df['debt'],df['income'], s=size,c=df['overdue'],marker='v')
STEP3:定义Sigmoid函数、损失函数,使用梯度下降确定模型参数
#定义Sigmoid函数,用于将线性回归的输出转换为概率值
#当输入(z)很大时,(σ(z))趋近于1;当输入(z)很小时,(σ(z))趋近于0。
#因此,sigmoid函数能够将任意实数值映射到[0, 1]区间,从而解释为一个概率。
def sigmoid(z):
sigmoid = 1./(1.+np.exp(-z))
return sigmoid
#定义对数损失函数,用于度量模型预测的概率(h)与真实标签(y)之间的差异。
#当真实标签(y)为1时,损失只与(-\log(h))相关;当(y)为0时,损失只与(-\log(1 - h))相关。
#因此,模型会尝试最大化预测正确的概率,从而最小化损失。
def loss(h, y):
loss = (-y * np.log(h) - (1 - y) * np.log(1 - h)).mean()
return loss
#定义梯度下降函数,用于计算损失函数关于模型参数(w)的梯度。
#梯度下降是一种优化算法,通过迭代地更新模型参数来最小化损失函数。
#在每次迭代中,它计算损失函数在当前参数下的梯度,然后沿着梯度的反方向(即损失函数下降最快的方向)更新参数。
def gradient(X, h, y):
# 这里 X 是特征矩阵(包含截距项),h 是模型预测的概率
# y 是真实标签,y.shape[0] 是样本数量。
gradient = np.dot(X.T, (h - y)) / y.shape[0]
return gradient
# 逻辑回归过程
def Logistic_Regression(x, y, lr, num_iter):
intercept = np.ones((x.shape[0], 1)) # 初始化截距为 1
x = np.concatenate((intercept, x), axis=1)
w = np.zeros(x.shape[1]) # 初始化参数为 0
l_list = [] # 保存损失函数值
for i in range(num_iter): # 梯度下降迭代
z = np.dot(x, w) # 线性函数
h = sigmoid(z) # sigmoid 函数
g = gradient(x,h,y) # 计算梯度
w -= lr * g # 通过学习率 lr 计算步长并执行梯度下降
z = np.dot(x, w) # 更新参数到原线性函数中
h = sigmoid(z) # 计算 sigmoid 函数值
l = loss(h,y) # 计算损失函数值
l_list.append(l)
return w,l_list # 返回迭代后的参数和损失值列表
STEP4:初始化模型,并对模型进行训练
import numpy as np
x = df[['debt','income']]
y = df['overdue']
lr = 0.01 # 学习率
num_iter = 30000 # 迭代次数
# 模型训练
w_y,l_y = Logistic_Regression(x,y,lr,num_iter)
print("回归系数:",w_y)
STEP5:根据得到的参数,绘制模型分类线
plt.figure(figsize=(10, 6))
map_size = {0: 20, 1: 100}
size = list(map(lambda x: map_size[x], df['overdue']))
plt.scatter(df['debt'],df['income'], s=size,c=df['overdue'],marker='v')
x1_min, x1_max = df['debt'].min(), df['debt'].max(),
x2_min, x2_max = df['income'].min(), df['income'].max(),
xx1, xx2 = np.meshgrid(np.linspace(x1_min, x1_max), np.linspace(x2_min, x2_max))
grid = np.c_[xx1.ravel(), xx2.ravel()]
probs = (np.dot(grid, np.array([w_y[1:3]]).T) + w_y[0]).reshape(xx1.shape)
plt.contour(xx1, xx2, probs, levels=[0], linewidths=1, colors='red');
STEP6:绘制损失函数变化曲线
plt.figure(figsize=(10, 6))
plt.plot([i for i in range(len(l_y))], l_y)
plt.xlabel("Number of iterations")
plt.ylabel("Loss function")
阶段二:对信用卡逾期进行预判
STEP1:读取数据
import numpy as np
data=np.array([[20,7000,800,1],[35,2000,2500,0],[27,5000,3000,1],[32,4000,4000,0],[45,2000,3800,0]])
data[:,:3]
STEP2:绘图显示数据
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D, axes3d
X1 = data[:,0]#age
X2 = data[:,1] #debt
X3 = data[:,2] #income
Y = data[:,3] #overdue
figure = plt.figure()
ax = figure.add_subplot(111, projection='3d')
mask = 0
ax.scatter(X1[Y==0], X2[Y==0], X3[Y==0], c='b', s=120, edgecolor='k')
ax.scatter(X1[Y==1], X2[Y==1], X3[Y==1], c='r', marker='^',s=120, edgecolor='k')
ax.set_title('Credit data visualization') #设置图表标题
ax.set_xlabel("Age")
ax.set_ylabel("Debt")
ax.set_zlabel("Income")
# 设置新的观察视角
ax.view_init(elev=-152, azim=-26) #elev、azim设置y轴、z轴旋转角度
# 显示图形
plt.show()
STEP3:建立逻辑回归模型
from sklearn import linear_model
lr=linear_model.LogisticRegression()
lr.fit(data[:,:3], data[:,3])
STEP4:返回预测结果
display(lr.coef_)
display(lr.intercept_)
STEP5:使用参数绘制分类结果图
coef=lr.coef_[0]
intercept=lr.intercept_[0]
figure = plt.figure()
ax = figure.add_subplot(111, projection='3d')
xx = np.linspace(X1.min() - 0.02, X1.max() +0.02, 50) #生成分类面x样本点
yy = np.linspace(X2.min() - 0.02, X2.max() +0.02, 50) #生成分类面y样本点
XX, YY = np.meshgrid(xx, yy)
ZZ = (coef[0] * XX + coef[1] * YY + intercept) / -coef[2] #生成分类面z样本点
ax.plot_surface(XX, YY, ZZ, rstride=8, cstride=8, alpha=0.3) #生成分类面
ax.scatter(X1[Y==0], X2[Y==0], X3[Y==0], c='b',s=60, edgecolor='k')
ax.scatter(X1[Y==1], X2[Y==1], X3[Y==1], c='r', marker='^',s=60, edgecolor='k')
ax.scatter(30,3500,3500, c='g', marker='s',s=60, edgecolor='k')
ax.set_xlabel("Age")
ax.set_ylabel("Debt")
ax.set_zlabel("Income")
# 设置新的观察视角
ax.view_init(elev=-152, azim=-26) #elev、azim设置y轴、z轴旋转角度
# 显示图形
plt.show()
coef=lr.coef_[0]
intercept=lr.intercept_[0]
figure = plt.figure()
ax = figure.add_subplot(111, projection='3d')
xx = np.linspace(X1.min() - 0.02, X1.max() +0.02, 50) #生成分类面x样本点
yy = np.linspace(X2.min() - 0.02, X2.max() +0.02, 50) #生成分类面y样本点
XX, YY = np.meshgrid(xx, yy)
ZZ = (coef[0] * XX + coef[1] * YY + intercept) / -coef[2] #生成分类面z样本点
ax.plot_surface(XX, YY, ZZ, rstride=8, cstride=8, alpha=0.3) #生成分类面
ax.scatter(X1[Y==0], X2[Y==0], X3[Y==0], c='b',s=60, edgecolor='k')
ax.scatter(X1[Y==1], X2[Y==1], X3[Y==1], c='r', marker='^',s=60, edgecolor='k')
ax.scatter(30,3500,3500, c='g', marker='s',s=60, edgecolor='k')
ax.set_xlabel("Age")
ax.set_ylabel("Debt")
ax.set_zlabel("Income")
# 设置新的观察视角
ax.view_init(elev=152, azim=-26) #elev、azim设置y轴、z轴旋转角度
# 显示图形
plt.show()