1、逻辑回归
逻辑回归又叫logistic回归分析，是一种广义的线性回归分析模型。线性回归要求因变量必须是连续性的数据变量，逻辑回归要求因变量必须是分类变量，可以是二分类或者多分类(多分类都可以归结到二分类问题)，逻辑回归的输出是0~1之间的概率。比如要分析年龄，性别，身高，饮食习惯对于体重的影响，如果体重是实际的重量，那么就要使用线性回归。如果将体重分类，分成了高，中，低三类，就要使用逻辑回归进行分类。
逻辑回归公式：
其中，e是自然对数,无限不循环小数，
逻辑回归公式又叫逻辑函数（Logistic function）或者S形函数（Sigmoid function）。逻辑回归公式的图像如下：
即当z=0时，
，当
时，
趋近于1，当
时，趋近于0。逻辑回归的输出就是位于0~1之间的概率，假设现在判断病人是否生病，得到的z=2对应的
=0.7我们可以归结为生病，如果z=-2对应的=0.1我们就可以认为不生病。当z=0时，
=0.5是决策的边界。
假设
，
，
，
都大于零，那么当z=0时，=0.5。也就是
时，=0.5，当z=0时使用图像来表达两个自变量的关系为：
图中A、B、C、D、E点都表示有
，
两个维度的数据，现要使用逻辑回归对五个点分成两类：I和II类，A点和B点都在直线上，对应的z值是0，那么逻辑回归结果=0.5，将A,B两点划分为I类和II类都可以，假设我们规定当z>=0属于I类，z<0属于II类，那么A,B属于I类。C点位于直线的上方，对应的z值要大于零，反映到S形函数上对应的>0.5属于I类，同理，E也属于I类，D点属于II类。图中E点的z值远大于C点的z值，反映到S形函数中，E点属于I类的概率比C点属于I类的概率要大的多。训练逻辑回归模型，在这里就是训练出一条直线将两个类别的点隔开。如果维度是3,那么训练逻辑回归模型就是训练一个平面将两个类别的点隔开。如果维度大于3,那么训练逻辑回归模型就是训练一个超平面将两个类别的点隔开。
