机器学习与深度学习面试一百题（1）机器学习与神经网络基础（持续更新中...）

问：人工智能、机器学习、深度学习、神经网络之间的关系是怎样的。

人工智能：人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

机器学习：机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能核心，是使计算机具有智能的根本途径。

深度学习：深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向，它关注于使用反向传播和神经科学中的某些原理来更精确地建模大量未标记或半结构化数据。从这个意义上说，深度学习是一种无监督的学习算法，它通过使用神经网络来学习数据的表示。

神经网络：人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

简单来说，机器学习是人工智能的进阶，机器学习深入后是深度学习，深度学习是从神经网络研究中发掘的。

问：监督学习与非监督学习有哪些不同？

监督学习需要训练有标签的数据。例如，为了进行分类任务，需要首先标记将用于训练模型的数据，以便将数据分类到标记的组中。相反地，无监督学习不需要明确标记数据。

问：准确率（Accuracy）、查准率（Precision）与查全率（Recall）的定义是什么？它们有什么作用？各自的计算公式是什么？

准确率：正例和负例中预测正确数量占总数量的比例。
查准率（也称精度）：以预测结果为判断依据，预测为正例的样本中预测正确的比例。
查全率（也称召回率）：以实际样本为判断依据，实际为正例的样本中，被预测正确的正例占总实际正例样本的比例。

准确率、查准率和查全率广泛用于信息检索和统计学分类领域的两个度量值，用来评价结果的质量。

（要计算准确率、查准率和查全率，首先要明确TP、TN、FP、FN的含义）
TP：被模型预测为正类的正样本
TN：被模型预测为负类的负样本
FP：被模型预测为正类的负样本
FN：被模型预测为负类的正样本

准确率 $ACC=\frac{TP+TN}{TP+TN+FP+FN}$

查准率 $P=\frac{TP}{TP+FP}$

查全率 $R=\frac{TP}{TP+FN}$

问：F1值是什么？为什么要使用F1值？它是如何计算的？

F1值是中和了精确率与召回率的指标。

使用F1值是因为单独用精确率或者召回率不能很好的评估模型好坏，举个例子：

1.精确率很高但是召回率很低的例子：比如我们黑球实际上有3个，分别是1号、2号、3号球，如果我们只预测1号球是黑色，此时预测为正例的样本都是正确的，精确率p=1，但是召回率r=1/3。

2.召回率很高但是精确率很低的例子：如果我们10个球都预测为黑球，此时所有实际为黑球都被预测正确了，召回率r=1，精确率p=3/10。

计算公式：$F1=\frac{2PR}{P+R}$

问：KNN和 k-means 聚类由什么不同？

K-Nearest Neighbors是一种监督分类算法，而 k-means聚类是一种无监督的聚类算法。 虽然这些机制起初可能看起来相似，但这实际上意味着为了使K-Nearest Neighbors工作，需要标记数据，以便将未标记的点分类（因此是最近邻的部分）。k-means仅需要一组未标记的点和阈值，算法将采用未标记的点并逐渐学习如何通过计算不同点之间的距离的平均值将它们聚类成组。
关键区别在于，KNN需要标记点，因此是有监督的学习，而k-means不是，因此是无监督学习。

问：为什么需要数据预处理？数据预处理的步骤有哪些？

真实世界的数据通常包含噪声、缺失值，并且可能采用无法直接用于机器学习模型的不可用格式。数据预处理是清理数据并使其适用于机器学习模型的必要任务，这也提高了机器学习模型的准确性和效率。

步骤：

1. 获取数据集
2. 导入相关库
3. 导入数据集
4. 查找缺失的数据
5. 编码分类数据
6. 将数据集拆分为训练集和测试集
7. 特征缩放

问：如何处理数据集中丢失或损坏的数据？

可以在数据集中找到丢失/损坏的数据，然后删除这些行或列，或者用另一个值替换它们。在pandas中，有两种非常有用的方法：isNull（）和dropna（），这两种方法将帮助您查找缺少或损坏数据的数据列，并删除这些值。如果要用占位符值（例如0）填充无效值，可以使用**fillna（）**方法。

问：常见的神经网络构成有哪几层？

1.输入层
2.隐藏层(这是最重要的一层，在这里进行特征提取，并进行调整以更快地训练和更好地运行)
3.输出层

问：什么是数据规范化（Normalization）？为什么需要数据规范化？

数据规范化是一种对数值的特殊函数变换方法，也就是说假设原始的某个数值是x，套上一个起到规范化作用的函数，对规范化之前的数值x进行转换，形成一个规范化后的数值。

在神经网络的训练中，随着网络的深度增加，每层特征值分布会逐渐的向激活函数的输出区间的上下两端（激活函数饱和区间）靠近，长此以往则会导致梯度消失，从而无法继续训练model，而规范化能够将越来越偏的分布拉回到标准化的分布,使得激活函数的输入值落在激活函数对输入比较敏感的区域,从而使梯度变大,加快学习收敛速度,避免梯度消失的问题。

问：激活函数在神经网络中的作用是什么？常见的激活函数有哪些？它们的特点是什么？

激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。类似于人类大脑中基于神经元的模型，激活函数最终决定了要发射给下一个神经元的内容。在人工神经网络中，激活函数扮演了非常重要的角色，其主要作用是对所有的隐藏层和输出层添加一个非线性的操作，使得神经网络的输出更为复杂、表达能力更强。

常见的激活函数有：Sigmoid函数、Tanh函数、ReLU函数、Softplus函数、Softmax函数，其公式、图像、特点如下：

类别	公式	图像	特点
Sigmoid函数	$\sigma (x)=\frac{1}{1+e^{-x}}$		把输入的连续实值变换为0和1之间的输出。
Tanh函数	$tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$		在一般的二元分类问题中，tanh函数用于隐藏层，而sigmoid函数用于输出层，但这都不是固定的，需要根据特定问题进行调整。
ReLU函数	$\sigma (x)=\{\begin{array}{ll}& max(0,x)\text{，}x>=0\\ & 0\text{，}x<0\end{array}$		本质就是一个取最大值函数，它虽然简单，但相较于上两个函数有着计算速度快、收敛速度快、非饱和的优点，因此可以有效解决梯度消失的问题。
Softplus函数	$f(x)=ln(1+e^x)$		类似于 ReLU 函数，但是相对较平滑，像 ReLU 一样是单侧抑制。它的接受范围很广：(0, $+\infty$)。
Softmax函数			Softmax是用于多分类问题的激活函数，在多类分类问题中，超过两个类标签则需要类成员关系。对于长度为k的任意实向量，Softmax可以将其压缩为长度为k，值在（0,1）范围内，并且向量中元素的总和为1的实向量。

问：损失函数(Loss function)、代价函数(成本函数)(Cost function)、目标函数(objective function)的区别与联系。

损失函数(Loss function)是定义在单个训练样本上的，也就是就算一个样本的误差，比如我们想要分类，就是预测的类别和实际类别的区别，是一个样本的哦，用L表示

代价函数(Cost function，又称成本函数)：是整个训练集上所有样本误差的平均。代价函数是定义在整个训练集上面的，也就是所有样本的误差的总和的平均，也就是损失函数的总和的平均，有没有这个平均其实不会影响最后的参数的求解结果。

目标函数(Objective function)：代价函数 + 正则化项。

问：常见的损失函数以及其特点。

损失函数分为两类：回归损失（针对连续型变量）和分类损失（针对离散型变量）。
其中回归损失最常用的是均方差（Mean Squared Error、L2 Loss），即平滑的L1损失（SLL），出自Fast RCNN 。SLL通过综合L1和L2损失的优点，在0点处附近采用了L2损失中的平方函数，解决了L1损失在0点处梯度不可导的问题，使其更加平滑易于收敛。此外，在|x|>1的区间上，它又采用了L1损失中的线性函数，使得梯度能够快速下降。
其公式如下：
$$L(Y,f(x))=(Y-f(x){)}^2$$其图像如下：

其特点如下：
（1）MSE的函数曲线光滑、连续，处处可导，便于使用梯度下降算法，是一种常用的损失函数。 而且，随着误差的减小，梯度也在减小，这有利于收敛，即使使用固定的学习速率，也能较快的收敛到最小值。
（2）当真实值y和预测值f(x)的差值大于1时，会放大误差；而当差值小于1时，则会缩小误差，这是平方运算决定的。MSE对于较大的误差(>1)给予较大的惩罚，较小的误差(<1）给予较小的惩罚。也就是说，对离群点比较敏感，受其影响较大，不具备鲁棒性。

分类损失最常用的是交叉熵（Cross Entropy），它刻画了两个概率分布之间的距离，更适合用在分类问题上，因为交叉熵表达预测输入样本属于某一类的概率。
其公式如下：
$$L=-\frac{1}{n}\sum _x[ylna+(1-y)ln(1-a)]$$其图像如下：

其特点如下：
（1）当使用sigmoid作为激活函数的时候，常用交叉熵损失函数而不用均方误差损失函数，因为它可以完美解决平方损失函数权重更新过慢的问题，具有“误差大的时候，权重更新快；误差小的时候，权重更新慢”的良好性质。

问：梯度下降是什么？它的目的是什么？其具体的公式是怎样的？

梯度下降是一种最小化成本函数或最小化误差的最优算法；它的目的是找到一个函数的局部全局极小值。这决定了模型应该采取的减少误差的方向。
其具体的公式如下：
$${\theta }_j={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )$$

问：反向传播是什么？其与正向传播的关系是什么？

反向传播（英语：Backpropagation，缩写为BP）是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。 该方法对网络中所有权重计算损失函数的梯度。 这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。
“正向传播”求损失，“反向传播”回传误差。

问：什么是超参数？

简单来说，超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。在一般情况下，我们将可以根据模型自身的算法，通过数据迭代自动学习出的变量称为参数，而超参数的设置可以影响到这些的参数是如何训练的，所以称为超参数。

问：什么是过拟合？解决过拟合的方法主要有哪些？

过拟合（over-fitting）是指学习时选择的模型所包含的参数过多，以至于出现这一模型对已知数据预测的很好，但对未知数据预测得很差的现象。过拟合的模型过于强调拟合原始数据，而丢失了算法的本质：预测新数据。

解决过拟合主要有以下几种方法：
1.获取更多数据：最有效的方法，只要给足够多的数据，让模型学习尽可能多的情况，它就会不断修正自己，从而得到更好的结果。
2.数据增强（Data Augmentation）：通过一定规则扩充数据。如在物体分类问题里，物体在图像中的位置、姿态、尺度，整体图片明暗度等都不会影响分类结果。我们就可以通过图像平移、翻转、缩放、切割等手段将数据库成倍扩充。
3.正则化（Normalization）：约束模型权重，即权重正则化，在机器学习中一般使用 L2正则化。
4.随机失活（Dropout）：Dropout是一种随机删除网络中隐藏和可见单元的技术，训练过程中，对某一层使用Dropout，就是随机将该层的一些输出舍弃(输出值设置为0），这些被舍弃的神经元就好像被网络删除了一样。

问：随机失活（Dropout）为什么可以防止过拟合？

**解释1：**随机失活使得每次更新梯度时参与计算的网络参数减少了，降低了模型容量，所以能防止过拟合。
**解释2：**随机失活鼓励权重分散，从这个角度来看随机失活也能起到正则化的作用，进而防止过拟合。
总的来说通过Dropout每次输入一个样本，就相当于该神经网络就尝试了一个新的结构，但是所有这些结构之间共享权重。因为神经元不能依赖于其他特定神经元而存在，所以这种技术降低了神经元复杂的互适应关系。正因如此，网络需要被迫学习更为鲁棒的特征（泛化性更强）。

问：正则化、归一化、标准化的定义是什么？它们之间的联系与区别是什么？

归一化（Normalization）：将一列数据变化到某个固定区间（范围）中， 通常， 这个区间是[0,1],广义的讲， 可以是各种区间， 比如映射到[0,1] 也可以映射到其他范围，在图像中可能会映射到[0, 255], 其他情况也有可能映射到[-1,1]。

标准化（Standardization）: 将数据变换为均值为0，标准差为1的分布。

正则化（Regularization）：正则化是指为解决适定性问题或过拟合而加入额外信息的过程，为了防止过拟合，进而增强泛化能力。

总得来说，标准化和归一化是作用于训练数据，方便模型训练，提升模型收敛速度的，而正则化是作用于目标函数，作用于训练参数防止过拟合的。 一般来讲，只要模型涉及距离计算的，都需要使用标准化或者正则化，具体使用哪个方法，可以视模型的实际情况来确定。

问：L2正则化是什么？它的工作原理是怎样的？它为什么能够防止过拟合？

定义：L2正则化又称为权重衰减，是一种用于减少模型泛化误差的常用技巧。它通过向模型的损失函数添加一个惩罚项，来防止模型过度拟合训练数据，从而提高了模型的泛化能力。

原理：在L2正则化中，我们在损失函数中添加一个L2范数惩罚项，它是所有参数的平方和的平方根，这样就会在参数向量中大幅减少每个元素的值，降低模型复杂度。具体来说，给定一个参数向量w，L2正则化通常是将损失函数改写为：
$$L=L_0+\lambda ||w|{|}^2$$其中，$L_0$是模型的损失值（使用均方误差、交叉熵等计算）$||w||$参数向量的L2范数，$\lambda$是超参数，用来控制L2正则化的力度，其值越大，正则化惩罚项就越大，模型在学习过程中就更倾向于选择较小的参数向量，这样训练出的模型参数更加接近零，容易实现功能相当的屏蔽或选择。而当$\lambda$趋近于0时，L2正则化的惩罚几乎不起作用，模型就会比较容易过拟合训练数据。

如何阻止过拟合： L2正则化可以防止过拟合的原因在于它对模型中的权重进行约束，使权重趋向于较小的值。具体来说，L2正则化在模型优化的过程中，会在损失函数中增加对模型权重平方的正则化惩罚项，使得模型在训练时更加关注权重的大小，并将较大的权重进行惩罚，从而降低了过拟合的风险。通过引入正则化项，L2正则化可以有效控制模型过于复杂，过拟合的情况。同时，L2正则化还可以使模型具有更好的泛化能力，从而适用于更多的数据集。总之，L2正则化通过对权重进行约束，降低模型复杂度，减少过拟合的风险，提高模型的泛化能力。

问：什么是梯度消失和梯度爆炸？它们的解决办法主要有什么？

梯度爆炸：在反向传播过程中需要对激活函数进行求导，如果导数大于1，那么随着网络层数的增加梯度更新将会朝着指数爆炸的方式增加这就是梯度爆炸。

梯度消失：同样如果导数小于1，那么随着网络层数的增加梯度更新信息会朝着指数衰减的方式减少这就是梯度消失。

因此，梯度消失、爆炸，其根本原因在于反向传播训练法则，属于先天不足。

如何解决：
1.预训练加微调：为了解决梯度的问题，采取无监督逐层训练方法，其基本思想是每次训练一层隐节点，训练时将上一层隐节点的输出作为输入，而本层隐节点的输出作为下一层隐节点的输入，此过程是逐层“预训练”（pre-training）；在预训练完成后，再对整个网络进行“微调”（fine-tunning）。此思想相当于是先寻找局部最优，然后整合起来寻找全局最优。

2.梯度剪切及正则化解决梯度爆炸：梯度剪切这个方案主要是针对梯度爆炸提出的，其思想是设置一个梯度剪切阈值，然后更新梯度的时候，如果梯度超过这个阈值，那么就将其强制限制在这个范围之内。这可以防止梯度爆炸。另外一种解决梯度爆炸的手段是采用权重正则化（weithts regularization），正则化是通过对网络权重做正则限制过拟合（见上文）。

3.使用ReLU激活函数：如果激活函数的导数为1，那么就不存在梯度消失爆炸的问题了，每层的网络都可以得到相同的更新速度，因此可以使用ReLU作为激活函数，ReLU的函数图像以及表达式可见上文。

4.批规范化（batch normalization，简称BN）：BN通过对每一层的输出规范为均值和方差一致的方法，消除了输出信号带来的放大缩小的影响，进而解决梯度消失和爆炸的问题，具有加速网络收敛速度，提升训练稳定性的效果。

5.残差结构：ResNet使用了一个新的思想，假设我们涉及一个网络层，存在最优化的网络层次，那么往往我们设计的深层次网络是有很多网络层为冗余层的。那么我们希望这些冗余层能够完成恒等映射，保证经过该恒等层的输入和输出完全相同。具体哪些层是恒等层，这个会有网络训练的时候自己判断出来。

可以看到X是这一层残差块的输入，也称作$F(x)$为残差，$x$为输入值，$h(x)$为输出，$F(x)$是经过第一层线性变化并激活后的输出，该图表示在残差网络中，第二层进行线性变化之后激活之前，$F(x)$加入了这一层输入值$x$，然后再进行激活后输出。在第二层输出值激活前加入$x$，这条路径称作shortcut连接。在原神经网络结构基础上，添加跨层跳转连接，形成残差元 (identity block)，即$H(x)=F(x)+x$，包含了大量浅层网络的可能性。

残差网络之所以能够解决梯度消失问题，是因为ResNet最终更新某一个节点的参数时，由于$h(x)=Relu(F(x)+x)$，使得链式求导后的结果如图所示，不管括号内右边部分的求导参数有多小，因为左边的1的存在，并且将原来的链式求导中的连乘变成了连加状态，都能保证该节点参数更新不会发生梯度消失或梯度爆炸现象。

问：深度学习框架中的张量是什么意思？

张量是用高维数组表示的数学对象。这些具有不同维度和等级的数据数组作为神经网络的输入被称为“张量”。

问：常用的深度学习框架有哪些？它们各自的特点是什么？

常用的深度学习框架有TensorFlow、Pytorch、Caffe、Keras、DeepLearning4j。

1. TensorFlow：TensorFlow适用于图像和基于序列的数据。

2. Keras：适合初学者，适合图像分类或序列模型相关的项目，Keras也集成在TensorFlow中，可以使用tf.keras构建模型。

3. PyTorch：与TensorFlow相比，PyTorch更直观。PyTorch没有像TensorBoard这样的可视化工具，但可以使用像matplotlib这样的库。

4. Caffe：主要用于构建和部署用于移动电话和其他计算受限平台的深度学习模型，适合在图像数据上构建深度学习模型。但是当涉及到递归神经网络和语言模型时，Caffe落后于其他框架。

5. DeepLearning4j：为不同的神经网络提供了大量支持，如CNN，RNN和LSTM，可以在不牺牲速度的情况下处理大量数据。

问：偏差（Bias）和方差（Variable）是什么？

偏差是由于你使用的学习算法过度简单地拟合（欠拟合）结果或者错误地拟合结果导致的错误。它反映的是模型在样本上的输出与真实值之间的误差，即模型本身的精准度，即算法本身的拟合能力。Bias 可能会导致模型欠拟合，使其难以具有较高的预测准确性，也很难将你的知识从训练集推广到测试集。

方差是由于你使用的学习算法过于复杂（过拟合）而产生的错误。它反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性。反应预测的波动情况。Variance 过高会导致算法对训练数据的高纬度变化过于敏感，这样会导致模型过度拟合数据。从而你的模型会从训练集里带来太多噪音，这会对测试数据有一定的好处。

我们通常会通过将训练集和交叉验证集的代价函数误差与多项式的次数绘制在同一张图表上来帮助分析：

简单来说：
训练集误差和交叉验证集误差近似时：偏差/欠拟合
交叉验证集误差远大于训练集误差时：方差/过拟合

问：主成分分析（PCA）是什么？它的特点有哪些？

主成分分析是一种无监督学习方法，PCA是比较常见的线性降维方法,通过线性投影将高维数据映射到低维数据中,所期望的是在投影的维度上,新特征自身的方差尽量大,方差越大特征越有效,尽量使产生的新特征间的相关性越小（相互独立）。PCA算法的具体操作为对所有的样本进行中心化操作,计算样本的协方差矩阵,然后对协方差矩阵做特征值分解,取最大的n个特征值对应的特征向量构造投影矩阵。

优点：
仅仅需要以方差衡量信息量，不受数据集以外的因素影响；
各主成分之间正交，可消除原始数据成分间的相互影响的因素；
计算方法简单，主要运算是特征值分解，易于实现。

缺点：
主成分各个特征维度的含义具有一定的模糊性，不如原始样本特征的解释性强；
方差小的非主成分也可能含有对样本差异的重要信息，因此降维丢弃可能对后续数据处理有影响。

问：支持向量机（SVM）是什么？

支持向量机是一种二分类模型，它的基本模型定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；支持向量机还包括核技巧，这使他成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最大化问题。支持向量机的学习算法是求解凸二次规划的最优化算法。简单来说SVM就是，在特征空间上找到最优超平面使得数据的正负样本间隔最大。

写在后面

人生中写的第一篇CSDN博客，纪念一下！
这个专栏主要是我在复习过程中总结的一些机器学习以及深度学习可能会涉及到的面试题，以备复试以及未来面试之需，本篇文章聚焦于机器学习以及神经网络基础部分内容，其中参考了很多博主的总结（见下方参考文章），不过由于学习的不深入，也只是走马观花，问题面覆盖得不够广泛，很多问题总结得也不是很透彻，望读者见谅，希望能给大家的学习带来一点帮助，共同进步！！!

参考文章：
[1] CSDN文章：最基本的25道深度学习面试问题和答案: 链接
[2] CSDN文章：机器学习高频面试题(41道): 链接
[3] CSDN文章：机器学习算法工程师面试问题汇总（持续更新: 链接