机器学习 - 神经网络分类

什么叫做分类问题？
A classification problem involves predicting whether something is one thing or another.

做 classification problem 步骤：

1. Architecture of a classification neural network
2. Getting binary classification data ready
3. Building a PyTorch classification model
4. Fitting the model to data (training)
5. Making predictions and evaluating a model (inference)
6. Improving a model (from a model perspective)
7. Non-linearity
8. Replicating non-linear functions
9. Putting it all together with multi-class classification

Architecture of a classification neural network

ReLU 函数定义：f(x) = max(0, x)，x为输入
该函数特点：

1. 非线性：尽管ReLU函数在 x <= 0 时输出固定值为零，但在 x > 0 时输出与输入成正比，因此具有非线性特性，有助于神经网络学习复杂的非线性关系。
2. 稀疏性：在神经网络的训练过程中，由于ReLU函数在 x <= 0 时输出为零，因此某些神经元会被“关闭”，这意味着它们不会对网络的输出产生影响，使得网络的稀疏性增加，有助于减少过拟合。
3. 解决梯度消失问题：ReLU 函数在正区间的梯度始终为1，不会出现梯度消失的问题，有助于缓解梯度消失问题，提高训练的稳定性和速度。

Make classification data and get it ready

创建一些数据

from sklearn.datasets import make_circles 

# Make 1000 samples
n_samples = 1000

# Create circles
X, y = make_circles(n_samples,
                    noise = 0.03,
                    random_state = 42)
print(f"X里的前5个数：\n{X[:5]}")
print(f"y里的前5个数：\n{y[:5]}")

# 结果如下
X里的前5个数：
[[ 0.75424625  0.23148074]
 [-0.75615888  0.15325888]
 [-0.81539193  0.17328203]
 [-0.39373073  0.69288277]
 [ 0.44220765 -0.89672343]]
y里的前5个数：
[1 1 1 1 0]

make_circles 函数用于生成一个包含两个圆形类别的二分类数据集，其中一个类别位于另一个类别的内部。
在 make_circles 函数中，noise参数用于控制生成的数据集中噪声的程度。noise参数的值在[0,1]范围内，表示生成的数据中随机噪声的标准差，即数据点在生成圆形分类时的偏移程度。noise 参数控制了数据点在生成时的偏移程度，从而影响了生成的数据集的分布情况。当 noise 参数较小 (接近0）时，生成的数据点更加紧密地分布在圆形区域内，而当 noise 参数较大 (接近1）时，生成地数据点可能会有较大地偏移，甚至出现在不同类别地区域内。

这里稍微介绍什么时“噪声”？ 在数据领域中，“噪声”通常指的是在数据中存在的不希望或不相关的信息。这些信息可能是由于数据收集过程中的各种因素引入的随机性，错误或干扰造成的。噪声可能会包括几种类型：随机噪声，错误噪声，干扰噪声，不相关噪声。

随机噪声：由于测量或采样过程中的不确定性引起的随机波动。例如：图像中的图像噪声等。
错误噪声：由于设备故障，数据输入错误或其他技术问题引起的错误数据。例如：传输过程中的数据丢失等。
干扰噪声：来自外部环境的干扰信号或干扰源引入的数据干扰。例如：电磁干扰。
不相关噪声：数据中存在的与目标任务无关的信息。

将上面的代码放到 pandas 里的 DataFrame 更清楚的查看关系

import pandas as pd
circles = pd.DataFrame({
    "X1": X[:, 0],
    "X2": X[:, 1],
    "label": y
})
print(circles.head(10))

# 结果如下
         X1        X2  label
0  0.754246  0.231481      1
1 -0.756159  0.153259      1
2 -0.815392  0.173282      1
3 -0.393731  0.692883      1
4  0.442208 -0.896723      0
5 -0.479646  0.676435      1
6 -0.013648  0.803349      1
7  0.771513  0.147760      1
8 -0.169322 -0.793456      1
9 -0.121486  1.021509      0

通过这结果，每一个X有两个features (X1 和 X2)，并且对应一个label值。label值不是1就是0，说明这是 binary classification.

为了确定X1和X2的数量是否相同

print(circles.label.value_counts())

# 结果如下：
1    500
0    500
Name: label, dtype: int64

# 两个features的数量一致

将数据显示

import matplotlib.pyplot as plt 

plt.scatter(x = X[:, 0],
            y = X[:, 1],
            c = y,
            cmap = plt.cm.RdYlBu)

图形如下：

都看到这了，给个赞支持一下呗~