4. 从感知机到神经网络

目录

1. 从感知机到神经网络

2. 最简单的神经网络

3. 激活函数的引入

1. 从感知机到神经网络

        之前章节我们了解了感知机，感知机可以处理与门、非与门、或门、异或门等逻辑运算；不过在感知机中设定权重的工作是由人工来做的，而设定合适的，符合预期的输入与输出的权重，是一项非常繁重的工作。神经网络就是为了实现这一工作，它的一个重要性质就是可以自动的从数据中学到合适的权重参数。

        神经网络又叫人工神经网络（Artificial Neural Network，即ANN ），是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象， 建立某种简单模型，按不同的连接方式组成不同的网络。

2. 最简单的神经网络

        从下图可以看到，最左边的即输入层， 0 层；最右边的即输出层，2 层；中间的即中间层，中间层又叫隐藏层，1 层。其中只有输入层、中间层具有权重，可以称之为 2 层网络，也可以按照网络的级数称之为 3 层网络。这个图看起来和感知机没啥区别。

我们回想一下感知机：

可以用数学式来表示上图的感知机

这个数学式可以进行改写， 

把输入信号的总和  (b+w1*x1+w2*x2) 设置为 x，则相当于

此时 h(x) 函数会将输入信号的总和转换为输出信号，这种函数就称之为激活函数（activation function）。

3. 激活函数的引入

        有了激活函数的引入，原来的感知机图，就可以转换为神经元图。激活函数是连接感知机和神经网络的桥梁。

        请注意，此处激活函数以阈值为界，一旦输入超过阈值，就切换输出，这样的函数称之为“阶跃函数”。感知机是选择了阶跃函数，如果感知机选择了其他函数作为激活函数，那么就进入了神经网络的世界了！

        请大家注意，激活函数的不同，是感知机和神经网络的根本差异。