神经网络的常用激活函数

激活函数

Sigmoid

曲线图如下：

实现方法：

import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np
#定义x的取值范围
x = np.linspace(-10,10,100)
#直接使用tensorflow实现
y = tf.nn.sigmoid(x)
#绘图
plt.plot(x,y)
plt.grid()
plt.show()

Tanh(双曲正切曲线)

实现方法：

import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np
#定义x的取值范围
x = np.linspace(-10,10,100)
#直接使用tensorflow实现
y = tf.nn.tanh(x)
#绘图
plt.plot(x,y)
plt.grid()
plt.show()

RELU

实现方法：

import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np
#定义x的取值范围
x = np.linspace(-10,10,100)
#直接使用tensorflow实现
y = tf.nn.relu(x)
#绘图
plt.plot(x,y)
plt.grid()
plt.show()

LeakyRelu

实现方法：

import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np
#定义x的取值范围
x = np.linspace(-10,10,100)
#直接使用tensorflow实现
y = tf.nn.leaky_relu(x)
#绘图
plt.plot(x,y)
plt.grid()
plt.show()

softmax

实现方法：

import tensorflow as tf
import matplotlib.pyplot as plt
x = tf.constant([0.2,0.02,0.15,1.3,0.5,0.06,1.1,0.05,3.75])
y = tf.nn.softmax(x)
plt.plot(x,y)
plt.grid()
plt.show()