神经网络相关（1）

神经网络 权重w 偏置b 激励函数 f = Σxw + b 上层网络→下层网络 m*n矩阵代表权重矩阵；偏置的数量和下层网络的神经元数量一致，为n； u = np.dot(x,w) + b 一般来说，输出层的神经元数量n个，则用n阶形式的独热编码格式数据来表示   几种激励函数： 1、阶跃函数 阶梯型函数，类似分段函数但是分段水平 def step_function(x): 　　return np.where(x<=0,0,1) 2、sigmoid函数 在0-1间平滑变化 def sigmoid_function(x): 　　return 1/(1+np.exp(-x)) 3、tanh函数（双曲正切函数） def tanh_function(x): 　　return np.tanh(x) 4、ReLU函数（线性整流函数） def relu_function(x): 　　return np.where(x<=0,0,x) 5、Leaky ReLU函数 对ReLU进行了改进，使其在负数区域增加了一个小的梯度，避免输出为0影响后续学习 def leaky_relu_function(x): 　　return np.where(x<=0,0.01*x,x) 6、恒等函数 将输入直接作为输出返回；处理预测连续数值中存在的回归问题用 y = x 7、SoftMax函数 形式类似概率公式，可以将输出结果当做概率来解释 def softmax_function(x): 　　return np.exp(x)/np.sum(np.exp(x))   单一神经元实现：

import numpy as np
import matplotlib.pyplot as plt

X = np.arange(-1.0,1.0,0.2)
Y = np.arange(-1.0,1.0,0.2)

Z = np.zeros((10,10))

w_x = 2.5 
#权重的影响是：对应的输入对结果影响的大小，在这里表示为神经元的兴奋状态依赖于x轴变化的程度
w_y = 3.0

bias = 0.1
#偏置的影响是：神经元是否易于产生兴奋，网格颜色的变化加速度

for i in range(10):
    for j in range(10):
        u = X[i]*w_x + Y[j]*w_y + bias
        y = 1/(1+np.exp(-u))
        Z[i][j] = y
        
plt.imshow(Z,"gray",vmin=0.0,vmax=1.0)

plt.colorbar()
plt.show()