Hopfield网络
能量函数+反馈结构(得到稳定的吸引子)
退火算法(一种思想)
搜索方向固定;如果等于梯度下降方向就完全接受,如果不等于就概率性接受(具有不断跳出位置较高的低谷,搜索位置较低的新低谷的能力)
BM
能量函数+反馈结构+状态概率性转移(退火算法思想)
BP(反向传播)网络
优化过程中的搜索方向变化等同于梯度下降方向
BM和BP
BM训练中同时改变节点状态和参数值;BP训练中改变的是参数值
Ref
《人工神经网络理论、设计及应用 第2版》
能量函数+反馈结构(得到稳定的吸引子)
搜索方向固定;如果等于梯度下降方向就完全接受,如果不等于就概率性接受(具有不断跳出位置较高的低谷,搜索位置较低的新低谷的能力)
能量函数+反馈结构+状态概率性转移(退火算法思想)
优化过程中的搜索方向变化等同于梯度下降方向
BM训练中同时改变节点状态和参数值;BP训练中改变的是参数值
《人工神经网络理论、设计及应用 第2版》