最近在看有关上个世纪中的写的关于使用神经网络的强化学习算法控制机械的论文，也就是使用传统的神经网络结构（没有CNN/LSTM模块）的稀疏连接的类似MLP的神经网络，使用这样的神经网络结构并用强化学习算法来训练控制机械的策略算法。
看到一些上世纪90年代的基于神经网络的强化学习论文，这些论文中使用强化学习算法来解决自动控制/自适应控制等机械控制类问题，比如，机器人控制等等，在这些论文中一个比较共性的特点就是都是使用传统的神经网络结构，也就是都是神经元之间的连接和tanh激活函数，但是在这里论文里面神经元之间的连接结构都是人为人工的进行设计的，于是就有了这么一个问题，那就是“传统控制类问题使用强化学习解决时对神经网络结构的依赖”。
控制类问题和深度学习兴起后的多媒体形式的强化学习问题还是有着明显的不同的，在多媒体形式的问题中使用CNN、LSTM这样的高级神经网络模块是必选项，但是即使在现在的深度学习时代，对于那些传统的控制类问题（只能获得传感器信息）来说，所使用的神经网络则是传统的多层全连接结构。那么不论深度学习之前还是之后，对于控制类问题来说神经网络技术几乎保持不变，但是唯一不同的是在深度学习时代之前控制类问题使用的是定制化的神经网络结构，而现在的控制类问题则使用的是标准的多层MLP，我们都知道深度学习最大的一个优势之一就是一定层度上替代了特征工程，因此对于多媒体问题来说就不再需要人为定制化的神经网络结构了，但是对于控制类问题呢，为什么现在的控制类问题从来不对神经网络的结构进行探索呢。
个人观点：
定制化的神经网络结构对于控制类问题依然有意义，之所以现在这类的应用比较罕见只是因为在深度学习时代人们更在于的是多媒体这样的大数据应用环境而不是控制类问题，但是AI的发展总是要从软件走向硬件的，以后的智能机器人不论发展的顺利与否都不可否认的会成为未来的发展趋势，而现在受控制类问题在实际应用中的占比较低的现实所限为数不多的researcher也都是单纯的使用多层MLP来做性能对比，以此来说明问题，也就是这样就忽略了定制化神经网络在控制类问题中的意义。
智能控制的未来的研究方向之一不是定制化神经网络的意义，而是如何使用神经网络架构搜索这样的自动技术来替代专业人士的人工手动的定制化控制类的神经网络结构，个人乐观估计未来研究如何自动生成特定控制类问题的定制化神经网络是会一定的发展的。
标签：控制,学习,神经网络,使用,强化,问题 From： https://www.cnblogs.com/xyz/p/18459203