Meta Learning（元学习）

• 元学习：学习如何学习：也是找一个函数，这个函数是学习算法，输出训练好的模型
• 假如教机器做了训练影像分类、影像识别等任务的模型，再去教机器训练语音识别的模型时，他可能学的更好，虽然语音和影像没有什么关系，但机器在多次的学习训练其他模型过程中，可能学到了如何去学习

与Life Long Learning的区别：

• Meta Learning是输出的是（自己训练的）模型，不同任务会输出不同的模型
• Life Long Learning是一个模型，用于学习多个任务

学习也是Function（函数），把很多组训练资料按多个任务传入这个函数，输出训练完的结果（函数），把测试资料传入输出的训练出的模型，看输出的训练完的模型好坏

第一步：确定要让机器学的东西（让机器决定的东西）

可学的组件

第二步：定义Loss函数，来衡量学习出的组件有多好

         例如：Meta Learning要训练出一个二元分类器，那训练资料就是多个训练任务，

 判断classifier的好坏：把classifier跑在测试资料上，看测试资料的正确率

得到Loss的值：多个任务训练出的classifier的好坏情况

第三步：找一个Φ，使得Loss的值最小；可以计算微分时，用Gradient Descent（梯度下降法），不能计算微分时，用Reinforcement Learning（强化学习）或Evolutionary Algorithm（进化算法）硬做

Network Architecture Search（NAS网络架构搜索）

• 让Meta Learning学习的是神经网络的架构，那这就是NAS

• 让Agent跨任务训练输出一个架构，然后让这个架构在任务内训练，用训练结果的好坏再去优化训练Agent，反复训练直至得出好的架构
• 由于这里是Φ是不能求导数的，所以用Reinforcement Learning（强化学习）硬做，可以把Φ当成Agent的参数，输出架构的层数、每层的神经元数和连接数；