NeurIPS提前看 | 四篇论文，一窥元学习的最新研究进展

2019 年 NeurIPS 将于 12 月 8 日至 14 日在加拿大温哥华举行。NeurIPS 今年共收到投稿 6743 篇，其中接受论文 1429 篇，接受率达到了 21.1%。作为人工智能领域的年度盛会，每年人工智能的专家学者以及工业企业界的研发人员都会积极参会，发布最新的理论研究结果以及应用实践方面的成果。今年，国外的高校和研究机构一如既往的踊跃参加本届 NeurIPS，其中 Google 共贡献了 179 篇文章，斯坦福和卡耐基梅隆分别有 79 篇和 75 篇文章。国内的企业界腾讯上榜 18 篇、阿里巴巴上榜 10 篇，高校和研究机构中清华参与完成的文章共有 35 篇。

2019 年，NeurIPS 接受与元学习相关的研究论文约有 20 余篇。元学习（Meta-Learning）是近几年的研究热点，其目的是基于少量无标签数据实现快速有效的学习。元学习通过首先学习与相似任务匹配的内部表示，为机器提供了一种使用少量样本快速适应新任务的方法。学习这种表示的方法主要有基于模型的（model-based meta-learning）和模型不可知的（model-agnostic meta-learning，MAML）两类。基于模型的元学习方法利用少量样本的任务标记（task identity）来调整模型参数，使用模型完成新任务，这种方法最大的问题是设计适用于未知任务的元学习策略非常困难。模型不可知的方法首先由 Chelsea Finn 研究组提出，通过初始化模型参数，执行少量的梯度更新步骤就能够成功完成新的任务。

本文从 NeurIPS 2019 的文章中选择了四篇来看看元学习的最新的研究方向和取得的成果。Chelsea Finn 以及他的老师 Pieter Abbeel 在元学习领域一直非常活跃，他们的研究团队在这个方向已经贡献了大量的优秀成果，推动了元学习在不同任务中的有效应用。在本次 NeurIPS 中，他们的研究团队针对基于梯度（或优化）的元学习提出了一种只依赖于内部级别优化的解决方案，从而有效地将元梯度计算与内部循环优化器的选择分离开来。另外，针对强化学习问题，提出了一种元强化学习算法，通过有监督的仿真学习有效的强化学习过程，大大加快了强化学习程序和先验知识的获取。我们将在这篇提前看中深入分析和理解这些工作。

Chelsea Finn 是斯坦福大学计算机科学和电子工程的助理教授，同时也担任 Google Brain 的研究科学家。Chelsea Finn 在她的博士论文《Learning to Learn with Gradients》中提出的 MAML 是目前元学习的三大方法之一，Chelsea Finn 证明了 MAML 的理论基础，并在元学习领域中将其发扬光大，在少样本模仿学习、元强化学习、少样本目标推断等中都获得了很好的应用。

本文还选择另外两篇关于元学习的文章进行讨论，其中一篇是 Facebook 的工作，提出了一种元序列到序列（Meta seq2seq）的方法，通过学习成分概括，利用域的代数结构来帮助理解新的语句。另外一篇提出了一个多模态 MAML（Multimodal MAML）框架，该框架能够根据所识别的模式调整其元学习先验参数，从而实现更高效的快速自适应。

论文清单：

1. Meta-Learning with Implicit Gradients 

2. Guided Meta-Policy Search

3. Compositional generalization through meta sequence-to-sequence learning

4. Multimodal Model-Agnostic Meta-Learning via Task-Aware Modulation

1、Aravind Rajeswaran，Chelsea Finn，Sham Kakade，Sergey Levine，Meta-Learning with Implicit Gradients ，https://papers.nips.cc/paper/8306-meta-learning-with-implicit-gradients.pdf

基于优化的元学习方法主要有两种途径，一是直接训练元学习目标模型，即将元学习过程表示为神经网络参数学习任务。另一种是将元学习看做一个双层优化的过程，其中「内部」优化实现对给定任务的适应，「外部」优化的目标函数是元学习目标模型。本文是对后一种方法的研究和改进。元学习过程需要计算高阶导数，因此给计算和记忆带来不小的负担，另外，元学习还面临优化过程中的梯度消失问题。这些问题使得基于（双层）优化的元学习方法很难扩展到涉及大中型数据集的任务，或者是需要执行许多内环优化步骤的任务中。

本文提出了一种隐式梯度元学习方法（implicit model-agnostic meta-learning，iMAML），利用隐式微分，推导出元梯度解析表达式，该表达式仅依赖于内部优化的解，而不是内部优化算法的优化路径，这就将元梯度计算和内部优化两个任务解耦。具体见图 1 中所示，其中经典的任务不可知的元学习（model-agnostic meta-learning,MAML）方法沿绿色的路径计算元梯度，一阶 MAML 则利用一阶倒数计算元梯度，本文提出的 iMAML 方法通过估计局部曲率，在不区分优化路径的情况下，推导出精确的元梯度的解析表达式。