伯克利AI研究所：新型元学习法MAML的前世今生。

本篇文章3164字，读完约8分钟

雷锋。(公开号码:雷锋。伯克利人工智能研究所带来了他们的最新研究——未知模型元学习方法。它没有对模型的形式做任何假设，也没有为元学习引入额外的参数。它可以很容易地应用于许多领域，包括分类、回归和强化学习。这种方法非常简单，优于许多已知的方法。

雷锋。《com ai技术评论》将其编辑如下:

智力的一个关键方面是多才多艺——做许多不同事情的能力。目前，人工智能系统擅长掌握单个技能，如精通go的Go、具有超深度应答能力的沃森，甚至还有自动控制直升机系统。然而，当你让人工智能系统做不同种类的看似简单的问题时，它将是困难的。《危险中的测验》的获胜者沃森不会说话，而一个能够熟练控制直升机飞行的系统不能应用于其他新的简单的情况，例如定位、飞行和悬停灭火操作。相比之下，人类可以做很多事情，并聪明地适应各种新的和前所未有的情况。人工智能如何变得像人类一样多才多艺？

有几种技术可以解决上述问题。在本文中，伯克利人工智能研究所对这些技术进行了评估，并讨论了它们的最新技术——未知模型元学习方法(点击打开关于这种方法的文章和代码)。

目前的人工智能系统可以从零开始学习，并花费大量的时间和经验来掌握一项复杂的技能。然而，如果你想让系统掌握许多技能并适应各种情况，从头开始一个接一个地进行培训成本太高了。现在有必要重用以前的经验，更快地学习新的任务，而不是从零开始学习。这种被称为学习或元学习的方法，是一个全方位系统的关键垫脚石，它可以从生活中的大量任务中不断学习。

什么是学会学习，它现在有什么应用？

最早的元学习方法可以追溯到20世纪80年代末和90年代初，在jürgen schmidhuber的论文和yoshua和samy bengio的工作中提到过。近年来，元学习已经成为一个热门话题，关于它的论文也层出不穷。它最常用于这些地方:超参数和神经网络优化，发现良好的网络结构，小样本图像识别和快速强化学习。

上图显示了几种常见的元学习方法

小样本学习

2015年，布兰登莱克和其他人发表了一篇挑战现代机器学习方法的论文。他们指出，机器可以通过一个概念中的一个或几个例子来学习新概念。例如，莱克认为人类可以通过只看到一张图片(如下图所示)来学习识别“新的两轮车”，而在此之前的机器不能像人类一样概括概念。(对于字母表中从未见过的字符，人类也可以在看到一个例子后画出来。)。

与论文一起，莱克还发表了omniglot数据集，这是mnist的“转置”，共有1623个字符，每个包含20个样本。不久，继icml在2016年的论文之后，出现了两种深度学习模型，它们使用了记忆增强神经网络和顺序生成模型。这表明深层模型通过几个例子学习是可能的，尽管它还没有达到人类的水平。

当前元学习方法的工作原理

首先，让系统联系大量的任务进行训练，然后测试系统学习新任务的能力。例如，将有这样一个任务:识别五个类别中的哪一个是新图像，每个类别只有一个示例图像；或者学会在穿越之后有效地走出迷宫。这不同于许多标准的机器学习技术。他们的方法是在一个单独的任务上进行训练，并在任务中单独留出的样本中进行测试。

在元学习过程中，模型学习任务在元训练集中进行训练。工作中有两种优化——一种是学习者，负责学习新任务；另一个是元学习者，负责培训学习者。元学习方法通常分为三类:循环模型、度量学习和学习优化方法。

循环模型

有一些方法可以训练循环模型，例如lstm网络，它连续接收数据集，然后处理来自目标任务的输入。对于图像识别，可能需要将数据集中成对的图像标签对连续传输到网络，然后传输新的样本以进行识别。

元学习者使用梯度下降法，而学习者只是在循环网络中执行。这是最常见的方法之一，已用于小样本识别、返回和元强化学习。由于其灵活性，这种方法不如其他方法有效(从元观点来看)，因为学习者网络需要从头开始寻找学习策略。

度量学习

这种方法需要学习测量空，在这个空学习特别有效。该方法主要用于小样本识别。直观地说，如果目标是从少量的样本图像中学习，有一个简单的方法来比较现有的样本图像和试图被识别的图像。

然而，正如你可能想象的那样，在像素空中比较图像不会有好的效果。您可以对twin网络进行培训，或者在经过培训的空测量室进行比较。像以前的方法一样，梯度下降法(或您首选的神经网络优化器)用于元学习，因为学习者扮演的角色是元训练度量空中的对比系统，如最近邻算法。这些方法可以很好地用于小样本识别，甚至在其他元学习领域，如返回和强化学习。

学习优化方法

最后一种方法是学习优化方法。在这种方法中，一个网络(元学习者)学习更新另一个网络(学习者)，以便学习者可以有效地学习任务。为了优化神经网络，人们对这种方法进行了广泛的研究。元学习者通常是一个循环网络，以便记住如何纠正以前的学习者模式。元学习者可以通过强化学习或监督学习来训练。Ravi和larochelle最近论证了这种方法对于小样本图像识别的优势，并提出学习者模型也是一个需要学习的优化过程的观点。

像元学习一样学习初始化

可以证明，到目前为止，迁移学习最大的成就是用imagenet预训练初始化视觉网络权值。特别地，当处理新的视觉任务时，众所周知的范例是收集任务的标记数据集并获得预先训练的imagenet分类器，然后基于收集的数据使用梯度下降方法来微调网络。使用这种方法，神经网络可以更有效地从更少的数据集中学习新的基于图像的任务。

然而，这是预训练的效果。因为网络的底层仍然需要适应新的任务，像小样本学习这样过小的数据集仍然会造成严重的过度拟合。此外，不幸的是，在非视觉领域，如发音、语言和控制，没有类似的预训练系统。既然微调法取得了这么好的效果，有什么可以借鉴的？

未知模型元学习

有必要找到一种可以根据少量样本进行有效微调的表示，因此有可能直接优化初始表示吗？这就是伯克利人工智能研究所最近提出的未知模型元学习方法背后的想法。像其他元学习方法一样，maml可以对大量不同的任务进行训练，并通过少量的梯度步骤快速获得适应新任务的表示。

元学习者试图找到一个初始值，它不仅能适应各种问题，而且能快速(仅用几个步骤)有效(仅用几个例子)地适应。下面是一个直观的图表——假设我们试图找到一组适应性很强的参数θ。在元学习(粗线)过程中，maml优化了一组参数，使得当对任务I(灰线)执行梯度步骤时，这些参数接近于任务I的最佳参数θi*。

这种方法很简单，有很多优点。它没有对模型的形式做任何假设。这是非常有效的——没有为元学习引入额外的参数，并且使用已知的优化过程(梯度下降法)，而不是必须从头开始提出策略。最后，它可以很容易地应用于许多领域，包括分类，返回和强化学习。

尽管这种方法很简单，但令人惊讶的是，它优于流行的小样本图像识别基准、omniglot和miniimagenet2中的许多现有方法，包括更复杂或适合特定领域的方法。

除了识别之外，他们还试图学习如何使模拟机器人的行为适应不同的目标，这类似于本文开头提到的多功能性。因此，他们在强化学习中结合了策略梯度法。通过maml，我们可以学习一种策略，它可以使模拟的机器人在一次梯度更新中适应移动的方向和速度。请观看以下视频:

半猎豹的妈妈

蚂蚁妈妈

这种方法的推广——它可以与任何足够平滑的模型相结合，从而可以通过基于梯度的方法对其进行优化——使得maml不仅适用于本文讨论的情况，而且适用于广泛的领域和学习目标。

Maml方法可以有效地教会系统适应不同的场景，他们也希望它能帮助开发多功能的人工智能，能够更快地在现实世界中学习多种技能。

途经:bair.berkeley.edu/blog

雷锋。技术评论汇编

雷锋原创文章。严禁擅自转载。详情请参考转载说明。