对话深度学习大神Yoshua Bengio：蒙特利尔何以成为AI圣地？

本篇文章4433字，读完约11分钟

半个多世纪前，人工智能经历了几次低潮，那些灰暗的时期被称为人工智能冬天，那时很少有人参与，财政资源不足。然而，令人振奋的人工智能现状很大程度上是由于卷积神经网络的研究进展。这种机器学习技术给计算机视觉、语音识别和自然语言处理带来了巨大的进步，rnn是深度学习的典范。

很少有人比53岁的yoshua bengio更能与深度学习联系在一起。本吉奥是《深度学习》(Deep Learning)的合著者(另外两位作者是伊恩·古德费勒(ian goodfellow)和艾伦·库尔维尔(aaron courville)，这本书被埃隆·马斯克(elon musk)评价为深度学习领域的权威教科书。本吉奥的论文《神经概率语言模型》开创了神经网络的语言模型。根据互联网上发布的关系图，本吉奥是吴恩达教师迈克尔·乔丹的博士后研究员，因此业界称之为深度学习三驾马车(另外两人是杰弗里·辛顿和扬·莱昆)。

本吉奥不仅在人工智能领域的影响力越来越大，而且在将蒙特利尔大学塑造成人工智能孵化器方面也有很大的影响力。2016年，本吉奥与人共同创建了人工智能孵化器element ai，宣称将世界领先的人工智能研究转化为革命性的商业应用，旨在促进私营企业和学术界之间的合作。同年，谷歌在蒙特利尔成立了一个深度学习和人工智能研究部门，并为包括米兰的约舒亚·本吉奥在内的8个人提供了337万美元。

我们和本吉奥聊了聊，了解了这个人工智能孵化器，rnn的发展水平，下一阶段的深度学习，以及元素人工智能如何孵化人工智能企业。

问:深度神经网络目前的发展阶段是什么？我们已经取得了巨大的进步，但是如果我们想让计算机拥有和人类一样的智能，我们仍然需要努力工作。目前的大部分进展都是基于监督学习，它本质上是教机器如何模仿人类。通过监督学习，人类为计算机学习提供了先进的概念，这些概念通常很枯燥，甚至限制了计算机观察和发现新事物的能力。无监督学习或强化学习意味着计算机不仅被动地观察世界或模仿人类，而且还与环境互动并从中获得反馈。人类非常擅长这个。我目前研究的课题之一是将无监督的深度学习与强化学习相结合。

问:需要采取什么步骤来进一步实现无监督学习？本吉奥:首先，我们必须了解当前的问题和科学运作的过程。这不仅是关于创造新事物，也是关于理解我们正在研究的算法和现象。看看目前最先进的深度学习系统，我们会发现这些系统经过数百万甚至数十亿个样本的训练，或者犯下的错误类型，告诉我们它们对世界的肤浅理解或者它们训练的某些方面。我们的发现和进展不应该令人沮丧，因为动物对世界的了解很肤浅。人类有更深的理解，这就是为什么他们比动物生存得更好。人类会诱导动物做事情，就像我们现在诱导神经网络得到错误的答案一样。

如何取得进一步的成功？十多年来，我的研究主要集中在学习更好的表征，尤其是具有解耦属性的表征，这是深度学习的核心。脱钩将不同的概念与不同的解释区分开来，我们称之为因素。它可以解释数据、特工周围的事物以及特工如何在世界各地巡逻。解耦可以捕捉一些因果关系，并解释我们看到的和计算机看到的。

但是我仍然不知道实现这个目标的具体步骤。我有一个项目，还有很多未知的因素。从多个方面探索这个项目是很重要的。这就是长期基础研究与探索性和应用性研究的区别。在探索性和应用性研究中，我们可以精细地调整我们所拥有的，并创造新产品来解决特定的问题。应用研究非常重要，因为人工智能正影响着世界各地的商业、医疗、教育和农业等许多方面。

问:最近在深度学习领域，什么样的进步影响了我们的日常生活？本吉奥:自然语言是一个方面。随着计算机技术的发展，如更好地理解人类的文字和语言，用自然语言回应和生成自然语言，计算机和我们之间的互动也将发生变化。这可能对我们的就业市场有很大的影响。因此，许多公司都进行了大量投资。这是人工智能发展如此迅速的重要原因之一。科学进步与我们的努力成正比。深度学习在过去的三年里如此成功的一个原因是越来越多的人参与到人工智能研究中，并利用它来开发新的项目。这种趋势将会继续。

问:你最近联合创立了一家名为element ai的公司。创建这家公司的初衷是什么？它的使命是什么？本吉奥:公司的初衷是在蒙特利尔建立一个国际人工智能中心和一个新的人工智能生态系统。为了创造一个兼具研究和创新元素的人工智能生态系统，我们需要优秀的公司参与其中。

元素人工智能是领先的公司之一，在人工智能生态系统中发挥着重要作用。与谷歌、facebook、亚马逊、微软和ibm等大型跨国公司不同，element ai拥有一支专门从事人工智能研究的科学家团队。这些大型跨国公司现在已经意识到，如果他们不建立内部人工智能研究团队，他们的业务可能会受到影响。Element ai帮助这些公司与当地初创企业建立联系，开发衍生品并进行商业交易。

要素人工智能的另一个重点是培训一个由内部研究人员和外部研究人员组成的团队，从事人工智能、机器学习和深度学习研究。这个团队由大学研究人员和人工智能研究人员组成，可以自由探索任何新的想法。他们还与人工智能的应用研究人员合作，使他们能够站在应用领域的最前沿。例如，人工智能正在研究的元素就是我们所说的迁移学习，它是机器的一种能力:通过使用以前学过的数据集或其他问题来提高学习解决新问题的能力。这意味着我们可以找到一个不用大数据集就能解决新问题的好方法。

问:有没有公司或行业特别适合成为人工智能的客户？本吉奥:各行各业的反应都很惊人。他们的需求已经超出了我们团队目前的范围。我们现在主要是招聘新人。元素人工智能不仅关注于一个特定的领域，而且探索可能性并在许多领域启动一些项目。

问:如果一家刚刚进入人工智能领域的公司需要人工智能的帮助，你会给他什么建议？例如，开始开发哪些模块？本吉奥:首先，我们应该提出一个战略，可以把公司各方面的专家聚集在一起。这些专家了解不同的产品，有不同的视角，包括能够预见不同产品的未来发展，了解市场发展前景。

数据积累也很重要。例如，公司积累了哪些数据？还可以收集哪些其他数据？最后，我们需要从深度学习的角度来检验这样的策略能否成功解决这些问题。你能在合理的时间内提出解决方案，并根据预测数据处理这些潜在的棘手问题吗？大公司的专家各有所长，元素ai的团队成员根据自己的经验提出了很多建议，这不可避免地会导致双方想法的冲突。对于大公司来说，在开始一个项目之前，他们会优先考虑和评估一系列可能的方案。

问:你不仅是一名企业家，还是蒙特利尔大学的教授。你目前在蒙特利尔大学从事的研究是基础研究，持续时间长，结果慢，而你在element ai从事的研究是应用研究，持续时间短，具有商业性质。那么，你如何分配这两项研究的时间？本吉奥:我的主要工作仍然是学术研究。我是蒙特利尔大学的全职教授，只为人工智能和其他公司提供建议。我与element ai和微软等公司的合作基本上是前瞻性的。这是我的能力和长处，但我不会参与公司的具体业务。

我还在建立蒙特利尔学习算法研究所。这个研究所就像一个大型的初创公司，已经成为蒙特利尔人工智能生态系统的核心。Mila汇集了来自蒙特利尔大学和麦吉尔大学的机器学习研究人员，约有200名参与者。我们希望参与这项研究的教授和学生人数在未来两到三年内翻一番。

问:正如你所说，蒙特利尔大学、mila和人工智能元素的工作是在很大程度上建立一个人工智能生态系统。这个描述准确吗？本吉奥:社区工作是一个重要的方面。许多成功归功于米拉实验室建立的特殊文化。Mila非常重视并迫切需要研究人才，视人才为珍宝。我们让研究人员有充分的自由在社区中找到自己的位置，以便更好地激励他们充分发挥自己的聪明才智，为研究做出贡献。与此同时，魁北克市不同于北美其他地区，它并不过分强调个人主义和竞争意识。因此，我们可以更好地合作，取得良好的效果。

问:加拿大正在通过一些非常有趣和新颖的工作吸引人工智能人才。你说你想把蒙特利尔发展成一个人工智能中心。我们特别想知道为什么蒙特利尔能在人工智能领域取得成功。这是否与该地区的学术机构、省市政府和商界形成的伙伴关系有关(这对人工智能革命的爆发至关重要)？你确实列出了一些重要的因素，但我想说的是，关键点很简单，那就是临界质量。我的团队是最早开展深度学习研究的团队之一。尽管当时很少有人涉足这一领域，但蒙特利尔大学对我们的想法非常有信心，并允许我们在一个不受公众欢迎的领域继续雇佣更多的教授。然后是雪球效应。研究员越好，学生和博士后就越好。这意味着我们可以发表更高质量的论文，获得更多的国际关注。反过来，我们可以雇佣更好的研究人员。

同样，深度学习的商业价值越高，它吸引的公司和投资者就越多，从而加速了这一领域的发展。与大大小小的公司(包括微软、谷歌、脸书等。)一个接一个来到蒙特利尔，蒙特利尔将在科学界和投资界变得更加引人注目。所有这些催生了企业家精神。我的学生中有更多的人想创业，他们正在蒙特利尔将其付诸实践。过去，投资者会要求这些企业家搬到硅谷，但现在他们很高兴看到这些企业家留在加拿大。

正如你提到的，不仅蒙特利尔大学，多伦多大学也在类似的轨道上快速发展。我们在多伦多的向量研究所、蒙特利尔的学习算法研究所和埃德蒙顿的亚伯达机器智能研究所之间建立了合作关系，努力在加拿大建立人工智能联盟。我们的目标是让加拿大成为人工智能强国，在全球科学界占有一席之地。与美国和中国相比，加拿大只是一个小国，但我们的集群效应将带来巨大的变化。就人数而言，硅谷并不算大，但正是因为它的集聚效应，它才能成为一个创新中心。

问:接下来，我想谈谈人工智能威胁理论。埃隆·马斯克曾经说过，他担心人工智能会引发第三次世界大战。他不是唯一这么想的人。许多企业家和学者也强调，如果人工智能不能被合理利用，它将对我们构成潜在的威胁。你觉得这个怎么样？本吉奥:我不担心人工智能会统治人类。值得称赞的是，许多人正在研究这些问题，而这些问题离我们太远了。让我担心的是，在人工智能的应用中存在一些潜在的短期和中期问题。Ai可能会被滥用。

正如你提到的，令人担忧的问题是人工智能可能会应用到军事领域。科学界的许多人支持禁止发展致命自主武器的国际公约或国际法。包括联合国在内的许多组织都在认真讨论这个问题。然而，一些国家，如美国，试图阻止这些禁令。这是一个非常严重的错误。如果这项法律很容易商业化，它将降低一些小国使用致命自主武器的门槛，这样所有人的安全都将受到威胁。为了抵御这些致命的自主武器，有必要对防御技术进行军事研究。然而，我们需要一项国际公约，它能够阻止致命自主武器的发展，正如我们在过去二十年中成功地阻止了核武器、化学武器、生物武器和地雷一样。虽然我们现在能做的很少，但如果每个国家、每个大公司和每个人都能清楚地认识到发展这些武器是不道德的，我们就能为地球上的人们减少许多安全风险。