首发！三角兽被 EMNLP 录取论文精华导读：基于对抗学习的生成式对话模型浅说

本篇文章5246字，读完约13分钟

根据雷锋的网站:最近，三角野兽技术人工智能实验室的一篇论文被世界顶级自然语言处理会议emnlp接受。本论文题目为:甘神经反应产生的近似嵌入层是由三角野兽研究小组与哈尔滨工业大学神经网络实验室合作完成的。本文提出了一种新的对话文本对抗生成学习框架，旨在解决文本生成过程中采样操作产生的错误不能反向传播的实际问题，从而实现基于对抗学习的聊天回复生成模型。

以下是三角野兽研究小组所写论文的本质指南。雷锋。(公开号码:雷锋。com)授权首次发布:

介绍

近年来，深度学习(deep learning，dl)一直在攻击自然语言处理领域的城市，这降低了过去被认为难以突破的研究方向的难度。其中，最受关注的案例是统计机器翻译领域中序列对序列的颠覆性突破，这导致了一种全新的神经机器翻译范式[1，2]。这种新范式的影响甚至扩展到了其他相关领域，包括本文将要讨论的基于生成的聊天系统[3，4，5]。

一般来说，自动聊天系统可以通过两条技术路线来实现:一是在大规模的对话数据集上建立信息检索系统，通过建立有效的问题匹配和问答关联量化模型来实现对用户查询的合理回复生成性聊天模型与nmt密切相关，这可以追溯到深度学习不那么流行的时候:在问答系统的早期研究中，人们已经将smt相关的模型和方法应用于答案筛选和排序模块，并取得了良好的效果不可否认nrg面临的挑战。nrg模型生成的一些聊天回复可以在主题方面匹配相应的查询，甚至可以生成一些语义相关性高、可读性好的回复。如果是这样，恐怕没有人会认为nrg在机器翻译领域复制了nmt模式的成功。主要原因是，这种端到端模型产生的绝大多数答案都是严重收敛的，没有实用价值，即不能使人机对话继续下去。例如，对于任何用户查询，生成的结果可能是“我认为是”或“我也认为是”。无论是用中文数据还是英文数据训练模型，这种现象都非常明显。由于该模型生成的大多数结果几乎不能用作任何查询的回复，我们将这个生成的结果命名为安全响应显然，安全响应的存在会使自动聊天系统变得索然无味，使用户失去与系统交互的热情。因此，目前实用的聊天系统仍然是基于信息检索模型的。简而言之，如果nrg模型想在实际产品中发挥作用，避免产生安全反应是一个不可避免的问题。。。这背后的原因是找到问题答案的过程可以被视为一个特殊的翻译过程。在这个特殊的翻译过程中，问答位于翻译模型的两端，因此问答对实际上相当于smt需要处理的平行语料库，而smt的训练过程实际上相当于问答词的语义关联过程。在nmt取得巨大成功后，这种新的范式自然地被应用到聊天回复的自动生成中，于是本文讨论的第一个直觉思维就产生了:聊天可以被看作是一种不以获取信息为目的的特殊问答，smt可以用来寻找答案，而nmt是smt的一种高级形式，因此nmt模型可以用来实现聊天回复的自动生成。今天，我们将这种新的自动聊天模型架构命名为神经反应生成(nrg)。，本文对此不做详细描述；另一种技术路线是尝试建立一个端到端的深度学习模型，从海量的会话数据中自动学习查询和响应之间的语义关联，从而达到查询可以自动为任何用户生成响应的目的。如果说基于信息检索的技术路线强调工程实现，那么基于生成的技术路线更具学术性。

[6]

[7]

[8]

安全响应问题可能是多种因素共同作用的结果，本文仅从最直观的方向切入。在这里，我们不妨思考这样一个问题:在相同的数据组织形式、相同的模型结构和合理的假设下，为什么nmt模型没有遇到如此明显的安全翻译结果的问题？此时，有必要回顾一下nmt模型的工作流程:nmt模型由两部分组成，一部分负责源语句的语义表示，并将其压缩成指定维数的语义向量，因此可以称之为编码器；；另一部分负责接收编码器提供的语义向量，并在语义向量的指导下一个接一个地选择单词形成目标句子。这部分通常称为解码器。总之，编码器负责提供输入信号的语义表示，而解码器实际上实现了以语义表示为初始条件的语言模型。

图1经典序列对序列模型[1]

因此，安全应答的关键之一就凸显出来了:如果你比较机器翻译和聊天的训练数据，不难发现聊天数据中不同位置的词的概率分布具有非常明显的长尾特征，这通常反映在句子的前几个词中。例如，相当比例的聊天回复以“我”和“叶”开头。相对而言，对于以形式文本为数据源的smt平行语料库，在这种情况下，词的概率分布模式将首先通过解码器的语言模型来学习，在生成过程中，查询和响应之间的词关联模式的影响将被严重抑制。直观地说，即使以查询的语义向量作为条件，解码器仍然会选择概率最高的“我”作为第一个响应词。由于语言模型的特点，下一个单词很可能是“你”等等，这样就会产生一个安全的回答。

一个直观的解决方案nrg模型产生安全反应的问题可以说是出乎意料和合理的，因此人们坚定地挑战这个难题。常见的解决方案包括:通过引入注意机制来增强查询中关键点的语义信息，削弱语言模型在解码器中的影响；从广义上讲，引入用户建模或外部知识等信息也可以增强生成响应的多样性[9，10]。

当我们跳出模型或数据的局部感知，从更全局的角度考虑安全响应问题时，一个非常直观的解决方案出现了:产生安全响应的s2s模型可以被认为是陷入了局部最优解，但我们需要的是对模型施加一个扰动，使其跳出局部解，进入一个更优化的状态。那么最简单的正干扰就是告诉模型它产生的安全响应是一个很差的结果，尽管产生这样一个结果的损失很小。

一个直观的想法开启了生成性对抗网络在生成性聊天问题上的曲折探索。

将gan引入聊天回复生成的想法是很自然的:使用编码器-解码器架构来构建回复生成器g，其负责生成指定查询的响应，同时，构建鉴别器d来判断生成的结果与实际响应之间的差异有多大，并根据鉴别器的输出来调整生成器g，使其跳出生成安全响应的局部最优情况。

然而，当我们试图通过对抗学习来实现文本生成时，出现了一个在图像生成的gan模型中从未遇到过的问题，即如何实现鉴别器D的训练误差向生成器G的反向传播。 对于文本的生成，文本样本的生成必然伴随着G在输出层对单词的采样过程。 不管这个采样遵循的原则是选择具有最高概率的贪婪思想还是波束搜索，它实际上都引入了离散操作。这种不导电的过程就像道路上突然出现的悬崖，阻碍了反向传播，使对抗训练无法进行。

为了解决文本生成过程中采样操作产生的误差无法传递的实际问题，实现基于对抗学习的聊天回复生成模型，Triangle Beast研究团队在《Gan Neural Response Generation》一文中提出了一种新的对话文本对抗生成学习框架，该框架具有近似嵌入层，已被emnlp 2017所接受。

图2基于合作学习的对抗学习框架

图2示出了具有近似嵌入层(gan-ael)的gan的基本框架。我们用gru构造响应生成模型G的主体，用cnn构造鉴别器D来判断查询和(真实的或模型生成的)响应之间的语义是否相关。给定一个查询，模型g通过编码-解码过程产生一个假响应，它将与查询形成一个负样本，同时，查询将与训练数据中的真实响应形成一个正样本，鉴别器d的训练目标是尽可能区分正样本和负样本。

如上所述，引入对抗学习来改进文本生成的关键问题是如何解决文本生成过程中采样引起的非导数问题，从而实现鉴别器误差向生成器的正确传播。本文直接面对这一问题，为生成器g构造了一个近似嵌入层(图中红色矩形框显示了ael，图中右侧给出了它的细节)，该层的功能是近似表达每个采样过程，而不是试图在每个生成步骤中得到特定的单词，而是根据单词的概率分布计算采样向量。这一操作的具体过程是，在每一个生成步骤中，在添加一个随机扰动z_i后，gru输出的隐藏状态h_i在经过全连接层和softmax后得到整个词汇中每个词的概率分布。我们使用这个概率分布作为权重，对词汇表中所有单词的嵌入进行加权求和。因此，获得了当前采样字的近似矢量表示(如图2右侧的绿框所示)，并将其用作下一生成步骤的输入。同时，这个近似向量也可以用来拼接假反应的表示，用于训练D..不难看出，采样结果的近似表示是连续可导的，而这种近似表示的引入并没有改变模型g的训练目标

我们的小步骤作为生成器和鉴别器的耦合媒介，ael的建立保证了对抗学习框架在面向聊天的响应生成问题中应用的合理性。为了验证这一合理性，我们对当前常用的汉英对话数据进行了模型验证，结果如下表所示:

表中的Seq2seq、mmi-anti和adv-regs分别代表经典的编码-解码器、具有反语言模型机制的s2s和基于强化学习的gan模型结构。我们尝试从语义相关性和生成结果的多样性来比较几种模型，可以看出本文提出的gan-ael在保证语义相关性的同时，可以明显提高生成响应的多样性。

为了直观地展示模型多样性的提高，我们给出了一些实际生成结果的例子，如下表所示。

我们的模型详细描述了模型的理论细节、评价指标和基线方法，感兴趣的读者可以关注我们发表的论文。

结论两个直观的想法开启了基于深度学习模型的端到端自动聊天系统的研究，导致了聊天回复生成中对抗学习的曲折探索。的确，最有趣的模型与最热门的研究方向相匹配，这对任何研究者都很有吸引力。但是，要正视关键问题，集中精力寻找解决问题的方法，需要的是务实的研究，任何浮躁的心态最终都会使研究工作变得枯燥乏味。

机器很难自动生成任何查询回复，因为我们试图挑战人类的语言能力。挑战难题的过程就像爬山一样。任何新的方法并不一定意味着我们铺平了通往山顶的道路，而是给人们提供了一根登山棒，让他们走得更远。

参考文献[1] ilya sutskever，oriol vinyals和quoc v. le .2014.神经网络的序列对序列学习。在第27届神经信息处理系统国际会议记录中，nips'14，第3104-3112页，美国马萨诸塞州剑桥。麻省理工学院出版社。

[2]kyung yun CHO，bart van merrienboer，caglar gulcehre，dzmitry bahdanau，fethi bougares，holger schwenk和yoshua bengio。2014.使用用于统计机器翻译的rnn编码器-解码器学习短语表示。在2014年自然语言处理经验方法会议记录(emnlp)中，第1724-1734页，卡塔尔多哈。计算语言学协会

[3]胡宝田、陆正东、李航和蔡庆陈。2014.用于匹配自然语言句子的卷积神经网络结构。神经信息处理系统进展27:神经信息处理系统年会2014，2042–2050页

[4]李丰·尚、郑东路和李航。2015.用于短文本对话的神经响应机器。《计算语言学协会第53届年会暨第7届自然语言处理国际联席会议论文集》,第1577-1586页，中国北京。计算语言学协会。

[5] alessandro sordoni，michel galley，michael auli，chris brockett，yangfeng ji，margaret mitchell，nie Jian-yun，gao剑锋和bill dolan。2015.一种对上下文敏感的会话响应生成的神经网络方法。naacl hlt 2015，第196-205页

[6]吴博文、王宝勋和薛辉。2016.聊天机器人中面向会话相关性的响应排序。in coling 2016，第26届计算语言学国际会议，会议记录:技术论文，2016年12月11-16日，日本大阪，第652-662页。

[7] delphine bernhard和iryna gurevych，将词汇语义资源与问答档案相结合，用于基于翻译的答案查找

[8]李奇伟、米歇尔·里、克里斯·布罗克特、高剑锋和比尔·多兰。2016a。神经对话模型的多样性促进目标函数。naacl-hlt会议录，第110-119页。

[9] jiwei li，michel galley，chris brockett，georgios p. spithourakis，ga剑锋和william b. dolan。2016b。基于角色的神经对话模型。2016年8月7日至12日在德国柏林举行的计算语言学协会第54届年会会议记录。

[10]陈星、吴伟、吴宇、刘杰、黄亚楼、周明和马伟英。2017.主题感知神经反应生成。2017年2月4日至9日在美国加州旧金山举行的第三十一届aaai人工智能会议记录。，第3351-3357页。

[11] ian goodfellow，jean pouget-abadie，mehdi mirza，徐兵，David ward-Farley，sherjil ozair，aaron courville，yoshua bengio。2014.生成性对抗网络。神经信息处理系统进展，第2672-2680页。

雷锋原创文章。严禁擅自转载。详情请参考转载说明。