面向神经机器翻译的篇章级单语修正模型

本文转自雷锋网，如需转载请至雷锋网官网申请授权。

《面向神经机器翻译的篇章级单语修正模型》[1]是EMNLP2019上一篇关于篇章级神经机器翻译的工作。针对篇章级双语数据稀缺的问题，这篇文章探讨了如何利用篇章级单语数据来提升最终性能，提出了一种基于目标端单语的篇章级修正模型（DocRepair），用来修正传统的句子级翻译结果。

1、背景

近几年来，神经机器翻译迅速发展，google在2017年提出的Transformer模型[2]更是使得翻译质量大幅提升，在某些领域已经可以达到和人类媲美的水平[3]。然而，如今的大部分机器翻译系统仍是基于句子级的，无法利用篇章级的上下文信息，如何在机器翻译过程中有效利用篇章级信息是当今的研究热点之一。

随着基于自注意力机制的Transformer模型在机器翻译任务中广泛应用，许多之前基于循环神经网络（RNN）机器翻译模型的篇章级方法不再适用。最近，许多研究人员尝试对Transformer进行改进，在编码或解码阶段引入上下文信息。Voita等人[4]首先提出了一种基于Transformer的模型（图1）的篇章级翻译模型，在传统的模型之外，额外增加了一个上下文编码器（context encoder）用来编码上下文信息，然后和当前句子的编码结果进行融合，送到解码器。张嘉诚等人[5]采用了另外一种做法，分别在编码器和解码器中增加了一个上下文注意力（context attention）子层（图2）用来引入上下文信息。还有一些研究人员尝试使用二阶段（two-pass）模型的方式[6][7],首先进行句子级解码，然后使用一个篇章级解码器结合句子级解码结果和源语上下文编码来进行篇章级解码。此外，一些工作对篇章级翻译需要引入那些上下文信息进行了探究。

上述工作在机器翻译的过程中引入上下文信息，将篇章级翻译作为一个整体过程。这种方式建模更加自然，但是需要足够的篇章级双语数据进行训练。然而，实际中篇章级双语数据很难获取，作者就是针对篇章级双语数据稀缺的问题提出了DocRepair模型。

2、DocRepair模型

和二阶段的方法类似，DocRepair模型也是对句子级结果的修正，但是不同点在于，DocRepair模型仅仅需要使用单语数据。作为一个单语的序列到序列模型（seq2seq）模型，DocRepair模型需要将上下文不一致的句子组映射到一个一致的结果，来解决上下文的不一致性，过程如图2。

模型的训练语料来自于容易获取的篇章级单语语料。单语数据中上下文一致的句子组作为模型输出，而通过round-trip的方式构建的上下文不一致的句子组作为模型输入。round-trip分为两个阶段，需要正向和反向两个翻译系统。首先使用反向的翻译模型将目标端的篇章级单语数据翻译到源语端，得到丢失了句子间上下文信息的源语结果，然后通过正向的翻译模型将源语结果翻译回目标端，得到最终需要的上下文不一致的目标端数据，整体流程如图3所示。

DocRepair模型采用了标准的Transformer结构（图4），模型输入为不包含上下文信息的句子序列，通过一个分隔令牌连接成一个长序列，模型输出为修正后的上下文一致的序列，去掉分隔令牌得到最终结果。

作者提出的这种结构可以看作一个自动后编辑系统，独立于翻译模型，最大的优点就在于只需要使用目标端单语数据就能构造训练集。相对应的，这种方法引入了额外的结构，增加了整体系统的复杂度，使得训练和推理代价变大。同时，由于仅仅在目标端根据翻译结果进行修正，完全没有引入源语端的信息，DocRepair模型可能没有充分考虑到上下文信息。之前的一些工作也证实了源语端上下文信息在篇章级机器翻译中的作用，如何利用源语端的单语数据来更好地提取上下文信息也是未来一个值得研究的方向。

3、实验

为了验证方法的有效性，作者从BLEU、篇章级专用测试集和人工评价三个角度进行了对比实验。实验在英俄任务上进行，数据集使用了开放数据集OpenSubtitles2018。

表1是DcoRepair的对比实验结果。其中，baseline采用了Transformer base模型，CADec[7]为一个两阶段的篇章级翻译模型。同时，为了验证DocRepair模型在篇章级翻译上有效性，而不仅仅是因为对句子进行后编辑使得翻译质量提升，同样训练了一个基于句子级的repair模型。可以看到，DocRepair在篇章级机器翻译上是有效的，比sentence-level repair模型高出0.5 BLEU，同时对比baseline和CADec有0.7 BLEU的提升。

（编辑：南平站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!