是北航的SKLSDE Lab发表于EMNLP 2019一篇论文，主要介绍一种无监督机器翻译的显式跨语言预训练方法。
摘要
在无监督机器翻译中，预训练被证明能够在跨语言场景中建模深层的上下文信息。然而从共享BPE词表空间获得的跨语言信息是意义不明确的以及十分有限的。在本文中，作者提出了一种新的跨语言预训练方法，该方法通过加入明确的跨语言训练信号来实现无监督机器翻译。具体来说，首先计算跨语言的n-gram embeddings，并从中推断出一个n-gram翻译表。利用这些n-gram的翻译对，提出了一种新的预训练模型，称为Cross-lingual Masked Language Model(CMLM)，它在输入文本流中随机选择源语的n-grams，并在每个时间步预测它们的翻译候选。实验表明，该方法可以将有用的跨语言信息融入到预先训练的模型中。最后利用预先训练好的CMLM模型作为编码器和解码器，显著提高了无监督机器翻译的性能。
该项目的代码也开源出来了：
前言
无监督机器翻译近年来已成为一个新兴的研究领域。常见的无监督机器翻译框架首先建立了两个初始翻译模型(source to target 和 target to source)，然后进行迭代Back Translation。所以初始化这一过程对于最终的翻译表现很关键。
先前的方法大多数受益于跨语言的n-g
