第３２卷第９期 中文信息学报 ＪＯＵＲＮＡＩ ＯＦ ＣＨＩＮＥＳＥ ＩＮＦＯＲＭＡＴＩＯＮ ＰＲＯＣＥＳＳＩＮＧ Ｖｏ１．３２，ＮＯ．９ Ｓｅｐｔ．，２Ｏ１８ ２０１８年９月 文章编号：１００３—００７７（２０１８）０９—００２０—０８ 基于多编码器多解码器的大规模维汉神经网络机器翻译模型 张金超 ｗ，艾山·吾买尔 ，买合木提·买买提 ，刘群 （１．中国科学院计算技术研究所智能信息处理重点实验室，北京１００１９０； ２．中国科学院大学，北京１０００４９；３．腾讯科技（北京）有限公司，北京１０００８０； ４．大学信息科学与工程学院，乌鲁木齐８３００４６； ５．都柏林城市大学，都柏林爱尔兰） 摘 要：为提升维汉机器翻译模型的翻译能力，该文提出使用多编码器多解码器的结构，搭建大规模的维汉神经网 络机器翻译模型。相比于单编码器单解码器的浅层的小模型，多编码器多解码器模型具有多个编码器，可以对源 语言进行多层次、多视角的压缩表示；同时具有多个解码器，可以增强目标语言的生成能力。实验证明，在大规模 的训练数据上，使用该方法搭建的大规模维汉神经网络机器翻译模型，译文质量可以大幅度地超过基于短语的统 计机器翻译模型和基本的神经网络翻译模型。该文还针对维汉翻译源端语言和目标端语言的翻译单元粒度进行 了实验，发现维吾尔语端使用字节对编码单元、汉语端使用字单元，可以消除对汉语分词器的依赖，做到和双端都 使用字节对编码单元可比的效果。 关键词：维汉机器翻译；神经网络；多编码器多解码器 中图分类号：ＴＰ３９１ 文献标识码：Ａ Ａ Ｌａｒｇｅ—ｓｃａｌｅ Ｕｙｇｈｕｒ－Ｃｈｉｎｅｓｅ Ｎｅｕｒａｌ Ｍａｃｈｉｎｅ Ｔｒａｎｓｌａｔｉｏｎ Ｍｏｄｅｌ Ｂａｓｅｄ Ｏｉｌ Ｍｕｌｔｉｐｌｅ Ｅｎｃｏｄｅｒｓ ａｎｄ Ｄｅｃｏｄｅｒｓ ＺＨＡＮＧ Ｊｉｎｃｈａｏ 。 ，Ａｉｓｈａｎ Ｗｕｍａｉｅｒ ，Ｍａｉｈｅｍｕｔｉ Ｍａｉｍａｉｔｉ ，ＬＩＵ Ｑｕｎ （１．Ｋｅｙ Ｉ ｈｏｒａｔｏｒｙ ｏｆ Ｉｎｔｅｌｌｉｇｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ，Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｃｏｍｐｕｔｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ １００１９０，Ｃｈｉｎａ； ２．Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ １０００４９，Ｃｈｉｎａ； ３．Ｔｅｎｃｅｎｔ Ｔｅｃｈｎｏｌｏｇｙ（Ｂｅｉｊｉｎｇ）ＣＯ．，Ｌｔｄ．，Ｂｅｉｊｉｎｇ １０００８０，Ｃｈｉｎａ； ４．Ｓｃｈｏｏｌ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｘｉｎｊｉａｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｕｒｕｍｑｉ，Ｘｉｎｊｉａｎｇ ８３００４６，Ｃｈｉｎａ； ５．Ｄｕｂｌｉｎ Ｃｉｔｙ Ｕｎｉｖｅｒｓｉｔｙ．Ｄｕｂｌｉｎ，Ｉｒｅｌａｎｄ） Ａｂｓｔｒａｃｔ：Ｔｏ ｅｎｈａｎｃｅ ｔｈｅ ｔｒａｎｓｌａｔｉｏｎ ａｂｉｌｉｔｙ ｏｆ Ｕｙｇｈｕｒ—Ｃｈｉｎｅｓｅ ｔｒａｎｓｌａｔｉｏｎ ｍｏｄｅｌ，ｔｈｅ ｐａｐｅｒ ｐｒｏｐｏｓｅｓ ａ ｌａｒｇｅ－ｓｃａｌｅ Ｎｅｕｒａｌ Ｍａｃｈｉｎｅ Ｔｒａｎｓｌａｔｉｏｎ ｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ ｍｕｌｔｉｐｌｅ ｅｎｃｏｄｅｒｓ ａｎｄ ｄｅｃｏｄｅｒｓ．Ｃｏｍｐａｒｅｄ ｗｉｔｈ ｔｈｅ ｅｎｃｏｄｅｒ－ｄｅｃｏｄｅｒ ｂａｓｅｄ ｓｈａｌｌｏｗ ｍｏｄｅｌ，ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｏｄｅｌ ｃｏｎｓｉｓｔｓ ｏｆ ｍｕｌｔｉｐｌｅ ｅｎｃｏｄｅｒｓ ｔｏ ｒｅｐｒｅｓｅｎｔ ｔｈｅ ｓｏｕｒｃｅ ｓｅｎｔｅｎｃｅ ｉｎ ｍｕｌｔｉｐｌｅ ｐｅｒｓｐｅｃｔｉｖｅｓ ａｎｄ ｈａｓ ｍｕｌｔｉｐｌｅ ｄｅｃｏｄｅｒｓ ｔＯ ｅｘｔｅｎｄ ｔｈｅ ｇｅｎｅｒａｔｉｏｎ ａｂｉｌｉｔｙ ｏｆ ｔｈｅ ｔａｒｇｅｔ ｓｅｎｔｅｎｃｅ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔｓ ｏｎ ｔｈｅ ｂｉｇ ｔｒａｉｎｉｎｇ ｃｏｒｐｕｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｔｒａｎｓｌａｔｉｏｎ ｑｕａｌｉｔｙ ｏｆ ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｏｄｅｌ ｓｕｒｐａｓｓｅｓ ｐｈｒａｓｅ ｂａｓｅｄ Ｓｔａｔｉｓｔｉｃａｌ Ｍａｃｈｉｎｅ Ｔｒａｎｓｌａｔｉｏｎ ｍｏｄｅｌ ａｎｄ ｔｈｅ ｂａｓｉｃ Ｎｅｕｒａｌ Ｍａｃｈｉｎｅ Ｔｒａｎｓｌａｔｉｏｎ ｍｏｄｅ１．Ｔｈｅ ｐａｐｅｒ ａｌｓｏ ｉｎｖｅｓｔｉｇａｔｅｓ ｔｈｅ ｇｒａｎｕ— ｌａｒｉｔｙ ｏｆ ｔｈｅ ｔｒａｎｓｌａｔｉｏｎ ｕｎｉｔ ａｎｄ ｒｅｖｅａｌ ｔｈａｔ ｉｔ ｉｓ ｅｆｆｅｃｔｉｖｅ ｔｏ ｅｍｐｌｏｙ ｔｈｅ Ｂｙｔｅ Ｐａｉｒ Ｅｎｃｏｄｉｎｇ ｕｎｉｔ ｆｏｒ Ｕｙｇｈｕｒ ａｎｄ ｃｈａｒ— ａｃｔｅｒ ｕｎｉｔ ｆｏｒ Ｃｈｉｎｅｓｅ ｔＯ ａｖｏｉｄ ｔｈｅ Ｃｈｉｎｅｓｅ ｗｏｒｄ ｓｅｇｍｅｎｔｏｒ ａｎｄ ａｃｈｉｅｖｅ ｃｏｍｐａｒａｂｌｅ ｐｅｒｆｏｒｍａｎｃｅ ｗｉｔｈ ＢＰＥ—‘ＢＰＥ ｓｙｓ—。 ｔｅｒｎｓ． Ｋｅｙ ｗｏｒｄｓ：Ｕｙｇｈｕｒ—Ｃｈｉｎｅｓｅ ｍａｃｈｉｎｅ ｔｒａｎｓｌａｔｉｏｎ；ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ｍｕｌｔｉｐｌｅ ｅｎｃｏｄｅｒｓ ａｎｄ ｄｅｃｏｄｅｒｓ 收稿日期：２０１７—１１－２３ 定稿日期：２０１８—０３—０７ 基金项目：国家自然科学基金（６１３３１９１１，６１２６２０６０）；多语种信息技术实验室开放课题（２０１６Ｄ０３０２３）；自治区青年科 技创新人才培养工程青年博士项目（ＱＮ２０ｌ５ＢＳ００４） ９期 张金超等：基于多编码器多解码器的大规模维汉神经网络机器翻译模型 ２１ ０ 引言 机器翻译任务致力于使用计算机实现源端语言 到目标端语言的自动化翻译，降低不同语种群体之 间的沟通代价，是人工智能学科的一个重要分支。 统计机器翻译模型（ｓｔａｔｉｓｔｉｃａｌ ｍａｃｈｉｎｅ ｔｒａｎｓｌａｔｉｏｎ ｍｏｄｅｌ，ＳＭＴ）在神经网络翻译模型（ｎｅｕｒａｌ ｍａｃｈｉｎｅ ｔｒａｎｓｌａｔｉｏｎ ｍｏｄｅｌ，ＮＭＴ）被提出之前是主流的翻译 模型，主要的模型有基于词的机器翻译模型ｌ】］、基于 短语的机器翻译模型＿２］、基于句法的机器翻译模 型［３］。在统计机器翻译模型中，翻译知识是从双语 平行句对中使用统计方法学习到的显式规则。统计 机器翻译模型通常包括多个子模型，比如翻译概率 子模型、调序子模型、语言模型子模型，这些子模型 被流水线式地一步步搭建和调优。与统计机器翻译 模型不同，神经网络翻译模型＿４。 使用一个神经网络 直接进行端到端（ｅｎｄ—ｔｏ－ｅｎｄ）的训练来拟合翻译知 识。具体地，神经网络翻译模型借助于编码器 （ｅｎｃｏｄｅｒ）对源端的句子进行向量化的分布式表示， 使用解码器（ｄｅｃｏｄｅｒ）根据源端的分布式表示逐词 地生成目标端的句子。注意力（ａｔｔｅｎｔｉｏｎ）机制被引 入来建模词对齐的信息。通过这样的方式，模型中 所有的参数都统一到一致的目标函数下调整，模型 中的翻译知识通过神经元之间的连接权重隐含地表 达。神经网络翻译模型自提出以来，在多个语言对 上的表现显著地超过了统计机器翻译模型，成为当 前主流的翻译模型。 维汉神经网络机器翻译模型面临着两个困难： 一方面，维吾尔语是一种黏着语，通过在词干上附加 各种不同的词缀来实现语法功能。维吾尔语的词汇 具有丰富的词形变化，这就造成了严重的数据稀疏 问题；另一方面，目前搭建维汉机器翻译模型的语料 规模都较小，在小规模的训练语料上得到的系统翻 译质量低。对于神经网络机器翻译模型，数据规模 十分影响模型质量。为提高维汉神经网络机器翻译 模型的能力，本文提出使用多编码器多解码器的结 构，搭建大规模的神经网络模型。同时，分别探索了 适合神经网络机器翻译的维汉翻译单元粒度。本文 的实验在１９０万句的维汉平行语料上进行，该语料 是目前最大的维汉平行语料库，实验结果参考性高。 本文的实验结果证明，在大规模训练数据的条件下， 基于神经网络的维汉机器翻译模型的能力显著地超 过了统计机器翻译模型；多编码器多解码器的网络 结构能够有效地提高神经网络机器翻译模型的能 力；维吾尔语端采用字节对编码作为基本翻译单元， 汉语端采用汉字作为基本翻译单元，可以摆脱对汉 语端分词器的依赖，并得到效果很好的翻译系统。 １ 相关工作 神经网络机器翻译模型的基本结构是编码器一 解码器（ｅｎｃｏｄｅｒ—ｄｅｃｏｄｅｒ）结构。编码器通常是循环 神经网络（ｒｅｃｕｒｒｅｎｔ ｍｅｕｒａｌ ｎｅｔｗｏｒｋ，ＲＮＮ）ｌ７ 或卷 积神经网络（ｃｏｎｖｏｌｕｔｉｏｎａ１ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ， ＣＮＮ）Ｅｓ］，最新的研究也有使用基于自注意力机制 （ｓｅｌｆ ａｔｔｅｎｔｉｏｎ）的编码器＿＿９］。编码器的主要功能是 对源端待翻译的句子进行向量化的压缩表示。基于 ＲＮＮ的编码器视句子为一个序列，对句子中出现的 词汇按时间顺序逐个处理，形成压缩表示。两个不 同的ＲＮＮ分别处理正向和逆向的词汇序列，两种 表示被连接起来作为最终的源端表示。基于门 （ｇａｔｅ）控机制的门控循环神经网络（ｇａｔｅｄ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ，ＧＲＵ）＿５ 和带有记忆模块和门控机 制的长短时记忆循环神经网络（１ｏｎｇ—ｓｈｏｒｔ ｔｅｒｍ ｍｅｍｏｒｙ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ，ＬｓＴＭ）［ 。 使得 ＲＮＮ具有选择性捕获和遗忘历史信息的能力。基 于ＣＮＮ的编码器通过使用不同宽度的滑动窗口， 从序列中捕获上下文局部信息。多层的ＣＮＮ编码 器和池化（ｐｏｏｌｉｎｇ）机制可以实现对全局信息的学 习 ，基于自注意力机制的编码器，使句子序列中词 汇：之间的交互距离成为与句子长度无关的常数，对 于捕获长距离依赖信息具有显著优势。解码器会根 据：编码器对源端句子的表示和已经生成的目标端的 局：郎译文，逐翻译单元地生成目标端译文。对已生 成的目标端的局部译文的建模，同编码器一样可以 使胃循环神经网络、卷积神经网络、自注意力机制 等。注意力机制Ｉ６］被引入到神经网络翻译模型中， 目的是对词对齐信息进行显式的建模。 之前已有研究者尝试使用神经网络模型搭建维 汉机器翻译模型的工作。孔金英［１ 等使用带注意 力机制的编码器解码器结构搭建了维汉口语机器翻 译模型。哈里旦木Ｅ 等对比了多种神经网络机器 翻译模型。这些工作都是基于单编码器单解码器的 基本神经网络结构。训练数据分别为５Ｏ万句和１０ 万句的小规模语料，神经网络规模较小，结构较简 单。本文提出使用多编码器多解码器的结构，搭建 结构更复杂的大规模维汉机器翻译模型来提高维汉 ２２ 中文信息学报 机器翻译译文的质量，并在大规模数据上进行了有 效性验证。 神经网络机器翻译模型以端到端的方式对输入 序列和输出序列的映射进行直接建模。给定源端输 入Ｘ— ，…， ｝和目标端输出Ｙ一｛ ，…， ｝， 翻译概率被建模成，如式（１）所示。 Ｐ（Ｙ｛ｘ）一ＩＩ Ｐ（ｙ Ｉ ｙ ，ｘ） （１） ｔ—ｌ 其中，＿ｙ＜ 一＿ｙ “，Ｙ 。编码器对源端句子的分布 式表示和解码器对目标句子的生成过程，如式（２） 所示。 ＾一 …ｈｍ）：Ｅ㈣ｄｅｒ（ｘ）’ （２） Ｙ一｛Ｙ１，…，Ｙ ｝一Ｄｅｃｏｄｅｒ（ｈ） 其中，ｈ是源端句子的分布式表示，目标语言的生成 过程如式（３）所示。 ｑ—ｇ（Ｙ，－１’ ｆ’ ￡ （３） Ｐ（ ，ｊ ＜ ，Ｘ）一ｓｏｆｔｍａｘ（ｑ）， 其中，ｇ是预测目标端词的张量，ｇ（·）是一个线性 函数，Ｓ 是解码器的隐层状态，Ｃ 是源端分布式表示 的权重加和，通过注意力机制计算得出。Ｃ 的计算 方式如式（４）所示。 Ｃｔ—ａｔｔｅｎｔｉｏｎ（ ｌ，＾）一∑ｏｔｔ，ｉｈ ， ＯＱ，ｉ—ａｌｉｇｎ（ｓ…ｈｉ） （４） 一ｓｏｆｔｍａｘ（Ｖ［ｔａｎｈ（Ｗ Ｓ １＋Ｕ ｈ，）） 其中，Ｗ。，Ｕ ， 。为矩阵参数。图１展示了一个基本 的神经网络机器翻译模型的架构，包括编码器、解码 器和注意力机制。 ＜ｓ＞Ｙ１ ， ｌ 图１ 带注意力机制的神经网络机器翻译模型 ２ 基于多编码器多解码器结构的维汉神经 网络模型 为提升维汉机器翻译的译文质量，本文提出使 用多编码器多解码器结构，搭建大型的神经网络机 器翻译模型。该模型结构如图２所示，可以容纳任 意个数的编码器和解码器，易于扩展和增强。多个 编码器工作，对源端句子进行分布式表示，所有 编码器的输出通过一个前馈神经网络结合到一起， 构成源端句子的最终分布式表示。多个解码器具有 的注意力机制，所有解码器的输出同样被一个 前馈神经网络结合到一起，最终被集成到目标端词 － 汇表，分类层：计算每个目标端翻译单元的概率。 网络中所有的参数都统一到一致的目标函数下进行 训练学习。 译文 、＼Ｉ／／ Ｉ ｓ。ｌｆａｎａｘ｛ 多解码器 —／ｆ—＼ ｄｅｃｏｄｅｒ， ｄｅｃｏｄｅｒＨ ＼ ｝／／ ＼ｊ／／ ＼Ｉ／ ｓｏｕｒｃｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ 多编码器 ／ｆ＼ ｌ ｅｎｃ。ｄｅｒ ｌ ｌ … Ｉ Ｉ ｅｎｃ。ｄｅ ｌ ｆ＼ ／Ｉ＼—■ ７ｌ 原文 图２ 多编码器多解码器结构示意图 ２．１多编码器结构 编码器的作用是对源端句子进行分布式的表 示，基本的神经网络机器翻译模型使用一个编码器 来处理源端的句子。多编码器的思路是使用不同深 度和结构的多个编码器对源端句子分别进行分布式 表示，然后将这多个分布式的表示融合起来作为源 端句子最终的表示。不同深度的编码器对源端句子 具有不同的分布式表示能力，不同结构的编码器对 句子表示过程中关注的句子特征的方式不同。我们 期望通过这种方式能得到一个对源端句子更全面的 表示，增强模型能力。 图３展示了一个由三个ＲＮＮ和一个ＣＮＮ构 成的编码器。四个子编码器共享词向量矩阵，其他 参数。输入一个源端句子，句子中的翻译单元， 例如字或词，经过词向量矩阵的映射成为向量，每个 子编码器对该向量序列进行压缩表示。我们使用 ＧＲＵ作为ＲＮＮ的单元，逐层地堆叠ＲＮＮ，形成深 度网络结构。前向的ＲＮＮ和后向的ＲＮＮ依次堆 ９期 张金超等：基于多编码器多解码器的大规模维汉神经网络机器翻译模型 ２３ 源端分布式表示 匦］口 唑 一 ：：：、～ 。 。 — 。。 — — ］ 网 ｌｒ —ｈ——ｅ—ｎ一， … ｌ ｈｃｎｎ 一— —ｒ —— 一—下一Ｌ＿Ｔ一 ＿’｛Ｉ／／、／Ｇ＼ ／ａｔｅ１／ ＼、） （／＼ 、…）、／／＼／＼ ＼／（Ｇ ／～，ａ、ｔｅ／１ 、 ） 、、／，、、 ＠ ＠ ｎ …／／ ｎｎ／ ‘Ｌ Ｌ ＬＤ ］－ ［Ｊ ．Ｄ ＿Ｌ— 上工 齄 Ｊ 。一●。一 ］Ｌ Ｊ ～． ， ｌ３３』 ｝ ＩＩ ＲＬＧＧＲＲ＋ＵＵ１ １１ＨＨ……Ｈ 十 ’Ｈ。 ＬＲＧＧＲＲ＋ＵＵｌ １ｌＩ 。Ｉ ’—————＝＝二—～ 一 ．ｌ１ ＲＬＧＲ＋１ＬＵ Ｉ３２１ Ｈ…Ｈ千…ｌ Ｈ ＲＬＧＲ千Ｕｌ／ ３１２ Ｉｌ ！ ： —— ＝＝＝＝＝＝＝三三三三三三三三 — — ｌ＼：‘：：二 ＼：：：／ ：：：： ．． ，／ 图３ 由三个ＲＮＮ和一个ＣＮＮ构成的编码器 叠，来捕获正向和反向的上下文环境。图中所示的 三个基于ＲＮＮ的编码器具有不同的深度，层数分 ２．２多解码器结构 别为２层、４层、６层。ＣＮＮ子编码器使用一个固定 解码器逐翻译单元地生成目标端译文，我们提 大小的滑动窗Ｉ：１来捕获局部的上下文信息。为减少 出使用多解码器的结构提升解码器的生成能力。为 梯度传播损失，我们使用一个门控单元来将每个子 了方便表述，我们将注意力机制视为解码器的一部 解码器的原始输出和词向量通过一个门控单元进行 分，我们的每个子解码器中都包含一套的注意 重组。我们以ｅｎｃｏｄｅｒ２的输出为例，门控单元具体 力机制。所有子解码器的输出最终被结合到一起， 的计算如式（５）所示。 用于目标端译文的生成。 ２２ —ｓｉｇｍｏｉｄ（Ｗ ·ｅ（ｘ ）＋Ｗ ·０２１＋ｂ ） 图４展示了由三个子解码器构成的解码器结 无２ ：ｔａｎｈ（Ｗ ·ｅ（ｘ ）＋Ｗ ·０２ ＋ｂ＾） （５） 构，每个解码器具有不同的深度。以ｄｅｃｏｄｅｒ２为 ｈ２ ：（１一 ２ ）·ｅ（ｘｆ）＿十一ｚ２ ·无２ 例，该子解码器的计算逻辑，如式（７）所示。 其中，ｗ ，ｗ ，ｗ ，ｗ ∈Ｒ拟 为矩阵参数，ｂ ， ２１．￡一ＬＧＲＵ２１（ ２， １， ｒ１） ｂ ∈Ｒ 为偏置参数。最终门控单元的输出被一个 ２２．ｆ—ＬＧＲＵ２２（ 『２２， １， ２１，￡） 前馈神经网络组合起来，作为源端句子的分布式表 Ｃ 一ａｔｔｅｎｔｉｏｎ２（ ２２， ） （７） 示。该前馈神经网络的计算如式（６）所示。 ５２，￡一ＤＧａｔｅ２（ ２２ｌｌ＇Ｃ２，ｆ） ４ ｑ２．￡一ｇ（ｓ２．￡，Ｃ２，ｔ，Ｙｒ１） ｈ ＝＝＝ｔａｎｈ（＞：（—。ｋ。。ｗ址·ｈ ）＋ｂ） （６） 其中， 和ｆ。 ， 是不同层次的ＲＮＮ层的输出，ｃｚ， ＝ｌ 其中，Ｗ胀∈．Ｒ拟 是矩阵参数，ｂ∈Ｒ 是偏置参数。 是注意力机制计算出的源端相关上下文。与编码器 ２４ 中文信息学报 图４ 由三个子解码器构成的解码器 中的门控机制类似，我们也设计了针对解码器的门 控来结合解码器的隐层状态和源端相关上下文， ＤＧａｔｅ２（ ｃ ， ）的计算如式（８）所示。 ，数据，数据规模在１９０万句左右，是到目前为止维汉 机器翻译实验使用的最大的平行语料。开发数据采 用了ＣＷＭＴ２０１７维汉机器翻译评测提供的开发 集，测试数据使用了ＣＷＭＴ２０１７维汉机器翻译评 —ｓｉｇｍｏｉｄ（Ｗ · ２ｆ＋Ｗ · ２２， ＋ｂ ） ｒ—ｓｉｇｍｏｉｄ（Ｗ ·Ｃ２＋Ｗ · ２２， ＋ｂ ） ， 测提供的去重版测试集。数据规模如表１所示。 表ｌ数据规模 ２， 一ｔａｎｈ（（Ｗ · ２２， ＋ｂ ）＊ｒ＋Ｗ。·ｃ２． ） ５２，ｆ一 ２２， ·ｚ＋ ２．ｆ·（１～ ） （８） 句对数量／句 训练集 开发集 其中， 是更新门，ｒ是重置门，ｗ ， ｗ ， ，ｗ ， １ ９１６ ９９５ ７００ ，ｗ 是矩阵参数。每个子解码器的输出ｑ 使用一个前馈神经网络组合到一起，输入到目标端 词汇表分类模块，得到归一化的翻译单元概率，计算 过程如式（９）所示。 测试集 ８６１ 维吾尔语端进行了拉丁化处理和简单的切分， 拉丁化采用的是大学提出的维吾尔语拉丁化方 ｑ 一ｔａｎｈ（∑ｗ曲·ｑ ＋ｂｑ） ｋ （９） 案，切分的目的是将标点符号和维吾尔语词语分开。 Ｐ（ｙ ）一ｓｏｆｔｍａｘ（ｑ ） 对于汉语，我们使用了中科院计算所的分词工具进 行了分词处理，分词标准遵循《人民日报》标准。翻 译结果的评价指标与ＣＷＭＴ２０１７保持一致，即基 ３ 实验 我们进行了多组实验来验证多编码器多解码器 于字的ＢＬＥＵ—ＳＢＰ分数。译文没有做任何后处理 操作，统计机器翻译模型的输出译文保留未登录词， 神经网络机器翻译的输出译文保留未登录词符号。 ３．２实验设计和参数细节 结构的有效性，并探索了翻译单元的粒度对翻译结 果的影响。 ３．１ 实验数据与评价指标 统计机器翻译模型使用了基于短语的模型，模 型采用开源Ｍｏｓｅｓ系统训练得到。词对齐使用 训练数据我们采用了大学收集的新闻领域 ９期 张金超等：基于多编码器多解码器的大规模维汉神经网络机器翻译模型 ２５ ＧＩＺＡ＋＋工具，对齐策略为“ｇｒｏｗ－ｄｉａｇ－ｆｉｎａｌ－ａｎｄ”。 四元语言模型使用了ｓＲＬＩＭ工具，借助Ｋｎｅｓｅｒ— Ｎｅｙ算法做平滑。我们使用了ＭＥＲＴ工具在开发 集上进行调优。解码搜索空间ｓｔａｃｋ参数设为１Ｏ０。 我们实现了神经网络机器翻译模型ＲＮＮＳｅａｒｃｈ 作为神经网络翻译模型的基线系统。该模型的编码 器和解码器都基于门控神经网络ＧＲＵ，使用注意力 机制连接编码器和解码器。我们搭建了多个多编码 器和多解码器的模型，来探究该结构的有效性。神 经网络机器翻译中，词向量维度和隐层神经元的个 数均设为５１２。对于方阵的权重参数，我们使用正 交的初始化方式。对于非正交的矩阵权重参数，我 们使用均值为０、方差为０．０１的高斯分布进行初始 化。所有的偏置参数初始化为０。参数训练使用基 于ｂａｔｃｈ的梯度下降算法，ｂａｔｃｈ的大小设置为８０， 学习率控制算法基于ＡｄａＤｅｌｔａ，其中衰减参数ｐ一 ０．９５，分母常量 一１Ｅ一６。Ｄｒｏｐｏｕｔ策略只使用在 解码器输出层，ｄｒｏｐ ｒａｔｅ为０．５。梯度截断（ｇｒａｄｉ— ｅｎｔ ｃｌｉｐｉｎｇ）算法被用来防止梯度爆炸，作用方式为 Ｌ２正则的梯度大于１．０的时候重置为阈值。解码 采用柱搜索（ｂｅａｍ ｓｅａｒｃｈ）的方式，ｂｅａｍ ｓｉｚｅ参数 设为１２，最终的译文分数除以译文长度做归一化处 理后进行重排序。 针对神经网络翻译面对的词汇数据稀疏问题， 我们在维吾尔语端进行了使用词和字节对（ＢＰＥ）编 码作为基本翻译单元的实验。字节对编码使用了 ＢＰＥ开源工具，在维吾尔语端单语迭代５万次。在 汉语端进行了使用词、汉字和字节对编码作为基本 翻译单元的实验。维吾尔语端５万词表在训练语料 上的文本覆盖率约为９４．６ ；５万ＢＰＥ单元词汇 表在训练语料上的文本覆盖率约为１００ 。汉语端 ３万词表在训练语料上的文本覆盖率为９６．５ ９／６； １万字单元词汇表文本覆盖率约为９９．９ ；３万 ＢＰＥ单元的词汇表在训练语料上的文本覆盖率约 为９９．３ 。 ３．３实验结果及分析 下面我们对实验系统进行具体描述： （１）Ｍｏｓｅｓ是基于短语的统计机器翻译系统； （２）ＲＮＮＳｅａｒｃｈ 是带注意力机制的单编码器 单解码器结构的神经网络机器翻译系统； （３）３ｅｎｃｏｄｅｒ是具有三个编码器的多编码器结 构的神经网络机器翻译系统，编码器基本单元是 ＧＲＵ，每个编码器的深度分别为２，４，６； （４）３ｅｎｃｏｄｅｒｓ一３ｄｅｃｏｄｅｒｓ是具有三个编码器三 个解码器的多解码器多编码器结构的神经网络模 型，编码器和解码器基本单元是ＧＲＵ，每个编码器的 深度分别为２，４，６，每个解码器深度分别为２，４，６； （５）４ｅｎｃｏｄｅｒｓ３ｄｅｃｏｄｅｒｓ是具有四个编码器三 个解码器的多解码器多编码器结构的神经网络机器 翻译系统。编码器中三个是使用ＧＲＵ的ＲＮＮ，深 度分别为２，４，６，还有一个是窗口宽度为３的 ＣＮＮ；多解码器端有三个解码器，都是使用ＧＲＵ的 ＲＮＮ，深度分别为２，４，６。 表２展示了我们的实验结果。通过分析实验结 果，我们可以看到统计机器翻译模型的ＢＬＥＵ值明 显低于所有的神经网络模型。对比系统１和系统 ２，在测试集的ＢＬＥＵ一５指标上，基于词单元粒度的 基本神经网络翻译模型ＲＮＮＳｅａｒｃｈ 超过Ｍｏｓｅｓ 约＿【．７Ｏ个点。这说明在大规模训练数据的条件下， 即使维吾尔语由于其语言特点存在比较严重的词汇 稀疏问题，基于神经网络的维汉机器翻译模型的性 能依然可以显著超过基于短语的统计机器翻译 系统。 系统２～５用来对比不同粒度的翻译单元对模 型能力的影响。对比系统２和３，我们发现对维吾 尔语端做字节对编码后，测试集ＢＬＥＵ一５指标增长 约２．１１个点。实验说明，维吾尔语端字节对编码能 够改善其词汇稀疏导致的词汇表覆盖率低、未登录 词较多的问题。对比系统３和系统４，当我们在汉 语端使用字作为翻译单元时，可以进一步得到约 ２．】４个ＢＬＥＵ一５点的提升。汉语端使用字作为翻 译单元具有多个优点： （１）可以缓解词汇稀疏问题，有效地提升翻译 质量； （２）不再需要额外的分词工具对训练语料和测 试语料进行分词，同时也避免了不同分词标准对模 型的影响； （３）词汇表的规模可以大幅度缩小，有效地减 少训练时间和解码时间。 对比系统３～４和５，我们发现在ＲＮＮＳｅａｒｃｈ 模：型上，维吾尔语端和汉语端都基于ＢＰＥ单元，可 以：在测试集上得到最高的ＢＬＥＵ一５值。 系统６～７和１０用来分别验证多编码器结构和 多解码器结构对模型能力的提升效果。对比系统４ 和系统６，我们发现多编码器结构的神经网络机器 翻泽系统虽然在参数量上要小于ＲＮＮＳｅａｒｃｈ 系 统，但是效果却优于ＲＮＮＳｅａｒｃｈ ，这证明了多编码 ２６ 中文信息学报 器结构的有效性。对比系统６和系统７，我们发现 通过扩展单解码器到多解码器结构，进一步带来了 翻译效果的提升。对比系统７和系统１０，我们发现 引入基于ＣＮＮ结构的编码器会进一步提高测试集 ＢＩ ＥＵ一５分数约１．０４个点的提升。这些实验证明 了我们提出的多解码器多编码器结构的有效性。 表２维汉实验结果 序号 系统 翻译单元／词汇表 维语 １ Ｍｏｓｅｓ 词 开发集ＢＩ ＥＵ—ＳＢＰ ＢＬＥＵ一４ ５２．６３ 测试集ＢＬＥＵ—ＳＢＰ ＢＬＥＵ一４ ４２．１６ 汉语 词 ＢＬＥＵ一５ ４５．７２ ＢＬＥＵ一５ ３５．８９ ２ ＲＮＮＳｅａｒｃｈ 词／５万 词／３万 ５４．１４ ４７．９６ ４３．１６ ３７．５９ ３ ４ ５ ＲＮＮＳｅａｒｃｈ ＲＮＮＳｅａｒｃｈ ＲＮＮＳｅａｒｃｈ ＢＰＥ／５万 ＢＰＥ／５万 ＢＰＥ／５万 词／３万 字／１万 ＢＰＥ／３万 ５６．１７ ５６．６０ ５７．２７ ４９．９１ ４９．７５ ５Ｏ．７８ ４５．３９ ４７．９６ ４８．４２ ３９．７０ ４１．８４ ４２．５０ ６ ７ ８ ９ １Ｏ ｌ１ ３ ｅｎｃｏｄｅｒ ３ｅｎｃｏｄｅｒＢＰＥ／５万 ＢＰＥ／５万 词／５万 ＢＰＥ／５万 字／１万 字／１万 词／３万 词／３万 ５７．４３ ５８．６７ ５５．６１ ５８．６２ ５０．５１ ５１．８９ ４９．３Ｏ ５２．１７ ４８．２９ ４９．Ｏ７ ４４．４Ｏ ４７．１８ ４２．１７ ４２．８８ ３８．７９ ４１．６５ ３ｄｅｃｏｄｅｒ ３ｄｅｅｏｄｅｒｓ ３ｄｅｃｏｄｅｒｓ ４ｅｎｃｏｄｅｒｓ４ｅｎｃｏｄｅｒｓ４ｅｎｃｏｄｅｒｓ３ｄｅｃｏｄｅｒｓ ３ｄｅｃｏｄｅｒｓ ＢＰＥ／５万 ＢＰＥ／５万 字／１万 ＢＰＥ／３万 ５９．６２ ５９．９８ ５２．９５ ５３．４６ ５Ｏ．Ｏ７ ５０．Ｏ６ ４３．９２ ４４．０６ ４ｅｎｃｏｄｅｒｓ系统８～１１是我们提出的使用多编码器多解 码器结构搭建的大型神经网络机器翻译模型，我 们同时也对其进行了不同翻译单元粒度的测试。 基于词一词粒度的多编码器多解码器系统８，与 的语料是语言数据联盟（Ｌｉｎｇｕｉｓｔｉｃ Ｄａｔａ Ｃｏｎｓｏｒｔｉｕｍ） 发布的语料（ＬＤＣ２００２Ｅ１８，ＬＤＣ２００３Ｅ０７，ＬＤＣ２００３Ｅ１４， ＬＤＣ２００４Ｔ０７ Ｈａｎｓａｒｄｓ，ＬＤＣ２００４Ｔ０８，Ｉ上Ｃ２００５ＴＯ６）， 共１２５万句对，开发集使用的是２００２年ＮＩＳＴ评测 发布的测试集，测试集使用的是２００３－－２００６年 ＮＩＳＴ评测发布的测试集。实验参数配置与维汉系 统一致，双语词汇表规模限定为三万，评价指标采用 四元的ＢＬＥＵ值（ｍｔｅｖａｌ—ｖｌ１ｂ．ｐ１）。 ＲＮＮＳｅａｒｃｈ 系统２对比，测试集上ＢＬＥＵ一５指标 提升了约１．２个点；基于ＢＰＥ一词的多编码器多解码 器系统９与ＲＮＮＳｅａｒｃｈ 系统３相比，测试集上 ＢＩ ＥＵ一５指标提升了约１．９５个点；基于ＢＰＥ一字的 多编码器多解码器系统１Ｏ与ＲＮＮＳｅａｒｃｈ 系统４ 我们的实验结果如表３所示。通过对比系统 ２、３、４、５，可以看出基于多编码器多解码器结构的神 经网络机器翻译系统性能有了显著的提升，这说明 该结构在汉英翻译方向上也可以有效地改善译文质 量。我们同时也和集成方法做了性能对比，这里使 用的集成方法（ｅｎｓｅｍｂｌｅ）是训练了三个具有不 相比，测试集上ＢＬＥＵ一５指标提升了２．Ｏ８个点；基 于ＢＰＥ～ＢＰＥ的多编码器多解码器系统１１和 ＲＮＮＳｅａｒｃｈ 系统５相比，测试集上ＢＬＥＵ一５指标 提升了１．５６个点。这四组实验对比，说明多编码器 多解码器结构对于提升维汉神经网络翻译的性能有 明显的效果。对比系统１Ｏ和ｌ１，我们发现在 同深度编码器和解码器（２、４、６层）的神经网络机器 翻译模型，然后在解码搜索的过程中，对三个模型输 出的目标端词汇的概率分布做了平均化。我们可以 看到，集成方法对于提升翻译效果是有效的，但是会 带来总参数量成倍地增加。在训练的时候，要针对 ＲＮＮＳｅａｒｃｈ 系统上带来了提升的汉语端ＢＰＥ方 案并没有在大模型上带来显著性的提升。系统１１ 是我们所有实验中最优的模型，在ＢＬＥＵ－５指标上， 超过了基于短语的统计机器翻译系统约８．１７个点， 超过了基于词的基本的神经网络模型ＲＮＮＳｅａｒｃｈ 约６．４７个点。我们的实验结论对于搭建高性能的维 汉机器翻译系统具有重要的参考价值。 ３．４汉英翻译实验及与集成方法的对比分析 每个模型进行训练和调优，在解码的时候，所需 的时间相对于单模型也会成倍的增加。我们提出的 多编码器多解码器，参数统一训练，共享结构使得参 数量增长速度是线性的，解码时最终计算目标端词 汇表概率分布的时候，只需要一次大矩阵的变换和 一我们在汉英翻译方向上对多编码器多解码器神 经网络机器翻译模型进行了实验对比。训练集选用 次ｓｏｆｔｍａｘ归一化，计算量比集成方法要小很多， 对于提升单模型的性能是十分经济有效的。 ９期 张金超等：星于多编码器多解 器的人规模维汉神经网络机器剐 ｝Ｉ！ ２７ 表３汉英实验结果 序号 １ Ｍｏｓｅｓ 系统 参数量（Ｍｉｌｌｉｏｎ） ＮＩＳＴ０３ ３１．６１ ＮＩＳＴ０４ ３：３．４８ ＮＩＳＴ（）５ ３（）．７５ ＮＩ Ｔ（）６ ：｛１．ｃ ７ Ｆ 、Ｆ－均 ：｛１．（ｊ７ ｗ Ⅲ Ｓ ｓ Ｃ ｈ ２ ３ ＲＮＮＳｅａｒｃｈ ２ｅｎｃｏｄｅｒ ５３．７ ６２．６ ３７．３５ ３７．８８ ３９．３２ ３９．７７ ３５．８２ ３６．２８ ３．１．１（） ３５．０２ ．７１： ｏ ：｛７．２ ｌ Ｓ ４ ５ ６ ３ｅｎｃｏｄｅｒ ３ｅｎｃｏｄｅｒ３ｄｅｃｏｄｅｒ ７３．４ ８７．８ １ ７５．３ ３８．９９ ３８．９３ ４１．４ ２ ４Ｏ．８９ １１．６９ ４２．９１ ３７．Ｌｌ６ ３８．２ １ ３９．３６ ：｛７．１：｛ ３７．３ ｌ ３８．２１ ：｛８．（ １ Ａ ：｛【）＿Ｉ１５ ＲＮ ＮＳｔａｒｃｈ （ｅｎｓｅｍ［｝ｌｅ ３） Ｄｅ● ∞ ｌ（）．１ ０ ．１总结与展望 本文提ｆ｝｛使用多编码器多解码器的结构．搭建 大规模的维汉神经『积Ｊ络机器翻译模型的方法。该结 构可以对源语言进行多层次、多视角的压缩表示；『占】 时具有多个解码 ，叮以增强目标语 的生成能力。 实验证明，在大规模的训练数据上，使用该方法搭建 的大规模维汉神经网络机器翻译模型．译文匝量 ｒ 以大幅度地超过基于短语的统计机器翻译模型和基 本的神经网络翻译模 ；维吾尔语端使用字节对编 码（ＢＰＥ） 元、汉语端使用宁单元．可以摆脱对汉语 端分词器的依赖，得到较强的翻译系统。未来我们 会考虑根据维吾尔语的特点，从语言学的角度提ｆｔ｛ 吏具有针对性的珩午决方案来缓解数据稀疏的问题． 进一步提高维汉机器翻译系统的性能衷现。 参考文献 ｒａｍｅｔｅｒ ｅｓｌｉｍａｔｉｏｎ［Ｊ］．Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｉ．ｉｎｇｕｉｓｔｉｃｓ １ ９９３．１ ９（２）：２６３ ３１１． ［２］ Ｐｈｉｌｉｐｐ Ｋｏｅｈｎ．Ｆｒａｎｚ Ｊ（）ｃｈ，１）ａｎｉｅｌ Ｍａｒｅｕ．Ｓｔａｔｉｓｔｉｃａ ｐｈｒａｓｅ ｂａｓｅｄ ｔ ｒａｎｓｌａｔｉｏｎ［Ｌ、］ ／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＨＬＴ ＡＡＬ、Ｉ ，２００３：４８ ５４． 张金超（１ ９８９）．博士．主要研究领域为自然语 高‘处理和机器翻译。 Ｅ ｍａｉｌ：ｚｈａｎｇｊｉｎｃｈａｏ＠ｉｃｔ． ｌｃ．ｃｎ 买合小提·买买提（１ ９８（１），博十研究ｑ ．主要 研究领域为自然 处理 Ｅ ｍａｉｌ：ｍａｌｌｍｕｔｊａｎ＠ｘｉＵ．ｅｄｕ．ｃｎ ａ ｎ ［３］ Ｉ）ａｖｉｄ Ｃｈｉａｎｇ．Ａ ｈｉｅｒａ ｒｃｈｉｃａｌ ｐｈ ｒａｓｔ·ＩＭＩＳｔ，ｄ ｌ二＾＿ｌｌ “ ｏｄｔ ｌ ｆｏｒ ｓｔａｔｉｓｔｉｃａｌ ｍａｃｈｉｎｅ ｔｒａｎｓｌａｌｉｏｎ【（、 ／Ｐｒｏｃｅｔｍ ．－ｄｉｎ Ｊ２，ｓ ｏｆ ＡＣＩ ．２００５：２６３ ２７０． Ｋ ㈣ ｎ ［４］ ａｌ Ｋａｌｃｈｂｒｃｎｎｃｒ，Ｐｈｉｌ Ｐ，Ｉｕｎｓｏｎ１．Ｒｔ ＣＵｔｅｅｎ１【 （）Ｉｌｌｉｎ｜ｌＯｌｌＳ ｔｒａｎｓｌａｔｉｏｎ ｍｏｄｅｌｓ［ ］，／ Ｐｒｏ ｅ’ｔ ｅｄｉｎｇｓ ｏｆ ＥＭＮＩ Ｉ Ｉ：｛． Ｓｅａｔｔｌｅ．Ｗａｓｈｉｎｇｔｏｎ．ＵＳＡ．２Ｏｌ ３：１ ７ＯＯ １ ７（） ）． ｅ Ｅｓ］ Ｋｙｕｎｇｈｙｕｎ Ｃｈｏ．Ｂａｒｔ Ｖａｎ Ｍｅｒｒｉｅｎｂｏｅｒ．Ｌ、ａｇｌａ｜。（；ｉｉ二． ｌ ｈｒｅ．ｅｌ ａ１．Ｉ ｅａｒｎｉｎｇ ｐｈｒａｓｅ ｒｅｐｒ｛、ｓｔ，ｎｌａｔｉｏｎｓ ｔｌｓｉｎｇ ＲＮＮ ｅｎｃ（｝ｄｅｒ ｄｅｃｏｄｅｒ ｆｏ ｒ ｓｔ￣ｔｔｉｓｔ 【ｌ ｍａｃｈｉｎｅ ｌ ｒ￣ｔｌｌＳ１；１１ｉｏｎ Ｊ． ａｒＸｉｖ ｐｒｅｐｒｉｎｔ￡ｌ ｒＸｉｖ：１ ４０６．】０７８．２Ｏ１ １． ［６］ Ｉ）ｚｍｉｔ ｒｙ Ｂａｈｄａｎａｕ，Ｋｙｕｎｇｂｙｕｎ【、ｈｅ．Ｖｏｓｂｔｉｌ ＬＩｊｔ·ｎｇｉｏ． Ｎｅｕｒａｌ ｍａｅｈｉｎｅ ｔ ｒａｎｓｌａｌｉｏｎ ｂｙ ｊ（）ｍｌｌＹ ｈ、 ｌ ｒ１）ｉＩ１Ｈ ｔ‘㈨ｌｉｇｎ ８ｎｄ ｔｒａｎｓｌａｔｅｆ【、， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＣＩ Ｒ ２Ｏ １ ．：［】Ｉ ． Ｅ７］ Ｉｌｙａ Ｓｔ｜ｔ ｓｋｅｖｅｒ．（）ｒｉｏｌ Ｖｉｎｙ￣ｄｓ．Ｑｔｉｔ）（‘Ｖ Ｉ Ｌ、．Ｓｔ＇ｑ ｔｉｔ ｆ】∽… ｓｅｑｕｅｎｃｅ ｌｅａｒｎｉｎｇ ｗｉｔｈ ｎｅｌＩｒａ］ｎｅｔｗｏ ｒｋｓ Ｉ ｒＯＣ ｋ 【ｌ ｉｎｇｓ ｏｆ．２０１ ４，４：３１０１ ３１１：． ｇｅｈｒｉｎｇ Ｊ．Ａｕｌｉ Ｍ．（ｉｒａｎｇｉｅｒ Ｉｊ．ｅｌ｛【【＿（、（）Ｉｌｋ（）Ｉ／１１Ｉ１）ｌ川＂ ｛ｔｕｅｎｃｅ ｌｏ ｓｅｑｕｅｎ（’。ｌｅａｒｎｉｎｇ［－ｌ １．；￣ｒＸｉｘ’ｔ｝ｒｔ Ｉ）ｒｉｌｉｔ ａ ｒＸｉ ｘ： １ ７０ ．０３１ ２２．２０ｌ ７． ［９］ Ａｓｈｉｓｈ Ｖａｓｗａｎｉ．Ｎ｛）｛ｔｉｌｌ Ｓｈａｚｃ ｅｒ． ｉｋｉ ｌ｝ａ ｒｌｌｌ￣ｉＩ‘．Ｌ．１ 【１． Ａｔｔｅｎｌｉｏｉ１ ｉｓ ａｌＩ ｙｏｕ ｎｅｅｄ ｌ Ｊ １．¨ ｌ、 ｐｒｔ ｐｒｉｎｔ…。Ｘｉ ｘ： １ ７０６．０３７６２．２０１７． ［１０］ Ｈｏｃｈｒｅｉｔｅｒ Ｓ．Ｓｃｈｍｉｄｔａｔｉｂｅｒ＿】．Ｉ，ｏｎｇ ５ｔ／｛｝ｒｌ ｔ¨１ｉｎ １１ｉｔ，Ｉｌｌ ｏｒｙ［Ｊ］．Ｎｅｕｒａｌ（＇Ｏｍ１）ｕｔａｔｉ（）ｎ．１ ９９ ７． ）（８）：ｌ ｌ｛ Ｉ ８【）． ［１１］ 孔金英．畅雅婷．等．基丁深 学ｊ』的 ｆ义【１ ｝Ｊｌ 泽研究［【、］．第ｆ‘二扁令闷ｆＪ【器翮 ¨会． 奠徽 肥，２Ｏ１ ６：６７ ７６． ［１ ２］ 哈 Ｉｌ】＋木·阿布郜电 小．刘汀＿．孙 松．冲 ｆＪ【 删 系统在维舟尔 汉讯翻 －ｉｌ的 能埘ｆ Ｉ， 夫学学报．２Ｏｌ ７．５７（８）：８７８ ８８３． 芟山·吾＂２－尔（１ ９８１ ）．博｝。．ＭＩＪ教授．ｉｉ世 究 领域为少数民族自然滑 ’｛处理’ｊ机器翮 Ｅ Ｆｉｌｌ Ｌｉ１：ｈ …１１ ｔ ７９＠ｘｌＵ．ｄｕ．ｉ＇ｌｌ
