英中可比语料库中多词表达自动提取与对齐

Ｃｏｍｐｕ￣ｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用

英中可比语料库中多词表达自动提取与对齐

肖 健，徐建，徐晓兰，袁琦

ＸＩＡ０ Ｊｉａｎ，ＸＵ Ｊｉａｎ，ＸＵ Ｘｉａｏ—ｌａｎ，ＹＵＡＮ Ｑｉ

中国电子信息产业发展研究院，北京１０００４４

Ｃｈｉｎａ Ｃｅｎｔｅｒ ｆｏｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｉｎｄｕｓｔｒｙ Ｄｅｖｅｌｏｐｍｅｎｔ，Ｂｅｉｊｉｎｇ １０００４４，Ｃｈｉｎａ

Ｅ－ｍａｉｌ：Ｙｑ＠ｃｃｉｄｉｔ．ｃｏｍ

ＸＩＡＯ Ｊｉａｎ，ＸＵ Ｊｉａｎ，ＸＵ Ｘｉａｏ－ｌａｎ，ｅｔ ａ１．Ａｕｔｏｍａｔｉｃ ｅｘｔｒａｃｔｉｏｎ ａｎｄ ａｌｉｇｎｍｅｎｔ ｏｆ ｍｕｌｉｗｏｒｄ ｅｘｐｒｅｓｓｉｆｏｎｓ ｆｒｏｍ Ｅｎｇｌｉｓｈ－Ｃｈｉ－

ｎｅｓｅ ｃｏｍｐａｒａｂｌｅ ｃｏｒｐｕｓ．Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ ＡｐｐＨｅａｆｉｏｎｓ，２０１０，４６（３１）：１３０－１３４．

Ａｂｓｔｒａｃｔ：Ｍｕｌｉｆｗｏｒｄ Ｅｘｐｒｅｓｓｉｏｎｓ（ＭＷＥ）ａｒｅ ｉｍｐｏｒｔａｎｔ ｆｏｒ ｐｒａｃｔｉｃａｌ ａｐｐｌｉｃａｔｉｏｎｓ，ｓｕｃｈ ａｓ ｍａｃｈｉｎｅ ｔｒａｎｓｌａｔｉｏｎ（ｈｅｎｃｅｆｏｒｔｈ，

ＭＴ），ｍｕｌｔｉｌｉｎｇｕａｌ ｉｎｆｏｒｍａｔｉｏｎ ｒｅｔｒｉｅｖａｌ，ｄａｔａ ｍｉｎｉｎｇ ａｎｄ ｏｔｈｅｒ ｎａｔｕｒａｌ ｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓｉｎｇ．Ａ ｍｅｔｈｏｄ ｏｆ ｃｏｍｂｉｎｉｎｇ ｓｅｍａｎｔｉｃ

ｔｅｍｐｌａｔｅ ａｎｄ ｓｔａｔｉｓｔｉｃａｌ ｔｏｏｌ ｉｓ ｐｒｏｐｏｓｅｄ ｆｏｒ ａｕｔｏｍａｔｉｃａｌｌｙ ｅｘｔｒａｃｔｉｎｇ ｎａｔｉｖｅ Ｅｎｇｌｉｓｈ ＭＷＥ ｆｒｏｍ ｔｈｒｅｅ—ｔｕｐｌｅ ｃｏｍｐａｒａｂｌｅ ｃｏｒｐｕｓ．

Ｔｈｅｓａｕｒｕｓ－ｂａｓｅｄ ａｎｄ ｄｉｓｔｒｉｂｕｔｉｏｎａｌ ｍｅｔｈｏｄｓ ａｒｅ ｈａｒｎｅｓｓｅｄ ｔｏ ｃａｌｃｕｌａｔｅ ｔｈｅ ｓｅｍａｎｔｉｃ ｒｅｌａｔｉｏｎｓ ｂｅｔｗｅｅｎ ｗｏｒｄｓ ｆｏｒ ｉｍｐｒｏｖｉｎｇ

ＭＷＥ ｃｏｖｅｒａｇｅ．ＧＩＺＡ＋＋ｉｓ ｅｘｅｃｕｔｅｄ ｔｏ ａｌｉｇｎ ｗｏｒｄｓ ａｔ ｓｅｎｔｅｎｃｅ ｌｅｖｅ１．ａｉｍｉｎｇ ａｔ ｏｂｔａｉｎｉｎｇ Ｃｈｉｎｅｓｅ ＭＷＥ ｃａｎｄｉｄａｔｅｓ．Ｆｏｒ ｅａｃｈ

ｎａｔｉｖｅ Ｅｎｇｌｉｓｈ ＭＷＥ，ａｌｌ ｏｆ ｔｈｅ Ｃｈｉｎｅｓｅ ＭＷＥ ｃａｎｄｉｄａｔｅｓ ａｒｅ ｃｏｌｌｅｃｔｅｄ ａｎｄ ｓｏｒｔｅｄ ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅｉｒ ＣＯ－ｏｃｃｕｒｒｅｎｃｅ ａｆｉｎｉｔｆｙ．

Ｏｎｌｙ ｔｈｅ ｔｏｐ ｏｎｅ ｉｓ ａｃｃｅｐｔｅｄ ａｓ ｔｒｕｅ Ｃｈｉｎｅｓｅ ｔｒａｎｓｌａｔｉｏｎ ｏｆ ｔｈｅ ｇｉｖｅｎ Ｅｎｇｌｉｓｈ ＭＷＥ．Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈｅ ｐｒｏｐｏｓｅｄ

ｔｅｃｈｎｉｑｕｅ ｉｍｐｒｏｖｅｓ ＭＷＥ ｅｘｔｒａｃｔｉｏｎ ａｎｄ ａｌｉｇｎｍｅｎｔ ｅｆｉｃｉｆｅｎｔｌｙ．

Ｋｅｙ ｗｏｒｄｓ：ｔｈｒｅｅ—ｔｕｐｌｅ ｃｏｍｐａｒａｂｌｅ ｃｏｒｐｕｓ；ｍｕｌｔｉｗｏｒｄ ｅｘｐｒｅｓｓｉｏｎｓ（ＭＷＥ）；ｓｅｍａｎｔｉｃ ｔｅｍｐｌａｔｅ

摘要：多词表达（ＭｗＥ）不仅用来提高当前机器翻译系统质量，而且也用于跨语言检索和数据挖掘等其他自然语言处理领域。

为此，提出了基于语义模板与基于统计工具相结合的方法从三元纽可比语料库中自动提取本族英语ＭＷＥ。采用基于词表和分

布方法计算词语间的相似度，扩大ＭＷＥ覆盖范围。利用ＧＩｚＡ＋＋对齐算法提取对译的中文ＭｗＥ，依据统计方法计算互译概率

信息，根据概率大小，选择最佳英汉ＭＷＥ互译对。实验结果表明上述方法可以有效提高ＭＷＥ提取和对齐的准确率。

关键词：三元组可比语料库；多词表达（ＭＷＥ）；语义模板

ＤＯＩ：１０．３７７８￣．ｉｓｓｎ．１００２．８３３１．２０ｒ０＿３１．０３７ 文章编号：１００２．８３３１（２０１０）３１－０１３０ ０５ 文献标识码：Ａ 中图分类号：ＴＰ３９１

１引言

平行语料库（ｐａｒａｌｌｅｌ ｃｏｒｐｕｓ）由源语文本和目标语文本构

成，长期以来在机器翻译领域被广泛用于构建ＭＷＥ互译对的

研究和应用，用以提高机器翻译系统的质量。随着研究的进

一

（ｗｅａｐｏｎｓ ｏｆ ｍａｓｓ ｄｅｓｔｒｕｃｔｉｏｎ）等，而这些新词及其对译词对

ＭＷＥ提取和对齐起着十分重要的作用。

可比语料库（ｃｏｍｐａｒａｂｌｅ ｃｏｒｐｕｓ）是由某些具有相同属性

步深入，研究人员发现基于平行语料库获取ＭＷＥ互译对存

在汉英机器翻译中，目标语若为英语且由中国人翻译，则 ｐｕｓ）由本族英语（本族英语指由以英语为母语的人写的英语）

的文本构成，ＥＡＧＬＥＳ项目１９９６年将可比语料库定义为：“选

取了一种语言以上的相似文本或者一种语言的不同类型文

本”。本文的三元组可比语料库（ｔｒｅｅ．ｈｔｕｐｌｅ ｃｏｍｐａｒａｂｌｅ ｃｏｒ．

在如下不足：（１）ＭＷＥ互译对中，目标语存在“扭斜”现象。

带有明显的“翻译腔”，称之为中式英语（Ｃｈｉｎｅｓｅ ｔｒａｎｓｌａｔｉｏ．

文本、中式英语文本和中文文本构成。通过对比本族英语和

中式英语之间的差别，解决由中式英语导致的“扭斜”问题，奠

ｎｅｓｅ）。例如，当我们使用Ｇｏｏｇｌｅ检索“英国电子信息产品”，

检索的结果均涉及“英国电子图书文献”。其根源是国内具有 定了高质量的ＭＷＥ互译对基础，从而提高机器翻泽的质量。

扭斜特征的平行语料库训练得到的应用系统，因为该应用系 当然，这样的可比语料库，除了有助于提高机器译文质量之

具有扭斜的语言模型，所以通过该平行语料库，国内的“电子 外，也有助于提高人工翻译质量。三元组可比语料库中的英

信息产品”无法生成“ｅｌｅｃｒｔｏｎｉｃｓ ａｎｄ ＩＴ ｐｒｏｄｕｃｔｓ”，但却生成 语是由本族英语和中式英语构成，由不同的人用同一种语言

了扭斜的“ｅｌｅｃｔｒｏｎｉｃ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｄｕｃｔｓ”；（２）平行语料库难 来描述事件。例如，针对体育赛事，不同的人很可能分别用本

以捕获新词（未登录词）及其对译词，例如，大规模杀伤武器

族英语和中式英语对同一事件进行报道，因此具有可比性。

基金项目：国家自然科学基金（ｔｈｅ Ｎａｔｉｏｎａｌ Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｆｏｕｎｄａｔｉｏｎ ｏｆ Ｃｈｉｎａ ｕｎｄｅｒ Ｇｒａｎｔ Ｎｏ．６０８７２１１８）。

作者简介：肖健（１９７２．），男，硕士 研究方向：自然语言处理、机器翻译；徐建（１９８２．），男，硕士，研究方向：自然语言处理、机器翻译；徐晓兰

（１９６４．），女，硕士，研究方向；计算机应用、中文信息处理；袁琦（１９３９．），男，研究员，研究方向：中文信息处理、机器翻译。

收稿日期：２００９．１２．３０修回日期：２０１０—０３－１７