Word, Subword or Character? An Empirical Study of Granularity in Chinese-English NMT
National Laboratory of Pattern Recognition, CASIA(中国科学院自动化研究所模式识别国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
神经机器翻译(NMT)是一种新的机器翻译方法,它在多种语言对上的翻译性能优于传统的统计机器翻译(SMT)。翻译是一个开放词汇的问题,但现有的NMT系统大多使用固定词汇,这导致了对稀有词汇的翻译能力不足。这个问题可以通过使用不同的翻译粒度,如字符,子字和混合字字符来缓解。中文翻译是机器翻译中最困难的任务之一,然而,据我们所知,目前还没有任何其他的工作探索哪种翻译粒度最适合于中文翻译。本文以汉英非母语翻译为例进行了广泛的对比研究。此外,我们详细讨论了各种翻译粒度的优点和缺点。实验结果表明,在词汇量不大的情况下,子词模型的翻译效果最好,而词字混合模型的翻译效果最好。不同粒度的实验结果表明,Hybrid_BPE方法在汉英翻译任务中取得了最佳的效果。
2017-11-13 cs.CL
CIBuzzBench: A Benchmark for Cross-Lingual Understanding of Chinese Internet Buzzwords
Dalian University of Technology(大连理工大学);Meta AI;Beijing University of Posts and Telecommunications(北京邮电大学);Meituan(美团);Beijing Police College(北京警察学院)
针对大语言模型跨语言理解中文网络流行语能力不足的问题,构建首个中译英基准CIBuzzBench,包含3001个流行语及多维度标注,设计含义解释、对应匹配和危害检测三项任务,实验表明现有模型在非字面解释、稳健匹配和危害检测上仍存在显著困难。
2026-09-21 cs.AI cs.CL
Zero-shot Chinese Discourse Dependency Parsing via Cross-lingual Mapping
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
由于缺乏标记数据,语篇分析在某些语言中仍然具有挑战性。本文提出了一种利用英语语篇标注数据和句法分析技术进行zero-shot中文文本级依存句法分析的方法。首先从句子和基本话语单位(EDU)两个层面构建汉英映射,然后利用对应英文译文的句法分析结果构建中文文本的话语树。该方法不需要大规模的中文标注数据,就能自动进行汉语篇章分析。
2019-11-27 cs.CL
Upping the Ante: Towards a Better Benchmark for Chinese-to-English Machine Translation
National University of Singapore(新加坡国立大学)
有许多机器翻译(MT)论文提出了新的方法,并显示了对其自定义基线的改进。每篇论文的实验设置往往各不相同。因此,很难确定所提出的方法是否真的有用并推进了最新技术水平。汉英翻译是机器翻译论文中常见的翻译方向,尽管汉英机器翻译还没有一个被广泛接受的实验环境。本文的目标是提出一个中文到英文的机器翻译的评估设置的基准,这样一个新提出的MT方法的有效性可以直接比较以前的方法。为此,我们还构建了一个具有高度竞争力的最先进的MT系统,该系统在大规模训练集上进行训练。我们的系统在过去11年中在计算语言学和人工智能的主要会议和期刊上发表的几乎所有论文中都优于NIST OpenMT测试集的报告结果。我们认为,一个标准化的基准数据和性能是很重要的有意义的比较。
2018-05-04 cs.CL
Character-level Chinese-English Translation through ASCII Encoding
Institute of Neuroinformatics, University of Zürich and ETH Zürich(苏黎世大学与苏黎世联邦理工学院神经信息学研究所)
神经网络机器翻译(NMT)模型最近在许多语言对上取得了令人印象深刻的结果。它们主要适用于印欧语言对,这些语言共享相同的书写系统。然而,对于汉英翻译来说,两种不同的书写系统之间的差距构成了一个重大挑战,因为单个语言单位之间缺乏系统的对应关系。在本文中,我们使字符级的NMT为中国,打破了中国的字符到语言单位类似的印欧语言。我们使用五笔编码方案,它保留了字符的原始形状和语义信息,同时也是可逆的。我们展示了在字符和子字级别上使用递归和卷积模型训练基于Wubi的模型的有希望的结果。
2018-08-27 cs.CL
Evaluating and Preserving Lexical Stress in English-to-Chinese Speech-to-Speech Translation
The Chinese University of Hong Kong, Shenzhen, China(香港中文大学(深圳));Shenzhen Loop Area Institute, China(深圳环域研究所)
针对英汉语音翻译中词汇重音跨语言传递不足的问题,构建重音标注数据集和普通话重音检测器,提出跨语言重音评估指标,并微调CosyVoice3构建重音感知S2ST系统,实验表明该系统在重音翻译能力上显著优于现有系统。
2026-06-16 cs.CL
GCDT: A Chinese RST Treebank for Multigenre and Multilingual Discourse Parsing
Georgetown University(乔治城大学)
由于缺乏大规模人工标注数据,汉语层次语篇分析受到了限制。本文在修辞结构理论的框架下,提出了最大的汉语层次语篇树库GCDT。GCDT涵盖了五种类型的免费文本中超过6万个标记,使用与当代英语树库相同的关系库存。我们还报告了这个数据集的解析实验,包括最先进的(SOTA)得分为中文的GUM数据集和中文的GUM数据集,使用跨语言的训练,在中文和英文的多语言嵌入。
2022-10-19 cs.CL
Bidirectional Chinese and English Passive Sentences Dataset for Machine Translation
Centre de Llenguatge i Computacio (CLiC), Universitat de Barcelona, Spain(巴塞罗那大学语言与计算中心,西班牙);Institut de Recerca en Sistemes Complexos (UBICS), Universitat de Barcelona, Spain(巴塞罗那大学复杂系统研究中心,西班牙)
本文提出一个双向多领域被动语句语料库,用于评估机器翻译中被动语句的处理能力,发现模型更受源文本语气影响,且LLMs在翻译多样性上表现更优。
2026-03-16 cs.CL cs.DB
Semantic Prosody in Machine Translation: the English-Chinese Case of Passive Structures
Centre de Llenguatge i Computacio (CLiC), Universitat de Barcelona(巴塞罗那大学语言与计算中心);Institut de Recerca en Sistemes Complesos (UBICS), Universitat de Barcelona(巴塞罗那大学复杂系统研究所)
针对机器翻译忽视语义韵律的问题,本文构建英汉“被”字句数据集并微调多个模型,使其在翻译中正确使用被动结构,且知识可跨语言迁移。
2025-10-16 cs.CL
The University of Edinburgh's Submissions to the WMT19 News Translation Task
University of Edinburgh(爱丁堡大学)
爱丁堡大学参加了WMT 19新闻翻译共享任务,涉及六种语言:英语到古吉拉特语,古吉拉特语到英语,英语到汉语,汉语到英语,德语到英语和英语到捷克语。对于所有翻译方向,我们创建或使用目标语言的单语数据的反向翻译作为附加的合成训练数据。对于英语-古吉拉特语,我们还探索了具有跨语言语言模型预训练的半监督MT,以及通过印地语的翻译旋转。对于中文翻译,我们研究了基于字符的分词与中文文本的子分词。对于德语到英语,我们研究了大量反向翻译的训练数据对翻译质量的影响,获得了一些额外的见解。对于英语到捷克语,我们比较了不同的预处理和标记化制度。
2019-07-12 cs.CL
Beyond English: Evaluating Automated Measurement of Moral Foundations in Non-English Discourse with a Chinese Case Study
本研究以中文为案例,评估四类方法在非英语语篇道德基础测量中的效果,发现多语言模型与大语言模型(LLMs)表现更优,LLMs数据效率突出,同时强调需人在环路验证以兼顾文化细节,为跨语言道德计算研究提供参考。
2025-07-22 cs.CL cs.SI
Fine Grained Human Evaluation for English-to-Chinese Machine Translation: A Case Study on Scientific Text
Deakin University(迪肯大学);Zhongtukexin Co. Ltd.(中图科信有限公司)
最近的研究表明,神经机器翻译(MT)在新闻领域已经达到了人类水平的性能,但对于其他专业领域,它远远低于人类水平。本文对四种广泛使用的汉英自然语言翻译系统进行了细粒度的系统化人工评价。我们的人工评估结果表明,所有的系统返回平均超过10\%的出错率,这需要大量的后期编辑工作,真正的学术用途。此外,我们还将六种主要的错误类型进行了分类,并提供了一些真实的例子。我们的研究结果强调,在机器翻译界的研究重点应该从短文本的一般翻译转向专业的机器翻译,并建立大规模的双语语料库,这些特定的领域。
2021-09-13 cs.CL
Automated evaluation of LLMs for effective machine translation of Mandarin Chinese to English
本文通过自动化框架评估LLMs在中文到英文翻译中的表现,发现其在新闻翻译中表现良好,但在文学文本中存在性能差异,且文化细节和修辞表达仍需改进。
2026-02-15 cs.AI cs.CL
Fine-grained Human Evaluation of Transformer and Recurrent Approaches to Neural Machine Translation for English-to-Chinese
University of Groningen(格罗宁根大学)
本研究提出了一个细粒度的人的评价比较Transformer和递归的方法神经机器翻译(MT),翻译方向上的英语到汉语。为此,我们开发了一个符合多维质量管理(MQM)框架的错误分类,该框架是定制的翻译方向的相关现象。然后,我们在WMT2019新闻测试集的一个子集上,使用这种自定义的错误分类法对最先进的基于递归和基于transformer的MT系统的输出进行错误注释。由此产生的注释表明,与最佳递归系统相比,最佳Transformer系统导致错误总数减少31%,并且在22个错误类别中的10个中产生的错误显著减少。我们还注意到,两个系统的评估不产生任何错误的一个类别,这是相关的翻译方向之前出现的NMT系统:中国的分类。
2020-06-15 cs.CL
Achieving Human Parity on Automatic Chinese to English News Translation
Microsoft AI & Research(微软人工智能与研究部)
近年来,机器翻译取得了飞速的发展。如今,数百万人在在线翻译系统和移动应用程序中使用它,以便跨越语言障碍进行交流。自然会产生这样的问题,即这种系统是否可以接近或实现与人类翻译的平等。在本文中,我们首先解决的问题,如何定义和准确衡量翻译中的人类平等。然后,我们描述了微软的机器翻译系统,并在广泛使用的WMT 2017新闻翻译任务中测量其翻译质量。我们发现,我们最新的神经机器翻译系统已经达到了最先进的水平,与专业的人工翻译相比,翻译质量与人类不相上下。我们还发现,它大大超过了众包非专业翻译的质量。
2018-06-29 cs.CL
Discourse Representation Structure Parsing for Chinese
University of Groningen(格罗宁根大学)
该研究探索无标注数据下中文话语表征结构语义解析的可行性,构建数据收集流水线与专用测试集,发现副词是主要难点,且机器翻译加英语解析器的效果略低于直接用中文数据训练。
2023-06-16 cs.CL
Extending the Pre-Training of BLOOM for Improved Support of Traditional Chinese: Models, Methods and Results
MediaTek Research(联发科研究院);Academia Sinica(中央研究院)
本文提出BLOOM-zh,通过额外74亿token的预训练扩展BLOOM,增强繁体中文支持,在多数繁体中文基准上优于原模型且保持英文能力。
2023-06-23 cs.AI cs.CL
Evaluation of Chinese-English Machine Translation of Emotion-Loaded Microblog Texts: A Human Annotated Dataset for the Quality Assessment of Emotion Translation
University of Surrey(萨里大学);Xi’an International Studies University(西安外国语大学)
本文提出基于多维质量指标(MQM)的评估框架,分析谷歌翻译对情感负载微博文本的翻译质量,发现约50%的输出丢失原始情感,并识别出情感词、多义词、否定和缩写等主要错误来源。
2023-06-20 cs.CL
Optimising ChatGPT for creativity in literary translation: A case study from English into Dutch, Chinese, Catalan and Spanish
Centre for Language and Cognition, University of Groningen(语言与认知中心,格罗宁根大学);Departament de Llenguatges i Sistemes Informàtics, Universitat d’Alacant(语言与信息系统部门,阿尔阿罕特大学);Departament de Traducció i Comunicació, Universitat Jaume I(翻译与传播部门, Jaime I 大学)
本研究通过六种配置在四种语言中评估ChatGPT文学翻译的创造力,发现温度为1.0时最小指令提示效果最佳,但仍不及人工翻译。
2025-04-25 cs.CL
The Helsinki Neural Machine Translation System
Stockholm University(斯德哥尔摩大学);University of Helsinki(赫尔辛基大学);Uppsala University(乌普萨拉大学)
我们将介绍赫尔辛基神经机器翻译系统(HNMT)及其在WMT 2017新闻翻译任务中的应用,该系统在英语-芬兰语的人工和自动评估中均排名第一。我们讨论了英语-芬兰语翻译的成功和NMT在强大的SMT基线上的整体优势。我们还讨论我们提交的英文-拉脱维亚文、英文-中文和中文-英文。
2017-08-20 cs.CL
Efficient Cross-Lingual Transfer for Chinese Stable Diffusion with Images as Pivots
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京国家信息科学与技术研究中心);Microsoft Research Asia(微软亚洲研究院)
提出IAP方法,通过固定参数并仅优化中文文本编码器,以图像为枢纽最小化交叉注意力特征距离,将英文Stable Diffusion高效迁移至中文,仅用5%~10%训练数据即超越多个强基线。
2023-05-19 cs.CL cs.CV
DiDi's Machine Translation System for WMT2020
AI Labs, DidiChuxing(滴滴出行人工智能实验室)
本文介绍了滴滴AI Labs提交的WMT 2020新闻翻译共享任务。我们参与中文->英文的翻译方向。在这个方向上,我们使用Transformer作为我们的基线模型,并集成了几种模型增强技术,包括数据过滤,数据选择,回译,微调,模型集成和重新排名。因此,我们提交的作品在中文->英文中获得了$36.6$的BLEU分数。
2020-10-16 cs.AI cs.CL
A Discriminative Neural Model for Cross-Lingual Word Alignment
Johns Hopkins University(约翰斯·霍普金斯大学)
我们引入了一种新的判别词对齐模型,我们集成到基于transformer的机器翻译模型。在基于少量标记示例(约1.7K-5 K句子)的实验中,我们从本质上评估了其在英语-中文和英语-阿拉伯语对齐方面的性能,在无监督基线(11-27 F1)上实现了重大改进。我们评估的模型外的数据投影为中国的NER,显示我们的比对导致更高的性能时,用于投影NER标签从英语到中文。最后,我们进行了消融分析和注释实验,共同支持未来手动对齐启发的实用性和可行性。
2019-09-01 cs.CL
Neural Cross-Lingual Coreference Resolution and its Application to Entity Linking
IBM Research(IBM研究院)
我们提出了一个以实体为中心的神经跨语言共指模型,该模型建立在多语言嵌入和语言无关特征的基础上。我们对我们的模型进行内在和外在的评估。在内在评价中,我们表明,我们的模型,当在英语上训练和在中文和西班牙语上测试时,分别达到了直接在中文和西班牙语上训练的模型的竞争结果。在外部评估中,我们表明,我们的英语模型有助于在中文和西班牙语测试集上实现优于2015年顶级TAC系统的实体链接准确性,而无需使用中文或西班牙语的任何注释数据。
2018-06-26 cs.CL
Incorporating Chinese Radicals Into Neural Machine Translation: Deeper Than Character Level
ADAPT Centre(ADAPT中心);Dublin City University(都柏林城市大学);Soochow University(苏州大学)
在神经机器翻译(NMT)中,研究人员面临着不可见(或词汇表外的OOV)单词翻译的挑战。为了解决这个问题,一些研究人员提出将西方语言如英语和德语分成子词或复合词。在本文中,我们试图解决这个OOV问题,并提高NMT充分性与更难的语言中文,其字符是更复杂的组成。我们将汉语偏旁部首与NMT模型结合,通过不同的设置来解决汉英翻译中的未见词问题。另一方面,这也可以被认为是机器翻译系统的语义部分,因为汉语偏旁通常承载着它们所构成的词的本质意义。有意义的偏旁部首和新的汉字可以通过我们的模型被整合到NMT系统中。我们使用基于注意力的NMT系统作为强基线系统。在2006年和2008年NIST标准汉英翻译共享任务数据上的实验表明,我们设计的模型在LEPOR、BEER和BLEU和NIST评分等一系列最新的评价指标上都优于基线模型,尤其是在适当性水平的翻译上。在不同的实验环境下,我们也发现了一些有趣的结果,这些结果与其他语言不同。例如,研究人员最近证明,全字符级NMT在其他一些语言中可能表现良好或处于最先进的状态,然而,在中文NMT模型中,词边界知识对于模型学习很重要。
2019-06-24 cs.CL
Logographic Subword Model for Neural Machine Translation
McMaster University(麦克马斯特大学);Queen’s University(女王大学)
提出了一种新的语标子词模型,将语标重新解释为神经机器翻译的抽象子词。我们的方法大大减小了人工神经网络的大小,同时保持了与基线RNN和CNN seq 2seq模型相当的BLEU分数。较小的模型大小也会导致更短的训练和推理时间。实验表明,在英汉/汉英翻译任务中,这些方面的减少可以从$11\%$到高达$77\%$。与以前的子词模型相比,抽象子词可以应用于各种语标语言。考虑到大多数的语标语言是古老的和非常低的资源语言,这些优势是非常可取的考古计算语言学应用,如资源有限的离线手持人口英语翻译。
2018-09-07 cs.CL cs.LG
Multi-agent Learning for Neural Machine Translation
Baidu Inc.(百度公司)
传统的神经机器翻译(NMT)模型受益于使用附加代理的训练,例如,双学习和双向解码,其中一个代理从左到右解码,而另一个代理在相反方向上解码。在本文中,我们通过引入不同的代理在一个交互式的更新过程中的多代理场景的培训框架。在训练时,每个代理从其他代理学习先进的知识,他们一起工作,以提高翻译质量。在NIST中文-英文、IWITH 2014德文-英文、WMT 2014英文-德文和大规模中文-英文翻译任务上的实验结果表明,该方法在强基线系统上取得了绝对的改进,并在所有任务上表现出竞争力。
2019-09-03 cs.CL
Summer: WeChat Neural Machine Translation Systems for the WMT22 Biomedical Translation Task
Tencent Inc(腾讯公司)
本文介绍了微信参与WMT 2022共享的生物医学翻译任务中到英。我们的系统是基于Transformer,并使用几种不同的Transformer结构,以提高翻译质量。在我们的实验中,我们采用数据过滤,数据生成,几个变种的Transformer,微调和模型集成。我们的中文$\to$英文系统Summer在所有提交的作品中获得了最高的BLEU分数。
2022-11-28 cs.CL
Linguistically-driven Multi-task Pre-training for Low-resource Neural Machine Translation
Graduate School of Informatics, Kyoto University(京都大学信息学研究科)
在本研究中,我们提出了新的序列到序列预训练目标低资源机器翻译(NMT):日语特定序列到序列(JASS)的语言对涉及日语作为源或目标语言,英语特定序列到序列(ENSS)的语言对涉及英语。JASS侧重于掩蔽和重新排序日语语言单位称为文组,而ENSS是基于短语结构掩蔽和重新排序任务。在ASPEC日语-英语和日语-汉语,维基百科日语-汉语,新闻英语-韩语语料库上的实验表明,JASS和ENSS优于MASS和其他现有的语言无关的预训练方法,对于日语-英语任务,最高可达+2.9 BLEU点,对于日语-汉语任务,最高可达+7.0 BLEU点,对于英语-韩语任务,最高可达+1.3 BLEU点。实证分析侧重于JASS和ENSS中各个部分之间的关系,揭示了JASS和ENSS子任务的互补性。使用LASER,人类评估和案例研究的准确性评估表明,我们提出的方法在没有注入语言知识的情况下显着优于预训练方法,并且与流畅性相比,它们对充分性有更大的积极影响。我们在这里发布代码:https://github.com/Mao-KU/JASS/tree/master/linguistically-driven-pretraining.
2022-01-20 cs.CL
CUTE: A Multilingual Dataset for Enhancing Cross-Lingual Knowledge Transfer in Low-Resource Languages
Minzu University of China(中国民族大学);National Language Resource Monitoring & Research Center Minority Languages Branch(国家语言资源监测与研究中心少数民族语言分中心)
本文构建并开源了包含中、英、维吾尔、藏四语的大规模语料库CUTE,验证了其机器翻译质量,并证明该数据集能有效提升大语言模型对低资源语言的处理能力。
2025-09-21 cs.CL
Multi-Task Learning for Cross-Lingual Abstractive Summarization
Tokyo Institute of Technology(东京工业大学)
我们提出了一个多任务的跨语言抽象摘要的学习框架,以增加训练数据。最近的研究构建了伪跨语言摘要数据训练他们的神经编码器-解码器。同时,我们引入现有的真实数据,如翻译对和单语摘要数据进行训练。我们提出的方法,Transum,附加一个特殊的令牌的输入句子的开头,以指示目标任务。特殊的令牌使我们能够将真实数据轻松地合并到训练数据中。实验结果表明,与仅使用伪跨语言摘要数据训练的模型相比,Transum模型具有更好的性能。此外,我们在中文-英文和阿拉伯文-英文摘要摘要方面取得了最高的ROUGE分数。此外,Transum还对机器翻译产生了积极的影响。实验结果表明,在中文-英文、阿拉伯文-英文和英文-日文翻译数据集上,Transsum提高了强基线Transformer的性能。
2020-10-15 cs.CL
Evaluating Indirect Strategies for Chinese-Spanish Statistical Machine Translation
Institute for Infocomm Research(信息通信研究所)
尽管汉语和西班牙语是世界上使用最多的两种语言,但对这两种语言的机器翻译研究并不多。统计机器翻译是当今最流行的机器翻译方法之一。为了这个目的,我们报告的细节,可用的平行语料库是基本的旅行者表达语料库(BTEC),圣经和联合国(UN)。此外,我们进行了实验工作,这三个语料库中最大的探索替代SMT策略,通过使用枢轴语言。三种替代方案被认为是枢:级联,伪语料库和三角测量。作为枢纽语言,我们使用英语,阿拉伯语或法语。结果表明,对于一个基于短语的SMT系统,英语是最好的枢纽语言之间的中文和西班牙语。我们提出了一个系统的输出组合使用枢轴策略,这是能够优于直接翻译策略。这项工作的主要目标是激励和参与研究界在这对重要的语言工作,因为它们的人口影响。
2014-02-04 cs.CL
Neural Machine Translation with Joint Representation
Northeastern University(东北大学);NiuTrans Co., Ltd.(小牛翻译股份有限公司);Institute of Psychology, CAS(中国科学院心理研究所)
尽管统计机器翻译(SMT)系统的早期成功部分归功于任何两个源单元和目标单元之间交互的显式建模,例如,对齐,最近的神经机器翻译(NMT)系统诉诸的注意,部分编码的互动效率。在本文中,我们采用联合表示,充分考虑到每个可能的相互作用。我们回避了效率低下的问题,通过改进表示与建议的有效注意力操作。由此产生的Reformer模型提供了一种新的序列到序列建模范式,除了编码器-解码器框架之外,并且在小规模IWSLT 14德语-英语,英语-德语和IWSLT 15越南语-英语或大规模NIST 12中文-英语翻译任务中优于Transformer基线约1 BLEU点。允许Reformer模型在IWSLT 14德-英和NIST 12中-英中以大约少50%的参数击败最先进的Transformer。该代码可在https://github.com/lyy1994/reformer上公开获取。
2020-02-18 cs.CL
BCWS: Bilingual Contextual Word Similarity
National Taiwan University(国立台湾大学)
本文介绍了第一个用于评估英汉双语上下文词相似度的数据集,即BCWS(https://github.com/MiuLab/BCWS)。该数据集由2,091个英汉单词对组成,具有相应的上下文和人类注释的相似性得分。与其他类似的数据集相比,我们的注释数据集具有更高的一致性。我们为双语嵌入任务建立了几个基线来衡量实验。对该数据集中提供的跨语言意义表示进行建模,有可能使人工智能从单语理解转向多语言理解。
2018-10-21 cs.CL
Cross-lingual Inference with A Chinese Entailment Graph
University of Edinburgh(爱丁堡大学);Google Research(谷歌研究院)
谓词蕴涵检测是文本问答系统中的一个重要任务,已有的工作探索了从类型化开放关系三元组中提取蕴涵图的无监督学习。在本文中,我们提出了第一个流水线构建中国蕴涵图,其中包括一个新的高召回率开放关系抽取(ORE)方法和第一个中国细粒度实体分类数据集下的FIGER类型的本体。通过在Levy-Holt数据集上的实验,我们验证了我们的中文蕴涵图的强度,并揭示了跨语言的互补性:在并行Levy-Holt数据集上,中文和英文蕴涵图的集成优于两个单语图,并将无监督SOTA提高了4.7个AUC点。
2022-03-11 cs.CL
CLM-Bench: Benchmarking and Analyzing Cross-lingual Misalignment of LLMs in Knowledge Editing
Tianjin University, School of Future Technology(天津大学,未来技术学院);Tianjin University, College of Intelligence and Computing(天津大学,智能计算学院)
CLM-Bench通过构建文化意识的基准,揭示了LLMs在知识编辑中的跨语言不对齐问题,挑战了现有跨语言转移方法的有效性。
2026-01-24 cs.CL
Adpositional Supersenses for Mandarin Chinese
Georgetown University(乔治城大学)
本研究采用语义网络的形容词和格的超义项(SNACS)的注释,并证明了相同的超义项类别是适用于汉语形容词语义。我们对《小王子》的15章进行了注释,注释者之间的一致性很高。平行语料库揭示了两种语言的形容词在连接上的差异,即一些汉语中常见而英语语料库中罕见或未被证实的连接词。标注语料库可以进一步支持汉语中介词的自动消歧,并且两种语言之间的共同超义项清单可以潜在地服务于诸如机器翻译的跨语言任务。
2018-12-06 cs.CL
Generating Bilingual Pragmatic Color References
Stanford University(斯坦福大学);Harvard University(哈佛大学);San Jose State University(圣何塞州立大学)
语境对语言的影响经常表现出实质性的跨语言差异;例如,在需要更精细区分的情况下,我们会更罗嗦。然而,这些术语有时会被语义和句法上的差异所掩盖。使用一个新收集的数据集的颜色参考游戏在普通话中(我们向公众发布),我们证实,各种结构显示出相同的敏感性上下文难度在汉语和英语。然后,我们表明,一个神经扬声器代理训练的双语数据与一个简单的多任务学习方法显示更多的类似人类的模式的上下文依赖,更实用的信息比单语中文对应。此外,这并不是以语言特定的语义理解为代价的:所产生的说话者模型学习英语和汉语的不同基本颜色术语系统(具有显著的跨语言影响),并且它可以在其输出层上使用向量类比操作来识别两种语言之间的同义词,尽管没有暴露于并行数据。
2018-05-19 cs.CL
Detecting dementia in Mandarin Chinese using transfer learning from a parallel corpus
University of Toronto(多伦多大学);Vector Institute(矢量研究所);Academia Sinica(中央研究院);Toronto Rehabilitation Institute(多伦多康复研究所)
机器学习已经显示出通过语音自动检测阿尔茨海默病(AD)的前景;然而,数据的稀缺阻碍了这一努力,特别是英语以外的语言。我们提出了一种方法来学习两种语言中独立设计的词汇句法特征之间的对应关系,使用大型并行语料库的域外电影对话数据。我们将其应用于普通话中的痴呆检测,并证明我们的方法优于单语和基于机器翻译的基线。这似乎是第一项在检测认知能力下降时转移特征域的研究。
2019-06-01 cs.CL
Multi-lingual Geoparsing based on Machine Translation
Wuhan University(武汉大学);Carnegie Mellon University(卡内基梅隆大学)
我们的多语言地理解析方法使用单语言工具和资源以及机器翻译和对齐来返回多种语言的位置词。我们的方法不仅节省了为每种语言单独开发地理解析器的时间和成本,而且它允许在单个接口中实现各种语言功能的可能性。我们评估了我们的方法在我们的命名实体的位置上使用新闻通讯社,广播新闻和电话交谈,英语,阿拉伯语和中文数据的语言数据联盟(LDC)的BidageBridge原型。我们的结果地理分析中文和阿拉伯语文本使用我们的多语言地理分析方法是我们的结果地理分析英语文本与我们的英语工具。此外,使用我们的机器翻译方法的实验结果与手动翻译的相同数据的结果相比具有准确性。
2015-11-06 cs.CL cs.IR
CCAE: A Corpus of Chinese-based Asian Englishes
University of Science and Technology Beijing(北京科技大学)
本研究构建了包含6种基于中文的亚洲英语变体、规模达3.4亿token的CCAE语料库,填补了中式英语公开语料的空白,为世界英语的NLP研究提供支撑资源。
2023-10-09 cs.AI cs.CL cs.LG
Pretraining Chinese BERT for Detecting Word Insertion and Deletion Errors
Central South University(中南大学);Tencent AI Lab(腾讯人工智能实验室)
中文BERT模型在处理词替换的语法错误方面取得了显著的进展。但是,它们不能处理单词的插入和删除,因为BERT假设每个位置都存在一个单词。为了解决这个问题,我们提出了一个简单有效的中文预训练模型。其基本思想是使模型能够确定单词是否存在于特定位置。我们通过引入一个特殊的标记\texttt{[null]}来实现这一点,该标记的预测代表一个词的不存在。在训练阶段,我们设计了预训练任务,使得模型学习预测\texttt{[null]}和真实单词。在推理阶段,该模型很容易检测是否应该插入或删除一个词与标准的掩蔽语言建模功能。我们进一步创建了一个评估数据集,以促进对单词插入和删除的研究。它包括对7,726个错误句子的人工注释更正。结果表明,现有的中文BERT在检测插入和删除错误方面表现不佳。我们的方法显着提高了F1分数从24.1%到78.1%的词插入和从26.5%到68.5%的词删除,分别。
2022-04-26 cs.CL
Code-Based English Models Surprising Performance on Chinese QA Pair Extraction Task
Ant Group(蚂蚁集团)
本研究发现基于代码的模型不仅在推理密集场景优于文本模型,在中文问答对抽取任务中表现也很突出,含一定中文数据的此类模型性能更优,还为“中文屋”思想实验讨论提供了新视角。
2024-03-11 cs.AI cs.CL
Expanding Scope: Adapting English Adversarial Attacks to Chinese
University of Virginia(弗吉尼亚大学)
本文研究英文SOTA对抗攻击向中文的适配,表明结合中文分词、语言约束及形态音韵特征可生成流畅且语义一致的对抗样本,用于增强中文NLP模型鲁棒性。
2023-06-08 cs.AI cs.CL cs.CR
The Translation Tax Is Not a Scalar: A Counterfactual Audit of English-Source Cue Inheritance in Chinese Multilingual Benchmarks
OpenAI;NeurIPS 2025 workshop(NeurIPS 2025 工作坊)
本文通过反事实审计揭示翻译税并非单一标量,指出翻译基准测试中存在估计器和项目依赖的有效性风险,并提供相关证据和检查清单。
2026-05-08 cs.AI cs.CL cs.LG
Is China Entering WTO or shijie maoyi zuzhi--a Corpus Study of English Acronyms in Chinese Newspapers
Indiana University Bloomington(印第安纳大学伯明顿分校)
这是第一个定量研究英文缩略语(如WTO)在中文文本中的使用情况的研究。利用报纸语料库,我试图回答:1)对于所有有英文缩写的概念(如World Trade Organization),有多少百分比是用英文缩写(WTO)表达的,有多少百分比是用中文翻译(世界贸易组织)表达的; 2)语言使用者在英文和中文形式之间的选择中起作用的因素是什么?结果表明,不同的概念在英语缩略词中所占的比例不同,从2%到98%不等。线性模型显示,语言经济性(中文翻译的长度)、概念频率以及概念在中文报纸上首次出现是英文缩写还是其中文翻译(均p < .05)可以预测单个概念的英文缩写。
2017-11-18 cs.CL
Chinese Learners' Phonetic Transfer of /i/ from Mandarin Chinese to General American English: A Case Study of a Chinese Learner with Advanced English
Teachers College, Columbia University(哥伦比亚大学教师学院)
本文从语音层面探讨语言迁移现象,着重探讨高级英语学习者在英语元音/i/及其对应元音习得中的迁移现象。本文通过对中国英语学习者Vanya在普通美国英语中是否能准确区分/i/和其lax对应词,并准确发音的研究,为进一步研究中国英语学习者之间的语言迁移提供参考。有两个目标:首先,研究学习者区分元音/i/和其宽松对应物的感知能力; 2其次,确定语音迁移的效果。两个感知测试和生产测试被用来实现这两个目标。两次感知测试的结果证明了Vanya区分/i/和其宽松对应物的感知能力,为后续生产测试的有效性奠定了坚实的基础。考虑到Vanya的/i/的F1和F2值在他的第一语言(汉语普通话)和第二语言(GAE)中高度相似,并且这两个值都低于GAE中常见/i/的典型值,F2值之间的差异特别突出,可以合理地得出发生语音迁移的结论。参与者的高知觉能力作为一个先进的水平ELL并没有显着缓和语音迁移的效果。
2022-10-20 cs.CL
Bridge Diffusion Model: Bridge Chinese Text-to-Image Diffusion Model with English Communities
本文提出桥扩散模型,通过端到端结构学习中文语义并保持潜在空间与英文文本到图像模型的兼容性,实现中英文语义融合生成。
2026-03-17 cs.AI cs.CL
Contrastive Analysis of Constituent Order Preferences Within Adverbial Roles in English and Chinese News: A Large-Language-Model-Driven Approach
School of Humanities, Beijing University of Posts and Telecommunications(北京邮电大学人文学院)
本文以LLM标注的可比英汉语新闻语料为基础,从状语角色功能块视角对比英汉语新闻语序偏好,揭示了两者在核心信息叙事顺序、SVO结构中功能块分布及共现时灵活性的差异,为英汉语信息结构对比研究提供新实证支持。
2025-08-08 cs.CL
Unique Chinese Linguistic Phenomena
Tongji University(同济大学)
语言学具有普遍性、稳定性和民族性的特点,这将影响抽取策略的制定,应纳入关系抽取中。汉语开放关系抽取的研究还不成熟,这是因为汉语语言的复杂性使其操作起来比较困难,而且针对英语和汉语的方法也不兼容。英汉语言学的差异主要体现在词法和句法上。
2020-10-29 cs.AI cs.CL
Aligning a Parallel English-Chinese Corpus Statistically with Lexical Criteria
我们描述了我们的经验与自动对齐的句子在平行的英汉文本。我们的报告涉及三个相关的主题:(1)香港科技大学英汉双语平行语料库的进展;(2)Gale & Church的基于长度的统计方法对非印欧语言对齐任务的适用性实验;(3)改进的统计方法,也结合了特定领域的词汇线索。
1994-06-02 cmp-lg cs.CL
Which Encoding is the Best for Text Classification in Chinese, English, Japanese and Korean?
Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所);Center for Data Science, New York University(纽约大学数据科学中心);Facebook AI Research, Facebook Inc.(Facebook 公司人工智能研究院)
本文对中、日、韩、英四种语言的不同编码方法进行了实证研究。研究了不同的编码级别,包括UTF-8字节、字符、单词、罗马化字符和罗马化单词。对于所有编码级别,只要适用,我们就提供与线性模型,fastText和卷积网络的比较。对于卷积网络,我们比较了使用字符串图像、one-hot(或one-of-n)编码和嵌入的编码机制。总共有473个模型,使用14个大规模文本分类数据集,包括中文,英文,日文和韩文。从这些结果中得出的一些结论包括,基于UTF-8的字节级独热编码始终为卷积网络产生有竞争力的结果,即使没有完美的分词,单词级n-gram线性模型也具有竞争力,fastText使用字符级n-gram编码提供最佳结果,但当特征过于丰富时可能会过拟合。
2017-08-17 cs.CL cs.LG
Do Evaluation Metrics Detect Errors in Classical Chinese to English Translations?
University of Maryland(马里兰大学)
本研究以古文汉英翻译为测试案例,引入诊断框架探查现有翻译评估指标的可靠性,发现MetricX24整体表现最佳,凸显需开发更适配历史文化独特场景的翻译评估指标。
2026-08-13 cs.AI cs.CL
English-to-Chinese Transliteration with Phonetic Back-transliteration
音译是基于语音相似性将命名实体从一种语言翻译成另一种语言的任务。近年来,这项任务采用了深度学习方法,但大多数都忽略了所涉及语言的语音特征。在这项工作中,我们以两种方式将语音信息纳入神经网络:我们使用前向和反向翻译但以语音方式合成额外数据;并且在学习音译之前,我们对语音任务进行预训练模型。我们的实验包括三个语言对和六个方向,即英语和汉语,希伯来语和泰语。结果表明,我们提出的方法带来的好处,该模型,并实现更好或类似的性能相比,最先进的。
2022-01-21 cs.AI cs.CL