Making Better Use of Bilingual Information for Cross-Lingual AMR Parsing
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Center for Data Science, Peking University（北京大学数据科学中心）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
抽象语义表示（AMR）是一种表示自然语言语义的带根、带标号的无环图。正如以前的工作表明，虽然AMR最初是为英语设计的，但它也可以表示其他语言的语义。然而，他们发现他们预测的AMR图中的概念不太具体。我们认为，概念的错误预测是由于英语标记和AMR概念之间的高度相关性。在这项工作中，我们引入双语输入，即翻译文本以及非英语文本，以使模型能够预测更准确的概念。此外，我们还引入了一个辅助任务，要求解码器同时预测英语序列。辅助任务可以帮助解码器理解对应的英语标记到底是什么。我们提出的跨语言AMR解析器在Smatch F1得分上超过了以前最先进的解析器10.6分。消融研究也证明了我们提出的模块的有效性。
2021-06-09 cs.CL
A Dynamic, Interpreted CheckList for Meaning-oriented NLG Metric Evaluation -- through the Lens of Semantic Similarity Rating
Heidelberg University（海德堡大学）
评估生成的文本的质量是困难的，因为传统的NLG评估指标，更注重表面形式而不是意义，往往无法分配适当的分数。考虑到AMR的抽象性质，这对于AMR到文本的评估尤其成问题。我们的工作旨在通过为NLG指标开发一个动态检查表来支持开发和改进以意义为重点的NLG评估指标，该检查表通过围绕意义相关的语言现象进行组织来解释。每个测试实例由一对带有AMR图的句子和人工生成的文本语义相似性或相关性分数组成。我们的检查表有利于指标的比较评估，并揭示了新的和传统的指标的优势和劣势。我们证明了CheckList的有用性，设计了一个新的度量GraCo计算词汇的凝聚力图AMR概念。我们的分析表明，GraCo提出了一个有趣的NLG度量值得未来的研究，意义导向的NLG度量可以受益于基于图的度量组件使用AMR。
2022-05-24 cs.CL
Spanish Abstract Meaning Representation: Annotation of a General Corpus
Georgetown University（乔治城大学）；Saarland University（萨尔大学）
抽象意义表示（AMR）形式主义，最初是为英语设计的，已经适应了许多语言。我们建立在以前的工作，提出了西班牙语的AMR注释，这导致了50个西班牙语AMR注释的虚构文本“小王子”的发布。“在这项工作中，我们提出了第一个相当大的，一般注释项目西班牙语抽象意义表示。我们的方法注释使用的AnCora-Net词汇的西班牙语角色集，并扩展英语AMR特定于西班牙语的语义功能。除了我们的指南，我们还发布了一个注释语料库（共586个注释，486个独特的句子），其中包含来自“抽象意义表示2.0 -四种翻译”Sembank的多种类型的文档。该语料库通常用于评估AMR解析和生成，但不包括黄金AMR;我们希望为该数据集提供黄金注释可以导致更完整的跨语言AMR解析方法。最后，我们进行了分歧分析，并讨论了我们的工作对AMR的适应性，以英语以外的语言的影响。
2022-04-15 cs.CL
Using Syntax-Based Machine Translation to Parse English into Abstract Meaning Representation
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
我们提出了一个分析器的抽象意义表示（AMR）。我们对待英语AMR转换的框架内，字符串到树，基于语法的机器翻译（SBMT）。为了完成这项工作，我们将AMR结构转换为适合SBMT力学和建模的形式。我们引入了AMR特定的语言模型，并添加了从语义资源中提取的数据和特征。我们得到的AMR解析器提高了7个Smatch点的最先进的结果。
2015-04-28 cs.AI cs.CL
GUMSum: Multi-Genre Data and Evaluation for English Abstractive Summarization
Georgetown University（乔治城大学）
GUMSum构建了12种体裁的英语摘要数据集，评估发现GPT3虽流畅但仍有幻觉且不如人类，并揭示了不同方法生成摘要的错误类型与挑战。
2023-06-20 cs.CL
Multilingual AMR Parsing with Noisy Knowledge Distillation
The Chinese University of Hong Kong（香港中文大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
本文从知识蒸馏的角度研究多语言AMR句法分析，目的是以现有的英语句法分析器为教师，学习和改进多语言AMR句法分析器。我们将我们的探索限制在严格的多语言环境中：只有一个模型可以解析所有不同的语言，包括英语。我们确定，嘈杂的输入和精确的输出是成功蒸馏的关键。再加上广泛的预训练，我们得到了一个AMR解析器，其性能超过了所有以前发表的结果，四种不同的外语，包括德语，西班牙语，意大利语和中文，由大利润率（高达18.8 \textsc{Smatch}点，中文和平均11.3 \textsc{Smatch}点）。我们的解析器在英语上也达到了与最新的最先进的纯英语解析器相当的性能。
2021-10-14 cs.AI cs.CL
Bootstrapping Multilingual AMR with Contextual Word Alignments
University of Pennsylvania（宾夕法尼亚大学）；IBM Research（IBM研究院）
我们开发了高性能的多语言抽象意义表示（AMR）系统，通过投影英语AMR注释到其他语言的弱监督。我们通过引导基于transformer的多语言词嵌入来实现这一目标，特别是那些来自跨语言RoberTa（XLM-R large）的词嵌入。我们开发了一种新的技术，用于外国文本到英语AMR对齐，使用英语和外语标记之间的上下文单词对齐。这种词对齐是弱监督的，依赖于上下文化的XLM-R词嵌入。我们实现了非常有竞争力的性能，超过了德语，意大利语，西班牙语和中文的最佳结果。
2021-02-03 cs.AI cs.CL
Unsupervised Pidgin Text Generation By Pivoting English Data and Self-Training
Saarland University（萨尔兰大学）；Saarland Informatics Campus（萨尔兰信息学园区）
西非洋泾浜英语（英语：West African Pidgin English）是一种在西非使用的语言，至少有7500万人使用。然而，实际上缺乏适当的机器翻译系统和洋泾浜英语的相关NLP数据集。在这项工作中，我们开发的技术，旨在弥合洋泾浜英语和英语之间的差距，在自然语言生成的背景下。%作为概念的证明，我们探讨了在数据到文本生成领域提出的技术。通过建立在以前发布的单语洋泾浜英语文本和平行的英语数据到文本语料库，我们希望建立一个系统，可以自动生成洋泾浜英语描述结构化数据。我们首先训练一个数据到英语的文本生成系统，然后采用无监督神经机器翻译和自训练技术来建立洋泾浜到英语的跨语言对齐。对生成的洋泾浜文本进行的人类评价表明，尽管离实际使用还很远，但旋转+自我训练技术提高了洋泾浜文本的流畅性和相关性。
2021-04-27 cs.CL
Prototype of a robotic system to assist the learning process of English language with text-generation through DNN
Universidad Politécnica de Yucatán（尤卡坦理工大学）；SoldAI Research（SoldAI研究院）
本文提出一种基于LSTM神经网络文本生成的人形机器人系统，通过图形界面辅助英语自学者，实验表明该系统能提升学习者的语法范围。
2023-09-20 cs.CL
Neural Text Generation from Rich Semantic Representations
University of Washington（华盛顿大学）
我们提出了神经模型，以基于最小递归语义（MRS）的结构化表示生成高质量的文本。MRS是一种丰富的语义表示，它比其他表示（如抽象意义表示（AMR））编码更精确的语义细节。我们发现，一个序列到序列的模型，映射的线性化的依赖MRS，MRS的基于图形的表示，英语文本可以达到66.11的BLEU分数时，训练黄金数据。使用高精度、广泛覆盖的基于语法的解析器来生成大型银训练语料库，可以进一步提高性能，在完整测试集上实现77.17的最终BLEU分数，并且在最接近匹配银数据域的测试数据的子集上实现83.37。我们的研究结果表明，MRS为基础的表示是一个很好的选择，既需要结构化的语义和能力，以产生自然语言文本作为输出的应用程序。
2019-04-25 cs.CL
Translate, then Parse! A strong baseline for Cross-Lingual AMR Parsing
Heidelberg University（海德堡大学）
在跨语言抽象意义表示（AMR）解析中，研究人员开发了将各种语言的句子投影到AMR上以捕获其基本语义结构的模型：给定任何语言的句子，我们的目标是通过由多种类型的语义关系连接的概念来捕获其核心语义内容。方法通常利用大型银训练数据来学习能够将非英语句子投射到AMR的单个模型。然而，我们发现，一个简单的基线往往被忽视：翻译的句子，英语和投射他们的AMR与单语AMR解析器（翻译+解析，T+P）。在本文中，我们重新审视了这个简单的两步基线，并通过强大的NMT系统和强大的AMR解析器对其进行了增强。我们的实验表明，T+P在所有测试语言中的表现都优于最近最先进的系统：德语，意大利语，西班牙语和普通话，S匹配点分别为+14.6，+12.6，+14.3和+16.0。
2021-06-08 cs.AI cs.CL
Lost in Translationese? Reducing Translation Effect Using Abstract Meaning Representation
Georgetown University（乔治城大学）
本研究提出翻译腔消减新任务，采用基于抽象语义表示（AMR）的中间语方法，通过解析-生成流程降低翻译腔，在三项指标上优于其他三种对比技术，验证了AMR的效用。
2024-01-29 cs.CL
Improving AMR Parsing with Sequence-to-Sequence Pre-training
Soochow University（苏州大学）；Tencent News（腾讯新闻）
在文献中，对抽象意义表示（AMR）解析的研究受到人工组织的数据集的大小的限制，这对于构建具有良好性能的AMR解析器至关重要。为了缓解这种数据大小的限制，预训练模型在AMR解析中受到越来越多的关注。然而，以前的预训练模型，如BERT，是为了通用目的而实现的，可能无法像AMR解析的特定任务所期望的那样工作。在本文中，我们专注于序列到序列（seq2seq）AMR解析，并提出了一种seq2seq预训练方法，以单一和联合方式构建三个相关任务的预训练模型，即，机器翻译、句法分析和AMR解析本身。此外，我们将香草微调方法扩展为多任务学习微调方法，该方法优化AMR解析的性能，同时努力保留预训练模型的响应。在两个英语基准数据集上的大量实验结果表明，单个和联合预训练模型都显着提高了性能（例如，从AMR 2.0上的71.5到80.2），这达到了最先进的水平。结果非常令人鼓舞，因为我们使用seq2seq模型而不是复杂模型实现了这一点。我们在https://github.com/xdqkid/S2S-AMR-Parser上提供我们的代码和模型。
2020-10-05 cs.CL
Småprat: DialoGPT for Natural Language Generation of Swedish Dialogue by Transfer Learning
Luleå University of Technology（吕勒奥理工大学）；RISE Research Institutes of Sweden（瑞典RISE研究机构）
构建能够产生令人信服的响应的开放域会话系统（或聊天机器人）是一项公认的挑战。最新的基于转换器的自然语言对话生成模型在模拟英语中的类人单轮对话方面表现出令人印象深刻的性能。这项工作调查，通过实证研究，这种模式的迁移学习到瑞典语的潜力。DialoGPT是一种英语预训练模型，通过对从公开来源获得的三种不同的瑞典语会话数据集进行训练来适应。困惑分数（一种自动化的内在语言模型度量）和人类评估的调查被用来评估微调模型的性能，结果表明，迁移学习的能力可以得到相当大的成功。要求对模拟对话进行评分的人类评估人员判断，对于在最大（瑞典）数据集上训练的模型，超过57%的聊天机器人响应与人类相似。我们在HuggingFace平台上提供英语和瑞典语聊天机器人的演示和模型检查点供公众使用。
2022-02-13 cs.CL cs.LG
Investigating African-American Vernacular English in Transformer-Based Text Generation
University of California, Santa Barbara（加州大学圣巴巴拉分校）
社交媒体的发展鼓励了非裔美国人白话英语（AAVE）的书面使用，传统上只在口头环境中使用。然而，由于文本语料库的可用性，NLP模型在历史上一直使用占主导地位的英语变体（如标准美国英语（SAE））开发。我们通过创建意图等效并行AAVE/SAE推文对的数据集来研究GPT-2在AAVE文本上的性能，从而隔离每对的语法结构和AAVE或SAE特定语言。我们使用预训练的情感分类器评估每个样本及其GPT-2生成的文本，发现虽然AAVE文本比SAE导致更多的负面情感分类，但GPT-2的使用通常会增加两者的积极情感发生率。此外，我们还对使用GPT-2生成的AAVE和SAE文本进行人工评估，以比较上下文的严格性和整体质量。
2020-10-29 cs.AI cs.CL
Generating Text from Uniform Meaning Representation
Amherst College（阿默斯特学院）
本文提出从多语言UMR图生成文本的方法，通过基线模型、管道转换和微调策略，实现了多语言文本生成的高效效果。
2026-01-13 cs.CL
Factorising AMR generation through syntax
Computer Laboratory（计算机实验室）；University of Cambridge（剑桥大学）；United Kingdom（英国（注：此处按原文提取，严格来说“United Kingdom”作为国家，不属于机构，但根据题目要求，若文本明确出现作者单位时才输出，此处作者单位部分包含该内容，按要求提取）}]}（注：经再次核查，原HTML文本中“United Kingdom”属于国家，不应作为机构提取，正确的机构应为“Computer Laboratory”和“University of Cambridge”。）修正后：{）
从抽象意义表示（AMR）生成是一个未充分指定的问题，因为许多句法决策不受语义图的约束。为了明确说明这种欠规范，我们将AMR生成分为两个步骤：首先生成语法结构，然后生成表面形式。我们表明，以这种方式分解生成过程会导致从AMR生成最先进的单一模型性能，而无需额外的未标记数据。我们还表明，我们可以生成相同的AMR图的意义保持的句法释义，由人类判断。
2019-04-03 cs.CL
SemBleu: A Robust Metric for AMR Parsing Evaluation
University of Rochester（罗切斯特大学）
评估AMR解析准确性涉及比较AMR图对。主要评估指标SMATCH（Cai and Knight，2013）使用贪婪爬山算法搜索两个AMR的节点之间的一对一映射，这会导致搜索错误。我们提出了SEMBLEU，一种扩展BLEU的鲁棒度量（Papineni等人，2002年）。它不受搜索错误的影响，并且除了本地对应之外还考虑非本地对应。SEMBLEU是完全内容驱动的，并惩罚系统的输出不保留输入中的大部分信息的情况。在句子和语料两个层面上的初步实验表明，SEMBLEU与人类判断的一致性略高于SMATCH。我们的代码可在http://github.com/freesunshine0316/sembleu上获得。
2019-05-30 cs.CL
Better Smatch = Better Parser? AMR evaluation is not so simple anymore
Heidelberg University（海德堡大学）
最近，在AMR解析中已经观察到了惊人的进步，如通过结构Smatch度量所测量的。事实上，今天的系统达到的性能水平似乎超过了人类注释者间协议（IAA）的估计。因此，目前还不清楚Spatch（仍然）与解析质量的人类估计有多相关，因为在这种情况下，类似权重的潜在细粒度错误可能会在不同程度上影响AMR的含义。我们对两个流行且强大的AMR解析器进行了分析，根据Smatch的说法，这两个解析器达到了与人类IAA相当的质量水平，并评估了人类质量评级与Smatch和其他AMR指标的关系。我们的主要发现是：i）虽然高Smatch分数表明并非如此，但我们发现AMR解析远未得到解决：我们经常发现结构上很小但语义上不可接受的错误，这些错误严重扭曲了句子的含义。ii）考虑到高性能的解析器，更好的Smatch分数可能不一定表示更好的解析质量。为了对parse（r）的质量差异进行有意义的全面评估，我们建议使用宏观统计数据，使用其他指标和更多的人工分析来增强评估。
2022-10-12 cs.AI cs.CL
AMR Parsing is Far from Solved: GrAPES, the Granular AMR Parsing Evaluation Suite
University of Amsterdam（阿姆斯特丹大学）；Utrecht University（乌得勒支大学）
本文提出 GrAPES 细粒度 AMR 解析评估套件，通过 36 类语言与结构现象及配套指标，揭示高 Smatch 分数下当前 AMR 解析器仍存在的能力短板。
2023-12-06 cs.CL
Part-of-Speech Tagging for Code-mixed Indian Social Media Text at ICON 2015
Jadavpur University（贾达普大学）
本文讨论了我们在Jadavpur大学进行的实验，作为ICON 2015任务的一部分：代码混合印度社交媒体文本的POS标记。我们为该任务开发的工具基于三元组隐马尔可夫模型，该模型利用来自字典的信息以及其他一些单词级别的特征来提高已知令牌和未知令牌的观察概率。我们提交了孟加拉语-英语，印地语-英语和泰米尔语-英语语言对的运行。我们的系统已经在ICON 2015共享任务发布的数据集上进行了训练和测试：代码混合印度社交媒体文本的POS标记。在约束模式下，我们的系统获得了75.60%的平均整体准确率（所有三种语言对的平均值），这非常接近其他两个参与系统（IIITH为76.79%，AMRITA_CEN为75.79%），排名高于我们的系统。在无约束模式下，我们的系统获得了70.65%的平均总体准确度，这也接近于获得最高平均总体准确度的系统（AMRITA_CEN为72.85%）。
2016-01-06 cs.CL
Survey of Abstract Meaning Representation: Then, Now, Future
University of Southern Maine（南缅因大学）
本文综述了抽象语义表示（AMR）的框架、解析与生成任务及其应用，并展望了未来研究方向。
2025-05-06 cs.CL
DEAM: Dialogue Coherence Evaluation using AMR-based Semantic Manipulations
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）；University of California, Los Angeles（加州大学洛杉矶分校）
自动评估指标是必不可少的开放领域的对话系统的快速发展，因为它们有助于超参数调整和模型之间的比较。尽管最近提出的可训练会话级度量已经显示出令人鼓舞的结果，但是度量的质量强烈地依赖于训练数据的质量。先前的作品主要采取启发式文本级操作（例如，话语洗牌）引导不连贯的对话（负面的例子）从连贯的对话（正面的例子）。这种方法不足以适当反映高级对话模式与人类互动中出现的不一致性。为了解决这个问题，我们提出了DEAM，对话一致性评估指标，依赖于抽象意义表示（AMR）应用语义级操作不连贯（负）的数据生成。AMR自然地促进在语义水平上注入各种类型的不连贯源，例如共指不一致、不相关、矛盾和减少参与，从而导致更自然的不连贯样本。我们的实验表明，DEAM实现了更高的相关性与人类的判断相比，基线方法在几个对话数据集的显着利润率。我们还表明，DEAM可以区分基线操作产生的连贯和不连贯的对话，而这些基线模型不能检测到DEAM产生的不连贯的例子。我们的研究结果表明，AMR为基础的语义操作自然的负面例子生成的潜力。
2022-03-18 cs.CL
Transition-Based Generation from Abstract Meaning Representations
这项工作解决了从抽象意义表示（AMR）图生成英语句子的任务。为了完成这个任务，我们将每个输入AMR图转换成一个类似于依赖树的结构，并通过对它应用各种预定义的动作来用语法信息对其进行注释。随后，通过以特定顺序访问其节点，从这个树结构中获得一个句子。我们训练最大熵模型来估计每个单独动作的概率，并设计一种算法，有效地逼近要应用的最佳动作序列。使用不合格的语言模型，我们的生成器在LDC 2014 T12测试集上获得了27.4的Bleu分数，这是迄今为止在不使用来自另一语料库的银标准注释作为额外训练数据的情况下报告的最佳结果。
2017-07-24 cs.CL
Semantic Bridge: Universal Multi-Hop Question Generation via AMR-Driven Graph Synthesis
Linqing Chen, Hanmeng Zhong, Wentao Wu, Weilei Wang（作者）
提出Semantic Bridge框架，通过AMR驱动的语义图编织机制从稀疏来源可控生成复杂多跳推理问题，在多语言和领域上显著优于基线与人工标注，为LLM训练数据合成确立新范式。
2025-08-06 cs.CL
ParaAMR: A Large-Scale Syntactically Diverse Paraphrase Dataset by AMR Back-Translation
University of California Los Angeles（加州大学洛杉矶分校）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；University of Southern California（南加州大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
本文提出ParaAMR数据集，通过抽象语义表示回译生成大规模句法多样化复述，并验证其在句子嵌入、句法可控复述生成和少样本数据增强等任务上的改进效果。
2023-05-26 cs.CL
Non-native speakers of English or ChatGPT: Who thinks better?
Ibb University（伊卜大学）；University of Cyprus（塞浦路斯大学）
本研究通过比较非英语母语者与ChatGPT在处理中心嵌套英语结构的能力，发现人类大脑在语言处理上仍具独特优势。
2024-11-30 cs.CL
Weisfeiler-Leman in the BAMBOO: Novel AMR Graph Metrics and a Benchmark for AMR Graph Similarity
Heidelberg University（海德堡大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
已经提出了几个指标来评估（抽象）的意义表示（AMR）的相似性，但很少有人知道他们如何与人类相似性评级。此外，目前的指标具有互补的优势和劣势：一些强调速度，而另一些则使图结构的对齐显式，代价是昂贵的对齐步骤。在这项工作中，我们提出了新的Weisfeiler-Leman AMR相似性指标，统一了以前的指标的优势，同时减轻了他们的弱点。具体来说，我们的新指标能够匹配上下文化的子结构，并诱导它们的节点之间的n：m对齐。此外，我们引入了一个基于公开目标（BAMBOO），第一个基准，以支持基于图的MR相似性度量的经验评估AMR的评价基准。BAMBOO通过定义多个公开的目标来最大限度地提高结果的可解释性，这些目标从句子相似性目标到压力测试，这些压力测试可以探测度量对意义改变和意义保持图变换的鲁棒性。我们通过分析以前的指标和我们自己的指标来展示BAMBOO的好处。结果表明，我们的新指标可以作为一个强大的基线，为未来的工作。
2021-08-26 cs.AI cs.CL
Fine Grained Human Evaluation for English-to-Chinese Machine Translation: A Case Study on Scientific Text
Deakin University（迪肯大学）；Zhongtukexin Co. Ltd.（中图科信有限公司）
最近的研究表明，神经机器翻译（MT）在新闻领域已经达到了人类水平的性能，但对于其他专业领域，它远远低于人类水平。本文对四种广泛使用的汉英自然语言翻译系统进行了细粒度的系统化人工评价。我们的人工评估结果表明，所有的系统返回平均超过10\%的出错率，这需要大量的后期编辑工作，真正的学术用途。此外，我们还将六种主要的错误类型进行了分类，并提供了一些真实的例子。我们的研究结果强调，在机器翻译界的研究重点应该从短文本的一般翻译转向专业的机器翻译，并建立大规模的双语语料库，这些特定的领域。
2021-09-13 cs.CL
Reassessing Claims of Human Parity and Super-Human Performance in Machine Translation at WMT 2019
Center for Language and Cognition（语言与认知中心）；University of Groningen（格罗宁根大学）
我们重新评估了在WMT 2019新闻共享任务中提出的人类平等和超人表现的说法，用于三个翻译方向：英语到德语，英语到俄语和德语到英语。首先，我们确定了人类评估该共享任务时的三个潜在问题：（i）可用的句间上下文数量有限，（ii）评估者的翻译能力有限，（iii）参考翻译的使用。然后，我们进行修改后的评估，考虑到这些问题。我们的研究结果表明，所有在WMT 2019上提出的人类平等和超人表现的说法都应该被驳斥，除了英语到德语的人类平等的说法。基于我们的研究结果，我们提出了一套建议和开放的问题，为未来的评估人类平等的机器翻译。
2020-05-12 cs.CL
The Hrunting of AI: Where and How to Improve English Dialectal Fairness
Boston College（波士顿学院）；Microsoft（微软）；The University of York（约克大学）
研究探讨了数据质量和可用性对改进LLM在英语方言中的性能的影响，发现人类间的一致性直接影响LLM作为评判者的性能，并指出需谨慎评估数据以确保公平性和包容性。
2026-03-16 cs.CL
Social Perceptions of English Spelling Variation on Twitter: A Comparative Analysis of Human and LLM Responses
Utrecht University（乌得勒支大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
本研究比较了人类和大语言模型对英语拼写变异的社会感知，发现两者在评分上存在较强关联，但在评分分布和不同拼写变异类型间存在显著差异。
2025-11-28 cs.CL
Achieving Human Parity on Automatic Chinese to English News Translation
Microsoft AI & Research（微软人工智能与研究部）
近年来，机器翻译取得了飞速的发展。如今，数百万人在在线翻译系统和移动应用程序中使用它，以便跨越语言障碍进行交流。自然会产生这样的问题，即这种系统是否可以接近或实现与人类翻译的平等。在本文中，我们首先解决的问题，如何定义和准确衡量翻译中的人类平等。然后，我们描述了微软的机器翻译系统，并在广泛使用的WMT 2017新闻翻译任务中测量其翻译质量。我们发现，我们最新的神经机器翻译系统已经达到了最先进的水平，与专业的人工翻译相比，翻译质量与人类不相上下。我们还发现，它大大超过了众包非专业翻译的质量。
2018-06-29 cs.CL
Emphasising Structured Information: Integrating Abstract Meaning Representation into LLMs for Enhanced Open-Domain Dialogue Evaluation
针对开放域对话评估中对抗性负样本的挑战，提出一种将抽象意义表示（AMR）增强的特定领域语言模型与大语言模型集成的评估框架，通过门控机制和提示融合显著提升了与人类判断的相关性。
2025-09-16 cs.CL
Hierarchical Attention Model for Improved Machine Comprehension of Spoken Content
National Taiwan University（国立台湾大学）
多媒体或语音内容比纯文本内容呈现更有吸引力的信息，但是前者更难以在屏幕上显示并被用户选择。因此，对于人类来说，访问前者的大量集合比后者更困难和耗时。因此，开发能够自动理解语音内容并总结关键信息供人类浏览的机器是非常有吸引力的。在这一努力中，最近提出了一个新的任务，机器理解的口语内容。最初的目标被定义为托福的听力理解测试，这是一项针对母语不是英语的英语学习者的具有挑战性的学术英语考试。提出了一种基于注意力的多跳递归神经网络（AMRNN）结构，该结构只考虑语音话语中的顺序关系。在本文中，我们提出了一个新的层次注意力模型（HAM），它构建了一个多跳的注意力机制的树结构，而不是顺序表示的话语。提高理解性能稳健的ASR错误。
2017-01-01 cs.CL
Machine-Facing English: Defining a Hybrid Register Shaped by Human-AI Discourse
ddai Inc.（ddai公司）
本研究基于语体理论定义了由人机交互塑造的面向机器的英语（MFE）语体，揭示了其提升机器解析度但压缩表达范围的五大特征，并指出其在界面设计与多语言教学上的挑战。
2025-05-29 cs.CL
Human and Automatic Evaluation of English-Hindi Machine Translation
在过去的60年里，机器翻译的研究一直在进行，随着这一领域的发展，每天都有许多新的技术被开发出来。因此，我们目睹了许多自动机器翻译器的发展。机器翻译开发项目的经理需要知道在其系统中进行更改后性能的增加/减少。由于这个原因，需要对机器翻译系统进行评估。在这篇文章中，我们将介绍一些机器翻译器的评估。该评估将由人工评估员和一些自动评估指标完成，这些评估指标将在句子、文档和系统级别完成。最后，我们还将讨论评价之间的比较。
2013-07-24 cs.CL
Quantification of stylistic differences in human- and ASR-produced transcripts of African American English
University of Pennsylvania（宾夕法尼亚大学）；University of Oregon（俄勒冈大学）
本文通过分类10小时非洲裔美国人英语语音的6个转录版本中的风格差异，研究逐字特征和形态句法特征对词错误率评估的影响，揭示ASR输出受训练数据中人类转录决策制约的机制。
2024-09-04 cs.CL
Chinese Intermediate English Learners outdid ChatGPT in deep cohesion: Evidence from English narrative writing
Nanjing University of Posts and Telecommunications（南京邮电大学）；Guangzhou University（广州大学）
ChatGPT是一个公开的聊天机器人，可以快速生成给定主题的文本，但目前尚不清楚聊天机器人是否真的在写作的各个方面都优于人类作家，以及其写作质量是否可以在更新命令的基础上显著提高。因此，本研究比较了ChatGPT和中国中级英语学习者在叙事主题上的写作表现，以揭示Chatbot在写作中的优势和劣势。使用Coh-Meetron（一种分析语言语篇的特殊工具）对数据进行了五个语篇成分的分析，结果显示ChatGPT在叙述性、词语具体性和指称衔接方面优于人类作者，但在句法简单性和深层衔接方面不如人类作者。经过多次修改后的版本虽然在句法简洁性上有所提高，但在深层衔接方面仍远远落后于中国英语学习者的写作水平。此外，话语成分的相关性分析表明，叙述性与指称衔接在ChatGPT和人类作家，但每个组的相关性有所不同。
2023-03-21 cs.CL
Fine-grained Human Evaluation of Transformer and Recurrent Approaches to Neural Machine Translation for English-to-Chinese
University of Groningen（格罗宁根大学）
本研究提出了一个细粒度的人的评价比较Transformer和递归的方法神经机器翻译（MT），翻译方向上的英语到汉语。为此，我们开发了一个符合多维质量管理（MQM）框架的错误分类，该框架是定制的翻译方向的相关现象。然后，我们在WMT2019新闻测试集的一个子集上，使用这种自定义的错误分类法对最先进的基于递归和基于transformer的MT系统的输出进行错误注释。由此产生的注释表明，与最佳递归系统相比，最佳Transformer系统导致错误总数减少31%，并且在22个错误类别中的10个中产生的错误显著减少。我们还注意到，两个系统的评估不产生任何错误的一个类别，这是相关的翻译方向之前出现的NMT系统：中国的分类。
2020-06-15 cs.CL
Extending a model for ontology-based Arabic-English machine translation
Sana’a University（萨那大学）
电信需求的加速导致了许多研究小组，特别是在通信促进和机器翻译领域。当人们与不同语言和文化的人接触时，他们需要即时翻译。然而，现有的即时翻译器仍然提供一些糟糕的阿拉伯语-英语翻译，例如在翻译书籍或文章时，意思并不完全准确。因此，本研究的目的是利用语义网技术对同形异义词进行语义处理，从而扩展一个基于本体的阿拉伯语-英语机器翻译模型NAN，模拟人类的翻译方式。实验结果表明，NAN翻译比其他即时翻译器更接近人类翻译。由此产生的翻译将有助于获得目标语言的翻译文本，在一定程度上正确和语义上更类似于非阿拉伯语母语和非英语母语的人类翻译。
2019-02-06 cs.CL
Comparing Moral Values in Western English-speaking societies and LLMs with Word Associations
School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院）；Complex Human Data Hub, The University of Melbourne（墨尔本大学复杂人类数据中心）
为避免直接提示的局限性，本研究提出利用词汇联想作为底层表征，通过在人类与LLM联想图中传播Moral Foundation Theory的种子词，系统比较了西方英语社会与LLM在道德价值观上的差异。
2025-05-28 cs.CL
hinglishNorm -- A Corpus of Hindi-English Code Mixed Sentences for Text Normalization
Vahan Inc（Vahan公司）
我们提出hinglishNorm -一个人类注释语料库的印地语-英语代码混合句子的文本规范化任务。语料库中的每个句子都与其对应的人类注释规范化形式对齐。据我们所知，没有公开的用于文本规范化任务的印地语-英语代码混合句子语料库。我们的工作是朝着这个方向的第一次尝试。语料库包含13494个平行片段。此外，我们在这个语料库上呈现基线归一化结果。我们获得的单词出错率（WER）为15.55，双语评估替补（BLEU）得分为71.2，以及显式排序翻译评估指标（METEOR）得分为0.50。
2020-10-18 cs.CL
AMR-Evol: Adaptive Modular Response Evolution Elicits Better Knowledge Distillation for Large Language Models in Code Generation
Hong Kong Baptist University（香港浸会大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
针对代码生成大语言模型知识蒸馏中响应质量被忽视的问题，提出AMR-Evol框架，通过模块化分解和自适应响应进化两阶段优化响应蒸馏，在多个代码基准上取得显著性能提升。
2024-10-01 cs.AI cs.CL cs.SE
Magical Number Seven Plus or Minus Two: Syntactic Structure Recognition in Japanese and English Sentences
George A.米勒说，人类在短期记忆中只有七块，正负两块。我们计算了在日语句子依存结构分析的每一步中，其修饰语不确定的bunsetsus（短语）的数量，因此必须存储在短期记忆中。这个数字大约小于9，也就是7加2的上限。我们也得到了类似的结果与英语句子的假设下，人类认识到一系列的话，如名词短语（NP），作为一个单位。这表明，如果我们假设人类在日语和英语中的认知单位分别是文色和NP，分析将支持米勒的$7 \pm 2$理论。
2001-03-12 cs.CL
Are we there yet? Encoder-decoder neural networks as cognitive models of English past tense inflection
University of Edinburgh（爱丁堡大学）
英语过去时的认知机制一直是语言学和认知科学争论的焦点。神经网络模型很早就被提出，但被证明有明显的缺陷。然而，最近，Kirov和Cotterell（2018）表明，现代编码器-解码器（ED）模型克服了许多这些缺陷。他们还提供了证据，证明ED模型在一次性单词任务中表现出类似人类的表现。在这里，我们更仔细地观察他们的模型在这项任务中的行为。我们发现，（1）该模型在与人类数据的相关性方面在多个模拟中表现出不稳定性，（2）即使在模拟中汇总结果（将每个模拟视为单个人类参与者），与人类数据的拟合也不强--比旧的基于规则的模型更差。这些调查结果通过几个替代的培训制度和评估措施。虽然其他神经架构可能做得更好，但我们得出结论，仍然没有足够的证据表明神经网络是这项任务的良好认知模型。
2019-06-04 cs.CL
Evaluation of Chinese-English Machine Translation of Emotion-Loaded Microblog Texts: A Human Annotated Dataset for the Quality Assessment of Emotion Translation
University of Surrey（萨里大学）；Xi’an International Studies University（西安外国语大学）
本文提出基于多维质量指标（MQM）的评估框架，分析谷歌翻译对情感负载微博文本的翻译质量，发现约50%的输出丢失原始情感，并识别出情感词、多义词、否定和缩写等主要错误来源。
2023-06-20 cs.CL
Can We Triage LLM Translation Errors in Classical Texts Without Human References? Source Novelty, GEMBA Scoring, and Budgeted Review through Pali-to-English Translation
本研究通过巴利语到英语翻译测试无参考错误分类，发现无参考GEMBA评分是最强信号，审查前10%可捕获81.6%错误，并提出结合多种信号的预算审查工作流程。
2026-09-15 cs.CL
English Conversational Telephone Speech Recognition by Humans and Machines
Appen；IBM Watson；IBM Research - Tokyo（IBM 东京研究院）
语音识别最困难的任务之一是准确识别人与人之间的交流。深度学习在过去几年中的进步已经在代表性的Switchboard会话语料库上产生了重大的语音识别改进。单词的出错率几年前还只有14%，现在已经降到了8.0%，然后是6.6%，最近是5.8%，现在人们认为这已经在人类表现的惊人范围内了。这就提出了两个问题--什么是人类的表现，以及我们还能把语音识别的出错率降低到什么程度？微软最近的一篇论文表明，我们已经实现了人类的表现。为了验证这一说法，我们对两个会话任务进行了独立集的人类绩效测量，发现人类绩效可能比之前报道的要好得多，这给了社区一个更难实现的目标。我们还报告了我们自己在这方面的努力，提出了一套声学和语言建模技术，降低了我们自己的英语会话电话LVCSR系统的单词出错率的水平上的交换机/呼叫中心子集的集线器5 2000年的评估5.5%/10.3%，这--至少在撰写本文时--是一个新的绩效里程碑（尽管不是我们衡量的人类绩效！）。在声学方面，我们使用三个模型的分数融合：一个具有多个特征输入的LSTM，第二个LSTM使用说话人对抗多任务学习进行训练，第三个剩余网络（ResNet）具有25个卷积层和时间扩张卷积。在语言建模方面，我们使用单词和字符LSTM以及卷积WaveNet风格的语言模型。
2017-03-06 cs.CL
Human Languages in Source Code: Auto-Translation for Localized Instruction
Stanford University（斯坦福大学）；University of Southern California（南加州大学）
计算机科学教育已经承诺在世界范围内开放获取，但获取在很大程度上取决于你说什么人类语言。随着年龄较小的学生学习计算机科学，认为他们应该事先学习英语是不太合适的。为此，我们推出了CodeInternational，这是第一个在人类语言之间翻译代码的工具。为了发展非英语代码的理论，并为我们的翻译决策提供信息，我们对GitHub上的公共代码库进行了研究。据我们所知，这项研究是第一个关于人类语言代码的研究，涵盖了290万个Java存储库。为了展示CodeInternational的教育效用，我们构建了流行的英语卡雷尔阅读器的交互式版本，并将其翻译成100种口语。我们的翻译已经在世界各地的课堂上使用，并代表了一个重要的开放CS教育问题的第一步。
2019-09-10 cs.CL
Lower Perplexity is Not Always Human-Like
Tohoku University（东北大学）；Langsmith Inc.（Langsmith公司）；University of Tokyo（东京大学）；RIKEN（理化学研究所）；NINJAL（国立国语研究所）
在计算心理语言学中，已经针对人类阅读行为评估了各种语言模型（例如，眼睛运动）来构建类人计算模型。然而，大多数以前的努力几乎完全集中在英语上，尽管最近的趋势是在整个社会中语言的普遍性。为了填补这一空白，本文探讨了计算心理语言学的研究成果是否可以推广到其他语言。具体来说，我们重新审视了一个既定的概括-较低的困惑语言模型，更像人类的语言模型是-在日语与英语的类型不同的结构。我们的实验表明，这种既定的概括表现出令人惊讶的缺乏普遍性;即，较低的困惑并不总是像人类一样。此外，从信息密度（非）均匀性的角度进一步探讨了英语和日语之间的这种差异。总体而言，我们的研究结果表明，跨语言的评价将是必要的，以构建类人的计算模型。
2022-11-01 cs.CL
Cross-lingual and Multilingual Speech Emotion Recognition on English and French
University of Stuttgart（斯图加特大学）
多语言语音情感识别研究面临的问题是，大多数可用的语音语料库在重要方面，如注释方法或交互场景彼此不同。这些不一致性使构建多语言系统变得复杂。我们目前的结果跨语言和多语言的情感识别英语和法语的语音数据具有相似的特点，在互动（人与人的对话）。此外，我们探索了微调预训练的跨语言模型的可能性，只有少量的样本从目标语言，这是非常感兴趣的低资源语言。为了更深入地了解部署的卷积神经网络所学习的内容，我们对网络内部的注意力机制进行了分析。
2018-03-01 cs.CL
Is Cross-Lingual Transfer in Bilingual Models Human-Like? A Study with Overlapping Word Forms in Dutch and English
Saarland University（萨尔大学）；Zuse School ELIZA（Zuse ELIZA 学院）；Radboud University（拉德堡德大学）
研究探讨双语模型中跨语言激活是否模仿人类处理模式，发现词形共享影响模型表现，频率而非形式一致性主导效果，仅在特定条件下重现人类处理特征。
2026-04-08 cs.CL
RAW-C: Relatedness of Ambiguous Words--in Context (A New Lexical Resource for English)
University of California, San Diego（加州大学圣地亚哥分校）
大多数单词都是模棱两可的，它们在不同的上下文中传达不同的含义-甚至毫不含糊的词语的含义也取决于上下文。这两种现象都对NLP提出了挑战。近年来，语境化词嵌入的出现使得词义消歧等涉及词汇歧义的任务获得了成功。然而，很少有任务直接评估这些语境化嵌入如何适应词义的更连续，动态的性质-特别是以符合人类直觉的方式。我们介绍了RAW-C，一个数据集的分级，人类相关性判断的112个模糊的词在上下文（672句对），以及人类的估计意义的优势。平均注释者间一致性（使用留一注释者法评估）为0.79。然后，我们表明，余弦距离的测量，计算使用上下文嵌入从BERT和ELMo，与人类的判断，但余弦距离也系统地低估了相似的人类如何找到使用相同的意义的一个词，并系统地高估了相似的人类如何找到使用不同的意义同音异义词。最后，我们提出了一个综合的心理词汇和词汇语义的计算模型的心理语言学理论。
2021-05-27 cs.CL
