hinglishNorm -- A Corpus of Hindi-English Code Mixed Sentences for Text Normalization
Vahan Inc（Vahan公司）
我们提出hinglishNorm -一个人类注释语料库的印地语-英语代码混合句子的文本规范化任务。语料库中的每个句子都与其对应的人类注释规范化形式对齐。据我们所知，没有公开的用于文本规范化任务的印地语-英语代码混合句子语料库。我们的工作是朝着这个方向的第一次尝试。语料库包含13494个平行片段。此外，我们在这个语料库上呈现基线归一化结果。我们获得的单词出错率（WER）为15.55，双语评估替补（BLEU）得分为71.2，以及显式排序翻译评估指标（METEOR）得分为0.50。
2020-10-18 cs.CL
JESC: Japanese-English Subtitle Corpus
Stanford University（斯坦福大学）；Rakuten Institute of Technology（乐天技术研究所）；Google Brain（谷歌大脑）
在本文中，我们描述了日英字幕语料库（JESC）。JESC是一个大型的日英平行语料库，涵盖了代表性不足的会话对话领域。它包含超过320万个示例，使其成为同类中最大的免费数据集。语料库是通过爬行和对齐在网络上找到的字幕组装的。组装过程中采用了一些新的预处理元素，以确保高单语流畅性和准确的双语对齐。我们总结其内容，并使用人类专家和基线机器翻译（MT）系统评估其质量。
2018-02-21 cs.CL
Kosp2e: Korean Speech to English Translation Corpus
Seoul National University（首尔大学）；NAVER
大多数语音到文本（S2T）的翻译研究使用英语语音作为源，这使得非英语使用者很难利用S2T技术。对于某些语言，这个问题是通过语料库建设来解决的，但语言学上离英语越远或资源越不足，这种不足和代表性不足就变得越严重。在本文中，我们介绍kosp2e（读作"kospi"），语料库，允许韩国语音被翻译成英文文本中的一个端到端的方式。我们采用开放许可的语音识别语料库、翻译语料库和口语语料库，使我们的数据集免费向公众开放，并通过管道和基于训练的方法检查性能。使用管道和各种端到端方案，我们根据英语假设获得了每个方案的最高BLEU分别为21.3和18.0，验证了我们数据的可行性。我们计划在将来通过社区贡献为其他目标语言补充注释。
2021-07-06 cs.CL
The EcoLexicon English Corpus as an open corpus in Sketch Engine
University of Granada（格拉纳达大学）；University of Quebec in Trois-Rivières（魁北克大学三河城分校）
EcoLexicon English Corpus（EEC）是一个2310万字的当代环境文本语料库。它由LexiCon研究小组编制，用于开发EcoLexicon（Faber，Leon-Arauz & Reimerink 2016; San Martin et al. 2017），这是一个关于环境的术语知识库。它在著名的语料库查询系统Sketch Engine（Kilgarriff et al. 2014）中作为开放语料库提供，这意味着任何用户，即使没有订阅，也可以自由访问和查询语料库。本文介绍了基于SketchEngine提供的功能和基于文本分类参数的电子工程文档的生成、编译、查询和开发。
2018-07-16 cs.CL
A corpus of preposition supersenses in English web reviews
University of Edinburgh（爱丁堡大学）；IHMC（人类与机器认知研究所）；University of Utah（犹他大学）；University of Colorado at Boulder（科罗拉多大学博尔德分校）
我们提出了第一个语料库注释与介词supersense，unexxicalized类别的语义功能，可以标记的英语介词（施耐德等人，2015年）。该方案在其前身的基础上进行了改进，以更好地促进全面的手动注释。此外，与以前的计划，介词的叠加组织层次。我们的数据将在发布后在网络上公开发布。
2016-05-08 cs.CL
Learning unification-based grammars using the Spoken English Corpus
本文描述了一个语法学习系统，它结合了基于模型和数据驱动的学习在一个单一的框架。我们使用英语口语语料库（SEC）学习语法的结果表明，基于模型和数据驱动的学习相结合，可以产生一个更合理的语法比使用任何一种学习风格隔离的情况下。
1994-06-28 cmp-lg cs.CL
Aligning a Parallel English-Chinese Corpus Statistically with Lexical Criteria
我们描述了我们的经验与自动对齐的句子在平行的英汉文本。我们的报告涉及三个相关的主题：（1）香港科技大学英汉双语平行语料库的进展;（2）Gale & Church的基于长度的统计方法对非印欧语言对齐任务的适用性实验;（3）改进的统计方法，也结合了特定领域的词汇线索。
1994-06-02 cmp-lg cs.CL
The Pilot Corpus of the English Semantic Sketches
ABBYY；HSE（俄罗斯高等经济学院）；MIPT（莫斯科物理技术学院）；RSUH（俄罗斯联邦科学院）
本文构建英语动词语义素描试点语料库，通过英俄对比展示其应用，并探讨构建过程与错误分析。
2025-05-23 cs.CL
scb-mt-en-th-2020: A Large English-Thai Parallel Corpus
Vidyasirimedhi Institution of Science and Technology（维迪亚西里梅迪科学技术学院）；pyThaiNLP；Chulalongkorn University（朱拉隆功大学）
我们工作的主要目标是为机器翻译建立一个大规模的英泰数据集。我们构建了一个英语-泰语机器翻译数据集，其中包含超过100万个片段对，这些片段对来自各种来源，即新闻、维基百科文章、短信、基于任务的对话、网络抓取数据和政府文件。收集数据，建立平行的文本和删除嘈杂的句子对的方法，提出了一个可重复的方式。我们基于这个数据集训练机器翻译模型。我们的模型在泰语-英语翻译方面的性能与谷歌翻译API（截至2020年5月）相当，并且在泰语-英语和英语-泰语翻译的训练数据中包含开放并行语料库（OPUS）时优于谷歌。数据集、预训练模型和重现我们工作的源代码可供公众使用。
2020-07-07 cs.CL
Itihasa: A large-scale corpus for Sanskrit to English translation
University of Copenhagen（哥本哈根大学）；Microsoft AI and Research（微软人工智能与研究院）
这项工作介绍了Itibia，这是一个包含93，000对梵文shlokas及其英语翻译的大规模翻译数据集。什洛卡是从两个印度史诗中提取出来的，《罗摩衍那》和《摩诃婆罗多》我们首先描述了这样一个数据集背后的动机，并通过实证分析来揭示其细微差别。然后，我们在这个语料库上对标准翻译模型的性能进行基准测试，结果表明即使是最先进的Transformer架构也表现不佳，强调了数据集的复杂性。
2021-10-05 cs.CL
Speak & Improve Corpus 2025: an L2 English Speech Corpus for Language Assessment and Feedback
ALTA Institute（阿尔塔研究所）；University of Cambridge（剑桥大学）；Cambridge University Press and Assessment（剑桥大学出版社与评估部）；Enhanced Speech Technology Ltd（增强语音技术有限公司）
本文介绍Speak & Improve语料库2025，一个含整体评分和错误标注的L2英语口语数据集，旨在解决公开高质量标注数据缺乏问题，支持口语评估、反馈及ASR、GEC等技术研究。
2024-12-17 cs.CL
Building a Parallel Corpus and Training Translation Models Between Luganda and English
神经机器翻译（NMT）在大数据集上取得了巨大的成功，因此NMT更适合于高资源语言。由于缺乏高质量的并行语料库，这一直支撑着低资源语言，如Luganda，所以在撰写本文时，即使是“谷歌翻译”也不服务于Luganda。在本文中，我们基于三个不同的开源语料库，为卢甘达语和英语构建了一个包含41，070个成对句子的平行语料库。然后，我们训练NMT模型与超参数搜索的数据集。实验给我们的BLEU分数为21.28从卢甘达语到英语和17.47从英语到卢甘达语。一些翻译实例显示了高质量的翻译。我们相信，我们的模型是第一个卢甘达英语NMT模型。我们建立的双语数据集将向公众开放。
2023-01-07 cs.CL
ELQA: A Corpus of Metalinguistic Questions and Answers about English
Georgetown University（乔治城大学）；Tohoku University（东北大学）
本文提出ELQA，一个包含超过70k条关于英语本身问答的元语言语料库，涵盖语法、含义等主题，并在多个大型语言模型上评估其生成元语言答案的能力。
2023-07-03 cs.CL
MICE: A Crosslinguistic Emotion Corpus in Malay, Indonesian, Chinese and English
Nanyang Technological University（南洋理工大学）
MICE是目前正在开发的一个四种语言的情感词汇语料库。本研究分为两个部分，第一部分：情感词语料库和第二部分：情感词调查。在第1部分中，将描述如何为四种语言中的每一种语言挑选情感数据的方法，并提供非常初步的数据。我们总共识别了3，750个马来语的情感表达，6，657个印尼语，3，347个普通话和8，683个英语。我们目前正在评估和复查语料库，并对这些情感表达的分布做进一步的分析。第二部分情感词调查包括一个在线语言调查，收集了说话者如何将情感词划分为基本情感类别，情感词的效价和强度以及所有受访者的简历信息。
2021-06-09 cs.CL
CCAE: A Corpus of Chinese-based Asian Englishes
University of Science and Technology Beijing（北京科技大学）
本研究构建了包含6种基于中文的亚洲英语变体、规模达3.4亿token的CCAE语料库，填补了中式英语公开语料的空白，为世界英语的NLP研究提供支撑资源。
2023-10-09 cs.AI cs.CL cs.LG
A Diverse Corpus for Evaluating and Developing English Math Word Problem Solvers
Academia Sinica（中央研究院）
我们提出了ASDiv（Academia Sinica Diverse MWP Dataset），一个多样化的（在语言模式和问题类型方面）英语数学应用题（MWP）语料库，用于评估各种MWP求解器的能力。现有的MWP语料库研究人工智能的进展仍然有限，无论是在语言使用模式或问题类型。因此，我们提出了一个新的英语MWP语料库2,305 MWPs，涵盖更多的文本模式和大多数问题类型教小学。每个MWP都标注了其问题类型和等级（用于指示难度级别）。此外，我们提出了一个度量标准来衡量一个给定的MWP语料库的词汇使用的多样性，并证明ASDiv比现有的语料库更多样化。实验表明，我们提出的语料库更忠实地反映了MWP求解器的真实能力。
2021-06-30 cs.AI cs.CL
Annotated Guidelines and Building Reference Corpus for Myanmar-English Word Alignment
University of Computer Studies, Mandalay（曼德勒计算机大学）；AI Research Lab（人工智能研究实验室）
词对齐参考语料库是开发和评估词对齐方法的重要资源。对于缅甸语-英语语言对，没有参考语料库来评估词对齐任务。因此，我们创建了基于对比学习的两种语言之间的缅甸-英语词对齐注释指南，并建立了由亚洲语言树库（ALT）的缅甸ALT验证对齐组成的缅甸-英语参考语料库。该参考语料库包含用于单词对齐的确信标签sure（S）和possible（P），其用于测试单词对齐任务的评估目的。我们讨论了最链接的歧义，以定义一致和系统的指示，以对齐手动的话。我们使用我们的参考语料库的对齐出错率（AER）在词对齐任务的注释协议的结果进行了评估，并讨论了BLEU分数方面的词的关系。
2019-09-25 cs.AI cs.CL cs.IR
Is China Entering WTO or shijie maoyi zuzhi--a Corpus Study of English Acronyms in Chinese Newspapers
Indiana University Bloomington（印第安纳大学伯明顿分校）
这是第一个定量研究英文缩略语（如WTO）在中文文本中的使用情况的研究。利用报纸语料库，我试图回答：1）对于所有有英文缩写的概念（如World Trade Organization），有多少百分比是用英文缩写（WTO）表达的，有多少百分比是用中文翻译（世界贸易组织）表达的; 2）语言使用者在英文和中文形式之间的选择中起作用的因素是什么？结果表明，不同的概念在英语缩略词中所占的比例不同，从2%到98%不等。线性模型显示，语言经济性（中文翻译的长度）、概念频率以及概念在中文报纸上首次出现是英文缩写还是其中文翻译（均p < .05）可以预测单个概念的英文缩写。
2017-11-18 cs.CL
JaParaPat: A Large-Scale Japanese-English Parallel Patent Application Corpus
本文构建了包含超3亿日英句对的JaParaPat专利平行语料库，通过专利族对齐和词典引导的句子对齐方法提取数据，使专利翻译BLEU值提升20点。
2025-08-22 cs.CL
AMALGUM -- A Free, Balanced, Multilayer English Web Corpus
Georgetown University（乔治城大学）
我们提出了一个免费提供的，体裁平衡的英语网络语料库，总计4 M的令牌和具有大量的高质量的自动标注层，包括依存关系树，非命名实体注释，共指消解，和话语树的修辞结构理论。通过利用开放的在线数据源，语料库旨在为较小的手动创建的注释数据集提供更大的替代方案，同时避免陷阱，如不平衡或未知的组成，许可问题和低质量的自然语言处理。我们利用来自多个注释层的知识，以实现“比NLP更好”的基准，并评估结果资源的准确性。
2020-06-18 cs.CL
Penn-Helsinki Parsed Corpus of Early Modern English: First Parsing Results and Analysis
Linguistic Data Consortium（语言数据联盟）；University of Pennsylvania（宾夕法尼亚大学）
我们提出的第一个解析结果的宾夕法尼亚州赫尔辛基解析语料库的早期现代英语（PPCEME），190万字的树库，是一个重要的资源，研究句法变化。我们描述了PPCEME的关键功能，使其具有挑战性的解析，包括一个更大的和更多样化的功能标签比在宾州树库。我们使用修改后的版本的伯克利神经解析器和Gabbard等人（2006）的函数标签恢复方法来展示这个语料库的结果。尽管它很简单，但这种方法的效果令人惊讶地好，这表明它可以以足够的准确度恢复原始结构以支持语言学应用（例如，搜索感兴趣的句法结构）。然而，对于功能标签的子集（例如，标记指示直接语音），则需要额外的工作，并且我们讨论这种方法的一些进一步的限制。由此产生的解析器将被用来解析早期英语图书在线，11亿字语料库，其效用的句法变化的研究将大大增加了准确的解析树。
2021-12-15 cs.CL
Introducing MELI: the Mandarin-English Language Interview Corpus
Department of Linguistics, University of British Columbia（不列颠哥伦比亚大学语言学系）
MELI语料库包含51名中英双语者29.8小时的语音数据，涵盖中英双语访谈与两种说话风格，提供词和音节级对齐及匿名处理，支持跨语言和跨说话者的声音比较及语言态度分析。
2026-05-15 cs.CL
Knowledge Graph Based Synthetic Corpus Generation for Knowledge-Enhanced Language Model Pre-training
University of Pennsylvania（宾夕法尼亚大学）；Google Research（谷歌研究院）
以前的工作数据到文本生成，知识图谱（KG）三元组转换为自然文本的任务，集中在特定领域的基准数据集。然而，在本文中，我们将对整个英文维基数据KG进行动词化，并讨论与广泛，开放领域，大规模动词化相关的独特挑战。我们进一步表明，verbalizing一个全面的，像Wikidata的语法KG可以用来整合结构化的KG和自然语言语料库。与已经开发的集成这两个源的许多架构相比，我们的方法将KG转换为自然文本，使其能够无缝集成到现有的语言模型中。它还具有提高事实准确性和降低最终语言模型毒性的优点。我们评估这种方法，通过增加检索语料库中的检索语言模型，并显示显着的改进知识密集型任务的开放领域QA和LAMA知识探针。
2021-03-13 cs.CL
JParaCrawl: A Large Scale Web-Based English-Japanese Parallel Corpus
NTT Corporation（NTT公司）
最近的机器翻译算法主要依赖于并行语料库。然而，由于平行语料库的可用性仍然有限，只有一些资源丰富的语言对可以从中受益。我们构建了一个英日平行语料库，其中公开的平行语料库的数量仍然有限。我们通过广泛的网络爬行和自动对齐平行句子来构建平行语料库。我们收集的语料库名为JParaCrawl，收集了超过870万个句子对。我们展示了它如何包括更广泛的领域，以及用它训练的神经机器翻译模型如何作为一个良好的预训练模型来微调特定领域。预训练和微调方法达到或超过了与初始状态的模型训练相当的性能，并减少了训练时间。此外，我们使用域内数据集和JParaCrawl训练模型，以展示我们如何使用它们实现最佳性能。JParaCrawl和预先训练的模型可以免费在线获得，用于研究目的。
2020-03-15 cs.CL
Corpus-Guided Contrast Sets for Morphosyntactic Feature Detection in Low-Resource English Varieties
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
语言变异的研究探讨了语言如何在不同的说话者群体之间和内部变化，揭示了我们如何使用语言来构建身份，以及社会环境如何影响语言的使用。一种常见的方法是在语料库中识别某个语言特征的实例，比如零连接结构，并分析该特征在说话者、话题和其他变量中的分布，以获得对该特征功能的定性理解或系统地测量变化。在本文中，我们探讨了具有挑战性的任务，自动形态句法特征检测低资源的英语品种。我们提出了一个人在回路的方法来生成和过滤有效的对比度集，通过语料库引导的编辑。我们表明，我们的方法提高了印度英语和非洲裔美国人英语的特征检测，展示了它如何帮助语言学研究，并发布我们的微调模型供其他研究人员使用。
2022-09-15 cs.AI cs.CL
Identifying Metaphoric Antonyms in a Corpus Analysis of Finance Articles
Trinity College Dublin（都柏林圣三一大学）；University College Dublin（都柏林大学学院）
本文利用17,000多篇财经新闻报道的语料库（涉及超过1000万字），对用于描述指数、股票和股票走势的UP和DOWN动词的论元分布进行了分析。在研究1中，参与者确定了这些动词的反义词在一个自由反应任务和匹配的任务，最常见的确定反义词编译。在研究2中，我们确定这些反义词对中动词的论元分布是否足够相似，以预测最常见的反义词。余弦相似性与人们识别的反义词对比例呈中度相关（r = 0.31）。更令人印象深刻的是，87%的情况下，最常被识别的反义词是备选词集中第一或第二相似的反义词。这些结果的影响，以确定隐喻知识的分布方法进行了讨论。
2013-02-04 cs.CL
English to Central Kurdish Speech Translation: Corpus Creation, Evaluation, and Orthographic Standardization
本文提出KUTED语料库，用于库尔德语语音到文本的翻译任务，通过正字法标准化提升翻译性能，实验显示标准化后模型在BLEU评分上显著提升。
2026-04-01 cs.CL
Gender Prediction in English-Hindi Code-Mixed Social Media Content : Corpus and Baseline System
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
社交媒体网站使用的快速扩展导致了大量未经处理的用户生成数据，这些数据可用于文本挖掘。作者侧写是通过文本自动确定作者性别和年龄组等侧写方面的问题，在计算语言学中越来越受欢迎。以往的作者侧写研究大多集中在英语文本\cite{1,2}上。然而，许多用户在社交媒体上发帖时经常改变语言，这被称为代码混合，这在文本分类和作者分析领域带来了一些挑战，如拼写，非语法结构和音译\cite{3}的变化。在线\cite{4}上很少有英语-印地语代码混合注释的社交媒体内容数据集。在本文中，我们分析的任务，作者的性别预测在代码混合的内容，并提出了一个语料库的英语-印地语文本收集从Twitter的作者的性别注释。我们还探讨了语料库中每个词的语言识别。我们提出了一个监督分类基线系统，它使用各种机器学习算法来识别使用文本的作者的性别，基于字符和单词级别的功能。
2018-06-14 cs.CL
Does Continued Pretraining on a Learner Corpus Improve Automated Essay Scoring on English Proficiency Tests? Evidence from EFCAMDAT
University of Greenwich（格林威治大学）
研究通过在EFCAMDAT学习者语料库上进行领域自适应继续预训练（DAPT），探究其对基于Transformer的自动作文评分（AES）在英语水平测试中的影响，发现全语料库DAPT效果不一，而基于CEFR分级的针对性DAPT能更可靠地提升领域内评分性能。
2026-09-16 cs.CL cs.LG
An English-Hindi Code-Mixed Corpus: Stance Annotation and Baseline System
Language Technologies Research Centre, International Institute of Information Technology, Hyderabad（语言技术研究中心，国际信息技术学院，海得拉巴）
社交媒体已成为人们与社会沟通和分享观点的主要渠道之一。我们经常可以从这些观点中发现一个人对某个主题是赞成、反对还是中立。这些来自社交媒体的意见对各种公司都很有用。我们提出了一个新的数据集，由3545条英语-印地语代码混合的推文组成，这些推文对2016年在印度实施的Demonetisation有意见，随后在全国范围内进行了大规模的辩论。我们提出了一个基线监督分类系统的立场检测开发使用相同的数据集，使用各种机器学习技术，以实现10倍交叉验证的准确率为58.7%。
2018-05-30 cs.CL
Acquiring Lexical Paraphrases from a Single Corpus
本文研究了在单个语料库中识别词汇释义的可能性，重点是动词释义的提取。大多数以前的方法检测一对（或一组）可比语料库中的个体释义实例，它们中的每一个包含大致相同的信息，并依赖于这样的语料库的对应关系的实质性水平。我们提出了一种新的方法，成功地检测孤立的释义实例在一个单一的语料库，而不依赖于任何先验的结构和信息。一个比较表明，基于实例的方法可以与基于向量的方法相结合，以更好地评估许多动词对的释义可能性。
2003-12-25 cs.AI cs.CL cs.IR
NOPE: A Corpus of Naturally-Occurring Presuppositions in English
New York University（纽约大学）
理解语言不仅需要掌握公开表达的内容，还需要对未说出口的东西进行推理。这些推理包括预设，这是一种听者通过对说话者认为是给定的东西进行推理来了解新信息的现象。预设需要对触发它们的词汇和句法属性以及更广泛的会话语境有复杂的理解。在这项工作中，我们引入了英语中的自然预设（NOPE）语料库，以调查10种不同类型的预设触发的上下文敏感性，并评估机器学习模型预测人类推理的能力。我们发现，我们调查的大多数触发器表现出适度的可变性。我们进一步发现，基于transformer的模型在涉及预设的简单情况下得出正确的推论，但它们无法捕捉少数例外情况下，人类的判断揭示了上下文和触发器之间的复杂相互作用。
2021-09-14 cs.CL
BSTC: A Large-Scale Chinese-English Speech Translation Dataset
Baidu Inc.（百度公司）
本文介绍了一个大规模的汉英语音翻译数据集BSTC（Baidu Speech Translation Corpus）。该数据集是基于一系列许可的演讲或讲座视频构建的，包括约68小时的普通话数据，其手动转录和翻译成英语，以及通过自动语音识别（ASR）模型进行的自动转录。我们还邀请了三名经验丰富的口译员在模拟会议环境中同时为测试会谈进行口译。该语料库对自动同声翻译的研究和实用系统的开发具有一定的促进作用。我们已经组织了同声翻译任务，并使用该语料库来评估自动同声翻译系统。
2021-04-27 cs.CL
Unsupervised Parallel Corpus Mining on Web Data
Carnegie Mellon University（卡内基梅隆大学）
有了大量的并行数据，神经机器翻译系统就能够提供人类水平的翻译性能。然而，人工标记大量并行数据的成本很高。相比之下，互联网上有大量的由人类创造的平行语料库。利用它们的主要困难是如何将它们从噪音网站环境中过滤出来。目前的并行数据采掘方法都需要标记并行数据作为训练源。在本文中，我们提出了一个管道，挖掘平行语料库从互联网上的无监督的方式。在广泛使用的WMT'14英语-法语和WMT'16英语-德语基准测试中，使用我们的管道提取的数据训练的机器翻译器实现了与监督结果非常接近的性能。在WMT'16英语-罗马尼亚语和罗马尼亚语-英语基准测试中，我们的系统产生了新的最先进的结果，39.81和38.95 BLEU分数，甚至与监督方法相比。
2020-09-18 cs.CL
NEJM-enzh: A Parallel Corpus for English-Chinese Translation in the Biomedical Domain
Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
机器翻译需要大量的平行文本。虽然这样的数据集在新闻专线等领域很丰富，但在生物医学领域却不太容易获得。汉语和英语是世界上使用最广泛的两种语言，但据我们所知，在生物医学领域还没有一个平行的语料库。在这项研究中，我们开发了一个有效的管道来获取和处理一个英汉平行语料库，由大约10万个句子对和每边300万个标记组成，来自新英格兰医学杂志（NEJM）。我们发现，在域外数据上进行训练并使用少至4，000个NEJM句子对进行微调，可以将en $\to$ zh（zh $\to$ en）方向的翻译质量提高25.3（13.4）BLEU。在较大的域内数据集上，翻译质量继续以较慢的速度提高，在完整数据集上，en $\to$ zh（zh $\to$ en）方向的BLEU增加了33.0（24.3）。
2020-05-18 cs.CL cs.DL
Lessons from Computational Modelling of Reference Production in Mandarin and English
Utrecht University（乌得勒支大学）
引用表达式生成（REG）算法提供了产生引用表达式的计算模型。在早期的工作中，一个语料库的指称表达（RE）在普通话中介绍。在本文中，我们注释这个语料库，评估经典的REG算法，并比较结果与早期的结果评价REG的英语指称表达。接下来，我们对语料库进行了深入的分析，重点关注普通话语法中出现的问题。我们讨论了在我们的调查中发现的以前REG评估的缺点，并强调了一些令人惊讶的结果。也许最引人注目的是，我们发现了比以前的研究更高的未指定表达的比例，不仅在普通话中，在英语中也是如此。
2021-08-15 cs.CL
Cross-corpus Readability Compatibility Assessment for English Texts
Guangzhou University（广州大学）
本研究提出跨语料库文本可读性兼容性评估（CRCA）框架，通过多语料库、多模型与多指标验证了语料库兼容性及其稳健性，为语料选择与跨语料库迁移学习提供参考。
2023-09-13 cs.CL
MixSarc: A Bangla-English Code-Mixed Corpus for Implicit Meaning Identification
Department of Computer Science and Engineering, Islamic University of Technology, Dhaka, Bangladesh（伊斯兰科技大学计算机科学与工程系，达卡，孟加拉国）；Department of Computer Science, University of Illinois Chicago, Chicago, Illinois, United States of America（伊利诺伊大学芝加哥分校计算机科学系，芝加哥，伊利诺伊州，美国）
MixSarc通过构建首个孟加拉-英语混合语料库，解决隐含意义识别中的多语言切换与文化差异问题，验证了模型在幽默检测上的有效性，但发现讽刺等类别因不平衡和复杂性而表现欠佳。
2026-06-27 cs.CL
YouTube-ASL: A Large-Scale, Open-Domain American Sign Language-English Parallel Corpus
Google（谷歌）
本文提出 YouTube-ASL，一个约 1000 小时、超 2500 名手语使用者的大规模开放域美国手语-英语平行语料库，并在 How2Sign 上取得 12.39 BLEU 的微调最优结果及首次零样本结果。
2023-10-26 cs.CL cs.CV
Towards Better Inclusivity: A Diverse Tweet Corpus of English Varieties
New York University（纽约大学）
针对标准英语训练导致的 NLP 偏见，本文构建来自7国、170,800条推文的多样化英语变体语料库，并提出六类标注框架以揭示语言识别器差异。
2024-01-21 cs.CL cs.CY
LibriS2S: A German-English Speech-to-Speech Translation Corpus
Maastricht University（马斯特里赫特大学）
最近，我们看到人们对语音到文本翻译的兴趣越来越大。这导致了这一领域令人惊讶的进步。相比之下，语音翻译领域的活动仍然有限，尽管克服语言障碍至关重要。我们认为，限制因素之一是能否获得适当的训练数据。我们通过创建LibriS2S来解决这个问题，据我们所知，LibriS2S是第一个公开的德语和英语之间的语音到语音训练语料库。对于这个语料库，我们使用了独立创建的德语和英语音频，从而使两种语言的文本发音没有偏见。这允许创建新的文本到语音和语音到语音翻译模型，其直接学习以基于源语言的发音来生成语音信号。使用这个创建的语料库，我们提出了文本到语音模型的基础上，最近提出的FastSpeech 2模型，集成了源语言信息的例子。我们通过调整模型来实现这一点，以将源语音中的音高、能量或转录等信息作为额外的输入。
2022-04-22 cs.CL cs.SD eess.AS
Advancing Speech Translation: A Corpus of Mandarin-English Conversational Telephone Speech
Raytheon BBN（雷神BBN技术公司）
本文构建了123小时汉英电话会话语音翻译语料库，通过微调通用翻译模型，目标域BLEU提升超8点，验证了匹配训练数据的关键作用。
2024-03-25 cs.CL cs.SD eess.AS
Potential Idiomatic Expression (PIE)-English: Corpus for Classes of Idioms
我们提出了一个相当大的，潜在的习语表达（PIE）数据集的自然语言处理（NLP）在英语。NLP系统在机器翻译（MT）、词义消歧（WSD）和信息检索等任务方面面临的挑战使得有必要拥有一个带有类的标记习语数据集，就像这项工作中所做的那样。据作者所知，这是第一个具有超出字面和一般成语分类的成语类别的成语语料库。特别是，在数据集中标记了以下类别：隐喻，隐喻，委婉语，平行，拟人化，矛盾修饰法，悖论，夸张，讽刺和字面。我们获得了两个独立注释者之间的总体注释者一致性（IAA）评分为88.89%。过去的许多努力都受到语料库大小和样本类别的限制，但这个数据集包含了超过20，100个样本，其中包括来自10个类别（或意义）的近1，200个习语（及其含义）。研究人员还可以扩展语料库以满足特定需求。该语料库具有来自NLTK库的词性（PoS）标记。在语料库上进行分类实验以获得基线，并比较包括BERT模型在内的三种常用模型，得到了良好的结果。我们还公开了语料库和相关代码，用于NLP任务。
2022-04-23 cs.CL cs.LG
NAIST-SIC-Aligned: an Aligned English-Japanese Simultaneous Interpretation Corpus
Monash University（莫纳什大学）；Nara Institute of Science and Technology（奈良科学技术研究所）
本文提出NAIST-SIC-Aligned，通过两阶段对齐方法构建首个开源大规模英日平行同声传译语料库，并验证使用该数据训练可显著提升同声机器翻译的质量和延迟表现。
2024-04-01 cs.CL
Representing 'how you say' with 'what you say': English corpus of focused speech and text reflecting corresponding implications
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
在言语交际中，说话的方式（语言信息）和说话的内容（语言信息）同样重要。作为一种语言信息，英语语音使用句子重音（句子中最重的突出部分）来传达强调。虽然句子重音的不同位置传达不同的语义含义，但如果话语在语言上相同，当前的语音翻译系统返回相同的翻译，从而丢失了非语言信息。集中在焦点，一种类型的强调，我们建议映射到语言领域内的源语言使用词汇和语法设备的语言信息。这种方法使我们能够翻译的释义的文本表示，而不是转录的原始语音，并获得翻译，保留非语言信息。作为第一步，我们提出了一个英语语料库的集合，其中包含不同的焦点位置以及相应的文本，这是为了反映语音的隐含意义。此外，我们的语料库的分析表明，从语言学域的焦点映射到语言域涉及各种词汇和语法方法。从我们的分析数据和见解将进一步推进研究到跨语言翻译。语料库将通过LDC和我们的网站发布。
2022-09-29 cs.CL
Aggression-annotated Corpus of Hindi-English Code-mixed Data
Dr. Bhim Rao Ambedkar University（比姆·拉奥·安贝德卡尔博士大学）；Indian Institute of Information Technology-Sricity（斯里城印度信息技术学院）；Birla Institute of Technology and Science-Pilani（贝拉理工学院皮拉尼校区）
随着网络互动的增加，攻击事件和相关事件，如拖钓，网络欺凌，燃烧，仇恨言论等，也在全球范围内增加了数倍。虽然欺凌或仇恨言论等大多数行为早在互联网之前就出现了，但互联网的范围和广度赋予了这些行为前所未有的力量和影响力，影响了数十亿人的生活。因此，采取一些预防措施为使用网络的人提供保障，使网络在总体上仍然是一种可行的通信和连接媒介，这是至关重要的。在本文中，我们讨论了侵略标记集和注释语料库的印地语-英语代码混合数据的发展，从两个最流行的社交网络和社交媒体平台在印度，Twitter和Facebook。语料库使用3个顶级标签和10个2级标签的分层标签集进行注释。最终的数据集包含了大约18000条tweets和21000条facebook评论，并将被发布用于该领域的进一步研究。
2018-03-26 cs.CL
TEDxTN: A Three-way Speech Translation Corpus for Code-Switched Tunisian Arabic - English
ELYADATA（ELYADATA 公司）
本文介绍首个公开的突尼斯阿拉伯语-英语语码转换语音翻译语料库TEDxTN，含25小时108场演讲数据，公开标注指南并报告基线系统结果，为突尼斯方言自然语言处理研究提供资源。
2025-11-13 cs.AI cs.CL
A Corpus of English-Hindi Code-Mixed Tweets for Sarcasm Detection
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术研究所）
像Twitter和Facebook这样的社交媒体平台已经成为人们用来表达他们对不同话题的看法的两个最大的媒介。如此大规模的用户数据的产生使得情感分析和意见挖掘等NLP任务变得更加重要。最近，在社交媒体上的文本中使用讽刺已经成为一种流行趋势。使用讽刺会颠倒文本所暗示的意义和极性，这对许多NLP任务构成了挑战。文本中的讽刺检测对于商业和安全服务都越来越重要。我们提出了第一个英语印地语代码混合数据集的推文标记的讽刺和讽刺的存在，每个令牌也注释了一个语言标签。我们提出了一个基线监督分类系统，使用相同的数据集，实现了平均F-得分为78.4后，使用随机森林分类器和执行10倍交叉验证。
2018-05-30 cs.CL
Multilingual Dyadic Interaction Corpus NoXi+J: Toward Understanding Asian-European Non-verbal Cultural Characteristics and their Influences on Engagement
University of Augsburg（奥格斯堡大学）；Japan Advanced Institute of Science and Technology（日本先进科学技术学院）
本研究构建了多语言二元交互数据集 NoXi+J，通过提取多模态非语言特征并利用 LSTM 模型与 SHAP 分析，揭示了亚欧文化差异对参与度预测特征重要性的显著影响。
2024-09-09 cs.AI cs.CL cs.HC
WeTS: A Benchmark for Translation Suggestion
Tencent Inc（腾讯公司）
翻译建议（TS），它提供的机器翻译（MT）\cite{lee2021intellicat}翻译的整个文件中的特定单词或短语的替代，已被证明在后编辑（PE）中发挥重要作用。然而，仍然没有公开的数据集来支持对这个问题的深入研究，也没有可重复的实验结果可以被这个社区的研究人员所遵循。为了打破这一限制，我们创建了一个基准数据集TS，称为\emph{WeTS}，其中包含黄金语料库注释的专家翻译的四个翻译方向。除了人类注释的黄金语料库，我们还提出了几种新的方法来生成合成语料库，可以大大提高TS的性能。实验结果表明，该模型在英-德、德-英、汉-英、英-汉四个翻译方向上均达到了SOTA（State-Of-The-Art）的效果。代码和语料库可以在https://github.com/ZhenYangIACAS/WeTS.git上找到。
2022-10-11 cs.CL
A Sentiment Analysis Dataset for Code-Mixed Malayalam-English
Insight SFI Research Centre for Data Analytics（Insight SFI数据分析研究中心）；National University of Ireland Galway（爱尔兰国立大学戈尔韦分校）；Indian Institute of Information Technology and Management-Kerala（喀拉拉邦信息技术与管理学院）
对来自社交媒体的文本的情感分析的需求越来越大，社交媒体大多是代码混合的。在单语数据上训练的系统由于在文本的不同级别混合的复杂性而无法用于代码混合数据。但是，很少有资源可用于代码混合数据，以创建特定于此数据的模型。尽管多语言和跨语言情感分析的许多研究都使用了半监督或无监督的方法，但监督方法仍然表现得更好。只有少数流行语言的数据集可用，如英语-西班牙语，英语-印地语和英语-汉语。没有可用于马拉雅拉姆语-英语代码混合数据的资源。本文提出了一个新的黄金标准语料库的情感分析码混合文本的马拉雅拉姆语-英语注释的自愿注释。这个黄金标准语料库获得了数据集的Krippendorff α高于0.8。我们使用这个新的语料库提供的基准情感分析马英混合代码文本。
2020-05-30 cs.CL
Topic Identification in Discourse
提出了一种基于语料库的语言模型用于主题识别。我们分析了LOB语料库中名-名和名-动对的关联情况。词关联规范基于三个因素：1）词的重要性，2）对共现，和3）距离。他们分别在段落和句子层面上接受名词-名词和名词-动词对的训练。在话题连贯假设下，与语篇中其他名词和动词具有最强连接性的名词构成了首选话题集。然后利用搭配语义从段落中识别主题，并讨论段落之间的主题转移现象。
1995-02-23 cmp-lg cs.CL
APPSI-139: A Parallel Corpus of English Application Privacy Policy Summarization and Interpretation
Tianjin University（天津大学）；Zhejiang University（浙江大学）；North University of China（北方工业大学）；Institute of Science Tokyo（东京科学研究所）；The Hong Kong Polytechnic University（香港理工大学）；Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术区（滨江）区块链与数据安全研究院）
本文提出APPSI-139平行语料库，包含139个隐私政策及15,692个改写语料，结合TCSI-pp-V2框架提升摘要与解释的可读性与可靠性，优于GPT-4o等大模型。
2026-04-30 cs.AI cs.CL
Finding Variants for Construction-Based Dialectometry: A Corpus-Based Approach to Regional CxGs
Illinois Institute of Technology（伊利诺伊理工学院）
本文开发了一种基于构造的方言测量法，能够识别以前未知的构造，并测量给定构造的区域变化程度。其中心思想是使用构式语法归纳来学习构式语法（CxG），然后将这些构式作为方言计量的特征。这提供了一种方法，用于测量区域CxG之间的聚合相似性，而不限制在事先的一组结构的变化。学习CxG的评价是如何以及它描述了举行了测试语料库，而方言的评价是如何以及它可以模拟英语的区域品种。该方法使用两个不同的数据集进行测试：第一，国际语料库的英语代表八个外圈品种;第二，网络爬行语料库代表五个内圈品种。结果表明，该方法（1）产生了一个质量稳定的语法跨子集的一个单一的语料库，是（2）能够区分英语的区域变体之间的准确度高，因此（3）支持方言测量方法测量英语变体之间的相似性和（4）测量的程度，每一个结构是受区域变化。这对认知社会语言学很重要，因为它使构式之间的竞争在功能层面上组织起来的想法可操作化，因此方言测量需要代表尽可能多的可用功能空间。
2021-04-03 cs.CL
