MedReadMe: A Systematic Study for Fine-grained Sentence Readability in Medical Domain
College of Computing（计算机学院）；Georgia Institute of Technology（佐治亚理工学院）
本文构建含4520句细粒度标注的 MedReadMe 数据集，系统评估并改进医学文本句子可读性方法，发现术语片段数量特征可显著提升公式与人类判断的相关性。
2024-10-28 cs.CL
The Annotation Guideline of LST20 Corpus
National Electronics and Computer Technology Center（国家电子与计算机技术中心）
这份报告提出了LST 20的注释指南，LST 20是一个大型语料库，具有多层泰语语言注释。我们的指南包括五个层次的语言注释：分词，词性标注，命名实体，分句边界和句子边界。该数据集符合CoNLL-2003风格的格式，便于使用。LST 20语料库提供了五个层次的语言注释，如前所述。在大规模上，它由3，164，864个单词，288，020个命名实体，248，962个子句和74，180个句子组成，同时使用16个不同的POS标签进行注释。所有3，745份文件还附有15种新闻类型的注释。就其庞大的规模而言，该数据集被认为足够大，可以为NLP开发联合神经模型。有了这个公开可用的语料库，泰语第一次成为语言丰富的语言。
2020-08-12 cs.CL
Sentence, Phrase, and Triple Annotations to Build a Knowledge Graph of Natural Language Processing Contributions -- A Trial Dataset
TIB Leibniz Information Centre for Science and Technology（莱布尼茨科学与技术信息中心）
目的：这项工作的目的是规范化NLPCONTRIBUTIONS计划（从今以后，NLPCONTRIBUTIONGRAPH）的结构，直接从文章句子，在自然语言处理（NLP）学术文章的贡献信息通过两个阶段的注释方法：1）试点阶段-定义计划（在以前的工作中描述）;和2）裁定阶段-规范化的图形模型（本文的重点）。设计/方法/办法：我们第二次重新注释了50篇先前注释过的NLP学术文章中的贡献相关信息，这些文章的数据管道包括：以贡献为中心的句子，短语和三重陈述。为此，特别注意在裁定注释阶段减少注释噪音，同时制定我们提出的新NLP贡献结构和图形方案的指导方针。调查结果：NLP CONTRIBUTIONGRAPH在50篇文章中的应用最终产生了900个以贡献为中心的句子，4，702个以贡献信息为中心的短语和2，980个表面结构三元组的数据集。第一阶段和第二阶段之间的注释内一致性，在F1方面，句子为67.92%，短语为41.82%，三重陈述为22.31%，这表明随着信息粒度的增加，注释决策方差更大。实际影响：我们展示了NLPContributiongraph数据集成到开放式研究知识图谱（ORKG），下一代基于KG的数字图书馆与智能计算，使结构化的学术知识，作为一个可行的援助，以协助研究人员在他们的日常任务。
2021-05-07 cs.CL cs.DL cs.IR
CroSentiNews 2.0: A Sentence-Level News Sentiment Corpus
University of Zagreb（萨格勒布大学）；Faculty of Humanities and Social Sciences（人文与社会科学学院）
本文构建了CroSentiNews 2.0，一个包含14.5K条句子级标注的克罗地亚新闻情感数据集，并提供了基线分数和标注者间一致性评估。
2023-05-14 cs.CL
Evaluation Benchmarks and Learning Criteria for Discourse-Aware Sentence Representations
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；University of Chicago（芝加哥大学）
先前关于预训练的句子嵌入和基准的工作集中在独立句子的能力上。我们提出了DiscoEval，一个测试套件的任务，以评估句子表示是否包括更广泛的上下文信息。我们还提出了各种训练目标，利用维基百科的自然注释来构建能够对话语进行建模的句子编码器。我们对使用我们提出的训练目标进行预训练的句子编码器以及其他流行的预训练句子编码器在DiscoEval和其他句子评估任务上进行了基准测试。从经验上讲，我们表明，这些培训目标有助于编码不同方面的信息在文档结构。此外，BERT和ELMo表现出较强的性能与DiscoEval的个人隐藏层显示不同的特点。
2019-11-07 cs.CL
YACLC: A Chinese Learner Corpus with Multidimensional Annotation
Beijing Language and Culture University（北京语言大学）；Beijing Normal University（北京师范大学）；Yunnan Normal University（云南师范大学）；Northeastern University（东北大学）；Shanghai University of Finance and Economics（上海财经大学）；Tsinghua University（清华大学）
学习者语料库收集第二语言学习者，即第二语言或外语学习者的语言数据。该资源对第二语言习得研究、外语教学和自动语法纠错具有重要意义。然而，针对对外汉语学习者的学习者语料库研究却很少。因此，我们建议建立一个大规模、多维的汉语学习者语料库。为了构建语料库，我们首先获得了大量的由汉语学习者生成的富文本。然后，我们设计了一个注释方案，包括句子的可接受性评分以及语法错误和流畅性为基础的更正。我们建立了一个众包平台来有效地执行注释（yaclc.wenmind.net）。我们将该语料库命名为YACLC（Yet Another Chinese Learner Corpus），并将其作为CUGE基准测试的一部分（http：//www.example.com）发布。cuge.baai.ac.cn通过对语料库中的原文和注释的分析，我们发现YACLC具有相当大的规模和非常高的注释质量。希望该语料库能进一步促进汉语国际教育和汉语语法错误自动纠正的研究。
2021-12-30 cs.CL
The Causal News Corpus: Annotating Causal Relations in Event Sentences from News
National University of Singapore（新加坡国立大学）；Koc University（科奇大学）；Rijksuniversiteit Groningen（格罗宁根大学）；Radboud University（拉德堡德大学）；National Institute of Japanese Literature（日本文学研究所）；Birmingham City University（伯明翰城市大学）；Instituto Politécnico Nacional（国立理工学院）；Mersin University（梅尔辛大学）；University of East Anglia（东英吉利大学）；ETH Zürich（苏黎世联邦理工学院）
尽管理解因果关系的重要性，语料库处理因果关系是有限的。现有的事件因果关系标注准则与传统的因果关系语料库存在着差异。许多准则限制自己仅包括显式关系或基于条款的参数。因此，我们提出了一个事件因果关系的注释模式，解决这些问题。我们从抗议事件新闻中抽取了3,559个事件句子，并标注了它们是否包含因果关系。我们的语料库被称为因果新闻语料库（CNC）。建立在最先进的预训练语言模型上的神经网络在测试集上的F1得分为81.20%，在5倍交叉验证中的F1得分为83.46%。CNC可以在两个外部语料库之间转换：CauseTimeBank（CTB）和Penn Discourse Treebank（PDTB）。利用这些外部数据集进行训练，我们在CNC测试集上实现了高达约64%的F1，而无需额外的微调。CNC也是两个外部语料库的有效训练和预训练数据集。最后，我们展示了我们的任务的困难，在一个众包注释练习的外行。我们的注释语料库是公开的，因果文本挖掘研究人员提供了宝贵的资源。
2022-04-25 cs.CL
ZuCo 2.0: A Dataset of Physiological Recordings During Natural Reading and Annotation
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）
我们记录并预处理了ZuCo 2.0，这是一个新的数据集，在自然阅读和注释过程中同时进行眼动跟踪和脑电图。该语料库包含739个句子的凝视和大脑活动数据，其中349个在正常阅读范式中，390个在特定任务范式中，其中18名参与者主动搜索给定句子中的语义关系类型作为语言注释任务。这个新的数据集通过提供旨在分析自然阅读和注释之间认知处理差异的实验来补充ZuCo 1.0。这些数据可以在这里免费获得：https://osf.io/2urht/。
2020-03-07 cs.CL cs.HC
Fine-Grained Argument Unit Recognition and Classification
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））；Ubiquitous Knowledge Processing Lab (UKP-TUDA), TU Darmstadt（达姆施塔特工业大学普适知识处理实验室（UKP-TUDA））
以前的工作通常定义的参数检索从异构的文档集合作为一个文档级分类任务。因此，论点检索遭受低召回和句子分割错误，使人类和机器难以消费的论点。在这项工作中，我们认为，任务应该执行更细粒度的序列标签。为此，我们将任务定义为参数单元识别和分类（AURC）。我们提出了一个数据集的参数从异构源注释为一个句子内的标记跨度，以及相应的立场。我们表明，以及如何通过众包高interannotator协议，可以有效地收集这些困难的论点注释。新的基准AURC-8与句子级别的注释相比，每个主题包含的参数多出15%。我们确定了一些针对AURC序列标记的方法，在已知的域上实现接近人类的性能。进一步的分析还表明，与以前的方法相反，我们的方法对句子分割错误更鲁棒。我们公开发布我们的代码和AURC-8数据集。
2019-11-21 cs.CL
MBIC -- A Media Bias Annotation Dataset Including Annotator Characteristics
University of Konstanz（康斯坦茨大学）；University of Wuppertal（伍珀塔尔大学）；University of Passau（帕绍大学）；University of Zurich（苏黎世大学）
许多人认为新闻文章是了解时事的可靠来源。然而，由于影响新闻机构的各种因素，这种报道可能并不总是公正的。媒体的偏见，或有倾向性的新闻报道，可以对公众对事件的看法产生重大影响，因此，可能会改变公众的信念和观点。当前媒体偏见检测研究的主要数据缺口是一个强大的，有代表性的，多样化的数据集，包含有偏见的单词和句子的注释。特别是，现有的数据集不控制注释者的个人背景，这可能会影响他们的评估，因此，代表了将他们的注释置于上下文的关键信息。在这张海报中，我们提出了一种基于矩阵的方法，使用自主开发的注释平台来众包这些数据。我们还提出了MBIC（媒体偏见包括特征）-第一个样本的1,700个陈述代表各种媒体偏见的情况。这些陈述由10名注释者审查，每个注释者都包含在单词和句子层面上识别媒体偏见的标签。MBIC是第一个关于媒体偏见的数据集，报告了注释者特征及其个人背景的详细信息。目前的数据集已经大大扩展了这一领域的现有数据，为偏见的感知提供了独特和更可靠的见解。在未来，我们将进一步扩展它的文章和每篇文章的注释者的数量。
2021-05-20 cs.CL
PRIMERA: Pyramid-based Masked Sentence Pre-training for Multi-document Summarization
University of British Columbia（不列颠哥伦比亚大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
我们引入了PRIMERA，这是一种用于多文档表示的预训练模型，专注于总结，减少了对特定于网络的架构和大量微调标记数据的需求。PRIMERA使用我们新提出的预训练目标，旨在教模型连接和聚合跨文档的信息。它还使用高效的编码器-解码器Transformers来简化级联输入文档的处理。通过在zero-shot、Few-Shot和全监督设置下对来自3个不同领域的6个多文档摘要数据集进行广泛的实验，PRIMERA在大多数这些设置上的表现优于当前最先进的特定于摘要的预训练模型。代码和预训练模型可以在\url{https://github.com/allenai/PRIMER}中找到。
2022-03-17 cs.CL
Improving Discourse Relation Projection to Build Discourse Annotated Corpora
Concordia University（康考迪亚大学）
由于在翻译过程中，隐含的话语关系往往会转化为显性的话语关系，反之亦然，因此单纯的注释投射方法不能有效地将话语注释从一种语言投射到另一种语言。在本文中，我们提出了一种新的方法的基础上统计词对齐模型之间的交集，以确定不支持的话语注释。这种方法确定了65%的不支持的注释，在英语和法语的平行句子从Europarl。通过过滤掉这些不支持的注释，我们从Europarl中推导出了第一个PDTB风格的法语话语注释语料库。然后，我们使用这个语料库训练分类器，以确定法语话语连接词的话语使用，并显示了15%的改善F1分数相比，分类器训练的非过滤注释。
2017-07-20 cs.CL
A Crowdsourced Frame Disambiguation Corpus with Ambiguity
FD Mediagroep（FD媒体集团）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Google（谷歌）
我们提出了一个资源的任务的FrameNet语义框架消歧的超过5,000个单词，句子对维基百科语料库。这些注释是使用一种新颖的众包方法收集的，每句话有多个工人来捕捉注释者之间的分歧。与将最佳单个框架归因于每个单词的典型方法相反，我们提供了一个框架列表，其中包含基于分歧的分数，这些分数表示每个框架适用于单词的置信度。这是基于这样的想法，即注释者之间的分歧至少部分是由文本和框架固有的歧义引起的。我们已经发现了许多例子，在这些例子中，各个框架的语义充分重叠，使它们成为解释句子的可接受的替代方案。我们认为，忽略这种模糊性会为训练和评估自然语言处理系统创造一个过于武断的目标--如果人类不能达成一致，我们为什么会期望机器的正确答案会有任何不同呢？为了处理这些数据，我们还利用了Framester系统提供的扩展词元集，该系统将FN与WordNet合并以增强覆盖率。我们的数据集包括1,000个词元不属于FN的词对的注释。最后，我们提出的指标，评估帧消歧系统，占模糊。
2019-04-12 cs.CL
A Corpus of Sentence-level Revisions in Academic Writing: A Step towards Understanding Statement Strength in Communication
Cornell University（康奈尔大学）
一个声明的力度可以对听众产生重大影响。例如，国际关系可能会因一国媒体对另一国事件的描述而紧张;论文可能会因夸大或低估其发现而被拒绝。因此，理解陈述强度的影响是很重要的。第一步是能够区分强有力的陈述和弱有力的陈述。然而，即使是这个问题也没有得到充分的研究，部分原因是缺乏数据。由于力量本质上是相对的，因此对提出主张的文本的修订是关于力量差异的数据的自然来源。在本文中，我们介绍了一个语料库的论文级修订，从学术写作。我们还描述了从我们的注释工作中获得的见解。
2014-05-31 cs.CL
SemEval-2022 Task 2: Multilingual Idiomaticity Detection and Sentence Embedding
University of Sheffield（谢菲尔德大学）；Universidade de Santiago de Compostela（圣地亚哥德孔波斯特拉大学）；Federal University of Rio Grande do Sul（南里奥格兰德联邦大学）
本文提出了多语言习语检测和句子嵌入的共享任务，它包括两个子任务：（a）二进制分类任务，旨在识别句子是否包含习语表达;（b）基于语义文本相似度的任务，要求模型在上下文中充分表示潜在的习语表达。每个子任务包括关于训练数据量的不同设置。除了任务描述外，本文还介绍了英语，葡萄牙语和加利西亚语的数据集及其注释过程，评估指标，以及参与者系统及其结果的总结。该任务有近100名注册参与者组成25个团队，在实践和评估阶段分别提交了650多份和150多份意见书。
2022-05-30 cs.CL
WikiSQE: A Large-Scale Dataset for Sentence Quality Estimation in Wikipedia
RIKEN AIP（日本理化学研究所革新智能综合研究中心）；Hitotsubashi University（一桥大学）
本文提出首个用于维基百科句子质量估计的大规模数据集WikiSQE，包含约340万句子和153个质量标签，实验表明竞争性机器学习模型在检测引用、语法/语义或命题问题时更具挑战性，且其性能优于众包工作者。
2023-12-29 cs.CL
Paragraph-level Commonsense Transformers with Recurrent Memory
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
人类对叙事文本的理解需要做出超出文本中明确陈述的常识性推理。最近的一个模型，COMET，可以产生这样的隐含常识推理沿几个维度，如前和后的条件，动机，和心理状态的参与者。然而，COMET是在短句的常识推理上训练的，因此是话语不可知论的。当呈现多句叙述的每一句时，它可能会产生与叙述的其余部分不一致的推论。我们提出了话语感知常识推理的任务。给定叙述中的一个句子，目标是沿着预定义的维度生成常识性推理，同时保持与叙述的其余部分的一致性。这种大规模的段落级注释是很难获得和昂贵的，所以我们使用现有的段落级注释，有效地和自动地构建远程监督语料库。使用这个语料库，我们训练PARA-COMET，一个话语感知模型，结合段落级信息，从叙述中产生连贯的常识推理。PARA-COMET捕获与先前世界知识有关的语义知识，以及涉及当前事件如何与叙述中的先前和未来事件相关的情节知识。我们的研究结果表明，PARA-COMET优于双水平基线，特别是在产生的推论，是既连贯又新颖。
2021-02-02 cs.CL cs.LG
Cross-Domain Multi-Task Learning for Sequential Sentence Classification in Research Papers
TIB – Leibniz Information Centre for Science and Technology（莱布尼茨科技信息中心）；L3S Research Center（L3S研究中心）
顺序句子分类处理基于其内容和上下文的句子分类。应用于科学文本，它使研究论文的自动结构和学术搜索引擎的改进。然而，以前的工作还没有调查的潜力，迁移学习的句子分类在不同的科学领域和不同的文本结构的问题，全文和摘要。在本文中，我们得出了七个相关的研究问题，并提出了几个贡献，以解决这些问题：首先，我们提出了一种新的统一的深度学习架构和多任务学习的跨域顺序句子分类在科学文本。其次，我们定制了两种常见的迁移学习方法，顺序迁移学习和多任务学习，以应对给定任务的挑战。任务的语义相关性是神经模型成功迁移学习的前提。因此，我们的第三个贡献是半自动识别语义相关的类从不同的注释方案的方法，我们提出了四个注释方案的分析。综合实验结果表明，模型，这是从不同的科学领域的数据集训练，受益于彼此时，使用所提出的多任务学习架构。我们还报告与几个国家的最先进的方法的比较。我们的方法在全文数据集上的表现明显优于最先进的方法，而在由摘要组成的数据集上则是如此。
2022-03-18 cs.CL cs.IR cs.LG
BiST: A Gold Standard Bangla-English Bilingual Corpus for Sentence Structure and Tense Classification with Inter-Annotator Agreement
Kennesaw State University（肯尼索州立大学）
BiST是一个精心编纂的孟加拉语-英语双语语料库，用于句子级别的语法分类，标注了句法结构和时态。该语料库包含30,534个句子，通过多阶段框架和Fleiss Kappa值确保高质量标注，支持语法建模任务。
2026-04-06 cs.AI cs.CL
Sentence level estimation of psycholinguistic norms using joint multidimensional annotations
University of Southern California（南加州大学）
心理语言规范词使用数字分数表示各种情感和心理结构，并用于自然语言处理中的各种应用。它们通常用于句子级别，其分数通过使用简单的聚合策略外推单词级别分数来估计，这可能并不总是最佳的。在这项工作中，我们提出了一个新的方法来估计心理语言规范在句子水平。我们应用多维注释融合模型的注释在字的水平，以估计一个参数，捕捉不同的规范之间的关系。然后，我们使用这个参数在句子水平估计的规范。我们评估我们的方法，预测句子水平的分数为各种规范的尺寸和标准的词聚合方案进行比较。
2020-05-20 cs.CL
From Images to Sentences through Scene Description Graphs using Commonsense Reasoning and Knowledge
Arizona State University（亚利桑那州立大学）；University of Maryland, College Park（马里兰大学帕克分校）
在本文中，我们提出了图像的语言描述的建设。这是通过使用自动构建的知识库从视觉场景中提取场景描述图（SDG）来实现的。SDG是通过愿景和推理构建的。具体而言，常识推理应用于（a）从给定图像上的现有感知方法获得的检测，（b）使用图像注释的自然语言处理构建的“常识”知识库，以及（c）来自诸如WordNet的资源的词汇本体知识。基于Amazon Mechanical Turk（AMT）的Flickr 8 k、Flickr 30 k和MS-COCO数据集的评估表明，在大多数情况下，通过我们的方法获得的SDG自动构建的句子比最近最先进的基于图像标题的方法更相关、更全面地描述了图像。我们的图像-句子对齐评估结果也可以与最近的最先进的方法相媲美。
2015-11-10 cs.AI cs.CL cs.CV
HKJudge: A Legal Discourse-Annotated Corpus for Interpreting What Courts Find, How They Reason, and What They Rule
City University of Hong Kong（香港城市大学）；University of Chinese Academy of Sciences（中国科学院大学）
提出首个句子级专家标注的法律话语数据集HKJudge，包含香港各级法院刑事判决，设计双层话语模式（26种修辞角色和3种判刑要素），并基于BERT和LLM进行基准评估。
2026-06-04 cs.AI cs.CL cs.CY
Guidelines for Fine-grained Sentence-level Arabic Readability Annotation
Computational Approaches to Modeling Language Lab, New York University Abu Dhabi（纽约大学阿布扎克分校计算语言学建模实验室）；Zai Arabic Language Research Centre, Zayed University（扎伊阿拉伯语言研究中心，扎耶德大学）；Abu Dhabi Arabic Language Centre（阿布扎克阿拉伯语言中心）
本文介绍面向阿拉伯语细粒度句子级可读性评估的 BAREC 语料库及其标注指南，涵盖19级、69,441句，并验证标注一致性与自动模型基准。
2025-06-11 cs.CL
Annotation of Chinese Predicate Heads and Relevant Elements
Guizhou University（贵州大学）；University of Massachusetts Boston（马萨诸塞大学波士顿分校）
谓语中心语是在句子中起结构中心作用的动词性表达。识别谓语中心语对理解句子至关重要。它在组织句子中的相关句法成分方面起着主导作用，包括主语成分，状语成分等。对于某些语言，如英语，词形态对识别谓语中心语很有价值。然而，汉语并没有提供任何形态信息来表明词的语法角色。一个汉语句子往往包含几个动词性表达，识别起谓语中心语作用的表达并不是一件容易的事情。此外，汉语句子不注重结构，词与词之间没有界限。因此，识别汉语谓语中心语涉及重大挑战。在中文信息抽取中，谓语中心语识别方面的研究还很少。没有普遍接受的评价数据集支持这一重要领域的工作。本文首次提出了汉语谓语中心语及其相关句法成分的注释准则。这个注释准则强调了谓语作为句子结构中心的作用。相关句法成分注释的设计也遵循这一原则。为了实现这一目标，提出了许多考虑因素，例如，谓词中心语的模式，扁平化的注释结构，以及更简单的句法单位类型。根据拟议的注释准则，对1 500多份文件进行了人工注释。语料库将在网上提供，供公众查阅。我们的目标是通过这一指南和注释语料库，广泛影响和推动中文信息抽取领域的研究，并为研究界提供长期缺乏的关键资源。
2021-04-01 cs.CL
Averaging Bias: Human Faithfulness Annotations are not Locally Faithful
Stony Brook University（石溪大学）
该研究发现文本摘要忠实性基准的人类全局标注存在平均偏差，即标注者接受大部分句子忠实的摘要，而非严格合取规则要求的所有句子都忠实，需改进人类标注设计。
2026-08-04 cs.CL
Artemis: A Novel Annotation Methodology for Indicative Single Document Summarization
Umass Amherst（马萨诸塞大学阿默斯特分校）；Facebook Inc（脸书公司）；Microsoft Corporation（微软公司）
我们描述了Artemis（注释方法丰富，易处理，提取，多域，指示性摘要），一种新的层次注释过程，从多个域的文件产生指示性摘要。目前的摘要评估数据集是单域的，集中在一些自然发生的摘要可以很容易地找到的领域，如新闻和科学文章。这些不足以训练和评估用于文档管理和信息检索系统的摘要模型，这些系统需要处理来自多个域的文档。与相对效用和金字塔等其他注释方法相比，Artemis更易于处理，因为法官在对其中一个句子进行重要性判断时不需要查看文档中的所有句子，同时提供同样丰富的句子重要性注释。我们详细描述了注释过程，并将其与其他类似的评估系统进行了比较。我们还提出了一个样本集的532注释的文档的分析和实验结果。
2020-05-14 cs.CL
Sentence Embeddings and High-speed Similarity Search for Fast Computer Assisted Annotation of Legal Documents
Université de Montréal（蒙特利尔大学）；Carnegie Mellon University（卡内基梅隆大学）；Hofstra University（霍夫斯特拉大学）；University of Pittsburgh（匹兹堡大学）
对法律文档中的句子进行人工注释是许多基于机器学习的系统支持法律任务的重要前提。通常，注释是逐句顺序完成的，这通常是耗时的，因此是昂贵的。在本文中，我们介绍了一个概念证明系统，用于注释句子的横向。“这种方法是基于这样一种观察，即意义相似的句子在特定的类型系统中通常具有相同的标签。我们使用这种观察，允许注释者快速查看和注释句子，语义上类似于一个给定的句子，在整个语料库的文件。在这里，我们提出了系统的接口和经验评估的方法。实验表明，横向标注有可能使标注过程更快，更一致。
2021-12-21 cs.AI cs.CL cs.LG
What Makes Sentences Semantically Related: A Textual Relatedness Dataset and Empirical Study
Institute for Better Health（健康改善研究所）；University of Toronto（多伦多大学）；National Research Council Canada（加拿大国家研究委员会）
两个语言单位的语义相关程度一直被认为是理解意义的基础。此外，自动确定相关性具有许多应用，例如问答和摘要。然而，由于缺乏相关性数据集，以前的NLP工作主要集中在语义相似性上，这是相关性的一个子集。在本文中，我们介绍了一个语义文本相关性数据集STR-2022，该数据集使用比较注释框架手动注释了5，500个英语句子对，从而得到细粒度的分数。我们表明，人类的直觉，句子对的相关性是高度可靠的，重复注释的相关性为0.84。我们使用数据集来探索是什么使句子语义相关的问题。我们还展示了STR-2022用于评估句子表示的自动方法和各种下游NLP任务的实用性。我们的数据集、数据声明和注释问卷可以在以下网站找到：https://doi.org/10.5281/zenodo.7599667
2023-03-20 cs.CL
Recovering document annotations for sentence-level bitext
Johns Hopkins University（约翰斯·霍普金斯大学）；Human Language Technology Center of Excellence（卓越人类语言技术中心）；Center of Language and Speech Processing（语言与言语处理中心）；Microsoft（微软公司）
本文为三个大规模多语言数据集重建文档级信息，提出文档级过滤技术以筛选上下文一致的译文，并训练模型在保证句子级翻译质量的同时提升文档级翻译效果。
2024-06-06 cs.CL
Learning to Compose Words into Sentences with Reinforcement Learning
DeepMind
我们使用强化学习来学习树结构神经网络，以计算自然语言句子的表示。与先前的工作树结构的模型，其中的树被提供作为输入或预测使用监督显式树库注释，在这项工作中的树结构进行了优化，以提高性能的下游任务。实验证明了学习任务特定的组合顺序的好处，优于顺序编码器和递归编码器的树库注释的基础上。我们分析了诱导树，并表明，虽然他们发现了一些语言直观的结构（例如，名词短语，简单动词短语），它们不同于传统的英语句法结构。
2016-11-28 cs.CL
Pre-trained Language Model Based Active Learning for Sentence Matching
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Alibaba AI Labs（阿里巴巴人工智能实验室）
主动学习能够显著降低数据驱动技术的注释成本。然而，以往的自然语言处理的主动学习方法主要依赖于基于熵的不确定性准则，忽略了自然语言的特点。本文提出了一种基于预训练语言模型的主动学习句子匹配方法。与以往的主动学习不同，它可以提供语言标准来衡量实例，并帮助选择更有效的实例进行注释。实验表明，我们的方法可以实现更高的准确性与更少的标记训练实例。
2020-10-12 cs.CL
Identifying ARDS using the Hierarchical Attention Network with Sentence Objectives Framework
University of Washington（华盛顿大学）
急性呼吸窘迫综合征（ARDS）是一种危及生命的疾病，通常未被诊断或诊断较晚。ARDS在COVID-19感染者中尤为突出。我们探讨了在自由文本胸片报告中自动识别ARDS指标和混杂因素。我们提出了一个新的注释语料库的胸片报告，并介绍了层次注意力网络与句子目标（HANSO）的文本分类框架。HANSO利用细粒度注释来提高文档分类性能。HANSO可以通过利用关系注释来高性能地提取与ARDS相关的信息，即使注释的跨度是嘈杂的。使用注释的胸片图像作为金标准，HANSO在胸片报告中识别双侧浸润（ARDS的指标），其性能（0.87 F1）与人类注释（0.84 F1）相当。该算法可以促进临床医生和研究人员更有效和快速地识别ARDS，并有助于开发新的治疗方法以改善患者护理。
2021-03-10 cs.CL
Sign Language Translation with Sentence Embedding Supervision
German Research Center for Artificial Intelligence (DFKI GmbH)（德国人工智能研究中心（DFKI GmbH））；Saarland Informatics Campus（萨尔兰州信息学校园）
提出用目标句子的句子嵌入替代人工注释作为监督信号，实现无需标注的多语言手语翻译，在PHOENIX-2014T和How2Sign上显著超越现有无注释方法，缩小了与依赖注释系统的差距。
2025-10-22 cs.CL
Capturing Ambiguity in Crowdsourcing Frame Disambiguation
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；IBM CAS Benelux（IBM比荷卢CAS）；Google Research（谷歌研究院）
FrameNet是一个计算语言学资源，由语义框架组成，表示单词含义的高级概念。在本文中，我们提出了一种方法来收集帧消歧注释的句子使用众包的方法，每个句子多个工人捕捉注释者之间的分歧。我们进行了一组433个句子的实验，从框架网络语料库的帧注释，并显示聚合人群注释实现了F1分数大于0.67相比，专家语言学家。我们强调的情况下，人群注释是正确的，即使专家是在不同意，认为需要有多个注释者每句话。最重要的是，我们研究了人群工作者无法达成一致的情况，并证明这些情况在句子，框架或任务本身中表现出模糊性，并认为将这些情况分解为单个离散的真值（即正确或不正确）是不合适的，为机器学习创造了任意目标。
2018-05-01 cs.CL
Automated Knowledge Graph Construction using Large Language Models and Sentence Complexity Modelling
Indiana University（印第安纳大学）；Purdue University（普渡大学）；Department of Biomedical Engineering（生物医学工程系）；Informatics, Indiana University（印第安纳大学信息学院）
本文提出CoDe-KG端到端流水线，结合共指消解与句法分解构建句子级知识图谱，贡献超15万三元组数据集，并在关系抽取上取得显著提升。
2025-09-22 cs.CL
Sent2Span: Span Detection for PICO Extraction in the Biomedical Text without Span Annotations
The University of Sydney（悉尼大学）；Northeastern University（东北大学）；IHPC, A*STAR（新加坡科技研究局高性能计算研究所）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Harvard Medical School（哈佛医学院）
发表的临床试验的快速增长使得很难保持最新的系统评价，这需要找到所有相关的试验。这导致政策和实践决策的基础上过时的，不完整的，有偏见的子集可用的临床证据。从临床试验文章中提取并标准化人群、干预、对照和结局（PICO）信息可能是自动将试验分配给系统性综述并避免检索和筛选（两个最耗时的系统性综述过程）的有效方法。我们提出并测试了一种新的PICO跨度检测方法。我们提出的方法和以前的方法之间的主要区别来自于检测跨度，而不需要注释的跨度数据，只使用众包的文件级注释。在两个数据集上的实验表明，与完全监督的方法相比，PICO跨度检测结果在召回方面取得了更高的结果，PICO句子检测至少与人类注释一样好。通过消除对专家注释进行跨度检测的依赖，这项工作可以用于人机管道，将低质量的众包和高级PICO注释转换为结构化信息，可用于快速将试验分配给相关的系统评价。
2021-09-06 cs.CL
Can inferred provenance and its visualisation be used to detect erroneous annotation? A case study using UniProtKB
Newcastle University（纽卡斯尔大学）
新数据的不断涌入对保持生物数据库中的注释最新提出了挑战。大多数生物数据库包含大量的文本注释，这些注释通常包含最丰富的知识来源。许多数据库重用现有的知识，在策展过程中，注释经常在条目之间传播。然而，这一点往往不明确。因此，读者可能很难，甚至不可能识别注释的来源。在这项工作中，我们试图确定注释出处，并跟踪其随后的传播。具体来说，我们利用注释重用UniProt知识库（UniProtKB）内，在单个句子的水平。我们描述了一个可视化的方法，在UniProtKB的句子的出处和传播，使大规模的统计分析。最初的UniProtKB内的句子重用水平进行了分析，表明重用是非常普遍的，这使得溯源和传播的跟踪。通过分析UniProtKB中的句子，我们发现了一些有趣的传播模式，覆盖了10万多个句子。超过8000个句子在从它们最初出现的条目中删除后仍然保留在数据库中。分析这些句子的子集表明，大约30%是错误的，而35%似乎是不一致的。这些结果表明，能够可视化句子传播和出处可以帮助确定文本注释的准确性和质量。源代码和补充数据可从作者的网站上获得。
2013-08-21 cs.CE cs.CL cs.DL
Linguistically Regularized LSTMs for Sentiment Classification
Tsinghua University（清华大学）
在过去的几十年里，情感理解一直是人工智能的长期目标。本文研究了情感分类问题。尽管最近已经提出了各种神经网络模型，然而，先前的模型要么依赖于昂贵的短语级注释，其性能在仅用短语级注释训练时大幅下降;要么不完全采用语言资源（例如，情感词汇、否定词、强度词），从而不能产生语言上连贯的表示。在本文中，我们提出了用语义级注释训练的简单模型，但也试图通过使用正则化器来生成语言上连贯的表示，这些正则化器对情感词汇、否定词和强度词的语言角色进行建模。结果表明，我们的模型是有效的捕捉情绪，否定和强度词的情绪转移效果，同时仍然获得有竞争力的结果，而不牺牲模型的简单性。
2017-04-25 cs.CL
A Mutually Reinforced Framework for Pretrained Sentence Embeddings
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；Beijing University of Posts and Telecommunications（北京邮电大学）
缺乏标记数据是学习高质量句子嵌入的主要障碍。近年来，自监督对比学习（SCL）被认为是解决这一问题的一种很有前途的方法。然而，现有的工作主要依赖于手工制作的数据注释算法来生成正训练样本，这不仅需要领域专业知识和费力的调整，而且还容易出现以下不利情况：1）琐碎的正，2）粗粒度的正，以及3）假阳性。因此，自我监督的质量在现实中会受到严重的限制。在这项工作中，我们提出了一个新的框架InfoCSE来解决上述问题。它不依赖于人类定义的标注语义，而是利用句子表示模型本身，实现了以下迭代的自我监督过程：一方面，句子表示的改进可能有助于数据标注的质量;另一方面，更有效的数据标注有助于生成高质量的正样本，这将进一步改进当前的句子表示模型。换句话说，表示学习和数据注释变得相互加强，其中可以导出强的自我监督效果。基于三个基准数据集进行了大量的实验，与现有的基于SCL的方法相比，可以实现显着的改进。
2022-02-28 cs.CL cs.IR
AnnIE: An Annotation Platform for Constructing Complete Open Information Extraction Benchmark
University of Mannheim（曼海姆大学）；NEC Laboratories Europe（NEC欧洲实验室）；University of Stuttgart（斯图加特大学）；LMU Munich（慕尼黑大学）
开放式信息抽取（Open Information Extraction，OIE）是以无模式的方式从关系形式的句子中抽取事实及其相应的论元的任务。由于现有OIE基准的不完整性，OIE系统的内在性能很难测量：地面真值提取并没有将可以从句子中提取的相同事实的所有可接受的表面实现分组。为了更现实地衡量OIE系统的性能，有必要手动注释完整的事实（即，同一事实的所有可接受的表面实现的聚类）。我们建议安妮：一个交互式注释平台，为此类具有挑战性的注释任务提供便利，并支持创建完整的面向事实的OIE评估基准。AnnIE是模块化和灵活的，以支持不同的用例场景（即，涵盖不同类型事实的基准）。我们使用AnnIE建立两个完整的OIE基准：一个是动词介导的事实，另一个是包含命名实体的事实。最后，我们评估了几个OIE系统上我们的完整的基准与AnnIE创建。我们的研究结果表明，现有的不完整的基准过于宽松，OIE系统并不像以前报道的那样强大。我们在非限制性许可下公开发布AnnIE。
2022-04-13 cs.CL
Nabra: Syrian Arabic Dialects with Morphological Annotations
Syrian Virtual University（叙利亚虚拟大学）；Birzeit University（比尔宰特大学）；Doha Institute for Graduate Studies（多哈研究生院）；American University of Beirut（贝鲁特美国大学）
本文构建了Nabra，一个覆盖叙利亚多地方言、含6万词形态学标注的开源语料库，标注质量F1和kappa达74%-98%。
2023-10-26 cs.CL
Persian Abstract Meaning Representation: Annotation Guidelines and Gold Standard Dataset
Sharif University of Technology（谢里夫理工大学）；Carleton University（卡尔顿大学）；Leipzing University（莱比锡大学）；Allameh Tabataba'i University（阿拉姆·塔巴塔巴伊大学）
本文提出波斯语AMR标注指南及含1,562句的黄金标准数据集，通过适应波斯语句法结构，揭示低资源语言AMR标注的挑战，推动通用意义表示框架发展。
2025-04-19 cs.CL
Op-Fed: Opinion, Stance, and Monetary Policy Annotations on FOMC Transcripts Using Active Learning
Williams College（威廉姆斯学院）
发布 Op-Fed 数据集，含 1044 条 FOMC 标注句子，通过五阶段分层模式和主动学习解决类别不平衡与上下文依赖问题，发现闭源 LLM 在货币政策立场分类上零样本准确率仅为 0.61，低于人类基线 0.89。
2025-09-16 cs.CL
Evaluating Sentence Segmentation and Word Tokenization Systems on Estonian Web Texts
University of Tartu（塔尔图大学）
从网络上获取的文本是嘈杂的，不一定遵循正字法句子和词边界规则。因此，在格式良好的文本上开发的句子分割和单词标记化系统在未经编辑的Web文本上可能不会表现得那么好。在本文中，我们首先描述了爱沙尼亚网络数据集的句子边界的手动注释，然后给出了三个现有的句子分割和单词标记化系统在这个语料库上的评估结果：EstNLTK，Stanza和UDPipe。虽然EstNLTK在此数据集上的句子分割方面获得了与其他系统相比最高的性能，但Stanza和UDPipe的句子分割性能仍然远低于在更完善的爱沙尼亚UD测试集上获得的结果。
2020-11-16 cs.CL
LATA: A Tool for LLM-Assisted Translation Annotation
School of Foreign Languages, Huaihua University（怀化大学外语学院）；Alith University College, Umm al-Qura University（乌姆·阿尔·库拉大学阿利思大学学院）
LATA是一个利用大语言模型辅助的翻译标注工具，旨在提高标注效率的同时保持语言学精度，适用于结构差异大的语言对。
2026-02-11 cs.CL
GDA: Generative Data Augmentation Techniques for Relation Extraction Tasks
Tsinghua University（清华大学）；Zhejiang University（浙江大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；The Chinese University of Hong Kong（香港中文大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Amazon（亚马逊）
针对关系抽取任务标注成本高、现有数据增强方法存在语义或句法缺失、多样性不足的问题，提出GDA生成式增强技术，通过双互补模块、多任务协同及实体提示提升增强效果，低资源场景下F1值提升2.0%。
2023-06-15 cs.CL
Indirectly Supervised English Sentence Break Prediction Using Paragraph Break Probability Estimates
Google Research（谷歌研究院）
本报告探讨了使用段落中断概率估计来帮助预测英语自然语言文本中句子中断的位置。我们发现，句子中断预测几乎完全基于段落中断概率估计可以实现高精度的这项任务。这个断句预测器几乎完全是在大量自然出现的文本上训练的，没有断句注释，只需要少量的注释数据来调整两个超参数。我们还表明，甚至更好的结果可以实现跨域和域外的测试数据，如果段落中断概率信号相结合的支持向量机分类器上训练的一个更大的量的中断注释的数据。在此过程中，许多相关问题得到了解决。
2021-09-24 cs.CL
Neural Summarization by Extracting Sentences and Words
University of Edinburgh（爱丁堡大学）
传统的提取摘要方法在很大程度上依赖于人类工程特征。在这项工作中，我们提出了一个基于神经网络和连续句特征的数据驱动方法。我们开发了一个通用的框架，单文档摘要组成的分层文档编码器和基于注意力的提取器。这种架构允许我们开发不同类别的摘要模型，可以提取句子或单词。我们在包含数十万文档摘要对的大规模语料库上训练我们的模型。在两个摘要数据集上的实验结果表明，我们的模型在没有任何语言注释的情况下获得了与现有技术相当的结果。
2016-07-01 cs.CL
Neural Media Bias Detection Using Distant Supervision With BABE -- Bias Annotations By Experts
University of Wuppertal（伍珀塔尔大学）；University of Konstanz（康斯坦茨大学）；NII Tokyo（东京国立信息学研究所）
本研究构建了专家标注的高质量媒体偏见数据集BABE，提出基于远程监督预训练的BERT偏见检测模型，在该数据集上取得0.804的宏F1分数，优于现有方法。
2022-09-29 cs.CL
Parsing Natural Language Sentences by Semi-supervised Methods
Charles University in Prague, Faculty of Mathematics and Physics（布拉格查理大学数学与物理学院）
我们提出了我们的工作，半监督分析的自然语言句子，侧重于多源跨语言迁移的非词汇化依赖分析器。我们首先评估了树库标注风格对句法分析性能的影响，重点是介词附加风格。然后，我们提出了KLcpos3，一个经验的语言相似性度量，设计和调整源解析器加权多源去词汇化解析器转移。最后，我们介绍了一种新的资源组合方法，基于训练的解析器模型的插值。
2015-06-16 cs.CL
Detecting Fine-Grained Cross-Lingual Semantic Divergences without Supervision by Learning to Rank
University of Maryland（马里兰大学）
检测以不同语言传达的内容中的细粒度差异对于跨语言NLP和多语言语料库分析很重要，但这是一个具有挑战性的机器学习问题，因为注释昂贵且难以扩展。这项工作提高了细粒度语义分歧的预测和注释。我们引入了一种多语言BERT模型的训练策略，通过学习排序不同粒度的合成发散样本。我们评估我们的模型上的语义化的英语-法语语义分歧，一个新的数据集发布的这项工作，由英语-法语的语义分歧类和标记级的理由注释的双。学习排序有助于比强的标记级相似性模型更准确地检测细粒度的标记级分歧，而标记级预测具有进一步区分粗粒度和细粒度分歧的潜力。
2020-10-07 cs.CL
Annotating Dimensions of Social Perception in Text: A Sentence-Level Dataset of Warmth and Competence
Cardiff University（卡迪夫大学）；National Research Council Canada（加拿大国家研究理事会）
本文提出首个句子级别标注的温暖与能力数据集W&C-Sent，包含1600多个英文句子-目标对，评估了大型语言模型在识别信任、亲和力和能力方面的性能。
2026-04-25 cs.CL
A Data-Oriented Approach to Semantic Interpretation
在面向数据的语法分析（DOP）中，标注的语言语料库被用作随机语法。通过以最可能的方式组合来自语料库的子分析来构造新输入句子的最可能分析。这种方法已成功地用于句法分析，使用语料库与句法注释，如宾州树库。如果使用带有语义注释的句子的语料库，则相同的方法也可以生成输入句子的最可能的语义解释。本文介绍了这种语义解释方法，并总结了初步实验的结果。对ATIS语料库中大部分句子的句法标注都添加了语义标注。一个面向数据的语义解释算法成功地测试了这个语义丰富的语料库。
1996-06-18 cmp-lg cs.CL
Predicate-Argument Structure Divergences in Chinese and English Parallel Sentences and their Impact on Language Transfer
Department of Environmental Sciences, Informatics and Statistics（环境科学、信息学与统计学系）；Department of Linguistic Sciences And Foreign Literatures（语言科学与外国文学系）
本文针对汉英平行句的谓词论元结构差异展开分析，通过双向标注投影实验验证了语言迁移的不对称性，为跨语言NLP的源语言选择及相关研究提供参考。
2025-11-12 cs.AI cs.CL
