Software Mention Recognition with a Three-Stage Framework Based on BERTology Models at SOMD 2024
University of Information Technology - VNUHCM（胡志明市国家大学信息科技大学）；Vietnam National University, Ho Chi Minh City（胡志明市国家大学）
本文提出基于BERT、SciBERT和XLM-R的三阶段NER框架，通过句子分类、实体抽取和类型分类解决学术文献中的软件提及识别问题，在SOMD 2024子任务I中以67.80%加权F1分数获得第3名。
2024-04-23 cs.AI cs.CL cs.SE
CorefDRE: Document-level Relation Extraction with coreference resolution
Chongqing University（重庆大学）
文档级关系抽取是从由多个句子组成的文档中抽取关系事实，其中代词跨句是一种普遍存在的现象。然而，以往的研究大多集中在代词之外的提述共指消解，而很少关注提述-代词共指及其关系的把握。为了用代词表示多句子特征，我们模仿人类的阅读过程，利用共指信息动态构建异构图来增强语义信息。由于代词在图中的歧义性，引入了一种代词-代词共指消解方法来计算代词与对应提及之间的相似度，并提出了噪声抑制机制来降低代词引起的噪声.在公共数据集DocRED、DialogRE和MPDD上的实验表明，基于图推理网络的文档级关系抽取的核心感知性能优于现有技术。
2022-02-22 cs.CL
A Neural Transition-based Model for Nested Mention Recognition
Samsung Research America（三星美国研究院）
通常，实体提及可以递归地包含其他提及。本文介绍了一种基于可伸缩变迁的提及嵌套结构建模方法。我们首先将一个嵌套提及的句子映射到一个指定的森林，其中每个提及对应于森林的一个组成部分。然后，我们的基于移位-归约的系统通过动作序列学习以自下而上的方式构建森林结构，该动作序列的最大长度保证为句子长度的三倍。基于Stack-LSTM，它用于在连续空间中有效地表示系统的状态，我们的系统进一步结合了基于字符的组件来捕获字母级别的模式。我们的模型在ACE数据集上取得了最先进的结果，表明了它在检测嵌套提及方面的有效性。
2018-10-03 cs.CL
Modeling Fine-grained Information via Knowledge-aware Hierarchical Graph for Zero-shot Entity Retrieval
Tsinghua University（清华大学）；Tencent（腾讯）
零镜头实体检索是指在zero-shot条件下，将提及与候选实体相关联，是自然语言处理中的一项重要任务。大多数现有的方法通过来自预训练的语言模型的相应上下文的句子嵌入来表示提及/实体。然而，我们认为，这种粗粒度的句子嵌入不能完全模型的提及/实体，特别是当对提及/实体的注意力分数相对较低。在这项工作中，我们提出了GER，一个\textbf{G}增强的\textbf{E}实体\textbf{R} etrieval框架，以捕获更多的细粒度信息作为补充句子嵌入。我们从相应的上下文中提取知识单元，然后构建一个提及/实体集中图。因此，我们可以通过从这些知识单元聚合信息来学习关于提及/实体的细粒度信息。为了避免中心提及/实体节点的图信息瓶颈，我们构造了一个层次图，并设计了一个新的层次图注意力网络HGAN。流行的基准测试的实验结果表明，我们提出的GER框架比以前的国家的最先进的模型表现更好。该代码已在https://github.com/wutaiqiang/GER-WSDM2023上提供。
2022-11-20 cs.CL
Fair Hate Speech Detection through Evaluation of Social Group Counterfactuals
University of Southern California（南加州大学）
用于减轻监督模型中的偏差的方法被设计为减少模型对输入数据的特定敏感特征的依赖，提到社会团体。然而，在检测仇恨言论的情况下，并不总是希望均衡社会群体的影响，因为它们在区分外群体贬损仇恨方面发挥着重要作用，因此，特定类型的仇恨言论只有在围绕某些社会群体标记进行语境化时才具有预期意义。针对所提及的社会群体的反事实令牌公平性评估模型的预测，以确定它们对于（a）实际句子和（b）通过改变句子中所提及的社会群体而生成的反事实实例是否相同。我们的方法确保了强大的模型预测的反事实，意味着类似的意义，作为实际的句子。为了量化句子及其反事实的相似性，我们比较了生成语言模型计算的可能性得分。通过均衡每个句子及其反事实的模型行为，我们在保持整体分类性能的同时减轻了所提出的模型中的偏差。
2020-10-24 cs.CL
Beam Search with Bidirectional Strategies for Neural Response Generation
IBM（国际商业机器公司）；University of Washington（华盛顿大学）；Télécom ParisTech, Université Paris Saclay（巴黎萨克雷大学巴黎电信学院）；IBM GBS France（IBM全球企业服务法国分部）
序列到序列神经网络由于具有学习各种语言模型的灵活能力而被广泛用于基于语言的应用中。然而，当通过训练的神经网络寻求最佳的语言响应时，目前现有的方法，如波束搜索解码器策略，仍然不能达到有前途的性能。我们没有开发基于“规则句子顺序”神经网络（通过从左到右顺序输出句子的训练模型）的各种解码器策略，而是利用“反向”顺序作为额外的语言模型（通过从右到左顺序输出句子的训练模型），这可以为路径查找问题提供不同的视角。在本文中，我们提出了双向策略，在搜索路径相结合的两个网络（从左到右和从右到左的语言模型），使双向束搜索成为可能。此外，我们的解决方案允许我们在句子选择标准中使用任何相似性度量。与单向束搜索策略相比，我们的方法表现出更好的性能。
2021-10-07 cs.AI cs.CL
Exploring Motivations for Algorithm Mention in the Domain of Natural Language Processing: A Deep Learning Approach
School of Management, Anhui University（安徽大学管理学院）；School of Economics and Management, Nanjing University of Science and Technology（南京理工大学经济管理学院）
提出句子级框架，利用预训练模型和数据增强分类NLP论文中算法提及动机，发现深度学习模型优于传统方法，使用动机最普遍且随时间增加。
2026-06-29 cs.AI cs.CL cs.DL
Poly-encoders: Transformer Architectures and Pre-training Strategies for Fast and Accurate Multi-sentence Scoring
Facebook AI Research（脸书人工智能研究院）
深度预训练的双向Transformers的使用已经在许多应用中导致了显著的进步（Devlin等人，2018年）。对于在序列之间进行成对比较的任务，将给定的输入与相应的标签进行匹配，有两种方法是常见的：交叉编码器对该对进行完全自注意，双编码器对该对进行单独编码。前者通常性能更好，但对于实际使用来说太慢了。在这项工作中，我们开发了一个新的Transformer架构，多编码器，学习全球，而不是令牌级的自我关注功能。我们对这三种方法进行了详细的比较，包括哪些预训练和微调策略效果最好。我们展示了我们的模型在三个现有任务上实现了最先进的结果; Poly-encoders比Cross-encoders更快，比Bi-encoders更准确;最好的结果是通过在类似于下游任务的大型数据集上进行预训练获得的。
2020-03-25 cs.AI cs.CL
Neural Reranking for Named Entity Recognition
Singapore University of Technology and Design（新加坡科技设计大学）
提出了一种用于命名实体识别的神经网络重排序系统。其基本思想是利用递归神经网络模型来学习涉及命名实体提及的事件级模式。特别地，给定由基线NER模型产生的输出句子，我们将所有实体提及（例如\textit{Barack Obama}）替换为它们的实体类型（例如\textit{PER}）。由此产生的句型包含直接输出的信息，但不太稀疏，没有具体的命名实体。例如，“PER出生于1999年”可以是这样的模式。LSTM和CNN结构用于学习这些句子的深度表示以进行重新排序。结果表明，我们的系统可以显着提高NER的准确性在两个不同的基线，给出了最好的报告结果的标准基准。
2017-07-17 cs.CL
Augmenting Data with Mixup for Sentence Classification: An Empirical Study
National Research Council Canada（加拿大国家研究委员会）；University of Ottawa（渥太华大学）；Beihang University（北京航空航天大学）
Mixup是最近提出的一种数据增强方法，通过对输入进行线性插值并对随机样本的目标进行建模，已证明其能够显着提高用于图像分类的最新网络的预测精度。然而，如何将这种技术应用于自然语言处理（NLP）任务，以及它的有效性如何，还没有研究。在本文中，我们提出了两种策略的适应Mixup的句子分类：一个执行插值的词嵌入和另一个句子嵌入。我们使用几个基准数据集进行实验来评估我们的方法。我们的研究表明，这种插值策略是一种有效的、独立于领域的数据增强方法，用于句子分类，并且可以显著提高CNN和LSTM模型的准确性。
2019-05-22 cs.AI cs.CL
SMDDH: Singleton Mention detection using Deep Learning in Hindi Text
National Institute of Technology, Hamirpur（国立理工学院，哈米尔普尔）
提及检测是共指消解系统的重要组成部分，它对姓名、名词和代词等提及进行识别。这些提及可以是纯粹的共指提及或单独提及（非共指提及）。共指提及是指文本中提及现实世界中的相同实体。鉴于，单独提及在文本中仅提及一次，并且不参与共指，因为它们在以下文本中没有再次提及。过滤这些单例提及可以显著提高共指消解过程的性能。本文提出了一种基于全连接网络和卷积神经网络的印地语文本单点提及检测模块。该模型利用了一些手工制作的特征和上下文信息，以及单词的词嵌入。共指标注的印地语数据集包括3.6K句子和78 K标记用于任务。在精确度，召回率和F-措施方面，所获得的实验结果是优秀的。
2023-01-23 cs.AI cs.CL cs.LG
Fine-Grained Named Entity Typing over Distantly Supervised Data Based on Refined Representations
UNSW（新南威尔士大学）；DGUT（东莞理工学院）
细粒度命名实体分类（FG-NET）是自然语言处理（NLP）中的一个关键组件。它旨在将实体提及分类为广泛的实体类型。由于大量的实体类型，远程监督被用来收集用于该任务的训练数据，其不考虑上下文而嘈杂地将类型标签分配给实体提及。为了减轻嘈杂的标签，现有的方法FGNET上的实体提到完全独立于彼此的分析和分配类型标签的基础上提到特定的上下文。这对于高度重叠和嘈杂的类型标签是不够的，因为它阻碍了信息跨越句子边界。为此，我们提出了一个边缘加权的注意图卷积网络，它通过在结束分类之前参加语料库级别的上下文线索来细化嘈杂的提及表示。实验结果表明，该模型优于现有的研究高达10.2%和8.3%的相对分数分别为宏观f1和微观f1。
2020-04-07 cs.CL
Entity-Augmented Distributional Semantics for Discourse Relations
School of Interactive Computing（交互计算学院）；Georgia Institute of Technology（佐治亚理工学院）
语篇关系将较小的语言元素结合成连贯的语篇。然而，自动识别语篇关系是困难的，因为它需要理解连接句子的语义。一个更微妙的挑战是，仅仅表示话语关系中每个句子的含义是不够的，因为这种关系可能依赖于较低级别元素之间的联系，例如实体提及。我们的解决方案计算分布式意义表示的组成了语法分析树。一个关键的区别，从以前的工作组成的分布语义是，我们还计算表示实体提到，使用一种新的向下组合通过。语篇关系不仅可以从句子的分布表征中预测，还可以从它们的共指实体提及中预测。该系统在预测Penn Discourse Treebank中的隐含语篇关系方面取得了显著的进步。
2015-04-28 cs.CL cs.LG
Detecting AI-Generated Sentences in Human-AI Collaborative Hybrid Texts: Challenges, Strategies, and Insights
Centre for Learning Analytics, Monash University（莫纳什大学学习分析中心）；National Engineering Research Center of Educational Big Data, Central China Normal University（华中师范大学教育大数据国家工程研究中心）
本研究利用CoAuthor数据集，提出两步分割法检测人机协作混合文本中的AI生成句子，发现任务挑战大，并建议根据片段长度选择分割或逐句分类策略。
2024-05-23 cs.AI cs.CL
A Dual-Task Paradigm to Investigate Sentence Comprehension Strategies in Language Models
Tohoku University（东大大学）；National Institute of Informatics（国家信息研究所）；The University of Tokyo（东京大学）
本文提出双任务范式，结合算术计算与句子理解任务，揭示语言模型在资源受限下更倾向于基于合理性推理，支持人类认知资源分配对句子理解的影响。
2026-04-29 cs.CL
Mitigating Out-of-Entity Errors in Named Entity Recognition: A Sentence-Level Strategy
School of Data Science, Fudan University（复旦大学数据科学学院）
针对命名实体识别中的实体外问题，提出充分利用句子级信息的S+NER框架，结合模板上下文理解与对比学习优化表示，在5个基准数据集上优于部分现有先进模型。
2025-01-13 cs.AI cs.CL
A Mention-Ranking Model for Abstract Anaphora Resolution
Heidelberg University（海德堡大学）
摘要回指的识别是语篇理解中的一个重要而又困难的任务。然而，随着表示学习的最新进展，这项任务成为一个更切实的目标。抽象回指的一个核心特性是它在回指句中的回指和它的先行词（通常是非名词性的）之间建立了一种联系。我们提出了一个提及排名模型，学习如何抽象的照应与他们的先行词与LSTM暹罗网。我们通过生成人工回指句--先行词对来克服训练数据不足的问题。我们的模型优于国家的最先进的结果外壳名词决议。我们还报告了ARRAU语料库的抽象回指子集的第一个基准测试结果。这个语料库提出了一个更大的挑战，由于混合的名词性和代词的回指和更大范围的混淆。我们发现，模型变量的表现优于基准的名义回指，没有训练个人的回指数据，但仍然落后于代词回指。我们的模型选择语法上合理的候选人，如果不考虑语法，则使用更深层次的特征来区分候选人。
2017-07-21 cs.CL stat.ML
Multi-Task and Multi-Corpora Training Strategies to Enhance Argumentative Sentence Linking Performance
Tokyo Institute of Technology（东京工业大学）；University of Cambridge（剑桥大学）
论证结构预测的目的是建立文本单位之间的联系，并标记它们之间的关系，形成一个给定的输入文本的结构化表示。前一个任务，链接，已被确定为特别具有挑战性的早期作品，因为它需要找到一个非常大的搜索空间的可能的链接组合的最合适的结构。在本文中，我们改进了一个国家的最先进的连接模型，通过使用多任务和多语料库的训练策略。我们的辅助任务帮助模型学习每个句子在议论文结构中的作用。将多语料库训练与选择性采样策略相结合，增加了训练数据的大小，同时确保模型仍然能够很好地学习所需的目标分布。对英语作为外语学习者撰写的文章的实验表明，这两种策略显着提高了模型的性能;例如，我们观察到个人链接预测的F1宏增加了15.8%。
2021-09-27 cs.CL
Transformer-based Named Entity Recognition with Combined Data Representation
CodeNLP
本研究针对基于Transformer的命名实体识别任务中单一数据表示策略泛化性差的问题，提出一种结合single、merged和context三种策略的组合训练方法，有效提升了模型在四种语言多数据集上的稳定性和适应性。
2024-06-25 cs.AI cs.CL
Improving Zero-shot Sentence Decontextualisation with Content Selection and Planning
Department of Computer Science and Technology, University of Cambridge（计算机科学与技术系，剑桥大学）
针对句子提取后缺乏上下文的问题，提出内容选择与规划框架，通过分割、识别歧义单元并基于话语关系提取相关单元来重写句子，实现零样本去上下文化，提升语义完整性和连贯性。
2025-10-15 cs.CL
Sentence Punctuation for Collaborative Commentary Generation in Esports Live-Streaming
University of Tsukuba（筑波大学）；University of British Columbia（不列颠哥伦比亚大学）；Ritsumeikan University（立命馆大学）
针对电竞直播中协同解说生成存在的句子标点问题，提出了两种游戏解说文本序列的句子标点策略，即用两个或三个由Youtube标注的文本序列对句子进行标点，得到一个完整的解说句子。我们进行了比较实验，利用和微调两种策略和基线之间的最先进的预训练生成语言模型，以生成协作评论。通过自动度量和主观分析的客观评估表明，我们的策略，标点句子由两个文本序列优于基线。
2021-10-24 cs.CL cs.MM
A FOFE-based Local Detection Approach for Named Entity Recognition and Mention Detection
York University（约克大学）
本文研究了自然语言处理中命名实体识别和提及检测的一种新方法。我们提出了一种新的局部检测方法，而不是将NER视为序列标签问题，该方法依赖于最近的固定大小顺序遗忘编码（FOFE）方法，将每个句子片段及其左/右上下文完全编码为固定大小的表示。然后，使用简单的前馈神经网络来拒绝或预测每个单独片段的实体标签。所提出的方法已经在几个流行的NER和提及检测任务中进行了评估，包括CoNLL 2003 NER任务和TAC-KBP 2015和TAC-KBP 2016三语实体发现和链接（EDL）任务。我们的方法在所有这些检查任务中都取得了相当好的效果。与传统的序列标记方法相比，这种局部检测方法具有许多优点。
2016-11-02 cs.CL
Continuation semantics for multi-quantifier sentences: operation-based approaches
经典的多量词句辖域分配策略涉及量词短语移动。最近的基于延续的方法提供了一个令人信服的替代方案，因为他们解释QP的原位-没有诉诸逻辑形式或任何结构以外的公开语法。基于延续的策略可以分为两类：一类是从语义构成规则中找到范围歧义的根源，另一类是将范围歧义归因于量词的词条。在本文中，我们专注于以前的操作为基础的方法和所涉及的语义操作的性质。更具体地说，我们讨论了三种可能的基于操作的多量词句子的策略，以及它们的相对优点和成本。
2016-08-02 cs.CL cs.LO math.LO
Towards Debiasing Temporal Sentence Grounding in Video
Nanyang Technological University（南洋理工大学）；Institute of High Performance Computing, A*STAR（A*STAR高性能计算研究所）；Alibaba DAMO Academy（阿里巴巴达摩院）
视频中的时间句子基础（TSGV）任务是从未修剪的视频中定位时间时刻，以匹配语言查询，即，一句话在不考虑矩注释中的偏差的情况下（例如，视频中的开始和结束位置），但是许多模型倾向于捕获时刻注释的统计信息，并且不能很好地学习视频和语言查询之间的跨模态推理。在本文中，我们提出了两个去偏置策略，数据去偏置和模型去偏置，“迫使”TSGV模型捕捉跨模态的相互作用。数据去偏通过视频截断实现数据过采样，以平衡训练集中的时刻时间分布。模型去偏置利用仅视频和仅查询模型来捕获分布偏置，并迫使模型学习跨模态交互。使用VSLNet作为基础模型，我们评估了这两种策略对包含分布外测试实例的两个数据集的影响。实验结果表明，这两种策略都能有效地提高模型的泛化能力.配备了两种去偏策略，VSLNet在两个数据集上都获得了最佳结果。
2021-11-08 cs.CL cs.CV
Untangling the GDPR Using ConRelMiner
University of Vienna（维也纳大学）
《通用数据保护条例》（GDPR）在理解、实施和维护所包含的约束方面给公司和组织带来了巨大的挑战。我们报告如何使用ConRelMiner方法来解开GDPR。为此，GDPR将根据GDPR提到的角色进行过滤和分组，并显示分析师要阅读的句子的减少。此外，ConRelMiner的输出-句子之间关系的聚类图-被显示和解释。总的来说，我们的目标是说明如何减少实施GDPR的工作，并找到相关GDPR语句的结构化和有意义的表示。
2018-11-08 cs.CL
An Empirical Study of Mini-Batch Creation Strategies for Neural Machine Translation
NTT Communication Science Laboratories, NTT Corporation（NTT株式会社NTT通信科学基础研究所）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Carnegie Mellon University（卡内基梅隆大学）；Japan Science and Technology Agency（日本科学技术振兴机构）
神经机器翻译（NMT）模型的训练通常使用小批量来提高效率。在小批量训练过程中，为了有效计算，需要填充小批量中的较短句子，使其长度等于其中的最长句子。以前的工作已经注意到，在进行小批量处理之前，根据句子长度对语料库进行排序，减少了填充量，提高了处理速度。然而，尽管小批量创建是NMT训练中的一个重要步骤，但广泛使用的NMT工具包实现了不同的策略，这些策略尚未经过经验验证或比较。本文研究了小批量创建策略，并在两个不同的数据集上进行了实验。我们的研究结果表明，小批量创建策略的选择对NMT训练有很大的影响，与简单的洗牌相比，一些基于长度的排序策略并不总是有效。
2017-06-19 cs.CL
Figurative Usage Detection of Symptom Words to Improve Personal Health Mention Detection
CSIRO Data61（联邦科学与工业研究组织Data61）；University of Queensland（昆士兰大学）
个人健康提及检测处理预测给定句子是否是健康状况的报告。过去的工作提到了错误的预测时，症状的话，即感兴趣的症状的名称，是在一个比喻的意义上使用。因此，我们将最先进的比喻使用检测与基于CNN的个人健康提及检测相结合。为此，我们提出了两种方法：基于流水线的方法和基于特征增强的方法。在基于特征增强的方法的情况下，比喻使用检测的引入导致个人健康提及检测的F分数平均提高2.21%。本文展示了使用比喻使用检测来改善个人健康提及检测的前景。
2019-07-04 cs.CL cs.IR
Reinforcement Learning-based N-ary Cross-Sentence Relation Extraction
Virginia Tech（弗吉尼亚理工大学）；Adobe Research（奥多比研究院）
基于远距离监督的n元跨句关系抽取模型假设连续的句子中包含n个实体，描述了这n个实体之间的关系。然而，一方面，这种假设引入了噪声标记数据，损害了模型的性能。另一方面，一些非连续的句子也描述了一个关系，这些句子不能在这个假设下被标记。在本文中，我们放松了这个强假设较弱的远程监督假设，以解决第二个问题，并提出了一种新的句子分布估计模型，以解决第一个问题。该估计器选择正确标记的句子，以减轻噪声数据的影响是一个两级代理强化学习模型。此外，提出了一种新的通用关系提取器与注意力机制和PCNN的混合方法，它可以部署在任何任务，包括连续和非连续的句子。实验结果表明，与基准模型相比，该模型能有效降低噪声数据的影响，并在一般的n元跨句关系抽取任务中获得更好的性能。
2020-09-26 cs.CL cs.LG stat.ML
Improving Cross-Lingual Token Representations by Adding a Pinch of SALT
ILCC, University of Edinburgh（爱丁堡大学）
提出轻量级后训练方法SALT，通过跨度级监督改进跨语言句子编码器的词元表示，在多个多语言基准上取得最优结果，同时提升句子级性能。
2026-09-10 cs.AI cs.CL
Datasets for Verb Alternations across Languages: BLM Templates and Data Augmentation Strategies
本文提出四个语言的 curated 数据集，用于探索动词变体的跨句知识，通过 BLM 任务和数据增强策略评估模型性能。
2026-03-16 cs.CL cs.DB
Explicitly Representing Syntax Improves Sentence-to-layout Prediction of Unexpected Situations
KU Leuven（鲁汶大学）
该研究通过比较隐式与显式编码句法的语言表示在布局预测中的表现，发现当前模型在训练未见过的实体关系组合时性能大幅下降，进而提出一种结构损失函数，显著提升了意外场景下的句子到布局预测性能。
2024-12-02 cs.CL
Deriving Word Vectors from Contextualized Language Models using Topic-Aware Mention Selection
Cardiff University（卡迪夫大学）；Université d’Artois（阿图瓦大学）；CRIL-CNRS（法国国家科学研究中心计算机与自动化研究所）
词汇语义学的一个长期存在的挑战在于学习反映其语义属性的词的表示。词嵌入在这方面的显著成功表明，通过总结词提及的句子上下文可以获得高质量的表示。在本文中，我们提出了一种学习单词表示的方法，遵循这一基本策略，但在两个重要方面不同于标准的词嵌入。首先，我们利用上下文化的语言模型（CLM），而不是词向量袋编码上下文。其次，我们不是直接学习单词向量，而是使用主题模型来划分单词出现的上下文，然后为每个单词学习不同的主题特定向量。最后，我们使用一个特定于任务的监督信号，使软选择的结果向量。我们发现，这种简单的策略导致高质量的词向量，这是更预测的语义属性比词嵌入和现有的CLM为基础的战略。
2021-06-15 cs.CL
CLEAR: Contrastive Learning for Sentence Representation
University of Michigan（密歇根大学）；Facebook AI（脸书人工智能研究院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
预训练的语言模型已经证明了它们在捕捉隐式语言特征方面的独特能力。然而，大多数的预训练方法都集中在单词层面的训练目标，而词汇层面的目标却很少被研究。在本文中，我们提出了对比学习的句子表示（CLEAR），它采用多个层次的增强策略，以学习噪声不变的句子表示。这些扩充包括单词和跨度删除、重新排序和替换。此外，我们还通过大量的实验研究了对比学习有效的关键原因。我们观察到，在预训练过程中，不同的句子增强会导致不同的下游任务的性能提高。我们的方法在SentEval和GLUE基准测试中优于多种现有方法。
2020-12-31 cs.CL
Local and Global Context-Based Pairwise Models for Sentence Ordering
Cognitive Applications Research Lab（认知应用研究实验室）
句子排序是指将一组句子重新排列成适当的连贯顺序的任务。对于这个任务，大多数以前的方法已经探索了全局上下文为基础的端到端的方法，使用序列生成技术。在本文中，我们提出了一套强大的本地和全球的上下文为基础的成对排序策略，利用我们的预测策略优于所有以前的作品在这一领域。我们提出的编码方法利用段落的丰富的全局上下文信息来预测成对顺序使用新的Transformer架构。对这两种解码策略的分析有助于更好地解释成对模型中的错误传播。这种方法是最准确的纯成对模型，我们的编码策略也显着提高了其他最近使用成对模型的方法的性能，包括以前的最新技术，证明了这项工作的研究新颖性和普遍性。此外，我们还展示了ALBERT的预训练任务如何帮助它显著优于BERT，尽管参数要少得多。广泛的实验结果，架构分析和消融研究表明，所提出的模型相比，以前的国家的最先进的有效性和优越性，除了提供一个更好地了解成对模型的功能。
2022-08-20 cs.AI cs.CL cs.IR
NSP-BERT: A Prompt-based Few-Shot Learner Through an Original Pre-training Task--Next Sentence Prediction
Army Engineering University of PLA（中国人民解放军陆军工程大学）
使用提示来利用语言模型来执行各种下游任务，也称为基于提示的学习或基于提示的学习，与预训练和微调范例相比，最近取得了显著的成功。尽管如此，实际上所有的基于完形填空的方法都是标记级的，这意味着它们都利用GPT的从左到右的语言模型或BERT的掩码语言模型来执行完形填空式的任务。在本文中，我们尝试在zero-shot场景中使用RoBERTa和其他模型放弃的BERT原始预训练任务-下一句预测（NSP）来完成几个NLP任务。与token级别的技术不同，我们的基于提示符级别的方法NSP-BERT不需要固定提示符的长度或要预测的位置，使其能够轻松处理实体链接等任务。基于NSP-BERT的特点，我们为各种下游任务提供了几个快速构建模板。我们提出了一个两阶段的提示方法，特别是词义消歧任务。我们的标签映射策略显着提高了模型在句子对任务上的表现。在FewCLUE基准测试中，我们的NSP-BERT在大多数任务上都优于其他zero-shot方法，并接近于Few-Shot方法。
2022-10-18 cs.AI cs.CL
Weakly-Supervised Hierarchical Models for Predicting Persuasive Strategies in Good-faith Textual Requests
建模说服性语言有可能更好地促进我们的决策过程。尽管其重要性，说服的计算建模仍处于起步阶段，主要是由于缺乏基准数据集，可以提供说服策略的定量标签，以加快这一研究路线。为此，我们引入了一个大规模的多领域的文本语料库建模的说服策略在善意的文本请求。此外，我们设计了一个层次化的弱监督潜变量模型，可以利用部分标记的数据来预测每个句子的相关说服策略，其中监督来自整体文档级标签和非常有限的文档级标签。实验结果表明，我们提出的方法优于现有的半监督基线显着。我们已在https://github.com/GT-SALT/Persuasion_Strategy_WVAE上公开发布了我们的代码。
2021-01-16 cs.CL cs.CY
Assessing and Improving Punctuation Robustness in English-Marathi Machine Translation
Computation for Indian Language Technology (CFILT) Department of Computer Science and Engineering（印度语言技术计算（CFILT）部门计算机科学与工程系）；Indian Institute of Technology Bombay（印度班加罗尔理工学院）
本研究通过英语到马拉雅尔语的翻译任务，评估并改进NMT系统在处理标点歧义时的鲁棒性，提出两种修复策略并发现任务特定方法优于大型语言模型。
2026-02-13 cs.CL
Discourse Level Factors for Sentence Deletion in Text Simplification
The Ohio State University（俄亥俄州立大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出了一个数据驱动的研究，重点是分析和预测句子删除-一个普遍的，但研究不足的现象，在文档简化-在一个大型的英语文本简化语料库。我们检查各种文件和话语因素与句子删除，使用一个新的手动注释句子对齐语料库，我们收集。我们发现，专业编辑使用不同的策略，以满足小学和中学的可读性标准。为了预测在简化到一定程度时句子是否会被删除，我们利用自动对齐的数据来训练分类模型。根据我们手动注释的数据进行评估，我们的最佳模型在小学和中学阶段分别达到了65.2和59.7的F1分数。我们发现，语篇层面的因素有助于预测句子删除简化的挑战性任务。
2020-08-25 cs.CL
Vocabulary Selection Strategies for Neural Machine Translation
École polytechnique（巴黎综合理工学院）；Facebook AI Research（Facebook人工智能研究院）
经典的翻译模型通过基于输入句子选择翻译规则的子集来限制可能的输出空间。最近关于提高神经翻译模型效率的工作采用了类似的策略，将输出词汇限制为给定源的可能候选者的子集。在本文中，我们实验与上下文和嵌入为基础的选择方法和扩展以前的工作，更详细地检查速度和准确性的权衡。我们表明，在相同或仅可忽略不计的准确性变化的情况下，在WMT 15英语-德语和WMT 16英语-罗马尼亚语任务上，CPU上的解码时间可以减少高达90%，训练时间减少25%。这使得使用最先进的神经翻译系统在单个CPU核心上对英语-德语进行解码的时间超过每句140毫秒。
2016-10-01 cs.CL
Does a model's stated reason for rejecting a candidate do any work?
本研究通过插入事实句和对照实验，检验语言模型拒绝候选时陈述的理由是否真正影响其选择，发现内容效应存在但受位置和流畅度影响，且测量规则需严格验证。
2026-09-25 cs.AI cs.CL cs.LG
Meta-Learning with Dynamic-Memory-Based Prototypical Network for Few-Shot Event Detection
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
事件检测（ED）是事件提取的一个子任务，涉及识别触发器和对事件提及进行分类。现有的方法主要依赖于监督学习，需要大规模的标记事件数据集，不幸的是，这些数据集在许多现实生活中的应用中并不容易获得。在本文中，我们考虑并重新制定了有限的标记数据的ED任务作为一个少样本学习问题。我们提出了一个基于动态记忆的原型网络（DMB-PN），它利用动态记忆网络（DMN），不仅学习更好的事件类型的原型，而且还产生更强大的句子编码的事件提及。不同于香草原型网络简单地计算事件原型平均，只消耗事件提到一次，我们的模型是更强大的，能够提取上下文信息，从事件提到多次由于DMN的多跳机制。实验结果表明，DMB-PN不仅能更好地处理样本稀缺问题，而且在事件类型多样性较大、实例数量较少的情况下具有更强的鲁棒性。
2019-11-13 cs.AI cs.CL cs.IR
Detecting Ongoing Events Using Contextual Word and Sentence Embeddings
Universidad Nacional del Sur（南方国立大学）；Dalhousie University（达尔豪斯大学）
本文介绍了正在进行的事件检测（OED）任务，这是一个特定的事件检测任务，其目标是检测正在进行的事件只提到，而不是历史，未来，假设，或其他形式或事件，既不新鲜也不当前。任何需要从非结构化文本中提取关于正在发生的事件的结构化信息的应用程序都可以利用OED系统。本文的主要贡献如下：（1）介绍了OED任务以及为该任务手动标记的数据集;（2）提出了一个用于该任务的RNN模型的设计和实现，该模型使用BERT嵌入来定义上下文单词和上下文句子嵌入作为属性，据我们所知，这在以前从未用于检测新闻中的正在进行的事件;（3）它提出了一个广泛的经验评估，包括（i）不同架构和超参数的探索，（ii）研究每个属性的影响的消融测试，以及（iii）与最先进模型的复制进行比较。结果提供了几个见解的重要性，上下文嵌入，并表明该方法是有效的，在OED的任务，优于基线模型。
2021-02-05 cs.CL cs.LG
GDA: Generative Data Augmentation Techniques for Relation Extraction Tasks
Tsinghua University（清华大学）；Zhejiang University（浙江大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；The Chinese University of Hong Kong（香港中文大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Amazon（亚马逊）
针对关系抽取任务标注成本高、现有数据增强方法存在语义或句法缺失、多样性不足的问题，提出GDA生成式增强技术，通过双互补模块、多任务协同及实体提示提升增强效果，低资源场景下F1值提升2.0%。
2023-06-15 cs.CL
Dynamic Context Selection for Document-level Neural Machine Translation via Reinforcement Learning
National Laboratory of Pattern Recognition, Institute of Automation, CAS（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
文档级神经机器翻译已经取得了有吸引力的改进。然而，大多数现有的方法，粗略地使用在一个固定的范围内的所有上下文语句。他们忽略了这样一个事实，即不同的源句需要不同大小的上下文。为了解决这个问题，我们提出了一种有效的方法来选择动态上下文，使文档级翻译模型可以利用更有用的选择上下文句子，以产生更好的翻译。具体来说，我们引入了一个选择模块，它是独立的翻译模块评分每个候选上下文句子。然后，我们提出了两种策略，明确选择一个变量数量的上下文句子，并将它们送入翻译模块。我们通过强化学习对这两个模块进行端到端的训练。提出了一种新的奖励机制来鼓励用户选择和使用动态上下文语句。实验表明，该方法可以为不同的源语句选择自适应的上下文语句，并显着提高了文档级翻译方法的性能。
2020-10-09 cs.CL
Falcon 7b for Software Mention Detection in Scholarly Documents
Fraunhofer Institute for Applied Information Technology（弗劳恩霍夫应用信息技术研究所）；University of Koblenz（科布伦茨大学）；School of Future Science and Engineering, Soochow University（苏州大学未来科学与工程学院）；University Hospital of Cologne（科隆大学医院）
本研究探索Falcon-7b用于学术文献软件提及检测（SOMD子任务I），测试双分类器、自适应采样等策略，发现选择性标注和自适应采样可提升性能，但多策略整合未必有累积增益，为大模型在学术文本分析任务的应用提供参考。
2024-05-14 cs.CL cs.DL cs.LG
A Systematic Analysis of Chunking Strategies for Reliable Question Answering
Artefact Research Center（Artifact研究中心）
本文通过系统分析，探讨了不同分块策略对RAG系统可靠性的影响，发现句子分块在成本效率上最优，且上下文长度对性能有显著影响。
2026-01-20 cs.CL cs.IR
An Unsupervised Sentence Embedding Method by Mutual Information Maximization
Singapore University of Technology and Design（新加坡科技设计大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；ZJU-UIUC Institue（浙江大学-伊利诺伊大学厄巴纳-香槟分校联合学院）
BERT对于聚类或语义搜索等句子对任务效率低下，因为它需要组合地评估许多句子对，这非常耗时。Sentence BERT（SBERT）试图通过学习单个句子的语义有意义的表示来解决这一挑战，从而可以轻松地进行相似性比较。然而，SBERT是在具有高质量标记句子对的语料库上训练的，这限制了其在标记数据极其稀缺的任务中的应用。在本文中，我们提出了一个轻量级的扩展上的BERT和一个新的自监督学习目标的基础上互信息最大化策略，以获得有意义的句子嵌入在无监督的方式。与SBERT不同，我们的方法不受标记数据可用性的限制，因此它可以应用于不同领域的特定语料库。实验结果表明，该方法在普通语义文本相似度（STS）任务和下游有监督任务上的性能明显优于其他无监督的句子嵌入基线。它还优于SBERT在设置中，在域标记的数据是不可用的，并实现性能与监督方法在各种任务上的竞争。
2021-02-05 cs.CL cs.LG
DeFactoNLP: Fact Verification using Entity Recognition, TFIDF Vector Comparison and Decomposable Attention
Carnegie Mellon University（卡内基梅隆大学）；University of Bonn（波恩大学）
在本文中，我们描述了DeFactoNLP，我们为FEVER 2018共享任务设计的系统。这项任务的目的是设想一个系统，不仅可以自动评估索赔的真实性，而且还可以从维基百科检索支持这一评估的证据。在我们的方法中，维基百科文档的词频-逆文档频率（TFIDF）向量是最相似的向量的权利要求和那些文档的名称是相似的命名实体（NE）中提到的权利要求被识别为可能包含证据的文档。然后，这些文档中的句子被提供给文本蕴涵识别模块。该模块计算每句话支持索赔、反驳索赔或不提供任何相关信息的概率，以评估索赔的真实性。使用这些概率计算的各种特征最终由随机森林分类器用于确定索赔的总体真实性。支持这一分类的句子将作为证据返回。我们的方法实现了0.4277证据F1评分，0.5136标签准确度和0.3833发热评分。
2018-09-03 cs.AI cs.CL cs.IR
Semantic Centroids and Hierarchical Density-Based Clustering for Cross-Document Software Coreference Resolution
Department of Electrical Engineering and Computer Science（电气工程与计算机科学系）；Wismar University of Applied Sciences（威斯马应用科学大学）
本文提出结合语义嵌入、知识库检索与密度聚类的方法，解决跨文档软件提及的一致性识别问题，通过表面形式规范化和缩写解析提升命名匹配，系统在三个子任务中均取得高F1分数。
2026-03-25 cs.CL
Identifying Mentions of Pain in Mental Health Records Text: A Natural Language Processing Approach
Institute of Psychiatry, Psychology and Neurosciences, King’s College London（伦敦国王学院精神病学、心理学与神经科学研究所）；Health Data Research UK（英国健康数据研究中心）；South London and Maudsley Biomedical Research Centre（南伦敦和莫兹利生物医学研究中心）；The South London and Maudsley NHS Foundation Trust（南伦敦和莫兹利国民保健信托基金会）
本研究利用匿名心理健康电子健康记录数据，训练机器学习分类算法识别文本中的疼痛提及，最佳模型F1分数达0.98，有助于从大型数据库中提取疼痛信息以支持相关研究。
2023-04-05 cs.CL cs.LG
Modular Sentence Encoders: Separating Language Specialization from Cross-Lingual Alignment
Ubiquitous Knowledge Processing Lab (UKP Lab) Department of Computer Science Technical University of Darmstadt and National Research Center for Applied Cybersecurity ATHENE, Germany（技术大学达姆施塔特计算机科学系通用知识处理实验室（UKP实验室）和应用网络安全国家研究中心ATHENE德国）；Center for AI and Data Science, University of Würzburg（人工智能与数据科学中心，乌尔姆大学）
提出模块化句子编码器，通过先训练单语模块再训练跨语言对齐适配器，分离语言特化与跨语言对齐，解决多语言诅咒和任务冲突，实现更优且均衡的性能。
2025-05-30 cs.CL
Semi-Supervised Formality Style Transfer with Consistency Training
Tokyo Institute of Technology（东京工业大学）
正式风格转换是指在不改变句子意义的前提下，将非正式句子改写为正式句子。为了解决现有并行数据集的数据稀缺问题，以前的研究倾向于采用循环重构方案来利用额外的未标记数据，其中FST模型主要受益于目标端未标记句子。在这项工作中，我们提出了一个简单而有效的半监督框架，以更好地利用基于一致性训练的源端未标记句子。具体来说，我们的方法通过强制模型为其扰动版本生成类似的输出来增强从源端非正式句子获得的伪并行数据。此外，我们还实证研究了各种数据扰动方法的影响，并提出了有效的数据过滤策略来改进我们的框架。GYAFC基准测试的实验结果表明，我们的方法可以达到国家的最先进的结果，即使不到40%的并行数据。
2022-03-25 cs.CL
BERT-based Acronym Disambiguation with Multiple Training Strategies
DeepBlue Technology (Shanghai) Co., Ltd（深兰科技（上海）有限公司）
首字母缩略词消歧（AD）任务的目的是找到一个歧义的首字母缩略词在一个给定的句子中的正确扩展。虽然使用首字母缩略词很方便，但有时它们可能很难理解。识别首字母缩略词的适当扩展是自然语言处理中的一项实际任务。针对AD在科学领域的研究较少的现状，本文提出了一种结合BERT和动态负样本选择、任务自适应预训练、对抗训练和伪标记等训练策略的二元分类模型。在SciAD上的实验结果表明了该模型的有效性，在SDU@AAAI-21共享任务2：首字母缩略词消歧中，该模型的成绩排名第一。
2021-03-02 cs.CL
Exploring ChatGPT-based Augmentation Strategies for Contrastive Aspect-based Sentiment Analysis
Hong Kong Metropolitan University（香港都会大学）；Lingnan University（岭南大学）；University of Southern Queensland（南昆士兰大学）
针对方面级情感分析中标注数据稀缺的问题，提出三种基于ChatGPT的数据增强策略并结合对比学习，实验验证其均能提升性能，其中上下文-方面增强策略效果最优。
2024-09-17 cs.CL
