SRLGRN: Semantic Role Labeling Graph Reasoning Network
Michigan State University（密歇根州立大学）
这项工作涉及的挑战，学习和推理多跳问答（QA）。我们提出了一个基于句子语义结构的图推理网络来学习跨段落的推理路径，并联合寻找支持事实和答案。建议的图是一个异构的文档级图，包含节点的类型句子（问题，标题，和其他句子），和语义角色标注子图每个句子，包含参数作为节点和谓词作为边缘。将源自SRL谓词的参数类型、参数短语和边的语义描述到图编码器中有助于找到推理路径以及推理路径的可解释性。我们提出的方法显示了竞争力的性能HotpotQA分心设置基准相比，最近的国家的最先进的模型。
2020-11-18 cs.CL
SLATE: A Sequence Labeling Approach for Task Extraction from Free-form Inked Content
Microsoft（微软）
我们提出了SLATE，一个序列标签的方法，用于从自由形式的内容，如数字手写（或“墨水”）笔记在虚拟白板上提取任务。我们的方法允许我们创建一个单一的，低延迟的模型，同时执行句子分割和分类这些句子到任务/非任务句子。SLATE大大优于基线双模型（句子分割，然后是分类模型）方法，实现了84.4%的任务F1得分，88.4%的句子分割（边界相似性）得分，并且与基线相比，延迟降低了三倍。此外，我们还提供了解决在墨水领域执行NLP的挑战的见解。我们为这个新任务发布了我们的代码和数据集。
2022-11-17 cs.CL cs.LG
Zero-Shot Learning for Joint Intent and Slot Labeling
AWS AI Labs（亚马逊云科技人工智能实验室）
获得面向任务的对话系统的基于训练神经网络（NN）的自然语言理解（NLU）组件所需的大量的任务级意图和令牌级槽标签注释是昂贵且困难的，特别是对于具有大量且不断增长的意图和槽类型的许多现实世界任务。虽然零样本学习方法，不需要标记的例子-只有功能和辅助信息-已经提出了只用于插槽标签，我们表明，可以有利地执行联合zero-shot意图分类和插槽标签。我们证明了捕获意图和插槽之间的依赖关系，以及在zero shot设置中的话语中的不同插槽之间的依赖关系的价值。我们描述了NN架构，翻译之间的单词和句子嵌入空间，并证明这些修改是必要的，使零样本学习这项任务。我们展示了强基线的实质性改进，并通过可视化和消融研究解释了每个架构修改背后的直觉。
2022-11-29 cs.AI cs.CL
Zero-shot Sequence Labeling: Transferring Knowledge from Sentences to Tokens
The ALTA Institute（ALTA研究所）；Computer Laboratory（计算机实验室）；University of Cambridge（剑桥大学）；United Kingdom（英国）；CoAStaL DIKU（CoAStaL DIKU（此处“DIKU”为丹麦哥本哈根大学计算机科学系缩写，按原文保留））；Department of Computer Science（计算机科学系）；University of Copenhagen（哥本哈根大学）；Denmark（丹麦）
基于注意力或梯度的可视化技术是否可以用于推断二进制序列标记问题的标记级别标签，使用仅在标记级别标签上训练的网络？我们构建了一个基于软注意力的神经网络架构，训练它作为一个二元句子分类器，并在四个不同的数据集上对标记级注释进行评估。从网络中推断令牌标签提供了一种方法，用于定量评估模型正在学习的内容，以及在辅助系统中生成有用的反馈。我们的研究结果表明，与基于梯度的方法相比，基于注意力的方法能够更准确地预测标记级别的标签，有时甚至可以与有监督的Oracle网络相媲美。
2018-05-06 cs.CL cs.LG cs.NE
Jointly Trained Sequential Labeling and Classification by Sparse Attention Neural Networks
Oregon State University（俄勒冈州立大学）；IBM（国际商业机器公司）
句级分类和序列标注是语言理解的两项基本任务。虽然这两个任务通常是单独建模的，但实际上，它们通常是相关的，例如在意图分类和槽填充中，或者在主题分类和命名实体识别中。为了利用它们之间的相关性带来的潜在好处，我们提出了一个联合训练的模型，用于通过长短期记忆（LSTM）网络同时学习这两个任务。该模型从LSTM的逐步输出隐藏表示中预测词级类别和词级标签序列。我们还引入了一种新的机制，“稀疏注意力”，以不同的加权词的语义相关性的基础上，以分级分类。该方法在ATIS和TREC数据集上的性能优于基线模型。
2017-09-28 cs.CL
Grammatical Error Correction as GAN-like Sequence Labeling
Shanghai Jiao Tong University（上海交通大学）
在语法错误校正（GEC）中，与序列到序列模型相比，序列标记模型享有快速推理;然而，序列标记GEC模型中的推理是一个迭代过程，因为句子被传递到模型进行多轮校正，这使模型暴露于每轮错误逐渐减少的句子。传统的GEC模型从具有固定出错率的句子中学习。将其与迭代校正过程相结合会导致训练和推理之间的不匹配，从而影响最终性能。为了解决这种不匹配，我们提出了一个类似GAN的序列标记模型，它由一个语法错误检测器和一个语法错误标记器组成，语法错误标记器以Gumbel-Softmax采样作为生成器。通过从真实的误差分布中采样，与传统的合成GEC误差相比，我们的误差更真实，从而减轻了上述失配并允许更好的训练。我们在几个评估基准的结果表明，我们提出的方法是有效的，并提高了以前的国家的最先进的基线。
2021-05-29 cs.CL
Are Noisy Sentences Useless for Distant Supervised Relation Extraction?
Beijing Institute of Technology（北京理工大学）；CETC Big Data Research Institute Co., Ltd.（中电科大数据研究院有限公司）；Huazhong University of Science and Technology（华中科技大学）
噪声标注问题一直是远距离监督关系抽取的主要障碍之一。现有的方法通常认为噪声句子是无用的，会损害模型的性能。因此，他们主要通过减少噪音句子的影响来缓解这个问题，例如应用袋水平的选择性注意或从垃圾袋中删除噪音句子。然而，噪声标记问题的根本原因不是缺乏有用的信息，而是缺少关系标签。直观地说，如果我们能够为噪声句子分配可信的标签，它们将被转换为有用的训练数据，并有利于模型的性能。因此，在本文中，我们提出了一种新的方法，远距离监督关系抽取，它采用无监督的深度聚类生成可靠的标签噪声句子。具体来说，我们的模型包含三个模块：句子编码器，噪声检测器和标签生成器。句子编码器用于获得特征表示。噪声检测器从垃圾袋中检测出噪声句子，标签生成器为噪声句子生成高置信度的关系标签。大量的实验结果表明，我们的模型在一个流行的基准数据集上的性能优于最先进的基线，并且确实可以减轻噪声标记问题。
2019-11-22 cs.CL cs.LG
Semantic Role Labeling Guided Out-of-distribution Detection
University of Adelaide（阿德莱德大学）；Harvard University（哈佛大学）
本文提出SRLOOD，一种利用语义角色标注引导的全局-局部特征学习进行无监督分布外检测的方法，在四个基准上达到最先进性能。
2024-03-18 cs.CL
Text Summarization with Oracle Expectation
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
提取式摘要通过识别和连接文档中最重要的句子来生成摘要。由于大多数摘要数据集都没有黄金标签来指示文档句子是否值得摘要，因此已经提出了不同的标记算法来外推Oracle提取用于模型训练。在这项工作中，我们发现了两个缺陷，广泛使用的贪婪标签的方法：它提供次优和确定性的预言。为了缓解这两个问题，我们提出了一个简单而有效的标签算法，创建软，基于期望的句子标签。我们定义了一个新的学习目标提取摘要，它结合了学习信号从多个甲骨文摘要，并证明它是等价于估计的甲骨文期望为每个文档句子。在没有任何架构修改的情况下，所提出的标记方案在监督和zero-shot设置下在跨域和语言的各种摘要基准上实现了优异的性能。
2022-09-26 cs.CL cs.LG
Joint Span Segmentation and Rhetorical Role Labeling with Data Augmentation for Legal Documents
Technical University of Munich（慕尼黑工业大学）
法律判决书的切分和修辞角色标注在判决书的检索和相关任务中起着至关重要的作用，包括案例摘要、语义搜索、论点挖掘等。在这项工作中，我们重新制定的任务在跨度水平识别跨度的多个连续的句子，共享相同的修辞角色标签通过分类分配。我们采用半马尔可夫条件随机场（CRF），共同学习跨度分割和跨度标签分配。我们进一步探讨了三种数据增强策略，以缓解法律专业领域的数据稀缺性，其中单个文档往往很长，注释成本很高。我们的实验表明，在CRF基线的跨度级预测指标与半马尔可夫CRF模型的改善。这种好处取决于文档中是否存在多个句子跨度。
2023-02-13 cs.CL cs.IR
Training Classifiers with Natural Language Explanations
Stanford University（斯坦福大学）；OccamzRazor
训练准确的分类器需要许多标签，但每个标签只提供有限的信息（二进制分类只有一位）。在这项工作中，我们提出了BabbleLabble，一个训练分类器的框架，其中注释器为每个标签决策提供了自然语言解释。语义解析器将这些解释转换为编程标记函数，该函数为任意数量的未标记数据生成噪声标签，该噪声标签用于训练分类器。在三个关系抽取任务中，我们发现用户能够通过提供解释而不仅仅是标签来训练具有5-100 $\times$的F1分数的分类器。此外，由于标签功能的固有缺陷，我们发现，一个简单的基于规则的语义解析器就足够了。
2018-08-25 cs.CL
Leveraging Sentence-level Information with Encoder LSTM for Semantic Slot Filling
IBM Research（IBM研究院）；IBM Watson
递归神经网络（RNN）及其特有的结构之一，长短期记忆（LSTM），已被广泛用于序列标记。在本文中，我们首先增强了基于LSTM的序列标记，以显式地对标签依赖进行建模。然后，我们提出了另一种增强，将全球信息跨越整个输入序列。后一种方法，编码器-标记器LSTM，首先用编码器LSTM将整个输入序列编码成一个固定长度的向量，然后使用这个编码向量作为另一个LSTM的初始状态进行序列标记。结合这些方法，我们可以预测标签序列，考虑标签依赖和整个输入序列的信息。在自然语言理解的一个重要组成部分--槽填充任务的实验中，我们使用标准ATIS语料库，获得了95.66%的最新F1分数。
2016-08-31 cs.CL
A Failure of Aspect Sentiment Classifiers and an Adaptive Re-weighting Solution
Tsinghua University（清华大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
基于情感的情感分类（ASC）是细粒度情感分析中的一个重要任务。深度监督ASC方法通常将此任务建模为成对分类任务，该成对分类任务采用方面和包含该方面的句子，并输出该句子中方面的极性。然而，我们发现许多现有的方法无法学习有效的ASC分类器，而更像是一个句子级别的情感分类器，因为它们很难处理不同方面的不同极性的句子。本文首先证明了这个问题，使用几个国家的最先进的ASC模型。然后，它提出了一种新的和通用的自适应重新加权（ARW）计划，以调整训练，以显着提高ASC这样的复杂句子。实验结果表明，该框架是有效的\footnote{The dataset and code are available at \url{https://github.com/howardhsu/ASC_failure}.} .
2019-11-04 cs.CL
Variational Quantum Classifiers for Natural-Language Text
IBM (Retired)（IBM（已退休））
作为量子自然语言处理（QNLP）的最新研究成果的一部分，变分量子句子分类器（VQSC）已经在lambeq / DisCoPy中实现并支持，基于句子意义的DisCoCat模型。我们详细讨论了VQSC，包括范畴理论，将句子建模为字符串图的DisCoCat，以及将字符串图编码为参数化量子电路的DisCoPy。然而，许多NLP任务需要处理由多个句子组成的文本，这在lambeq / DisCoPy中不支持。一个很好的例子是客户反馈或产品评论的情感分类。我们讨论了变分量子文本分类器（VQTC）的三种潜在方法，与VQSC一致。第一种是加权的句子袋方法，它将文本视为一组具有特定任务的句子权重的独立句子。第二种是共指消解共指消解方法，它把语篇看作是一个由共指消解后的句子组成的集合体。这两种方法都基于DisCoCat模型，并且应该可以在lambeq / DisCoCat中实现。另一方面，第三种方法是基于DisCoCirc模型，该模型考虑了句子的顺序和单词在从单词和句子意义组成文本意义时的相互作用。DisCoCirc对DisCoCat进行了根本性的修改，因为DisCoCirc中的句子更新了单词的含义，而DisCoCat中的所有含义都是静态的。目前尚不清楚DisCoCirc是否可以在不破坏DisCoCat的情况下在lambeq / DisCoCat中实现。
2023-03-04 cs.CL cs.LG
Exploiting Class Probabilities for Black-box Sentence-level Attacks
Arizona State University（亚利桑那州立大学）
本文提出一种利用类别概率反馈的黑盒句子级攻击新算法，克服了现有方法仅用标签或无反馈的局限，并通过多分类器和基准数据集上的广泛评估验证了其有效性。
2024-02-21 cs.AI cs.CL cs.CR
Automatic Difficulty Classification of Arabic Sentences
University of Leeds（利兹大学）
在本文中，我们提出了一个现代标准阿拉伯语（MSA）句子难度分类器，它预测句子的难度为语言学习者使用CEFR的熟练程度水平或二元分类为简单或复杂。我们比较了不同类型的句子嵌入（fastText，mBERT，XLM-R和Arabic-BERT）的使用，以及传统的语言功能，如POS标签，依赖树，可读性得分和频率列表的语言学习者。我们使用微调的Arabic-BERT实现了最佳结果。我们的三向CEFR分类的准确性是F-1的0.80和XLM-R分类分别为0.75和0.71斯皮尔曼相关回归。我们的二元难度分类器达到F-1 0.94和F-1 0.98的双对语义相似度分类器。
2021-03-07 cs.CL
Learning Better Internal Structure of Words for Sequence Labeling
eBay Research（eBay研究院）
基于神经网络的神经模型最近被证明对许多NLP任务非常有用。然而，在学习句子和单词的表示的方法之间存在着复杂性的差距。虽然大多数用于学习句子表示的字符模型都是深度和复杂的，但用于学习单词表示的模型是肤浅和简单的。此外，尽管对学习字符嵌入进行了大量研究，但仍然不清楚哪种架构最适合捕获字符到单词的表示。为了解决这些问题，我们首先调查学习单词和句子表征的方法之间的差距。我们对不同的最先进的卷积模型进行了详细的实验和比较，并研究了其组成部分的优点和缺点。此外，我们提出了IntNet，这是一种漏斗形的宽卷积神经架构，没有下采样，通过从有限的监督训练语料库中组成单词的字符来学习单词内部结构的表示。我们评估我们提出的模型上的六个序列标记数据集，包括命名实体识别，词性标注，和句法组块。我们的深入分析表明，IntNet显著优于其他字符嵌入模型，并在不依赖任何外部知识或资源的情况下获得了最先进的性能。
2018-10-29 cs.CL
Learning functional sections in medical conversations: iterative pseudo-labeling and human-in-the-loop approach
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Curai Health
病人与医护人员之间的医疗会话具有隐性功能部分，如“询问病史”、“总结”、“教育”和“护理计划”。“在这项工作中，我们有兴趣学习自动提取这些部分。直接的方法需要为此任务收集大量的专家注释，由于这些部分之间的上下文内部和内部可变性，这本身就是昂贵的。本文提出了一种方法，解决了学习分类医学对话到功能部分，而不需要大量的注释的问题。我们的方法结合了伪标签和人在环。首先，我们使用带有伪标签的弱监督来生成对话回合级伪标签，并训练基于transformer的模型，然后将其应用于单个句子以创建嘈杂的会话级标签。其次，我们使用基于聚类的人在回路方法迭代地改进业务级别标签。每次迭代只需要几十个注释器决策。我们在专家注释的100个对话数据集上评估了结果，发现虽然我们的模型从69.5%的准确率开始，但我们可以迭代地将其提高到82.5%。用于执行本文中描述的所有实验的代码可以在这里找到：https://github.com/curai/curai-research/tree/main/functional-sections。
2022-10-07 cs.CL
Quality Estimation of English-Hindi Outputs using Naive Bayes Classifier
Banasthali University（班纳斯特利大学）
本文提出了一种评价机器翻译系统质量的方法。有各种方法来估计输出句子的质量，但在本文中，我们专注于朴素贝叶斯分类器建立模型，使用的特征是从输入句子中提取的。这些特征用于找到训练数据的每个句子的似然性，然后进一步用于确定测试数据的分数。基于这些分数，我们确定测试数据的类标签。
2013-12-27 cs.CL
R&R: Metric-guided Adversarial Sentence Generation
MIT（麻省理工学院）；Universidad Rey Juan Carlos（胡安卡洛斯国王大学）；IRD（法国发展研究院）
对抗样本有助于分析和提高文本分类器的鲁棒性。生成高质量的对抗性示例是一项具有挑战性的任务，因为它需要生成流畅的对抗性句子，这些句子在语义上与原始句子相似，并保留原始标签，同时导致分类器对它们进行错误分类。现有方法通过最大化每个扰动在误导文本分类器方面的有效性来优先考虑错误分类;因此，生成的对抗性示例在流畅性和相似性方面不足。在本文中，我们提出了一个重写和回滚（R&R）框架的对抗攻击。它通过优化结合流畅性，相似性和错误分类指标的评论得分来提高对抗性示例的质量。R&R通过允许探索对误分类指标没有直接影响但可以提高流畅性和相似性指标的扰动来生成高质量的对抗性示例。我们在5个代表性数据集和3个分类器架构上评估了我们的方法。我们的方法在分类器上的攻击成功率分别比当前最先进的方法高出+16.2%，+12.8%和+14.0%。代码可在https://github.com/DAI-Lab/fibber上获得
2022-10-19 cs.CL
Exploring sentence informativeness
LIMSI, CNRS（法国国家科学研究中心机械与工程计算机科学实验室）；Univ. Paris-Sud（巴黎第十一大学）；Univ. Paris-Saclay（巴黎-萨克雷大学）；Société Générale（法国兴业银行）
这项研究是对信息量概念的初步探索-一个句子提供了多少关于它所包含的单词的信息-以及它对从稀缺数据中构建高质量单词表征的潜在好处。我们提出了几个层次的分类器来预测信息量，我们执行一组句子的手动注释。我们的结论是，这两种措施对应于不同的概念的信息。然而，我们的实验表明，使用分类器的预测训练词嵌入对嵌入质量有影响。
2019-07-22 cs.CL
Reweighting Strategy based on Synthetic Data Identification for Sentence Similarity
KAIST AI（韩国科学技术院人工智能学院）；Letsur
语义上有意义的句子嵌入对于自然语言处理中的许多任务都很重要。为了获得这样的嵌入，最近的研究探索了利用从预训练的语言模型（PLM）作为训练语料库的综合生成的数据的想法。然而，PLM生成的句子往往与人写的句子大不相同。我们假设，在训练深度神经网络时，平等地对待所有这些合成示例可能会对学习语义上有意义的嵌入产生不利影响。为了分析这一点，我们首先训练一个识别机器写的句子的分类器，并观察到被识别为机器写的句子的语言特征与人类写的句子的语言特征显著不同。基于此，我们提出了一种新的方法，首先训练分类器来衡量每个句子的重要性。然后，从分类器提取的信息用于训练可靠的句子嵌入模型。通过对四个真实世界数据集的广泛评估，我们证明了我们在合成数据上训练的模型具有良好的泛化能力，并且优于现有的基线。我们的实现可以在https://github.com/ddehun/coling2022_reweighting_sts上公开获得。
2022-08-30 cs.CL
Distinguishing Transformative from Incremental Clinical Evidence: A Classifier of Clinical Research using Textual features from Abstracts and Citing Sentences
National Institute of Health Data Science at Peking University（北京大学健康医疗大数据国家研究院）
在临床研究和临床决策中，重要的是要知道研究是否改变或仅支持特定疾病管理的当前护理标准。我们将这种变化定义为变革性的，并将支持定义为增量研究。它通常需要大量的领域专业知识和时间来完成这些任务。Faculty Opinions为我们提供了一个注释良好的语料库，说明一项研究是否挑战或仅证实了已有的研究。在这项研究中，提出了一种机器学习方法来区分转化性和增量临床证据。摘要和2年引用句子窗口的文本被收集用于由教师意见专家推荐和标记的临床研究训练集。使用随机森林作为分类器并引用句子作为特征，我们实现了平均AUC为0.755（0.705-0.875）的最佳性能。结果表明，转化性研究在引用句子方面具有典型的语言模式，而在引用抽象句子方面则不具有典型的语言模式。我们为临床医生和研究人员提供了一种有效的工具，用于识别那些具有挑战性或仅确认已确立声明的临床证据。
2021-12-24 cs.CL cs.IR
CANDLE: Decomposing Conditional and Conjunctive Queries for Task-Oriented Dialogue Systems
Amelia Science（阿米莉亚科学公司）；IPsoft R&D（IPsoft研发部）
领域特定的对话系统通常通过依赖于主要集中于单个动作句子的句子级分类器来确定用户意图。这样的分类器不是设计来有效地处理复杂的查询组成的条件和顺序子句，表示多个动作。我们尝试将此类查询分解为较小的单个操作子查询，这些子查询对于意图分类器在对话管道中理解是合理的。我们发布了CANDLE（Conditional & AND type Expressions），这是一个由4282个手动标记有条件和顺序标签的话语组成的数据集，并通过训练两个基线标记器来演示这种分解。
2022-11-23 cs.AI cs.CL
Multi-Sentence Argument Linking
Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一个新的文档级模型，以寻找参数跨度，填补了事件的角色，连接相关的想法，在文档级语义角色标注和共指消解。由于现有的跨句子链接数据集很小，我们的神经模型的开发是通过创建一个新的资源来支持的，该资源是跨多个句子的角色（RAMS），它包含139种类型的9，124个注释事件。我们在RAMS和其他事件相关数据集上展示了我们的模型的强大性能。
2020-05-09 cs.CL
A Full End-to-End Semantic Role Labeler, Syntax-agnostic Over Syntax-aware?
Shanghai Jiao Tong University（上海交通大学）
语义角色标注是识别句子的谓元结构，包括谓词消歧和论元标注两个子任务。以往的研究通常将整个自主学习问题分解为两个或多个子任务。本文首次引入了一个端到端的神经模型，它可以一次性地统一处理谓词消歧和参数标注。使用biaffine评分器，我们的模型直接预测句子中所有给定单词对的所有语义角色标签，而不依赖于任何句法分析信息。具体来说，我们用非线性变换来增强BiLSTM编码器，以进一步区分给定句子中的谓词和参数，并通过采用biaffine注意机制将语义角色标注过程建模为词对分类任务。尽管所提出的模型对于本地解码器来说是语法不可知的，但在英语和中文的CoNLL-2008、2009基准测试中，它的性能优于最先进的语法感知SRL系统。据我们所知，我们报告的第一个语法不可知的SRL模型，超越所有已知的语法感知模型。
2018-08-14 cs.CL
GCDT: A Global Context Enhanced Deep Transition Architecture for Sequence Labeling
Beijing Jiaotong University（北京交通大学）；Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯公司微信AI模式识别中心）
当前用于序列标记的最先进系统通常基于递归神经网络（RNN）家族。然而，RNN的连续隐藏状态之间的浅连接和全局信息的建模不足限制了这些模型的潜在性能。在本文中，我们试图解决这些问题，从而提出了一个全局上下文增强的深度转换架构的序列标记命名为GCDT。我们在句子中的每个位置深化状态转换路径，并进一步为每个标记分配从整个句子中学习到的全局表示。在两个标准的序列标记任务上的实验表明，在仅给定训练数据和普遍存在的词嵌入（Glove）的情况下，我们的GCDT在CoNLL 03 NER任务上达到91.96 F1，在CoNLL 2000 Chunking任务上达到95.43 F1，这优于相同设置下的最佳结果。此外，通过利用BERT作为额外的资源，我们建立了新的最先进的结果，NER上的F1为93.47，组块上的F1为97.30。
2019-06-06 cs.CL
Improving Graph-based Sentence Ordering with Iteratively Predicted Pairwise Orderings
Xiamen University（厦门大学）；Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯公司微信AI模式识别中心）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tencent Cloud Xiaowei（腾讯云小微）；Dalian University of Technology（大连理工大学）；Pengcheng Laboratory（鹏城实验室）
显性句子排序模型可以分为两两排序模型和集合排序模型。然而，很少有人试图将这两种模式结合起来，这两种模式本身就具有互补的优势。在本文中，我们提出了一个新的句子排序框架，它引入了两个分类器，以更好地利用基于图的句子排序的成对排序。特别地，给定一个初始的语义实体图，我们首先引入一个基于图的分类器来预测链接句子之间的成对排序。然后，以迭代的方式，基于由先前预测的高置信度成对排序更新的图，使用另一个分类器来预测剩余的不确定成对排序。最后，我们采用了一种基于最终图的GRN句子排序模型。在五个常用数据集上的实验证明了该模型的有效性和通用性。特别是，当配备了BERT和FHDecoder，我们的模型达到了最先进的性能。
2021-10-13 cs.CL
A Global Context Mechanism for Sequence Labeling
Department of Computer Science, Aalborg University（奥尔堡大学计算机科学系）；Department of Electronic information Engineering,Rizhao Polytechnic（日照职业技术学院电子信息工程系）；School of Information Science and Technology, Northeast Normal University（东北师范大学信息科学与技术学院）；Customer Service Research and Development Division, China Unicom Software Research Institute（中国联合软件研究院客户服务研发部）
本文提出一种简单高效的全局上下文机制，可同时为BiLSTM和transformer模型补充全局句子信息，在七个序列标注基准上显著提升F1分数，并保持较快的推理与训练速度。
2025-07-06 cs.CL
The Internal State of an LLM Knows When It's Lying
Ariel University（阿里埃勒大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究利用LLM内部隐藏层状态训练分类器，以高准确率检测陈述真伪，较基于概率的方法更可靠，可提升生成内容可信度。
2023-10-17 cs.AI cs.CL cs.LG
Transfer Learning for Sequences via Learning to Collocate
Shanghai University of Finance and Economics（上海财经大学）；Fudan University（复旦大学）
迁移学习的目的是通过应用源域的信息来解决目标域的数据稀疏性。给定一个序列（例如一个自然语言句子），通常由递归神经网络（RNN）实现的迁移学习表示顺序的信息传递。RNN使用一系列重复单元来对序列数据进行建模。然而，以往的基于神经网络的迁移学习研究只是简单地用单个向量表示整个句子，这对于seq2seq和序列标记是不可行的。同时，这种逐层迁移学习机制丢失了来自源域的细粒度单元级信息。在本文中，我们提出了对齐的递归传输，ART，实现细胞级的信息传输。抗逆转录病毒疗法是在预培训框架下进行的。每个细胞都专注地接受来自源域中一组位置的传输信息。因此，ART学习跨域词语搭配的方式更加灵活。我们对序列标记任务（词性标注，NER）和句子分类（情感分析）进行了广泛的实验。ART优于所有实验的最新技术。
2019-02-25 cs.AI cs.CL
NLPR@SRPOL at SemEval-2019 Task 6 and Task 5: Linguistically enhanced deep learning offensive sentence classifier
Samsung R&D Institute Poland（三星波兰研发中心）；Samsung Electronics（三星电子）
本文介绍了为SemEval-2019竞赛任务5 hat-Eval Basile et al.（2019）（团队名称：LU Team）和任务6 OffensEval Zampieri et al.（2019 b）（团队名称：NLPR@SRPOL）开发的系统，我们在子任务C中获得了第二名。该系统将多个模型（LSTM、Transformer、OpenAI的GPT、随机森林、SVM）与各种嵌入（自定义、ELMo、fastText、通用编码器）以及其他语言特征（黑名单单词数量、专用字符等）组合在一起。该系统使用多层黑名单和大型爬行数据语料库，并注释了一般攻击性。在本文中，我们对我们的结果进行了广泛的分析，并展示了特征和嵌入的组合如何影响模型的性能。
2019-04-10 cs.CL
Show Me How To Revise: Improving Lexically Constrained Sentence Generation with XLNet
The University of Hong Kong（香港大学）
词汇约束的句子生成允许将诸如词汇约束的先验知识并入输出。该技术已应用于机器翻译和对话响应生成。以前的工作通常使用马尔可夫链蒙特卡罗（MCMC）抽样来生成词汇限制的句子，但他们随机确定要编辑的位置和要采取的行动，导致许多无效的改进。为了克服这一挑战，我们使用了一个分类器来指导基于MCMC的模型在哪里以及如何细化候选句子。首先，我们开发了两种方法来创建合成数据，在此基础上对预训练模型进行微调，以获得可靠的分类器。接下来，我们提出了一个两步的方法，“预测和修改”，约束句子生成。在预测步骤中，我们利用分类器来计算候选句子的学习先验。在修改步骤中，我们采取MCMC采样，通过在从学习到的先验知识中抽取的采样位置进行采样动作来修改候选句子。我们将我们提出的模型与两个任务的许多强基线进行了比较，即生成具有词汇约束的句子和文本填充。实验结果表明，我们提出的模型表现出更好的句子流畅性和多样性方面比以前的工作。我们的代码和预培训模型可在https://github.com/NLPCode/MCMCXLNet上获得。
2021-09-13 cs.CL
Emu: Enhancing Multilingual Sentence Embeddings with Semantic Specialization
Osaka University（大阪大学）；Megagon Labs（Megagon实验室）
我们提出了Emu，语义增强多语言句子嵌入的系统。我们的框架使用两个主要组件微调预训练的多语言句子嵌入：语义分类器和语言分类器。语义分类器提高了相关句子的语义相似性，而语言分类器通过多语言对抗训练增强了嵌入的多语言性。我们基于几种语言对的实验结果表明，我们的专业嵌入优于国家的最先进的多语言句子嵌入模型的跨语言意图分类任务，仅使用单语标记数据。
2019-11-24 cs.CL cs.LG
Accelerating BERT Inference for Sequence Labeling via Early-Exit
Fudan University（复旦大学）
性能和效率是许多现实场景中序列标记任务的关键因素。尽管预训练模型（PTM）显著提高了各种序列标记任务的性能，但其计算成本昂贵。为了缓解这个问题，我们扩展了最近成功的提前退出机制，以加速序列标记任务的PTM推理。然而，现有的提前退出机制是专门为序列级任务而设计的，而不是序列标记。在本文中，我们首先提出了一个简单的扩展，序列标签任务的执行级别的提前退出。为了进一步降低计算成本，我们还提出了一个令牌级的提前退出机制，允许部分令牌提前退出在不同的层。考虑到序列标记中固有的局部依赖性，我们采用了基于窗口的标准来决定令牌是否退出。标记级的提前退出导致了训练和推理之间的差距，因此我们引入了一个额外的自采样微调阶段来缓解这一差距。在三个流行的序列标记任务上的大量实验表明，我们的方法可以在最小的性能下降的情况下节省高达66%-75%的推理成本。与竞争对手的压缩模型，如DistilBERT相比，我们的方法可以达到更好的性能在相同的速度比的2X，3X，和4X。
2021-06-14 cs.AI cs.CL
Multi-Task Learning for Joint Semantic Role and Proto-Role Labeling
Columbia University（哥伦比亚大学）；University of Gothenburg（哥德堡大学）；University of Washington（华盛顿大学）
我们提出了一个端到端的多步骤机器学习模型，该模型将语义角色和Dowty（1991）的原型角色联合标注，给定一个句子和其中的谓词。我们最好的架构首先学习参数跨度，然后学习参数的语法中心。该信息与用于预测语义角色和原型角色的后续步骤共享。我们还尝试了从论点和头部预测到角色和原型角色标记的迁移学习。我们比较使用静态和上下文嵌入的单词，参数和句子。与以前的工作不同，我们的模型不需要预先训练或微调额外的任务，除了使用现成的（静态或上下文）嵌入和监督。它也不需要参数跨度，它们的语义角色和/或它们的黄金句法头作为额外的输入，因为它在训练过程中学会预测所有这些。我们的多任务学习模型为大多数原型角色提出了最先进的预测。
2022-10-13 cs.CL
Transition-based Semantic Role Labeling with Pointer Networks
Universidade da Coruña（拉科鲁尼亚大学）
语义角色标注（Semantic role labeling，SRL）主要用于识别句子中的谓词-论元结构，在机器翻译和问答等自然语言处理任务中起着重要作用。实际上，所有可用的方法都不执行完整的SRL，因为它们依赖于预先确定的谓词，并且它们中的大多数遵循管道策略，使用特定的模型来执行一个或多个SRL子任务。此外，以前的方法有很强的依赖于语法信息，以实现最先进的性能，尽管语法树同样难以产生。这些简化和要求使得大多数SRL系统对于现实世界的应用是不切实际的。在这篇文章中，我们提出了第一个基于转换的SRL方法，该方法能够在一个从左到右的过程中完全处理输入句子，既不利用句法信息，也不诉诸于额外的模块。得益于我们基于指针网络的实现，完整的SRL可以在$O(n^2)$中准确高效地完成，在CoNLL-2009共享任务的大多数语言上实现了迄今为止的最佳性能。
2022-11-24 cs.CL
Prompt-based Pseudo-labeling Strategy for Sample-Efficient Semi-Supervised Extractive Summarization
David R. Cheriton School of Computer Science（大卫·R·切里顿计算机科学学院）；University of Waterloo（滑铁卢大学）；ServiceNow Research（ServiceNow研究院）；University of British Columbia（不列颠哥伦比亚大学）
针对抽取式摘要中分类器置信度难以评估伪标签质量的问题，提出结合LLM的提示式伪标签与重标注策略，在多个数据集上提升ROUGE及L-Eval表现。
2024-07-02 cs.AI cs.CL
An Auxiliary Classifier Generative Adversarial Framework for Relation Extraction
University of California, Santa Barbara（加州大学圣巴巴拉分校）
关系抽取模型受到有限的合格训练数据的影响。使用人类注释器来标记句子太昂贵，并且不能很好地扩展，特别是在处理大型数据集时。在本文中，我们使用辅助分类器生成对抗网络（AC-GANs）来生成高质量的关系语句，并提高端到端模型中关系分类器的性能。在AC-GAN中，递归不仅给出了真实源的概率分布，而且给出了关系标签的概率分布。这有助于生成有意义的关系句子。实验结果表明，我们提出的数据增强方法显着提高性能的关系抽取相比，国家的最先进的方法
2019-09-06 cs.CL cs.LG stat.ML
Improving Long-Tail Relation Extraction with Collaborating Relation-Augmented Attention
University of Technology Sydney（悉尼科技大学）；Australian AI Institute（澳大利亚人工智能研究所）；University of Washington（华盛顿大学）
在关系抽取中，由于远距离监督而产生的两个主要问题是错误标注和长尾关系。最近的工作减轻了错误的标签通过选择性注意，通过多实例学习，但不能很好地处理长尾关系，即使层次的关系，以共享知识。在这项工作中，我们提出了一种新的神经网络，协作的增强注意力（CoRA），处理错误的标签和长尾关系。特别地，我们首先提出了关系增强注意网络作为基础模型。它对句子袋进行操作，注意到关系，以尽量减少错误标签的影响。然后，促进所提出的基础模型，我们引入了合作关系之间的关系层次结构中共享的功能，以促进关系扩增过程和平衡的训练数据的长尾关系。除了预测句子袋的关系的主要训练目标之外，利用辅助目标来指导关系增强过程，以获得更准确的袋级表示。在流行的基准数据集NYT上的实验中，所提出的CoRA在Precision@N、AUC和Hits@K方面大幅提高了现有的最先进性能。进一步的分析验证了其优越的能力，在处理长尾关系的竞争对手相比。
2020-11-02 cs.CL
Learning to Classify Open Intent via Soft Labeling and Manifold Mixup
Nanjing University（南京大学）
开放意图分类是对话系统中一项实用而又具有挑战性的任务。它的目标是准确地分类已知意图的样本，同时检测开放（未知）意图的样本。现有的方法通常使用离群检测算法结合K类分类器来检测开放意图，其中K表示已知意图的类别数。与他们不同的是，本文考虑了另一种不使用离群值检测算法的方法。具体地，我们直接训练用于开放意图分类的（K+1）类分类器，其中第（K+1）类表示开放意图。为了解决仅使用K类训练样本训练（K+1）类分类器的挑战，我们提出了一种基于软标记和流形混合（SLMM）的深度模型。在我们的方法中，软标记被用来重塑已知意图样本的标签分布，旨在减少模型对已知意图的过度自信。为了更好地优化开放意图的决策边界，采用流形混合算法生成开放意图的伪样本。在四个基准数据集上的实验表明，我们的方法优于以前的方法，并达到了最先进的性能。本工作的所有代码和数据可以在https://github.com/zifengcheng/SLMM上获得。
2022-05-08 cs.CL
ToPro: Token-Level Prompt Decomposition for Cross-Lingual Sequence Labeling Tasks
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Maryland（马里兰大学）
本文提出词元级提示分解（ToPro）方法，将输入句子分解为单个词元并应用提示模板，在零样本跨语言NER和POS任务上优于现有微调方法，并达到最先进性能。
2024-03-13 cs.CL
Finding Meaning in Embeddings: Concept Separation Curves
Utrecht University（乌得勒支大学）；Statistics Netherlands（荷兰统计局）
本文提出一种独立于分类器的评估方法，通过引入语法噪声和语义否定来评估句子嵌入捕捉句子级概念的有效性，利用概念分离曲线展示模型区分概念与表面变化的能力。
2026-04-23 cs.CL
Team "better_call_claude": Style Change Detection using a Sequential Sentence Pair Classifier
Humanities Lab, Faculaty of Arts, Radboud University, Houtlaan 4, 6525 XZ, Nijmegen, Netherlands（人文实验室，艺术学院，拉德堡德大学）；Center for Artificial Intelligence, Technical University of Applied Sciences Würzburg-Schweinfurt, Münzstraße 12, 97070, Würzburg, Germany（人工智能中心，应用技术大学Würzburg-Schweinfurt）；LEYA Lab, School of Computer Science, Physics and Technology, HSE University, 6, 25th Liniya, Vasilievsky Ostrov, 199004, St Petersburg, Russia（LEYA实验室，计算机科学、物理与技术学院，俄罗斯高等经济大学）
本研究针对PAN 2025句子级风格变化检测任务，提出轻量的序列句子对分类器方法，结合预训练语言模型与BiLSTM建模上下文，在三个难度数据集上均取得优于随机基线和claude-3.7-sonnet零样本的宏F1表现。
2025-08-01 cs.CL
Sparse Coding of Neural Word Embeddings for Multilingual Sequence Labeling
University of Szeged（塞格德大学）
在本文中，我们提出并仔细评估了一个序列标签框架，它只利用稀疏的指示器功能来自密集的分布式字表示。所提出的模型获得（近）国家的最先进的性能，为各种语言的词性标注和命名实体识别。我们的模型仅依赖于几千个稀疏编码衍生的特征，而不对用于不同任务的单词表示进行任何修改。该模型具有良好的泛化性能，当在总可用训练数据的1.2%，即~每种语言150句。
2016-12-21 cs.CL
Fine-Grained Argument Unit Recognition and Classification
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））；Ubiquitous Knowledge Processing Lab (UKP-TUDA), TU Darmstadt（达姆施塔特工业大学普适知识处理实验室（UKP-TUDA））
以前的工作通常定义的参数检索从异构的文档集合作为一个文档级分类任务。因此，论点检索遭受低召回和句子分割错误，使人类和机器难以消费的论点。在这项工作中，我们认为，任务应该执行更细粒度的序列标签。为此，我们将任务定义为参数单元识别和分类（AURC）。我们提出了一个数据集的参数从异构源注释为一个句子内的标记跨度，以及相应的立场。我们表明，以及如何通过众包高interannotator协议，可以有效地收集这些困难的论点注释。新的基准AURC-8与句子级别的注释相比，每个主题包含的参数多出15%。我们确定了一些针对AURC序列标记的方法，在已知的域上实现接近人类的性能。进一步的分析还表明，与以前的方法相反，我们的方法对句子分割错误更鲁棒。我们公开发布我们的代码和AURC-8数据集。
2019-11-21 cs.CL
Does Informativeness Matter? Active Learning for Educational Dialogue Act Classification
Monash University（莫纳什大学）；Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；VinUniversity（文大学）
本文研究教育对话行为分类中样本信息量的作用，发现多数标注句子信息量较低，并验证主动学习方法能有效选择高信息量样本、降低人工标注成本。
2023-04-12 cs.AI cs.CL cs.LG
Capturing Argument Interaction in Semantic Role Labeling with Capsule Networks
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
语义角色标注（SRL）涉及从自然语言句子中提取命题（即谓词及其类型化参数）。最先进的SRL模型依赖于强大的编码器（例如，LSTM），并且不对参数之间的非局部交互进行建模。我们提出了一种新的方法来建模这些相互作用，同时保持有效的推理。具体来说，我们使用胶囊网络：每个命题被编码为\textit{capsules}的元组，每个参数类型（即角色）一个胶囊。这些元组充当整个命题的嵌入。在每一个网络层中，胶囊彼此交互，并与句子中的单词表示交互。每次迭代都会导致更新的命题嵌入和关于SRL结构的更新预测。我们的模型在所有7种CoNLL-2019语言上的表现都大大优于非细化基线模型，并在5种语言（包括英语）上实现了最先进的依赖SRL结果。我们分析的类型的错误纠正的细化程序。例如，每个角色通常（但不总是）最多填充一个参数。然而，强制执行这种近似约束是没有用的现代SRL系统，迭代过程纠正错误，捕捉这种直觉在一个灵活的和上下文敏感的方式。
2019-10-07 cs.CL
Syntax-Enhanced Self-Attention-Based Semantic Role Labeling
Alibaba Group（阿里巴巴集团）
语义角色标注（SRL）是自然语言处理的一项基本任务，旨在发现句子中每个谓词的语义角色。本文探讨了如何将句法知识有效地融入自主学习任务。我们提出了不同的方法编码的句法信息来自不同的质量和表示的依赖树，我们提出了一个语法增强的自我注意力模型，并将其与其他两个强基线方法进行比较，我们进行实验，以及新出版的深语境单词表示。实验结果表明，在CoNLL-2009数据集上，通过适当地引入高质量的句法信息，我们的模型在中文SRL任务上取得了新的性能。
2019-10-24 cs.CL
Few-Shot Sequence Labeling with Label Dependency Transfer and Pair-wise Embedding
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）
虽然Few-Shot分类已被广泛探索与基于相似性的方法，Few-Shot序列标记构成了一个独特的挑战，因为它也要求建模的标签依赖性。同时考虑项目的相似性和标签依赖性，我们建议利用条件随机场（CRF）在Few-Shot序列标记。该算法采用基于相似度的方法计算发射分数，并通过专门设计的转换机制获得转换分数。在Few-Shot场景中应用CRF时，不同领域之间的标签集的差异使得难以使用在先前领域中学习的标签依赖性。为了解决这个问题，我们引入了依赖转移机制，转移抽象标签转换模式。此外，相似性方法依赖于高质量的样本表示，这对于序列标记是具有挑战性的，因为当测量单词与不同句子中的单词的相似性时，单词的含义是不同的。为了弥补这一点，我们利用最近的上下文嵌入技术，并进一步提出了一个成对的嵌入器。它通过成对地嵌入查询和支持语句来为词义提供额外的确定性。槽标记和命名实体识别的实验结果表明，我们的模型显着优于最强的少样本学习基线分别为11.76（21.2%）和12.18（97.7%）的F1分数在一次性设置。
2019-09-09 cs.CL cs.LG
Argument Linking: A Survey and Forecast
语义角色标注（SRL）--识别同一句子中谓词和其他成分之间的语义关系--是自然语言理解（NLU）中一个研究得很好的任务。然而，这些关系中的许多只在文档的层次上是明显的，因为一个句子中的谓词的作用通常可以由另一个句子中的论元来填补。这种更一般的任务，被称为隐式语义角色标注或参数连接，近年来受到越来越多的关注，因为研究人员已经认识到它对信息抽取和NLU的中心作用。本文综述了文献的论点连接，并确定了现有的方法，表明沿着未来的研究工作可以最有利可图的花费路径的几个显着的缺点。
2021-07-18 cs.CL
Beyond Fine-tuning: Few-Sample Sentence Embedding Transfer
Amazon Alexa AI Search（亚马逊Alexa人工智能搜索）；Microsoft（微软）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在小数据集上微调（FT）预训练的句子嵌入模型已被证明具有局限性。在本文中，我们表明，将来自预训练模型的嵌入与来自仅在目标数据上训练的简单句子嵌入模型的嵌入相连接，可以提高FT在少样本任务中的性能。为此，通过冻结嵌入模型权重或端到端地训练分类器和嵌入模型，在组合的嵌入上训练线性分类器。我们对来自NLP任务的七个小数据集进行了评估，并表明我们的端到端训练方法在计算开销可以忽略不计的情况下优于FT。此外，我们还表明，复杂的组合技术，如CCA和KCCA不工作，以及在实践中串联。我们提供理论分析来解释这一经验观察结果。
2020-10-05 cs.CL
A Unifying Theory of Transition-based and Sequence Labeling Parsing
Universidade da Coruña（拉科鲁尼亚大学）；CITIC；FASTPARSE Lab（FASTPARSE实验室）；LyS Research Group（LyS研究组）；Departamento de Ciencias de la Computación y Tecnologías de la Información（计算机科学与信息技术系）
我们定义了一个映射，从基于转换的解析算法，从左到右阅读句子的顺序标记编码的语法树。这不仅建立了基于转换的句法分析和序列标记句法分析之间的理论联系，而且提供了一种从现有的许多基于转换的句法分析器中获得新的编码的方法，以实现快速而简单的序列标记句法分析。将其应用到依存句法分析中，我们实现了四种算法的序列标签版本，表明它们是可学习的，并获得与现有编码相当的性能。
2020-11-01 cs.CL cs.FL
Data Troubles in Sentence Level Confidence Estimation for Machine Translation
Google, Inc.（谷歌公司）；Carnegie Mellon（卡内基梅隆大学）
本文研究了神经机器翻译模型在性能谱的高端的上进行置信度估计的可行性。作为构建此类模型所需的数据注释过程的副产品，我们提出句子级准确性$SACC$作为翻译质量的简单、自解释的评估指标。在两个不同的注释器池上进行实验，其中一个由非专家注释器组成，（众包）和专家之一（专业）翻译人员表明，$SACC$可以根据注释者的翻译熟练程度而变化很大，尽管根据Krippendorff的alpha度量，两个池的可靠性大致相同;注释者间一致性的相对较低的值证实了这样的预期，即用于上下文外翻译的重复级二进制标记$good$ / $needs\ work$非常困难。对于根据非专家注释者池在$SACC = 0.89$上操作的英语-西班牙语翻译模型，我们可以导出置信度估计，其在具有0.95精度的“域内”测试集中标记0.5-0.6的$good$翻译。切换到专家注释器池会显著减少$SACC$：英语-西班牙语的$0.61$，使用与上面完全相同的数据进行测量。这迫使我们将CE模型操作点降低到0.9精度，同时正确标记数据中约0.20-0.25的$good$翻译。我们发现令人惊讶的程度CE依赖于用于标记数据的注释者池的熟练程度。这就引出了我们希望在实践中处理CE建模时提出的一个重要建议：将最终用户对所需领域中翻译质量的期望与注释者为CE训练数据分配二进制质量标签的需求相匹配至关重要。
2020-10-26 cs.CL cs.LG
