Computational Sentence-level Metrics Predicting Human Sentence Comprehension
University of Tübingen（蒂宾根大学）；University of Stuttgart（斯图加特大学）
本文提出基于多语言LLM的句子惊异度与句子相关性指标，用于跨语言预测人类整体句子理解，在阅读速度预测上表现出高准确率与良好泛化性。
2024-04-15 cs.CL stat.ML
Predicting the Semantic Textual Similarity with Siamese CNN and LSTM
Université d’Avignon et des Pays de Vaucluse（阿维尼翁大学）；Universidade Federal do Ceará（塞阿拉联邦大学）；École Polytechnique de Montréal（蒙特利尔综合理工学院）
语义文本相似性是自然语言处理中许多应用的基础。我们的系统结合了卷积和递归神经网络来衡量句子的语义相似性。它使用卷积网络来考虑单词的局部上下文，使用LSTM来考虑句子的全局上下文。这种网络的组合有助于保留句子的相关信息，并改进句子之间相似度的计算。我们的模型已经取得了良好的效果，是最好的国家的最先进的系统的竞争力。
2018-10-24 cs.CL
Discourse Level Factors for Sentence Deletion in Text Simplification
The Ohio State University（俄亥俄州立大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出了一个数据驱动的研究，重点是分析和预测句子删除-一个普遍的，但研究不足的现象，在文档简化-在一个大型的英语文本简化语料库。我们检查各种文件和话语因素与句子删除，使用一个新的手动注释句子对齐语料库，我们收集。我们发现，专业编辑使用不同的策略，以满足小学和中学的可读性标准。为了预测在简化到一定程度时句子是否会被删除，我们利用自动对齐的数据来训练分类模型。根据我们手动注释的数据进行评估，我们的最佳模型在小学和中学阶段分别达到了65.2和59.7的F1分数。我们发现，语篇层面的因素有助于预测句子删除简化的挑战性任务。
2020-08-25 cs.CL
Sentence Embeddings as an intermediate target in end-to-end summarisation
trivago N.V.（trivago公司）
本文针对大规模住宿评论的端到端摘要任务，提出将外部预训练句子嵌入与抽取式方法结合到抽象式摘要模型中，并证明预测摘要句子级嵌入优于传统句子选择概率分布预测，从而提升摘要质量。
2025-05-06 cs.CL
Stress Test for BERT and Deep Models: Predicting Words from Italian Poetry
Ca Foscari University（威尼斯大学）
在本文中，我们提出了一套实验进行了BERT的一些意大利句子从诗歌领域。实验的组织上的假设，一个非常高的水平的难度在预测的语言复杂性，我们打算监测的三个层次：词汇，句法和语义水平。为了验证这一假设，我们运行了意大利语版的BERT，其中包含80个句子，总共900个标记，这些标记主要来自上世纪上半叶的意大利诗歌。然后，我们交替使用同一个句子的规范和非规范版本，然后用相同的DL模型处理它们。我们使用了来自新闻领域的句子，其中包含类似的句法结构。结果表明，DL模型对非正则结构的存在高度敏感。然而，词汇学习对词频和局部非字面意义组合效应也非常敏感。这也是显而易见的，预测功能与内容的话，搭配与罕见的单词短语的偏好。在本文中，我们把注意力集中在使用子词单位完成的BERT的词汇表外的话。
2023-01-21 cs.CL
Ranking-Enhanced Unsupervised Sentence Representation Learning
KAIST（韩国科学技术院）；Amazon（亚马逊）；Zhejiang Univeristy（浙江大学）
提出无监督句子编码器 RankEncoder，利用输入句子与外部语料库最近邻句子的关系预测语义向量，在基准数据集上达到 80.07% Spearman 相关系数，较 SOTA 绝对提升 1.1%，且普遍适用于现有方法。
2023-05-18 cs.CL
On the Use of Context for Predicting Citation Worthiness of Sentences in Scholarly Articles
Bloomberg（彭博）
在本文中，我们研究了语境在预测学术文章中句子的被引价值方面的重要性。我们将这个问题表述为使用分层BiLSTM模型解决的序列标记任务。我们贡献了一个新的基准数据集，包含超过200万个句子及其相应的标签。我们保留了这个数据集中的句子顺序，并执行文档级的训练/测试分割，这重要的是允许在建模过程中结合上下文信息。我们在三个基准数据集上评估了所提出的方法。我们的研究结果量化了使用上下文和上下文嵌入的引用价值的好处。最后，通过错误分析，我们提供了洞察的情况下，上下文在预测引用价值发挥着至关重要的作用。
2021-04-18 cs.AI cs.CL cs.LG
Predicting Above-Sentence Discourse Structure using Distant Supervision from Topic Segmentation
University of British Columbia（不列颠哥伦比亚大学）
RST风格的语篇分析在许多NLP任务中起着至关重要的作用，揭示了潜在的复杂和多样的文档的潜在语义/语用结构。尽管它的重要性，在现代话语分析中最普遍的限制之一是缺乏大规模的数据集。为了克服数据稀疏性问题，最近提出了来自情感分析和摘要等任务的远程监督方法。在这里，我们通过利用主题分割的远程监督来扩展这条研究路线，这可以为高级话语结构提供强大的，通常是互补的信号。在两个人类注释的话语树库上的实验证实，我们的建议在句子和段落级别上生成准确的树结构，在句子到文档任务上始终优于以前的远程监督模型，并且偶尔在句子到段落级别上达到更高的分数。
2021-12-12 cs.AI cs.CL
An Attention-Based Model for Predicting Contextual Informativeness and Curriculum Learning Applications
ACT, Inc（ACT公司）；University of Michigan（密歇根大学）；University of Oregon（俄勒冈大学）
本研究针对语境对词汇学习的助力差异问题，提出基于预训练嵌入和注意力机制的语境信息量预测模型，在相关数据集上达SOTA，可识别关键语境要素，并能用于优化词嵌入模型的训练课程。
2023-11-09 cs.CL
Toward Better Storylines with Sentence-Level Language Models
Google（谷歌）
我们提出了一个句子层次的语言模型，它从一组有限的流畅的替代品中选择故事中的下一个句子。由于它不需要对流畅性建模，因此句子级语言模型可以专注于更长范围的依赖关系，这对于多句子连贯性至关重要。我们的方法不是处理单个单词，而是将故事视为预先训练的句子嵌入列表，并预测下一个句子的嵌入，这比预测词嵌入更有效。值得注意的是，这允许我们在训练过程中为下一个句子考虑大量的候选人。我们证明了我们的方法的有效性与国家的最先进的准确性，在无监督的故事完形填空任务和更大规模的下一句预测任务有希望的结果。
2020-05-11 cs.CL
Predicting Role Relevance with Minimal Domain Expertise in a Financial Domain
Information Sciences Institute（信息科学研究所）；USC Viterbi School of Engineering（南加州大学维特比工程学院）
近年来，词嵌入在各种文本挖掘应用中取得了巨大的进展。在本文中，我们探索了一种基于词嵌入的架构，用于在自然语言句子的上下文中预测两个金融实体之间的角色相关性。在这个扩展的摘要中，我们提出了一个池化的方法，它使用一组句子来训练词嵌入，使用skip-gram word 2 vec架构。我们使用词嵌入来获得上下文向量，这些上下文向量基于手动注释被分配一个或多个标签。我们使用标记的上下文向量训练机器学习分类器，并使用训练好的分类器来预测测试数据上的上下文角色相关性。我们的方法可以作为任务的最低专业知识基线，因为它简单直观，使用开源模块，几乎不需要功能制作工作，并且在各个角色中表现良好。
2017-04-19 cs.CL
Look at the First Sentence: Position Bias in Question Answering
Korea University（高丽大学）
许多提取问答模型被训练来预测答案的开始和结束位置。选择预测答案作为立场主要是因为它的简单性和有效性。在这项研究中，我们假设当答案位置的分布在训练集中高度偏斜时（例如，答案仅存在于每个段落的第k个句子中），将答案预测为位置的QA模型可以学习虚假的位置线索，并且无法在不同的位置给出答案。我们首先在流行的提取QA模型（如Biobox和BERT）中说明这种位置偏差，并彻底研究位置偏差如何通过BERT的每一层传播。为了安全地传递位置信息而没有位置偏差，我们用各种去偏差方法包括熵正则化和偏差集成来训练模型。其中，我们发现使用答案位置的先验分布作为偏差模型在减少位置偏差方面非常有效，当在有偏差的SQuAD数据集上训练时，BERT的性能从37.48%恢复到81.64%。
2021-03-08 cs.CL
Language Agnostic Code-Mixing Data Augmentation by Predicting Linguistic Patterns
Johns Hopkins University（约翰斯·霍普金斯大学）
在这项工作中，我们专注于内部语义代码混合，并提出了几种不同的合成代码混合（SCM）数据增强方法，在不同数量的标记黄金数据的下游情感分析任务上优于基线。最重要的是，我们提出的方法表明，战略性地替换部分句子在矩阵语言与一个常数掩码显着提高分类精度，激励进一步的语言学见解的现象代码混合。我们在各种低资源和跨语言环境中测试了我们的数据增强方法，在极其稀缺的英语-马拉雅拉姆语数据集上达到了7.73%的相对改善。我们得出结论，语码转换模式在语码混合句中也是重要的模型学习。最后，我们提出了一个语言无关的SCM算法，是廉价的，但非常有助于低资源的语言。
2022-11-14 cs.CL
Using Sentence-Level LSTM Language Models for Script Inference
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
有一个小的，但不断增长的研究机构的统计脚本，模型的事件序列，允许概率推断隐含的事件从文件。这些系统对由NLP管道产生的结构化动词论元事件进行操作。我们将这些系统与最近的递归神经网络模型进行了比较，这些模型直接对原始标记进行操作以预测句子，发现后者在预测文档中的缺失事件方面与前者大致相当。
2016-06-08 cs.CL
Sentence level estimation of psycholinguistic norms using joint multidimensional annotations
University of Southern California（南加州大学）
心理语言规范词使用数字分数表示各种情感和心理结构，并用于自然语言处理中的各种应用。它们通常用于句子级别，其分数通过使用简单的聚合策略外推单词级别分数来估计，这可能并不总是最佳的。在这项工作中，我们提出了一个新的方法来估计心理语言规范在句子水平。我们应用多维注释融合模型的注释在字的水平，以估计一个参数，捕捉不同的规范之间的关系。然后，我们使用这个参数在句子水平估计的规范。我们评估我们的方法，预测句子水平的分数为各种规范的尺寸和标准的词聚合方案进行比较。
2020-05-20 cs.CL
Testing the limits of natural language models for predicting human language judgments
Columbia University（哥伦比亚大学）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）
研究使用有争议的句子对比较了九个语言模型与人类语言判断的一致性，发现GPT-2最接近人类判断，但仍存在显著对齐缺陷。
2023-09-12 cs.AI cs.CL q-bio.NC
Predicting Sentence Acceptability Judgments in Multimodal Contexts
研究探讨了在多模态上下文中，视觉上下文对人类和LLM句子可接受性判断的影响，发现LLM在去除视觉上下文时表现更优，且不同模型的判断分布各异。
2026-02-24 cs.AI cs.CL
Translation Error Detection as Rationale Extraction
University of Sheffield（谢菲尔德大学）；Imperial College London（伦敦帝国理工学院）
最近基于多语言预训练表示的质量估计（QE）模型在预测翻译句子的整体质量时取得了非常有竞争力的结果。预测翻译错误，即具体检测哪些单词是不正确的，是一项更具挑战性的任务，特别是在训练数据有限的情况下。我们假设，与人类不同，成功的QE模型依赖于翻译错误来预测整体句子质量。通过探索一组特征归因方法，将相关性得分分配给输入以解释模型预测，我们研究了最先进的量化宽松模型的行为，并表明从这些模型中提取的解释（即理由）确实可以用于检测翻译错误。因此，我们（i）引入了一种新的半监督方法，用于词级QE和（ii）建议使用QE任务作为一个新的基准来评估特征属性的可解释性，即如何解释模型解释是人类。
2021-08-27 cs.CL
Generative Pre-training for Paraphrase Generation by Representing and Predicting Spans in Exemplars
Seoul National University（首尔国立大学）
释义生成是一个长期存在的问题，在许多自然语言处理问题中起着至关重要的作用。尽管有一些令人鼓舞的结果，但最近的方法要么面临有利于通用话语的问题，要么需要为每个新数据集从头开始重新训练模型。本文提出了一种新的方法来改述的句子，从GPT-2模型的扩展。我们开发了一个模板掩蔽技术，命名为一阶掩蔽，掩蔽了不相关的话，利用POS标签的样本。因此，改述任务改为预测掩码模板中的跨度。我们提出的方法优于竞争基准，特别是在语义保存方面。为了防止模型偏向于给定的模板，我们引入了一种技术，称为二阶掩蔽，它利用伯努利分布来控制一阶掩蔽模板的令牌的可见性。此外，该技术允许模型提供各种释义句子在测试中通过调整二阶掩蔽水平。对于规模扩大的目标，我们比较了两种备选模板选择方法的性能，这表明它们在保留语义信息方面是等效的。
2020-11-29 cs.CL
Annotation and Classification of Sentence-level Revision Improvement
University of Pittsburgh（匹兹堡大学）
对写作修改的研究很少关注修改质量。为了解决这个问题，我们引入了一个语料库的学生议论文的草稿之间的修订，注释是否每个修订提高文章质量。我们展示了我们的注释的潜在用途，通过开发一个机器学习模型来预测修订改进。为了扩展训练数据，我们还从专家校对人员编辑的数据集中提取修订。我们的研究结果表明，混合专家和非专家的修订提高模型的性能，与专家数据预测低质量的修订特别重要。
2019-09-03 cs.CL
Some of Them Can be Guessed! Exploring the Effect of Linguistic Context in Predicting Quantifiers
ILLC - Institute for Logic, Language and Computation, University of Amsterdam（阿姆斯特丹大学（ILLC - 逻辑、语言与计算研究所））
我们研究了语言语境在预测量词（'few'，'all'）中的作用。我们收集来自人类参与者的众包数据，并在本地（单句）和全局上下文（多句）条件下测试各种模型。模型在前一种情况下的表现明显优于人类，而在后一种情况下仅略好于人类。虽然人类的表现随着更多的语言背景而改善（特别是在比例量词上），但模型的表现会受到影响。模型在利用词汇和形态句法模式方面非常有效;人类更善于真正理解（全局）上下文的含义。
2018-06-01 cs.AI cs.CL
Long Text Generation by Modeling Sentence-Level and Discourse-Level Coherence
Tsinghua University（清华大学）；Institute for Artificial Intelligence（人工智能研究院）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Netease Fuxi AI Lab（网易伏羲人工智能实验室）；TAL Education Group（好未来教育集团）
生成长而连贯的文本是一项重要但具有挑战性的任务，特别是对于诸如故事生成之类的开放式语言生成任务。尽管在建模句内连贯性方面取得了成功，但现有的生成模型（例如，BART）仍然难以在整个生成的文本中保持连贯的事件序列。我们推测，这是因为解码器难以捕捉的高层次语义和话语结构的上下文中超越标记级同现。本文提出了一个长文本生成模型，该模型在解码过程中可以在句子级和语篇级表示前缀句。为此，我们提出了两个预训练目标，通过预测句间语义相似性和区分正常和混乱的句子顺序来学习表示。大量的实验表明，我们的模型可以生成更多的连贯文本比国家的最先进的基线。
2021-05-19 cs.CL
Attention-aware semantic relevance predicting Chinese sentence reading
University of Tübingen（蒂宾根大学）
本文提出注意力感知的语义相关性计算方法，结合上下文贡献与期望效应，能更准确预测中文阅读眼动注视时长，并支持语义预视效益的存在。
2024-03-27 cs.CL cs.LG
A Dual-Task Paradigm to Investigate Sentence Comprehension Strategies in Language Models
Tohoku University（东大大学）；National Institute of Informatics（国家信息研究所）；The University of Tokyo（东京大学）
本文提出双任务范式，结合算术计算与句子理解任务，揭示语言模型在资源受限下更倾向于基于合理性推理，支持人类认知资源分配对句子理解的影响。
2026-04-29 cs.CL
Weakly-Supervised Hierarchical Models for Predicting Persuasive Strategies in Good-faith Textual Requests
建模说服性语言有可能更好地促进我们的决策过程。尽管其重要性，说服的计算建模仍处于起步阶段，主要是由于缺乏基准数据集，可以提供说服策略的定量标签，以加快这一研究路线。为此，我们引入了一个大规模的多领域的文本语料库建模的说服策略在善意的文本请求。此外，我们设计了一个层次化的弱监督潜变量模型，可以利用部分标记的数据来预测每个句子的相关说服策略，其中监督来自整体文档级标签和非常有限的文档级标签。实验结果表明，我们提出的方法优于现有的半监督基线显着。我们已在https://github.com/GT-SALT/Persuasion_Strategy_WVAE上公开发布了我们的代码。
2021-01-16 cs.CL cs.CY
Predicting Oscar-Nominated Screenplays with Sentence Embeddings
Faculty of Informatics and Data Science（信息学与数据科学学院）；University of Regensburg（雷根萨大学）
本文构建 Movie-O-Label 数据集，利用 E5 句子嵌入和逻辑回归模型，通过融合剧本、摘要和标题特征预测奥斯卡提名，最佳模型宏 F1 达 0.66，验证了简单嵌入模型的有效性。
2025-09-29 cs.AI cs.CL cs.IR
SONAR-LLM: Autoregressive Transformer that Thinks in Sentence Embeddings and Speaks in Tokens
FusionBrain Lab, AXXX（融合大脑实验室，AXXX）；T-Tech；MSU（莫斯科大学）；DS-NLP Group, AXXX（自然语言处理组，AXXX）
提出SONAR-LLM，一种在连续SONAR嵌入空间“思考”但通过令牌级交叉熵监督的解码器-only Transformer，融合语义抽象与似然训练信号，在39M至1.3B参数规模上取得有竞争力的生成质量。
2026-05-25 cs.CL
Multilevel Text Alignment with Cross-Document Attention
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
文本对齐在引用推荐和剽窃检测等任务中得到应用。现有的对齐方法在单个预定义级别上操作，并且不能学习在例如句子和文档级别上对齐文本。我们提出了一种新的学习方法，装备以前建立的层次注意力编码器表示文件与跨文件的注意力组件，使结构比较不同的水平（文件到文件和文件到文件）。我们的组件是从文档对中弱监督的，可以在多个级别上对齐。我们的评估预测的引用推荐和剽窃检测的任务上的文档到文档的关系和副本到文档的关系表明，我们的方法优于以前建立的层次，注意编码器的基础上经常性和Transformer上下文，不知道文档之间的结构对应关系。
2020-10-03 cs.CL
Book Success Prediction with Pretrained Sentence Embeddings and Readability Scores
The University of Michigan（密歇根大学）；University of Louisiana at Lafayette（路易斯安那大学拉法叶分校）
提前预测一本书的潜在成功在许多应用中至关重要。这可以帮助出版商和读者分别决定一本书是否值得出版和阅读。在本文中，我们提出了一个模型，该模型利用预训练的句子嵌入以及各种可读性分数来预测书籍的成功。与以前的方法不同，所提出的方法不需要计数为基础的，词汇，或句法功能。相反，我们在预训练的句子嵌入上使用卷积神经网络，并通过简单的连接操作利用不同的可读性分数。我们提出的模型优于强大的基线为这个任务高达6.4\%F1分数点。此外，我们的实验表明，根据我们的模型，只有前1K个句子足以预测书籍的潜在成功。
2021-10-05 cs.AI cs.CL
Predicting Intervention Approval in Clinical Trials through Multi-Document Summarization
NCSR Demokritos（希腊国家科学研究中心德谟克利特研究所）
临床试验为发现新的治疗方法和推进医学知识提供了一个基本的机会。然而，审判结果的不确定性可能导致不可预见的费用和挫折。在这项研究中，我们提出了一种新的方法来预测干预措施在临床试验中的有效性。我们的方法依赖于从文献中关于研究中的干预措施的多个文件中生成信息摘要。具体来说，我们的方法首先收集与干预相关的PubMed文章的所有摘要。然后，从每个摘要中自动提取一个证据句子，它传达了有关干预有效性的信息。基于从摘要中提取的证据句子集，构建了关于干预的简短摘要。最后，所产生的摘要用于训练基于BERT的分类器，以推断干预的有效性。为了评估我们提出的方法，我们引入了一个新的数据集，这是一个临床试验及其相关的PubMed文章的集合。我们的实验证明了产生简短的信息摘要并使用它们来预测干预效果的有效性。
2022-04-01 cs.CL cs.LG
Unsupervised Translation Quality Estimation Exploiting Synthetic Data and Pre-trained Multilingual Encoder
Ehime University（爱媛大学）；National Institute of Information and Communications Technology（国立情报学通信技术研究所）
针对翻译质量估计（TQE）监督训练数据成本高的问题，研究将合成数据与预训练多语言编码器用于无监督句子级TQE，实验证明该方法在多类资源翻译方向的相关预测中优于现有无监督方法。
2023-11-09 cs.CL
Auto-MLM: Improved Contrastive Learning for Self-supervised Multi-lingual Knowledge Retrieval
Tsinghua University（清华大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
对比学习（CL）已经成为自然语言处理（NLP）下游任务的普遍方法，特别是对于问答（QA）。然而，主要的挑战，如何有效地训练的知识检索模型在无监督的方式，仍然没有得到解决。目前常用的方法有CL和屏蔽语言模型（MLM）。出乎意料的是，MLM忽略了中间层训练，CL也忽略了从查询中提取内部信息。为了优化CL难以从原始查询中获取内部信息的问题，提出了一种将CL和Auto-MLM相结合的联合训练方法，用于自监督多语言知识检索。首先，我们获得固定维的句子向量。然后，用随机策略屏蔽原句中的某些词。最后，我们生成一个新的令牌表示用于预测掩码令牌。实验结果表明，该方法在全球速卖通$\&$ LAZADA服务语料库和8种语言的公开语料库上的性能均优于所有以前的SOTA方法。
2022-03-30 cs.CL
Automatic Accuracy Prediction for AMR Parsing
Research Training Group AIPHES（AIPHES研究培训小组）；Leibniz ScienceCampus “Empirical Linguistics and Computational Language Modeling”（莱布尼茨科学园区“实证语言学与计算语言建模”）；Department for Computational Linguistics（计算语言学系）
抽象意义表示（AMR）将句子表示为有向图、无环图和有根图，旨在以机器可读的格式捕获它们的意义。AMR解析将自然语言句子转换成这样的图。然而，通过与手动创建的AMR图进行比较来评估新数据的解析器是非常昂贵的。此外，我们希望能够检测质量有问题的解析，或者通过选择我们可以评估质量良好的系统来选择替代系统的结果。我们提出AMR准确性预测的任务，预测几个指标的正确性自动生成的AMR解析-在没有相应的黄金解析。我们开发了一个神经端到端多输出回归模型，并进行了三个案例研究：首先，我们评估了模型预测AMR解析准确率的能力，并测试了它是否可以可靠地为黄金解析分配高分。其次，我们执行解析选择的基础上预测的解析精度的候选解析从替代系统，以提高整体结果的目的。最后，我们预测系统排名提交两个AMR共享任务的基础上，他们预测的解析精度平均值。所有的实验都在两个不同的领域进行，并表明我们的方法是有效的。
2019-04-17 cs.CL
Learning with Noisy Labels for Sentence-level Sentiment Classification
Southwest Jiaotong University（西南交通大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Beihang University（北京航空航天大学）
深度神经网络（DNN）可以很好地拟合（甚至过拟合）训练数据。如果DNN模型使用带有噪声标签的数据进行训练，并在带有干净标签的数据上进行测试，则模型可能表现不佳。本文研究了带噪声标签的情感分类学习问题。我们提出了一种名为NetAb的新型DNN模型（作为带有Ab-networks的卷积神经网络的简写），用于在训练过程中处理噪声标签。NetAb由两个卷积神经网络组成，一个带有噪声过渡层，用于处理输入的噪声标签，另一个用于预测“干净”标签。我们训练这两个网络，使用它们各自的损失函数在相互加强的方式。实验结果证明了该模型的有效性。
2019-08-31 cs.CL cs.LG
RST-style Discourse Parsing Guided by Document-level Content Structures
Texas A&M University（得克萨斯农工大学）
针对现有RST解析流水线因缺乏文档级内容结构知识导致预测大型文本跨度篇章关系性能较低的问题，提出一种结合源自News Discourse Profiling任务的结构感知句子表示的新流水线，仅加入少量额外层即在多项RST解析指标上取得优异性能。
2023-09-08 cs.CL
Progressive Multi-Granularity Training for Non-Autoregressive Translation
The University of Sydney（悉尼大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Macau（澳门大学）；JD Explore Academy, JD.com（京东探索研究院，京东）
非自回归翻译（NAT）通过预测整个目标序列来显著加速推理过程。然而，最近的研究表明，NAT在学习高模式的知识，如一对多的翻译是薄弱的。我们认为，模式可以分为各种粒度，可以从容易到困难的学习。在这项研究中，我们的经验表明，NAT模型更倾向于学习细粒度的低模式知识，如单词和短语，与句子相比。在此基础上，我们提出了渐进式多粒度NAT训练方法。为了充分利用训练数据，我们将训练层样本分为词、短语、句子三种类型，并随着训练的进行逐步增加粒度。罗马尼亚语-英语，英语-德语，汉语-英语和日语-英语的实验表明，我们的方法提高了短语翻译的准确性和模型重新排序的能力，从而导致更好的翻译质量对强大的NAT基线。此外，我们表明，更多的确定性细粒度的知识可以进一步提高性能。
2021-06-11 cs.CL
Contextual Sentence Analysis for the Sentiment Prediction on Financial Data
Trading Central Labs（Trading Central 实验室）
通讯和社交网络可以反映分析师和公众对公司提供的产品和/或服务的观点。因此，对这些文本进行情感分析，可以为投资者在市场中进行交易提供有用的信息。在本文中，一个层次堆栈的Transformers模型提出了识别与公司和股票相关的情绪，通过预测一个分数（数据类型真正的）在-1和+1之间的范围。具体来说，我们微调了一个RoBERTa模型来处理标题和微博，并将其与额外的Transformer层相结合，用情感词典处理句子分析，以改善情感分析。我们根据SemEval-2017 task 5发布的财务数据对其进行了评估，我们的提议优于SemEval-2017 task 5的最佳系统和强大的基线。事实上，上下文句子分析与金融和一般情感词典的结合为我们的模型提供了有用的信息，并使其能够生成更可靠的情感得分。
2021-12-27 cs.CL cs.LG
Poor Man's Quality Estimation: Predicting Reference-Based MT Metrics Without the Reference
ETH Zürich（苏黎世联邦理工学院）；TU Darmstadt（达姆施塔特工业大学）；Microsoft（微软）
本文提出无参考译文的指标估计（ME）任务，用模型预测 BLEU、TER 等自动指标分数，并以此预训练 QE 模型，在降低标注与计算成本的同时提升机器翻译质量估计效果。
2023-04-25 cs.CL
Contextual Encoding for Translation Quality Estimation
Carnegie Mellon University（卡内基梅隆大学）
词级质量估计（QE）的任务包括获取源句子和机器生成的翻译，并预测输出中哪些词是正确的，哪些是错误的。本文提出了一种利用三部分神经网络方法对每个目标词的局部和全局上下文信息进行有效编码的方法。第一部分使用嵌入层来表示两种语言中的单词及其词性标记。第二部分利用一维卷积层来整合每个目标词的本地上下文信息。第三部分应用一组前馈和递归神经网络，在进行预测之前对句子中的全局上下文进行进一步编码。该模型作为CMU条目提交给WMT2018量化宽松共享任务，并取得了很好的成绩，在六个轨道中的三个轨道中排名第一。
2018-09-01 cs.CL
Semantic Similarity Models for Depression Severity Estimation
Centro de Investigación en Tecnoloxías da Información e as Comunicacións (CITIC)（信息与通信技术研究中心（CITIC））；Universidade da Coruña（拉科鲁尼亚大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心（hessian.AI））；Technical University of Darmstadt（达姆施塔特工业大学）
针对公共卫生系统抑郁筛查能力不足的问题，提出基于社交媒体文本的语义相似度评估流水线，通过语义排名与聚合方法预测抑郁严重程度，在Reddit基准上较SOTA提升30%。
2023-10-09 cs.CL
Hierarchical Classification of Transversal Skills in Job Ads Based on Sentence Embeddings
本研究提出基于句子嵌入的招聘广告横向技能分层分类框架，结合ESCO分类标注、分层多标签策略与数据增强，对比发现英语专用与多语言嵌入模型准确率相近，验证了方法有效性及多语言模型对欧洲就业市场的适用性。
2024-01-10 cs.CL cs.LG
PatentEdits: Framing Patent Novelty as Textual Entailment
University of Southern California（南加州大学）
本文提出PatentEdits数据集，将专利新颖性修订建模为文本蕴含任务，并证明利用LLMs评估引用文献与草稿句子的蕴含关系可有效预测权利要求是否需要修改。
2024-11-20 cs.AI cs.CL cs.CY
SAFE: Improving LLM Systems using Sentence-Level In-generation Attribution
RIKEN-CCS Kobe, Japan（日本神户RIKEN-CCS）
本文提出SAFE，一种用于检索增强生成系统的句子级归因框架，通过预测参考数量和归因句子两步，提高LLM输出可验证性，在干净数据集上提升各归因算法准确率2.1-6.0%，并验证了在真实场景的泛化性。
2025-09-24 cs.CL cs.IR
A Readable Read: Automatic Assessment of Language Learning Materials based on Linguistic Complexity
University of Gothenburg（哥德堡大学）；Universität Tübingen（图宾根大学）
语料库和网络文本可以成为一个丰富的语言学习资源，如果我们有一种方法来评估他们是否是语言适当的学习者在给定的熟练程度。在本文中，我们的目的是解决这个问题，提出了第一种方法来预测语言的复杂性，瑞典第二语言学习材料的5点量表。在表明传统的瑞典可读性指标Läsbarhetsindex（LIX）不适合这项任务后，我们提出了一个有监督的机器学习模型，该模型基于一系列语言特征，可以根据难度对文本进行可靠的分类。我们的模型获得了81.3%的准确度和0.8的F分数，这与英语的最新水平相当，并且大大高于之前报道的其他语言的结果。我们进一步研究了我们的功能与单句，而不是全文的效用，因为句子是一个共同的语言单位在语言学习练习。我们在五个类的数据上训练了一个单独的模型，其准确率为63.4%。虽然这低于文档级性能，但我们实现了92%的相邻准确率。此外，我们发现，与单独使用词汇特征相比，使用不同特征的组合在句子级别上的分类准确率提高了7%，而在文档级别上，词汇特征更占主导地位。我们的模型旨在用于免费访问的基于网络的语言学习平台，用于自动生成练习。
2016-03-29 cs.CL
Age Recommendation from Texts and Sentences for Children
Univ Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息与随机系统研究所）；Orange（Orange公司）；Univ. Bretagne Sud（南布列塔尼大学）
本研究将儿童年龄推荐视为回归任务，基于法语文本数据集验证了Transformers模型的效果，文本级和句子级推荐MAE分别达0.98和1.83，文本级表现优于专家，还开展了模型可解释性初步研究。
2023-08-21 cs.AI cs.CL
Multi-Task Learning for Joint Semantic Role and Proto-Role Labeling
Columbia University（哥伦比亚大学）；University of Gothenburg（哥德堡大学）；University of Washington（华盛顿大学）
我们提出了一个端到端的多步骤机器学习模型，该模型将语义角色和Dowty（1991）的原型角色联合标注，给定一个句子和其中的谓词。我们最好的架构首先学习参数跨度，然后学习参数的语法中心。该信息与用于预测语义角色和原型角色的后续步骤共享。我们还尝试了从论点和头部预测到角色和原型角色标记的迁移学习。我们比较使用静态和上下文嵌入的单词，参数和句子。与以前的工作不同，我们的模型不需要预先训练或微调额外的任务，除了使用现成的（静态或上下文）嵌入和监督。它也不需要参数跨度，它们的语义角色和/或它们的黄金句法头作为额外的输入，因为它在训练过程中学会预测所有这些。我们的多任务学习模型为大多数原型角色提出了最先进的预测。
2022-10-13 cs.CL
CERT: Contrastive Self-supervised Learning for Language Understanding
UC San Diego（加州大学圣迭戈分校）；VMware（威睿公司）
预训练的语言模型如BERT、GPT在语言理解中表现出很好的效果。现有的预训练方法中的辅助预测任务大多定义在令牌上，因此可能无法很好地捕获事件级语义。为了解决这个问题，我们提出了CERT：来自Transformers的对比自监督编码器表示，它使用句子级别的对比自监督学习来预训练语言表示模型。CERT使用回译创建原始句子的扩充。然后，它微调预训练的语言编码器（例如，BERT）通过预测两个增强的句子是否源自同一个句子。CERT使用简单，可以灵活地插入任何预训练-微调NLP管道。我们在GLUE基准测试中对CERT在11个自然语言理解任务上进行了评估，其中CERT在7个任务上优于BERT，在2个任务上达到了与BERT相同的性能，在2个任务上表现不如BERT。在11个任务的平均得分上，CERT优于BERT。数据和代码可在https://github.com/UCSD-AI4H/CERT上获得
2020-06-18 cs.CL cs.LG stat.ML
Predicting the Quality of Revisions in Argumentative Writing
University of Pittsburgh（匹兹堡大学）；Learning Research and Development Center（学习研究与发展中心）；RAND Corporation（兰德公司）
针对议论文修订质量依赖整体论证语境的问题，本文利用思维链提示引导ChatGPT生成论证语境并预测修订质量，在小学生与大学生作文语料上均优于基线。
2023-06-01 cs.AI cs.CL
Sequence to Sequence Learning for Event Prediction
Saarland University（萨尔大学）；Macquarie University（麦考瑞大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
本文提出了一种从文本中的前一句预测事件描述的方法。我们的方法使用双向多层递归神经网络探索序列到序列的学习。我们的方法大大优于以前的工作，在BLEU得分分别来自WikiHow和DeScript的两个数据集。由于BLEU分数不容易解释为事件预测的衡量标准，我们补充了我们的研究与第二次评估，利用丰富的语言注释的黄金释义集的事件。
2017-09-18 cs.CL
Linguistic Profiling of a Neural Language Model
Istituto di Linguistica Computazionale “Antonio Zampolli”（安东尼奥·赞波利计算语言学研究所）；Department of Computer Science, University of Pisa（比萨大学计算机科学系）
本文通过多组探测任务分析 BERT 在微调前后的语言学知识变化，发现微调会削弱其语言学编码能力，而更强的语言学信息存储能力有助于提升下游分类预测表现。
2020-11-07 cs.AI cs.CL
HOP, UNION, GENERATE: Explainable Multi-hop Reasoning without Rationale Supervision
Cornell University（康奈尔大学）
提出一种无需理由监督的概率方法，通过显式建模理由集合实现多跳推理，提升理由选择准确率并保持答案预测性能。
2023-05-23 cs.AI cs.CL
Neural Machine Translation by Jointly Learning to Align and Translate
Jacobs University Bremen（不来梅雅各布大学）；Université de Montréal（蒙特利尔大学）
神经机器翻译是最近提出的一种机器翻译方法。与传统的统计机器翻译不同，神经机器翻译旨在构建一个单一的神经网络，可以联合调整，以最大限度地提高翻译性能。最近提出的用于神经机器翻译的模型通常属于编码器-解码器家族，并且由编码器组成，该编码器将源句子编码成固定长度的向量，解码器从该向量生成翻译。在本文中，我们推测，使用一个固定长度的向量是一个瓶颈，在提高性能的这种基本的编码器-解码器架构，并建议通过允许一个模型自动（软）搜索部分的源句子是相关的预测一个目标词，而不必形成这些部分作为一个硬段显式扩展。有了这种新的方法，我们实现了翻译性能相媲美的现有国家的最先进的短语为基础的系统上的英法翻译的任务。此外，定性分析表明，（软）对齐发现的模型同意我们的直觉。
2016-05-19 cs.CL cs.LG cs.NE
