Non-Autoregressive Sentence Ordering
National University of Singapore（新加坡国立大学）；University of Electronic Science and Technology of China（电子科技大学）；The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong Polytechnic University（香港理工大学）
本文提出非自回归排序网络NAON，通过并行预测和双向依赖解决传统自回归句子排序的局限，并引入排他性损失优化Transformer重复问题，实验证明其优于自回归方法且性能具竞争力。
2023-10-19 cs.CL
Pruned Graph Neural Network for Short Story Ordering
University of Tehran（德黑兰大学）；Emory University（埃默里大学）
语篇连贯是自然语言生成和理解中的一个基本问题。将句子组织成最大化连贯性的顺序被称为句子排序。本文提出了一种基于图神经网络的方法来编码一组句子和学习短篇小说的顺序。我们提出了一种新的方法来构建短篇小说的句子之间的边缘和减少噪音，在我们的图中的代词与其所指的实体取代的实体图。我们通过引入一种基于最先进的方法和我们提出的方法的多数投票的聚合方法来改进句子排序。我们的方法采用基于BERT的模型来学习句子的语义表示。结果表明，该方法显着优于现有的基线上的短篇小说语料库的完美匹配率（PMR）和肯德尔的Tau（Tau）指标方面的一个新的国家的最先进的性能。更确切地说，我们的方法将PMR和Tau标准分别提高了5%和4.3%以上。这些结果突出了基于余弦相似性在句子之间形成边缘的好处。我们还观察到，取代代词与他们的指涉实体有效地编码句子的重叠实体图。
2022-03-13 cs.CL
Using BERT Encoding and Sentence-Level Language Model for Sentence Ordering
University of Tehran（德黑兰大学）；University of Rochester（罗切斯特大学）；Emory University（埃默里大学）
发现事件的逻辑顺序是自然语言理解的基石之一。学习事件顺序的一种方法是研究连贯文本中句子的顺序。句子排序可以应用于各种任务，例如基于检索的问答、文档摘要、讲故事、文本生成和对话系统。此外，我们可以通过学习如何对一组混洗的句子进行排序来学习建模文本连贯性。以前的研究依赖于RNN，LSTM和BiLSTM架构来学习文本语言模型。然而，由于缺乏注意力机制，这些网络表现不佳。我们提出了一个算法的句子排序的短篇小说语料库。我们提出的方法使用的语言模型的基础上通用Transformers（UT），捕捉句子的依赖关系，采用注意力机制。我们的方法在ROCStories数据集中的完美匹配率（PMR）得分方面改进了以前的最先进水平，ROCStories数据集是一个近10万短的人造故事的语料库。该模型包括三个部分：句子编码器，语言模型和句子排列与暴力搜索。第一个组件使用在ROCStories数据上微调的SBERT-WK预训练模型生成句子嵌入。然后，通用Transformer网络生成一个会话级语言模型。对于解码，网络生成候选句子作为当前句子的后续句子。我们使用余弦相似度作为评分函数来为候选嵌入和混洗集中其他句子的嵌入分配分数。然后，使用蛮力搜索来最大化连续句子对之间的相似性之和。
2021-08-24 cs.CL
Learning to Predict Concept Ordering for Common Sense Generation
University of Liverpool（利物浦大学）；Amazon（亚马逊）
本研究系统探讨了输入概念顺序对常识生成质量的影响，发现BART-large模型表现最佳，而人类重排的概念顺序能实现最优生成。
2023-09-12 cs.CL
OrderSum: Semantic Sentence Ordering for Extractive Summarization
OrderSum提出了一种新颖的抽取式摘要模型，通过将句子顺序融入摘要嵌入并训练模型识别语义空间中更好的顺序，同时提升了句子包含与排序性能，在CNN/DailyMail上以ROUGE-L 30.52超越先前最优模型2.54。
2025-02-22 cs.CL
STaCK: Sentence Ordering with Temporal Commonsense Knowledge
University of Michigan（密歇根大学）；Singapore University of Technology and Design（新加坡科技设计大学）
句子顺序预测是在随机排序的文档中找到句子的正确顺序的任务。正确排列句子需要理解与文本中描述的事件的时间顺序相关的连贯性。围绕这些事件的文档级上下文理解和常识知识通常是揭示这种连贯性和预测确切时间顺序的关键。在本文中，我们介绍STaCK -一个框架的基础上图神经网络和时间常识知识的模型全局信息和预测相对顺序的句子。我们的图形网络使用“过去”和“未来”的知识积累时间证据，并将句子排序作为一个约束边缘分类问题。我们报告了五个不同数据集的结果，并根据经验表明，所提出的方法自然适合于订单预测。这项工作的实施情况可在https://github.com/declare-lab/sentence-ordering上公开查阅。
2021-09-06 cs.AI cs.CL
Specificity-Based Sentence Ordering for Multi-Document Extractive Risk Summarization
Thomson Reuters Special Services, LLC（汤森路透特别服务有限责任公司）
风险挖掘技术寻求找到捕获实体风险关系的相关文本提取。然而，当处理大量数据集时，可以返回大量相关提取，将焦点转移到如何最好地呈现结果。我们提供的风险挖掘多文档提取摘要系统，产生高质量的输出建模的特殊性，形成良好的话语的特点的变化的细节。特别是，我们提出了一种新的选择算法，交替提取基于人类策划或扩展的自动编码的关键词，表现出更大的特异性或一般性，因为它涉及到一个实体的风险关系。通过这种提取排序，并且不需要更复杂的话语感知NLP，我们在交替摘要中诱导了特异性的适当转变，这些交替摘要在自动ROUGE和BLEU评分以及手动可理解性和偏好评估方面优于非交替摘要-与人类撰写的摘要相比，没有统计学上的显著差异。
2019-09-23 cs.CL
A New Sentence Ordering Method Using BERT Pretrained Model
University of Tehran（德黑兰大学）；University of Rochester（罗切斯特大学）
构建具有自然语言理解（NLU）能力的系统一直是人工智能最古老的领域之一。NLU的一个重要组成部分是检测文本中包含的事件的逻辑顺序。提出了句子排序的任务来学习事件的连续性，并将其应用于人工智能任务中。以往的工作采用统计方法的性能是穷人，而神经网络为基础的方法是在严重需要大型语料库的模型学习。在本文中，我们提出了一种句子排序的方法，它不需要一个训练阶段，因此，一个大的语料库学习。为此，我们使用BERT预训练模型生成句子嵌入，并使用余弦相似度得分来测量句子相似度。我们建议这个分数作为连续事件的连贯性水平的指标。最后，我们通过蛮力搜索对句子进行排序，以最大限度地提高排序后的句子的整体相似性。我们提出的方法在ROCStories上的表现优于其他基线，ROCStories是一个5句人造故事的语料库。特别是当没有庞大的语料库时，该方法比基于神经网络的方法更有效。这种方法的优点之一是它的可解释性和不需要语言知识。
2021-08-26 cs.AI cs.CL
Investigating Linguistic Pattern Ordering in Hierarchical Natural Language Generation
National Taiwan University（国立台湾大学）
自然语言生成是口语对话系统中的一个重要组成部分，它可以分为两个阶段：（1）句子规划：确定句子的整体结构;（2）表层实现：确定特定的词形并将句子结构扁平化为一个字符串。随着深度学习的兴起，大多数现代NLG模型都基于序列到序列（seq 2seq）模型，该模型基本上包含编码器-解码器结构;这些NLG模型通过联合优化句子规划和表面实现从头开始生成句子。然而，这种简单的编码器-解码器架构通常无法生成复杂的长句，因为解码器很难很好地学习所有的语法和措辞知识。本文介绍了一个NLG模型与层次的注意力解码器，其中的层次结构侧重于利用语言知识在一个特定的顺序。实验结果表明，该方法以较小的模型规模显著优于传统的seq 2seq模型，且分层注意力解码器的设计可应用于各种NLG系统。此外，基于语言模式的不同生成策略进行了调查和分析，以指导未来的NLG研究工作。
2018-09-19 cs.CL
AGGGEN: Ordering and Aggregating while Generating
Heriot-Watt University（赫瑞-瓦特大学）；Charles University（查理大学）
我们提出了AGGGEN（发音为'again'），一个数据到文本模型，它重新引入了两个明确的句子规划阶段到神经数据到文本系统：输入排序和输入聚合。与以前使用句子规划的工作相比，我们的模型仍然是端到端的：AGGGEN通过学习输入表示和目标文本之间的潜在对齐（通过语义事实）来生成文本，同时执行句子规划。在WebNLG和E2E挑战数据上的实验表明，通过使用基于事实的比对，我们的方法更具可解释性、表达性、对噪声的鲁棒性和更容易控制，同时保留了端到端系统在流畅性方面的优势。我们的代码可在https://github.com/XinnuoXu/AggGen上获得。
2021-06-17 cs.CL
Sentence Ordering and Coherence Modeling using Recurrent Neural Networks
University of Michigan（密歇根大学）；Yale University（耶鲁大学）
连贯文本的结构建模是自然语言处理的一个关键问题。连贯地组织一组给定句子的任务通常用于构建和评估理解这种结构的模型。我们提出了一种基于集合序列框架的端到端无监督深度学习方法来解决这个问题。我们的模型在顺序判别任务和排序科学文章摘要的新任务中的性能明显优于先前的方法。此外，我们的工作表明，有用的文本表示可以通过学习排序句子。可视化学习的句子表示表明，该模型捕捉段落中的高级逻辑结构。我们的表示在句子相似性和释义检测任务上执行最先进的预训练方法。
2017-12-22 cs.AI cs.CL cs.LG
Evaluating Text Coherence at Sentence and Paragraph Levels
China Foreign Affairs University（外交学院）；Peking University（北京大学）
在本文中，为了评估文本的连贯性，我们提出了段落排序任务并进行句子排序。我们收集了四个不同的语料库，从不同的领域，我们调查适应现有的句子排序方法的段落排序任务。我们还比较了现有模型的可学习性和鲁棒性，分别通过人工创建迷你数据集和噪声数据集，并在这些情况下验证所建立的模型的效率。此外，我们对来自两个竞争模型的重排通道进行了人类评估，并确认WLCS-1是一个比tau更好的度量，与人类评级的相关性显著更高，tau是之前使用的最普遍的度量。结果表明，除了某些极端情况外，基于递归图神经网络的模型是相干建模的最佳选择。
2020-06-05 cs.CL cs.LG
Text Summarization using Deep Learning and Ridge Regression
Illinois Institute of Technology（伊利诺伊理工学院）
我们开发的模型和提取相关功能的自动文本摘要和DUC 2001数据集上的不同模型的性能进行了研究。开发了两种不同的模型，一种是岭回归器，另一种是多层感知器。超参数是不同的，并记录了它们的性能。我们将摘要任务分为两个主要步骤，第一步是句子排序，第二步是句子选择。在第一步中，给定一个文档，我们根据它们的重要性对句子进行排序，在第二步中，为了获得非冗余的句子，我们剔除与先前选择的句子具有高度相似性的句子。
2017-06-15 cs.CL
Curriculum Learning and Minibatch Bucketing in Neural Machine Translation
Charles University（查理大学）
我们研究了句子对的特殊排序对神经机器翻译（NMT）在线训练的影响。我们专注于两种类型的排序：（1）确保每个minibatch包含在某些方面相似的句子和（2）逐渐包括一些句子类型的培训进展（所谓的“课程学习“）。在我们的英语到捷克语的实验中，小批量的内部同质性对训练没有影响，但我们的一些“课程”在基线上有了小的改进。
2017-07-29 cs.CL
hinglishNorm -- A Corpus of Hindi-English Code Mixed Sentences for Text Normalization
Vahan Inc（Vahan公司）
我们提出hinglishNorm -一个人类注释语料库的印地语-英语代码混合句子的文本规范化任务。语料库中的每个句子都与其对应的人类注释规范化形式对齐。据我们所知，没有公开的用于文本规范化任务的印地语-英语代码混合句子语料库。我们的工作是朝着这个方向的第一次尝试。语料库包含13494个平行片段。此外，我们在这个语料库上呈现基线归一化结果。我们获得的单词出错率（WER）为15.55，双语评估替补（BLEU）得分为71.2，以及显式排序翻译评估指标（METEOR）得分为0.50。
2020-10-18 cs.CL
GUIDO: A Hybrid Approach to Guideline Discovery & Ordering from Natural Language Texts
FH Aachen University of Applied Sciences（亚琛应用科学大学）
针对流程模型自动提取标注成本高、纯规则方法领域适配性差且难区分信息相关性的问题，提出混合方法GUIDO，结合BERT句子分类与依存句法分析提取流程模型，在低标注成本下实现0.93的平均行为相似度，效果优于纯规则方法。
2023-07-19 cs.CL
Local and Global Context-Based Pairwise Models for Sentence Ordering
Cognitive Applications Research Lab（认知应用研究实验室）
句子排序是指将一组句子重新排列成适当的连贯顺序的任务。对于这个任务，大多数以前的方法已经探索了全局上下文为基础的端到端的方法，使用序列生成技术。在本文中，我们提出了一套强大的本地和全球的上下文为基础的成对排序策略，利用我们的预测策略优于所有以前的作品在这一领域。我们提出的编码方法利用段落的丰富的全局上下文信息来预测成对顺序使用新的Transformer架构。对这两种解码策略的分析有助于更好地解释成对模型中的错误传播。这种方法是最准确的纯成对模型，我们的编码策略也显着提高了其他最近使用成对模型的方法的性能，包括以前的最新技术，证明了这项工作的研究新颖性和普遍性。此外，我们还展示了ALBERT的预训练任务如何帮助它显著优于BERT，尽管参数要少得多。广泛的实验结果，架构分析和消融研究表明，所提出的模型相比，以前的国家的最先进的有效性和优越性，除了提供一个更好地了解成对模型的功能。
2022-08-20 cs.AI cs.CL cs.IR
Is Everything in Order? A Simple Way to Order Sentences
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）
将一组杂乱的句子组织成连贯的文本的任务已被用来评估机器对因果关系和时间关系的理解。我们制定的句子排序任务作为一个有条件的文本标记生成问题。我们提出了Reorder-BART（Re-BART），它利用预先训练的基于transformer的模型来识别给定的一组混洗句子的连贯顺序。该模型以一组具有特定于句子的标记的混洗句子作为输入，并在有序文本中生成句子的位置标记序列。Re-BART在完美匹配率（PMR）和Kendall's tau（$τ$）中实现了7个数据集的最先进性能。我们在zero-shot设置中进行评估，表明我们的模型能够在其他数据集上很好地推广。我们还进行了几个实验，以了解我们的框架的功能和局限性。
2021-09-17 cs.CL
Context is Key: New Approaches to Neural Coherence Modeling
我们制定一致性建模作为一个回归任务，并提出了两种新的方法来结合我们的设置与成对的方法的技术。我们的第一个方法是一个我们称之为“第一个-下一个”的模型，它的操作类似于选择排序，但条件决策的信息已经排序的句子。第二个是一种技术，用于通过将分级表示与其相应的无序段落的编码连接起来，向基于回归的模型添加上下文。后一种模型实现了Kendall-tau距离和位置准确度分数，这些分数匹配或超过了这些指标的当前最先进水平。我们的研究结果表明，许多来自更复杂的机器翻译方法的收益可以通过更简单，更有效的模型来实现。
2018-12-06 cs.CL cs.LG stat.ML
Text Coherence Analysis Based on Deep Neural Network
Zhejiang University（浙江大学）
在本文中，我们提出了一种新的深度一致性模型（DCM），使用卷积神经网络架构来捕获文本一致性。本文从句子分布表征学习和语篇连贯建模同时进行的新视角研究了语篇连贯问题。特别是，该模型通过计算它们的分布表示的相似性来捕获句子之间的交互。此外，它可以很容易地以端到端的方式进行训练。所提出的模型进行评估标准的句子排序任务。实验结果表明，它的有效性和承诺的一致性评估显示出显着的改善，在国家的最先进的一个很大的利润。
2017-10-21 cs.CL
Comprehending and Ordering Semantics for Image Captioning
JD Explore Academy（京东探索研究院）
理解图像中丰富的语义并将其按语言顺序排列是构成图像描述的视觉基础和语言连贯描述的必要条件。现代技术通常利用预先训练的对象检测器/分类器来挖掘图像中的语义，同时使语义的固有语言顺序未得到充分利用。在本文中，我们提出了一个新的配方的变压器式的结构，即理解和排序语义网络（COS-Net），新颖地统一到一个单一的架构，丰富的语义理解和可学习的语义排序过程。在技术上，我们首先利用一个跨模态检索模型来搜索每幅图像的相关句子，并将搜索到的句子中的所有单词作为主要的语义线索。其次，设计了一种新的语义理解器，过滤掉主要语义线索中不相关的语义词，同时基于图像视觉推理缺失的相关语义词。之后，我们将所有筛选和丰富的语义词输入到语义排名器中，该排名器学习按照人类的语言顺序分配所有语义词。这种有序语义词的序列进一步与图像的视觉标记集成以触发句子生成。经验证据表明，COS-Net明显超过了COCO的最新方法，并在Karpathy测试分裂中获得了迄今为止最好的CIDER分数141.1%。源代码可从\url{https://github.com/YehLi/xmodaler/tree/master/configs/image_caption/cosnet}获得。
2022-06-14 cs.AI cs.CL cs.CV
Rethinking Evaluation Metrics for Grammatical Error Correction: Why Use a Different Evaluation Process than Human?
Nara Institute of Science and Technology（奈良科学技术大学）
本文针对语法纠错自动评估与人类评估流程不一致的问题，提出一种与人类评估方法对齐的聚合排名方法，实验表明该方法在SEEDA基准上提升了多数指标的表现，并已集成至gec-metrics。
2025-06-03 cs.CL
Predicting Sentence Acceptability Judgments in Multimodal Contexts
研究探讨了在多模态上下文中，视觉上下文对人类和LLM句子可接受性判断的影响，发现LLM在去除视觉上下文时表现更优，且不同模型的判断分布各异。
2026-02-24 cs.AI cs.CL
Variational Quantum Classifiers for Natural-Language Text
IBM (Retired)（IBM（已退休））
作为量子自然语言处理（QNLP）的最新研究成果的一部分，变分量子句子分类器（VQSC）已经在lambeq / DisCoPy中实现并支持，基于句子意义的DisCoCat模型。我们详细讨论了VQSC，包括范畴理论，将句子建模为字符串图的DisCoCat，以及将字符串图编码为参数化量子电路的DisCoPy。然而，许多NLP任务需要处理由多个句子组成的文本，这在lambeq / DisCoPy中不支持。一个很好的例子是客户反馈或产品评论的情感分类。我们讨论了变分量子文本分类器（VQTC）的三种潜在方法，与VQSC一致。第一种是加权的句子袋方法，它将文本视为一组具有特定任务的句子权重的独立句子。第二种是共指消解共指消解方法，它把语篇看作是一个由共指消解后的句子组成的集合体。这两种方法都基于DisCoCat模型，并且应该可以在lambeq / DisCoCat中实现。另一方面，第三种方法是基于DisCoCirc模型，该模型考虑了句子的顺序和单词在从单词和句子意义组成文本意义时的相互作用。DisCoCirc对DisCoCat进行了根本性的修改，因为DisCoCirc中的句子更新了单词的含义，而DisCoCat中的所有含义都是静态的。目前尚不清楚DisCoCirc是否可以在不破坏DisCoCat的情况下在lambeq / DisCoCat中实现。
2023-03-04 cs.CL cs.LG
An Experimental Study of LSTM Encoder-Decoder Model for Text Simplification
University of Massachusetts Boston（马萨诸塞大学波士顿分校）；Hefei University of Technology（合肥工业大学）
文本简化（TS）旨在降低文本的词汇和结构复杂性，同时仍然保留语义。当前的自动TS技术局限于词汇级应用或手动定义大量规则。由于深度神经网络是强大的模型，在许多困难的任务上都取得了优异的性能，因此在本文中，我们建议将长短期记忆（LSTM）编码器-解码器模型用于句子级TS，它对单词序列的假设最少。我们进行了初步实验，发现该模型能够从序列对中学习到翻转、排序和替换等操作规则，这表明该模型可能会发现并应用TS的修改句子结构、替换单词和删除单词等规则。
2016-09-13 cs.CL cs.LG
Distributed Representations of Sentences and Documents
Google Inc（谷歌公司）
许多机器学习算法需要将输入表示为固定长度的特征向量。当涉及到文本时，最常见的固定长度特征之一是词袋。尽管词袋特征很受欢迎，但它们有两个主要缺点：它们失去了单词的顺序，并且它们也忽略了单词的语义。例如，“强大”、“强大”和“巴黎”是同样遥远的。在本文中，我们提出了段落向量，这是一种无监督的算法，可以从可变长度的文本（如句子，段落和文档）中学习固定长度的特征表示。我们的算法表示每个文件的密集向量，这是训练来预测文档中的单词。它的构造使我们的算法有可能克服词袋模型的弱点。实验结果表明，段落向量优于词袋模型以及其他技术的文本表示。最后，我们在几个文本分类和情感分析任务上取得了新的最先进的结果。
2014-05-22 cs.AI cs.CL cs.LG
Language Models Largely Exhibit Human-like Constituent Ordering Preferences
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
为探究LLMs语言处理模式与人类的差异，本文对比多种LLMs在四种成分移位任务上的性能，发现其除小品词移位表现意外外，成分排序整体与人类偏好一致，为相关语言理论提供参考。
2025-02-14 cs.AI cs.CL
The role of grammar in transition-probabilities of subsequent words in English text
Medical University of Vienna（维也纳医科大学）；Complexity Science Hub Vienna（维也纳复杂科学中心）；Santa Fe Institute（圣塔菲研究所）；IIASA（国际应用系统分析研究所）
句子的形成是一个高度结构化、依赖于历史和样本空间缩减（SSR）的过程。虽然句子中的第一个单词可以从整个词汇中选择，但随着句子的发展，选择后续单词的自由度越来越受到语法和上下文的限制。这种样本空间减少属性提供了一个自然的解释Zipf定律在词频，但是，它无法捕捉的结构的词到词的转移概率矩阵的英语文本。在这里，我们采用的观点，语法约束（如主语-谓语-宾语）本地重新排序的词序在句子中采样SSR词生成过程。我们表明，叠加的语法结构-作为一个本地字重新排序（置换）的过程-在一个样本空间减少的过程是足够的解释，字的频率和字到字的转换概率。我们比较质量的语法有序SSR模型再现几个测试统计的真实文本与其他文本生成模型，如伯努利模型，西蒙模型，和猴子打字模型。
2018-12-28 cs.CL physics.soc-ph
Granuscore: A Reference-Free Measure of Granularity for Text Analysis and Question Answering
School for Computation, Information and Technology（计算、信息与技术学院）
提出无参考粒度度量Granuscore，利用层次嵌入空间结构可靠恢复粒度顺序并解释句子特异性变化，应用于问答基准分析模型行为差异。
2026-08-24 cs.CL cs.HC
INESC-ID @ eRisk 2025: Exploring Fine-Tuned, Similarity-Based, and Prompt-Based Approaches to Depression Symptom Identification
INESC-ID；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学技术学院）；Instituto Universitário de Lisboa (ISCTE-IUL)（里斯本大学学院（ISCTE-IUL））
本文针对 eRisk 2025 抑郁症状检索任务，将受限标注转化为二分类问题，通过微调基础模型并结合合成数据与集成方法，在官方评估中取得第一。
2025-06-03 cs.CL cs.IR cs.LG
