Improving sentence compression by learning to predict gaze
University of Copenhagen（哥本哈根大学）；Bar-Ilan University（巴伊兰大学）
我们展示了如何眼动追踪语料库可以用来改善句子压缩模型，提出了一种新的多任务学习算法的基础上，多层LSTM。我们获得的性能与最先进的方法相比具有竞争力或更好。
2016-04-12 cs.CL
Explicit Sentence Compression for Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）；National Institute of Information and Communications Technology（日本国立信息与通信技术研究所）
现有的基于transformer的神经机器翻译（NMT）系统仍然遵循标准的编码器-解码器框架，其中源句子表示可以由具有自注意力机制的编码器很好地完成。虽然基于transformer的编码器可以有效地捕捉其产生的源句子表示的一般信息，骨干信息，代表一个句子的要旨，没有特别关注。本文中，我们提出了一个显式的句子压缩方法，以提高NMT的源句子表示。在实践中，一个显式的句子压缩目标用于学习句子中的主干信息。我们提出了三种方法，包括骨干源端融合，目标端融合，双方融合，压缩句子集成到NMT。我们的WMT英语到法语和英语到德语的翻译任务的实证测试表明，所提出的句子压缩方法显着提高了翻译性能超过强基线。
2019-12-27 cs.CL
Efficient Unsupervised Sentence Compression by Fine-tuning Transformers with Reinforcement Learning
Aylien Ltd.（Aylien有限公司）；Insight Centre for Data Analytics, University College Dublin（都柏林大学洞察数据分析中心）
句子压缩通过删除不必要的内容来减少文本的长度，同时保留重要的事实和语法。用于句子压缩的无监督目标驱动方法可以用于创建定制模型，而不需要地面实况训练数据，同时允许用于学习和推理的目标函数的灵活性。最近的无监督句子压缩方法使用自定义目标来指导离散搜索，然而，引导搜索在推理时是昂贵的。在这项工作中，我们探索使用强化学习来训练有效的句子压缩模型，这些模型在生成预测时也很快。特别是，我们将任务转换为二进制序列标记，并使用简单的策略梯度方法微调预训练的Transformer。我们的方法优于其他无监督模型，同时在推理时也更有效。
2022-05-17 cs.CL
A Sentence Compression Based Framework to Query-Focused Multi-Document Summarization
Cornell University（康奈尔大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们考虑使用句子压缩技术，以方便查询为重点的多文档摘要的问题。我们提出了一个基于解析压缩的框架，并设计了一系列基于学习的压缩模型建立在解析树。提出了一种创新的束搜索解码器，以有效地找到高度可能的压缩。在这个框架下，我们展示了如何整合各种指示性指标，如语言动机和查询相关性到压缩过程中推导出一种新的配方的压缩评分函数。我们最好的模型实现了统计上的显着改善，在几个指标（如8.0%和5.4%的改进ROUGE-2分别）的DUC 2006年和2007年的总结任务的最先进的系统。
2016-06-24 cs.CL
Fast k-best Sentence Compression
Google Research（谷歌研究院）
句子压缩的一种流行方法是将任务表示为约束优化问题，并使用整数线性规划（ILP）工具解决它。不幸的是，对ILP的依赖可能使压缩机慢得令人望而却步，因此已经提出了近似技术，这些技术通常是复杂的，并且提供了适度的速度增益。作为一种替代解决方案，我们引入了一种新的压缩算法，该算法依赖于本地删除决策生成k-最佳压缩。我们的算法是两个数量级的速度比最近的ILP为基础的方法，同时产生更好的压缩。此外，广泛的评估表明，压缩的质量并没有降低太多，因为我们从单一的最佳移动到前五名的结果。
2015-10-28 cs.CL
Query-focused Sentence Compression in Linear Time
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
搜索应用程序通常显示缩短的句子，这些句子必须包含某些查询项，并且必须适合用户界面的空间约束。这项工作介绍了一种新的过渡为基础的句子压缩技术开发的这种设置。我们的查询为重点的方法构造长度和词汇约束压缩在线性时间，通过增长一个子图中的依赖分析的句子。这种理论上有效的方法实现了11倍的经验加速比基线ILP方法，同时更好地重建黄金约束缩短。这样的加速有助于以查询为中心的应用程序，因为用户会受到界面延迟的明显阻碍。此外，我们的技术不需要ILP求解器或GPU。
2019-09-17 cs.CL
Compression, Transduction, and Creation: A Unified Framework for Evaluating Natural Language Generation
Carnegie Mellon University（卡内基梅隆大学）；Petuum Inc.（Petuum 公司）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；UC San Diego（加利福尼亚大学圣迭戈分校）
自然语言生成（NLG）涉及广泛的任务，每个任务都服务于特定的目标，并且期望生成的文本具有不同的属性。这种复杂性使得NLG的自动评估特别具有挑战性。以前的工作通常集中在一个单一的任务，并根据具体的直觉开发个人的评估指标。在本文中，我们提出了一个统一的角度来看，有利于设计的指标范围广泛的语言生成任务和质量方面。基于从输入到输出的信息变化的性质，我们将NLG任务分类为压缩（例如，概括），转导（例如，文本重写），以及创建（例如，对话框）。输入、上下文和输出文本之间的信息对齐或重叠在表征生成过程中起着共同的核心作用。使用信息对齐的统一概念，我们开发了一个家庭的各种NLG任务和方面的可解释的指标，往往不需要黄金参考数据。为了使这些指标可操作化，我们训练自监督模型来近似信息对齐作为预测任务。实验表明，统一设计的指标实现了更强的或可比的相关性与人类的判断相比，国家的最先进的指标，在每个不同的任务，包括文本摘要，风格转移，和知识为基础的对话。以信息对齐作为中间表示，我们提供了一个可组合的库，便于NLG评估和未来的度量设计。
2022-01-21 cs.CL cs.LG
A Multilingual Study of Multi-Sentence Compression using Word Vertex-Labeled Graphs and Integer Linear Programming
University of La Rochelle（拉罗谢尔大学）；University of Avignon（阿维尼翁大学）；Polytechnique Montréal（蒙特利尔高等理工学院）；Inst. Federal de Educação, Ciência e Tecnologia da Paraiba（帕拉伊巴联邦教育、科学与技术学院）；Univ. Federal Fluminense（弗鲁米嫩塞联邦大学）；Universidade Federal do Ceará（塞阿拉联邦大学）
多句子压缩（MSC）的目的是从一组相似的句子中提取关键信息，生成一个短句。MSC使摘要和问答系统能够从一个或多个文档中生成组合完整句子的输出。本文描述了一种基于线性规划的MSC方法，该方法使用顶点标记图来选择不同的关键字，其目标是在保持语法性的同时生成更多信息的句子。我们的系统质量很好，在以三种语言（法语、葡萄牙语和西班牙语）进行的新闻数据集评估方面优于最先进的水平。我们进行了自动和手动评估，以确定每个数据集压缩的信息量和语法性。在额外的测试中，利用压缩的长度可以调节的事实，我们仍然使用更短的输出句子来提高ROUGE分数。
2020-04-09 cs.CL
Syntactically Look-Ahead Attention Network for Sentence Compression
Institute of Innovative Research, Tokyo Institute of Technology（东京工业大学创新研究所）
句子压缩是通过删除冗余单词将长句压缩成短句的任务。在基于序列到序列（Seq 2Seq）的模型中，解码器单向决定保留或删除单词。因此，它通常不能显式地捕获解码的单词和将在未来时间步长中解码的未看到的单词之间的关系。因此，为了避免产生不合语法的句子，解码器有时会在压缩句子时丢弃重要的单词。为了解决这个问题，我们提出了一种新的Seq 2Seq模型，语法前瞻注意力网络（SLAHAN），它可以通过在解码过程中显式跟踪依赖父单词和子单词并捕获将来将被解码的重要单词来生成信息摘要。在Google句子压缩数据集上的自动评估结果显示，SLAHAN实现了最好的基于保留标记的F1，ROUGE-1，ROUGE-2和ROUGE-L得分，分别为85.5，79.3，71.3和79.1。SLAHAN还提高了较长句子的摘要性能。此外，在人工评估中，SLAHAN在不损失可读性的情况下提高了信息量。
2020-05-17 cs.CL
Unsupervised Sentence Compression using Denoising Auto-Encoders
Center for Data Science（数据科学中心）；New York University（纽约大学）
在句子压缩中，缩短句子同时保留原始含义的任务，模型倾向于在包含冗长和压缩句子对的大型语料库上进行训练。为了消除对成对语料库的需求，我们模拟了一个摘要任务，并添加噪声来扩展句子，训练一个去噪自动编码器来恢复原始句子，构建了一个端到端的训练机制，而不需要任何压缩句子的例子。我们在标准文本摘要数据集上对我们的模型进行了人工评估，并表明它基于语法正确性和保留意义来执行监督基线。尽管没有目标数据，但我们的无监督模型学习生成不完美但可读的句子摘要。虽然我们基于ROUGE分数的监督模型表现不佳，但我们的模型与基于人类评估的监督基线相比，在语法正确性和保留意义方面具有竞争力。
2018-09-07 cs.CL
A Token-wise CNN-based Method for Sentence Compression
The Australian National University（澳大利亚国立大学）；Data61/CSIRO（澳大利亚联邦科学与工业研究组织数据61中心）；University of Turku（图尔库大学）
句子压缩是一项自然语言处理（NLP）任务，旨在缩短原始句子并保留其关键信息。它的应用可以使许多领域受益，例如可以构建语言教育工具。然而，目前的方法主要是基于递归神经网络（RNN）模型，其具有较差的处理速度。为了解决这个问题，在本文中，我们提出了一个令牌式卷积神经网络，一个基于CNN的模型，以及预训练的双向编码器表示Transformers（BERT）功能，用于基于删除的句子压缩。我们还将我们的模型与基于RNN的模型和微调的BERT进行了比较。虽然其中一个基于RNN的模型在相同输入下的性能略优于其他模型，但我们基于CNN的模型比基于RNN的方法快十倍。
2020-09-23 cs.CL
From direct tagging to Tagging with sentences compression
这两种标注方法（直接标注和句子压缩标注）本质上都是基于自然语言固有的语言模式，利用正则表达式对我们需要的信息进行标注。虽然直接标注在提取规则数据方面有很多优势，但在某些情况下并不适用。如果我们需要抽取的数据是不规则的，而它周围的词是规则的，是相对规则的，那么我们可以在标记我们需要的数据之前，使用信息压缩来切割我们不需要的信息。通过这种方式，我们可以提高数据的精确度，同时不会破坏数据的召回率。
2018-10-05 cs.CL
Sentence-Anchored Gist Compression for Long-Context LLMs
FusionBrainLab（融合脑实验室）；HSE University（俄罗斯高等经济大学）；Innopolis University（伊诺波利斯大学）
本研究针对长上下文大语言模型的内存与计算需求问题，提出句子锚定要点压缩方法，通过微调预训练模型实现2-8倍压缩且性能无显著下降，在30亿参数LLaMA模型上压缩比更高且效果与其他技术相当。
2025-11-11 cs.CL
SEQ^3: Differentiable Sequence-to-Sequence-to-Sequence Autoencoder for Unsupervised Abstractive Sentence Compression
National Technical University of Athens（雅典国立技术大学）；Athens University of Economics and Business（雅典经济与商业大学）；Heriot-Watt University（赫瑞-瓦特大学）
神经序列到序列模型是目前在几个自然语言处理任务中占主导地位的方法，但需要大型并行语料库。我们提出了一个序列到序列到序列的自动编码器（SEQ ^3），由两个链式编码器-解码器对组成，单词用作离散潜在变量的序列。我们将该模型应用于无监督抽象句压缩，其中第一个和最后一个序列分别是输入和重构的句子，而中间序列是压缩的句子。限制潜在单词序列的长度迫使模型从输入中提取重要信息。预先训练的语言模型作为潜在序列的先验，鼓励压缩的句子是人类可读的。连续松弛使我们能够从分类分布中采样，允许基于梯度的优化，而不像依赖于强化学习的替代方案。该模型不需要并行的文本摘要对，在基准数据集上的无监督句子压缩中取得了令人满意的结果。
2019-06-09 cs.CL
On Improving Informativity and Grammaticality for Multi-Sentence Compression
University of New South Wales（新南威尔士大学）；National ICT（国家信息与通信技术机构）
多句子压缩在很多实际应用中具有重要的价值，如引导式微博摘要、意见摘要和新闻摘要。最近，基于词图的方法已被提出，并成为流行的MSC。他们的关键假设是，一组相关句子之间的冗余提供了一种可靠的方式来生成信息和语法句子。在本文中，我们提出了一种有效的方法来增强基于单词图的MSC，并解决了大多数最先进的MSC方法所面临的问题：即，同时提高信息量和语法性。我们的方法包括三个主要组成部分：（1）合并方法的基础上的多词表达式（MWE）;（2）映射策略的基础上同义词之间的关系;（3）重新排序的步骤，以确定最佳的压缩候选人使用基于POS的语言模型（POS-LM）。我们证明了这种新方法的有效性，使用的数据集的英语新闻专线句子的集群。所观察到的信息量和语法的生成的压缩的改进表明，我们的方法是优于国家的最先进的MSC方法。
2016-05-07 cs.CL
Evaluation Discrepancy Discovery: A Sentence Compression Case-study
Bloomberg L.P.（彭博有限合伙企业）；Ubiquitous Knowledge Processing Lab (UKP Lab)（普适知识处理实验室（UKP实验室））；Technical University of Darmstadt（达姆施塔特工业大学）
可靠的评估协议对于可重复的NLP研究至关重要。在这项工作中，我们表明，有时既不是度量，也不是传统的人的评价是不够的，得出有关系统性能的结论。使用句子压缩作为示例任务，我们演示了系统如何与完善的数据集进行博弈，以获得最先进的结果。与以前的工作中报告的结果相比，显示了人类判断和度量分数之间的相关性，我们对最先进的系统输出的手动分析表明，高度量分数可能只表明更好地拟合数据，而不是更好的输出，正如人类所感知的那样。
2021-01-22 cs.CL
A Noisy-Channel Model for Document Compression
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
我们提出了一个文件压缩系统，使用分层噪声通道模型的文本生产。我们的压缩系统首先自动推导出每个句子的句法结构和作为输入的文本的整体话语结构。然后，该系统使用文本生产的统计层次模型，以丢弃不重要的句法和话语成分，从而生成任意长度的连贯的、语法的文档压缩。该系统的性能优于基线和基于压缩的压缩系统，后者通过顺序简化文本中的所有句子来操作。我们的研究结果支持了语篇知识在文档摘要中起着重要作用的观点。
2009-07-04 cs.CL
Sentence Compression in Spanish driven by Discourse Segmentation and Language Models
École Polytechnique de Montréal（蒙特利尔高等理工学院）；Universitat Pompeu Fabra（庞培法布拉大学）
以前的工作表明，自动文本摘要（ATS）的句子提取可以提高使用句子压缩。在这项工作中，我们提出了一个句子压缩的方法指导下的水平句语篇分割和概率语言模型（LM）。这里给出的结果表明，所提出的解决方案是能够生成连贯的摘要与语法压缩的句子。这种方法很简单，可以移植到其他语言中。
2012-12-17 cs.CL cs.IR
Sentence Compression via DC Programming Approach
Shanghai Jiao Tong University（上海交通大学）；SJTU-Paristech Elite Institute of Technology（上海交通大学巴黎高科卓越工程师学院）
句子压缩是自然语言处理中的一个重要问题。本文首先基于概率模型和句法分析树模型建立了一种新的句子压缩模型。我们的句子压缩模型等价于一个整数线性规划（ILP），既能保证压缩的语法正确性，又能保存句子的主要意思。我们建议使用DC（凸差分）规划方法（DCA）寻找我们的模型的局部最优解。将DCA与并行分支定界框架相结合，可以得到全局最优解。数值结果表明，我们的句子压缩模型的质量和我们提出的解决方案的算法的优异性能。
2019-02-13 cs.CL math.OC
Task-agnostic Prompt Compression with Context-aware Sentence Embedding and Reward-guided Task Descriptor
Queen’s University（女王大学）
本文提出任务无关提示压缩框架 TPC，通过奖励引导的任务描述符评估句子相关性，无需问题或模板即可跨任务压缩提示，并在 LongBench 与 ZeroSCROLLS 上取得领先或可比性能。
2025-02-19 cs.CL
Unsupervised Abstractive Meeting Summarization with Multi-Sentence Compression and Budgeted Submodular Maximization
École Polytechnique（巴黎综合理工学院）；Linagora（利纳戈拉公司）；AUEB（雅典经济与商业大学）
我们介绍了一种新的基于图的框架，抽象的会议语音摘要，是完全无监督的，不依赖于任何注释。我们的工作结合了多种最新方法的优势，同时解决了它们的弱点。此外，我们利用应用于NLP的词嵌入和图退化的最新进展，考虑外部语义知识，并设计自定义多样性和信息量的措施。在AMI和ICSI语料库上的实验表明，我们的系统在现有技术的基础上有所改进，代码和数据是公开的，并且我们的系统可以进行交互式测试。
2018-11-14 cs.CL
Multi-document abstractive summarization using ILP based multi-sentence compression
The Pennsylvania State University（宾夕法尼亚州立大学）；QCRI（卡塔尔计算研究所）；National University of Singapore（新加坡国立大学）
摘要文摘是一种理想的文摘形式，它可以综合多个文档中的信息，生成简洁的信息摘要。在这项工作中，我们的目标是开发一个抽象的摘要。首先，我们提出的方法确定多文档集中最重要的文档。最重要文档中的句子与其他文档中的句子对齐，以生成相似句子的聚类。其次，我们使用词图结构从每个聚类中的句子生成K-最短路径。最后，我们选择句子从所有集群产生的最短路径集采用一种新的整数线性规划（ILP）模型的目标是最大限度地提高信息含量和可读性的最终摘要。我们的ILP模型将最短路径表示为二元变量，并在目标函数中考虑路径的长度、信息分数和语言质量分数。DUC 2004年和2005年的多文档摘要数据集上的实验结果表明，我们提出的方法优于所有的基线和国家的最先进的提取摘要衡量的ROUGE分数。我们的方法也优于最近的抽象摘要技术。在人工评估中，我们的方法也取得了可喜的成果的信息性和可读性。
2016-09-22 cs.CL
Deleter: Leveraging BERT to Perform Unsupervised Successive Text Compression
Salesforce Research（赛富时研究院）
文本压缩有多种应用，如摘要、阅读理解和文本编辑。然而，几乎所有现有的方法都需要手工制作的功能，语法标签或并行数据。即使是在无监督环境中实现此任务的机器人，其架构也需要特定于任务的自动编码器。此外，这些模型只为每个源输入生成一个压缩句子，因此适应最终输出的不同风格要求（例如长度）通常意味着从头开始重新训练模型。在这项工作中，我们提出了一个完全无监督的模型，删除器，这是能够发现一个“最佳删除路径”的任意句子，其中沿路径的每个中间序列是前一个连贯的子序列。这种方法完全依赖于预训练的双向语言模型（BERT），根据结果句子的平均困惑度对每个候选删除进行评分，并执行渐进式贪婪前瞻搜索，为每个步骤选择最佳删除。我们将Deleter应用于提取句子压缩的任务，并发现我们的模型与在102万个具有类似压缩比的域内示例上训练的最先进的监督模型具有竞争力。定性分析以及自动和人工评估都验证了我们的模型可以产生高质量的压缩。
2019-09-07 cs.CL
Language as a Latent Variable: Discrete Generative Models for Sentence Compression
University of Oxford（牛津大学）；Google Deepmind（谷歌DeepMind）
在这项工作中，我们探讨了深生成模型的文本中，一个文件的潜在表示本身是从离散的语言模型分布。我们制定了一个变分自动编码器在这个模型中的推理，并将其应用到压缩句子的任务。在该应用中，生成模型首先从背景语言模型中提取潜在概要语句，然后随后根据该潜在概要提取观察语句。在我们的经验评估中，我们表明，当在大量的监督数据上训练时，抽象和提取压缩的生成公式都可以产生最先进的结果。此外，我们还探索了半监督压缩场景，在这些场景中，我们证明了在对一小部分监督数据进行训练的同时，可以实现与先前提出的监督模型相竞争的性能。
2016-10-14 cs.AI cs.CL
Towards Lossless Encoding of Sentences
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
利用机器学习进行图像压缩已经做了大量的工作，但是对自然语言的压缩还没有给予足够的关注。将文本压缩为无损表示，同时使功能易于检索不是一项微不足道的任务，但有巨大的好处。设计用于产生特征丰富的句子嵌入的大多数方法仅关注于在下游任务上表现良好，并且无法从学习的嵌入正确地重建原始序列。在这项工作中，我们提出了一个近无损的方法编码长序列的文本以及所有的子序列到功能丰富的表示。我们测试了我们的方法在情感分析，并显示出良好的性能在所有子句和句子嵌入。
2019-08-02 cs.CL
EnComp: Lightweight Encoder-Only Context Compression for Retrieval-Augmented Question Answering
Korea Advanced Institute of Science and Technology（韩国科学技术院）
LooComp通过留一法策略提升仅编码器Transformer的查询感知上下文压缩效率，实现高效压缩与高吞吐量推理。
2026-09-24 cs.CL
Prompt Compression with Context-Aware Sentence Encoding for Fast and Improved LLM Inference
Alterra AI（Alterra人工智能公司）；Queen’s University（女王大学）；Workday Inc.（Workday公司）
提出上下文感知提示压缩方法CPC，通过对比学习训练句子编码器进行句子级提示压缩，在基准数据集上显著优于现有方法且推理速度最高提升10.93倍。
2024-12-18 cs.CL cs.LG
From Lengthy to Lucid: A Systematic Literature Review on NLP Techniques for Taming Long Sentences
Aristotle University of Thessaloniki（亚里士多德大学）；Medoid AI；Pfizer Center for Digital Innovation（辉瑞数字创新中心）
本文系统综述了NLP中处理长句子的两种主要技术：句子压缩和分割，并探讨了当前方法的挑战与未来研究方向。
2026-01-31 cs.CL
Tiny Transformers Excel at Sentence Compression
ETH Zurich（苏黎世联邦理工学院）
本研究针对大语言模型token存储开销大的问题，验证了1-3层小型Transformer可将标准英语句子编解码为单个3千字节的token，证明小型网络能构建有效英语句子，为大模型优化提供了转向更大文本片段嵌入的新思路。
2024-10-30 cs.CL cs.LG
Machine Translation with Unsupervised Length-Constraints
Maastricht University（马斯特里赫特大学）
由于使用了深度学习，我们看到了机器翻译的显着改进。虽然翻译质量的提高令人印象深刻，但编码器-解码器架构实现了更多的可能性。在本文中，我们将探讨其中之一，生成的约束翻译。我们重点关注长度约束，如果翻译应该以给定的格式显示，这是必不可少的。在这项工作中，我们提出了一个端到端的方法来完成这项任务。与先翻译然后执行句子压缩的传统方法相比，文本压缩是完全无监督学习的。通过将该思想与zero-shot多语言机器翻译相结合，我们也能够执行无监督单语句子压缩。为了满足长度约束，我们研究了几种方法来将约束集成到模型中。使用所提出的技术，我们能够在约束条件下显着提高翻译质量。此外，我们能够执行无监督单语句子压缩。
2020-04-07 cs.CL
Learning-Based Single-Document Summarization with Compression and Anaphoricity Constraints
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个判别模型的单文档摘要，集成了压缩和照应性约束。我们的模型基于一组丰富的稀疏特征来选择文本单元以包含在摘要中，这些特征的权重是在大型语料库上学习的。我们允许删除一个句子中的内容时，该删除是由压缩规则许可的;在我们的框架中，这些实现为文本的实质单元之间的依赖关系。回指性约束则通过保证对于摘要中包含的每个代词，代词的先行词也被包括在内或者代词被重写为完整提及来提高跨句连贯性。当端到端训练时，我们的最终系统在ROUGE以及人类对语言质量的判断上都优于先前的工作。
2016-06-08 cs.CL
PC-SubMax: Efficient Prompt Compression via Regularized Submodular Maximization
PC-SubMax将选择性提示压缩建模为正则化单调子模最大化，提出RGM算法，在背包约束下优化信息覆盖、查询相关性与多样性，实现低开销的高效压缩。
2026-09-29 cs.CL
Structured Reordering for Modeling Latent Alignments in Sequence Transduction
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
尽管在许多领域取得了成功，但神经模型在训练和测试示例来自不同分布的环境中挣扎。特别地，与人类相反，常规的序列到序列（seq 2seq）模型不能系统地概括，即，解释表示概念的新颖组合的句子（例如，文本段）在训练中看到的。传统的语法形式主义通过隐式编码输入和输出段之间的对齐在这种设置中表现出色，但难以扩展和维护。而不是工程的语法，我们直接建模段到段的对齐作为离散的结构化的潜变量在神经seq 2seq模型。为了有效地探索大空间的比对，我们引入了一个重排序的第一次，稍后的框架，其中心组件是一个神经重排序模块产生{ \it可分离}排列。我们提出了一个有效的动态规划算法进行精确的边际推理的可分离排列，从而使我们的模型的端到端的可微训练。所得到的seq 2seq模型在合成问题和NLP任务上表现出比标准模型更好的系统泛化（即，语义解析和机器翻译）。
2021-10-26 cs.CL cs.LG
Sentence Compression as Deletion with Contextual Embeddings
CINNAMON LAB（肉桂实验室）；Hung Yen University of Technology and Education（兴安技术教育大学）；The University of Queensland（昆士兰大学）
句子压缩是在保留重要信息的同时创建输入句子的较短版本的任务。在本文中，我们扩展的任务压缩删除使用上下文嵌入。不同于以前的工作通常使用非上下文嵌入（手套或Word2Vec），我们利用上下文嵌入，使我们的模型捕捉输入的上下文。更准确地说，我们利用由双向长短期记忆和条件随机场堆叠的上下文嵌入来处理序列标记。在基准Google数据集上的实验结果表明，通过利用上下文嵌入，我们的模型实现了一个新的最先进的F分数相比，强大的方法报告的领导者板。
2020-06-05 cs.CL cs.IR cs.LG
Semantic Compression for Word and Sentence Embeddings using Discrete Wavelet Transform
School of Engineering and Applied Science, George Washington University（工程与应用科学学院，乔治华盛顿大学）；Faculty of Computers and Artificial Intelligence, Cairo University（计算机与人工智能学院，开罗大学）；Language Technologies Institute, Carnegie Mellon University（语言技术研究所，卡内基梅隆大学）
本研究将离散小波变换（DWT）应用于词与句子嵌入，实现了50%-93%的维度压缩，语义相似度任务性能几乎不变，多数下游任务准确率更优，为NLP应用优化提供了新路径。
2025-07-31 cs.CL
Text Compression for Efficient Language Generation
ETH Zurich（苏黎世联邦理工学院）；NVIDIA（英伟达公司）
本文提出分层 transformer 模型 GPTHF，通过句子嵌入压缩、句子注意力及缓存复用机制减少计算，在小规模设置下显著提升同等规模 GPT 的 FLOPs 效率与运行速度。
2025-03-14 cs.CL
InstructCMP: Length Control in Sentence Compression through Instruction-based Large Language Models
Chungnam National University（忠南大学）；Nara Institute of Science and Technology (NAIST)（奈良科学技术研究所）；Tokyo Institute of Technology（东京工业大学）
针对传统句子压缩模型难满足长度约束的问题，提出基于指令的InstructCMP方法，结合长度启动策略与指令格式数据集微调，在零样本和微调场景下均显著提升长度控制性能且无需修改模型。
2024-06-18 cs.AI cs.CL
Extreme compression of sentence-transformer ranker models: faster inference, longer battery life, and less storage on edge devices
Xayn AG（Xayn公司）
现代搜索系统使用几个大的排名模型与Transformer架构。这些模型需要大量的计算资源，并且不适合在具有有限计算资源的设备上使用。知识蒸馏是一种流行的压缩技术，可以减少这种模型的资源需求，其中一个大的教师模型将知识转移到一个小的学生模型。为了大大减少内存需求和能源消耗，我们提出了两个扩展的流行的存储器变压器蒸馏过程：生成一个最佳大小的词汇和降维的嵌入维数的教师蒸馏前。我们评估这些扩展两种不同类型的排名模型。这将导致非常压缩的学生模型，其对测试数据集的分析显示了我们提出的扩展的意义和实用性。
2022-06-29 cs.CL cs.IR cs.LG
SummPip: Unsupervised Multi-Document Summarization with Sentence Graph Compression
Monash University（莫纳什大学）；Deakin University（迪肯大学）；Shandesitong
获取多文档摘要（MDS）的训练数据是耗时和资源密集型的，所以最近的神经模型只能在有限的领域进行训练。在本文中，我们提出了SummPip：一种用于多文档摘要的无监督方法，在该方法中，我们将原始文档转换为句子图，同时考虑语言和深度表示，然后应用谱聚类来获得多个句子聚类，最后压缩每个聚类以生成最终摘要。在Multi-News和DUC-2004数据集上的实验表明，我们的方法与以前的无监督方法相比具有竞争力，甚至可以与神经监督方法相媲美。此外，人类的评价表明，我们的系统产生一致和完整的摘要相比，人类的书面。
2020-07-20 cs.CL cs.IR cs.LG
Large-Scale Multi-Document Summarization with Information Extraction and Compression
Northwestern University（西北大学）
我们开发了一个抽象的摘要框架独立的标记数据的多个异构文档。与现有的多文档摘要方法不同，我们的框架处理讲述不同故事的文档，而不是同一主题的文档。我们还增强了现有的句子融合方法与一个单向的语言模型优先融合的句子概率较高，以提高可读性的目标。最后，我们基于CNN/Daily Mail和NewsRoom数据集构建了总共12个数据集变体，其中每个文档组包含大量不同的文档集合，以评估我们的模型与其他基线系统相比的性能。我们的实验表明，我们的框架优于当前国家的最先进的方法，在这个更通用的设置。
2022-05-01 cs.CL cs.IR
Syntax, Parsing and Production of Natural Language in a Framework of Information Compression by Multiple Alignment, Unification and Search
本文介绍了“多重对齐、统一和搜索的信息压缩”（ICMAUS）的思想，在ICMAUS中，自然语言的语法可以用一种简单的格式表示，自然语言的语法分析和生成可以以一种透明的方式进行。ICMAUS概念体现在软件模型SP 61中。该模型的组织和操作进行了描述，并给出了一个简单的例子，显示该模型可以实现自然语言的解析。尽管存在“通过压缩进行解压缩”的明显矛盾，但ICMAUS框架在没有任何修改的情况下可以通过解码句子的压缩代码来生成句子。SP 61模型的输出说明了这一点。本文还包括另外四个例子--一个是法语句子的分析，三个是英语助动词的分析。这些示例展示了ICMAUS框架和SP 61模型如何以相对简单和直接的方式适应语法的“上下文敏感”特征。
2003-07-07 cs.AI cs.CL
Brain-CLIPLM: Semantic Compression for EEG-to-Text Decoding
Beijing Institute of Technology, Beijing, China（北京理工大学，北京，中国）
该研究提出Brain-CLIPLM框架，通过语义锚点恢复和锚点引导的句子重建，解决EEG信号低信噪比和信息带宽限制的问题，实现了更高的文本检索准确率。
2026-07-20 cs.AI cs.CL cs.CV
From Similarity to Structure: Training-free LLM Context Compression with Hybrid Graph Priors
School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）；School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件工程学院）；Department of Computer Science and Engineering, Kyung Hee University（Kyung Hee大学计算机科学与工程系）；Department of Industrial and Systems Engineering, The Hong Kong Polytechnic University（香港理工大学工业与系统工程系）；School of Robotics and Advanced Manufacture, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳校区机器人与先进制造学院）
本文提出一种无需训练的上下文压缩框架，利用混合图先验选择句子，通过构建稀疏句子图、提取主题骨架并结合可解释评分进行冗余抑制，实验证明在长文档基准上表现更优。
2026-04-25 cs.AI cs.CL
Hamming Sentence Embeddings for Information Retrieval
在检索应用中，二进制哈希已知在存储器和速度方面提供显著的改进。我们研究的压缩句子嵌入使用神经编码器-解码器架构，这是通过最小化重建误差训练。而不是采用原来的实值嵌入，我们使用潜在的表示在汉明空间产生的编码器的相似性计算。在语义相似性任务的几个基准的定量实验中，我们表明，我们的压缩汉明嵌入产生了可比的性能未压缩的嵌入（Sent 2 Vec，InferSent，手套-BoW），在压缩比高达256：1。我们进一步证明了我们的模型强烈地去相关输入特征，并且压缩器在对维基百科句子进行预训练时泛化良好。我们在Github上发布了源代码和所有实验结果。
2019-08-15 cs.CL cs.IR cs.LG
Extracting and Learning a Dependency-Enhanced Type Lexicon for Dutch
Utrecht University（乌得勒支大学）
本论文关注的是类型逻辑语法及其作为句子句法和语义推理工具的实用性。重点是缩小到荷兰语，表现出很大程度的词序变化的语言。为了克服由于这种可变性而产生的困难，本文探索并扩展了基于乘法直觉线性逻辑的类型语法，不可知的词序，但丰富的装饰，旨在减少其证明理论的复杂性。然后实现了一种将依赖性注释的句子转换为类型序列的算法，用具体的数据驱动的词法类型填充类型逻辑。两个实验上运行的语法实例化。第一个是关于神经结构的类型分配过程的可学习性。一个新的应用程序的自我关注的序列转导模型的建议，相反，既定的做法，它构造类型归纳内化的类型形成语法，从而表现出超出了预先指定的类型词汇的概括性。第二个围绕着一个演绎分析系统，可以解决结构歧义咨询字和类型的信息，初步结果表明，优秀的计算效率和性能。
2019-09-10 cs.CL
Referee: Reference-Free Sentence Summarization with Sharper Controllability through Symbolic Knowledge Distillation
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们提出了Reflection，一个新的句子摘要框架，可以训练无参考（即，不需要用于监督的黄金摘要），同时允许对压缩比的直接控制。我们的工作是第一次证明，通过符号知识蒸馏的概念框架，无参考，受控的句子摘要是可行的（韦斯特等人，2022），其中预训练的语言模型中的潜在知识通过从教师模型中采样的显式示例进行提取，并使用三种类型的过滤器进行进一步纯化：长度，保真度和信息瓶颈。此外，我们独特地提出了知识的迭代蒸馏，其中来自上一次迭代蒸馏的学生模型在下一次迭代中充当教师模型。从一组相对温和的GPT 3生成的摘要开始，我们演示了迭代知识蒸馏如何导致相当小的，但更好的摘要具有更清晰的可控性。这种迭代蒸馏过程的一个有用的副产品是具有不同程度压缩比的高质量数据集。实证结果表明，最终的学生模型在压缩比的可控性方面大大优于更大的GPT 3-Instruct模型，而不会影响所得摘要的质量。
2022-10-25 cs.AI cs.CL cs.LG
TexShape: Information Theoretic Sentence Embedding for Language Models
Boğaziçi University（博加齐大学）；Nokia Bell Labs（诺基亚贝尔实验室）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Massachusetts Institute of Technology (MIT)（麻省理工学院）
本文提出 TexShape，一种基于 Donsker-Varadhan 互信息估计的信息论句子嵌入方法，用于任务数据压缩及敏感信息过滤，并验证其在高压缩比下兼顾效用、隐私与公平性的效果。
2024-05-11 cs.CL cs.IT math.IT
Compressive Summarization with Plausibility and Salience Modeling
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
压缩摘要系统通常依赖于一组精心制作的语法规则来确定可以删除哪些可能的摘要句子的跨度，然后通过优化内容选择（ROUGE）来学习实际删除的模型。在这项工作中，我们建议放宽严格的句法约束的候选跨度，而不是离开压缩决策的两个数据驱动的标准：可扩展性和显着性。删除一个跨度是合理的，如果删除它保持一个句子的语法性和真实性，和跨度是显着的，如果他们包含重要的信息，从总结。这些中的每一个都是由预先训练的Transformer模型来判断的，并且只有既合理又不显著的删除才能被应用。当集成到一个简单的提取-压缩管道中时，我们的方法在基准摘要数据集上实现了强大的域内结果，人工评估表明，可扩展性模型通常选择语法和事实删除。此外，我们方法的灵活性使其能够推广跨域：我们的系统仅对来自新域的500个样本进行微调，就可以匹配或超过在更多数据上训练的域内提取模型。
2020-10-15 cs.CL
Parse Trees Guided LLM Prompt Compression
Ministry of Education Key Laboratory of Bioinformatics, BNRIST Bioinformatics Division, Department of Automation, Tsinghua University（教育部生物信息学重点实验室、BNRIST生物信息学分部、自动化系、清华大学）；School of Computing and Artificial Intelligence, Fuyao University of Science and Technology（计算与人工智能学院、福耀科技大学）；Department of Computer Science and Engineering, Southern University of Science and Technology（计算机科学与工程系、南方科技大学）
针对LLM提示词过长导致成本高且可能超限的问题，本文提出PartPrompt，利用句法分析树、信息熵与全局树传播剪枝实现选择式压缩，并在多基准上取得SOTA效果。
2025-09-28 cs.AI cs.CL
DTATG: An Automatic Title Generator based on Dependency Trees
University of Massachusetts（马萨诸塞大学）
我们研究了给定文本块的自动标题生成，并提出了一种称为DTATG的方法来生成标题。DTATG首先提取少量的中心句子，这些句子传达了文本的主要含义，并且结构适合转换为标题。然后，DTATG为这些句子中的每一个构建依赖树，并使用我们设计的依赖树压缩模型删除某些分支。我们还设计了一个标题测试来确定一个句子是否可以用作标题。如果一个修剪过的句子通过了标题测试，那么它就成为标题候选。DTATG选择具有最高排名分数的标题候选者作为最终标题。实验结果表明，DTATG可以生成足够的标题。我们还表明，DTATG生成的标题有更高的F1分数比以前的方法产生的。
2017-10-01 cs.CL cs.IR
Summarization Programs: Interpretable Abstractive Summarization with Neural Modular Trees
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
当前的抽象摘要模型要么缺乏清晰的可解释性，要么只突出显示源文档的一部分，从而提供不完整的基本原理。为此，我们提出了总结程序（SP），一个可解释的模块化框架，包括一个（有序）的二叉树列表，每个编码的一步一步的生成过程中的一个抽象的摘要句子从源文件。摘要程序包含每个摘要句子的一个根结点，并且不同的树将每个摘要句子（根结点）连接到从其导出的文档句子（叶节点），其中连接节点包含中间生成的句子。边表示在摘要中涉及的不同模块化操作，例如句子融合、压缩和释义。我们首先提出了一个有效的最佳优先搜索方法，在神经模块，SP-Search，识别SP的人类摘要直接优化ROUGE分数。接下来，使用这些程序作为自动监督，我们提出了seq 2seq模型，生成摘要程序，然后执行这些程序以获得最终摘要。我们证明，SP-Search有效地代表了人类总结背后的生成过程，使用通常忠实于其预期行为的模块。我们还进行了模拟研究，以表明摘要程序提高了摘要模型的可解释性，允许人类更好地模拟模型推理。摘要程序是迈向可解释和模块化抽象摘要的有希望的一步，这是一项复杂的任务，以前主要通过黑盒端到端神经系统来解决。支持代码可在https://github.com/swarnaHub/SummarizationPrograms上获得
2023-02-02 cs.AI cs.CL cs.LG
