A Sentence Compression Based Framework to Query-Focused Multi-Document Summarization
Cornell University（康奈尔大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们考虑使用句子压缩技术，以方便查询为重点的多文档摘要的问题。我们提出了一个基于解析压缩的框架，并设计了一系列基于学习的压缩模型建立在解析树。提出了一种创新的束搜索解码器，以有效地找到高度可能的压缩。在这个框架下，我们展示了如何整合各种指示性指标，如语言动机和查询相关性到压缩过程中推导出一种新的配方的压缩评分函数。我们最好的模型实现了统计上的显着改善，在几个指标（如8.0%和5.4%的改进ROUGE-2分别）的DUC 2006年和2007年的总结任务的最先进的系统。
2016-06-24 cs.CL
Fast k-best Sentence Compression
Google Research（谷歌研究院）
句子压缩的一种流行方法是将任务表示为约束优化问题，并使用整数线性规划（ILP）工具解决它。不幸的是，对ILP的依赖可能使压缩机慢得令人望而却步，因此已经提出了近似技术，这些技术通常是复杂的，并且提供了适度的速度增益。作为一种替代解决方案，我们引入了一种新的压缩算法，该算法依赖于本地删除决策生成k-最佳压缩。我们的算法是两个数量级的速度比最近的ILP为基础的方法，同时产生更好的压缩。此外，广泛的评估表明，压缩的质量并没有降低太多，因为我们从单一的最佳移动到前五名的结果。
2015-10-28 cs.CL
Query-focused Sentence Compression in Linear Time
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
搜索应用程序通常显示缩短的句子，这些句子必须包含某些查询项，并且必须适合用户界面的空间约束。这项工作介绍了一种新的过渡为基础的句子压缩技术开发的这种设置。我们的查询为重点的方法构造长度和词汇约束压缩在线性时间，通过增长一个子图中的依赖分析的句子。这种理论上有效的方法实现了11倍的经验加速比基线ILP方法，同时更好地重建黄金约束缩短。这样的加速有助于以查询为中心的应用程序，因为用户会受到界面延迟的明显阻碍。此外，我们的技术不需要ILP求解器或GPU。
2019-09-17 cs.CL
A Multilingual Study of Multi-Sentence Compression using Word Vertex-Labeled Graphs and Integer Linear Programming
University of La Rochelle（拉罗谢尔大学）；University of Avignon（阿维尼翁大学）；Polytechnique Montréal（蒙特利尔高等理工学院）；Inst. Federal de Educação, Ciência e Tecnologia da Paraiba（帕拉伊巴联邦教育、科学与技术学院）；Univ. Federal Fluminense（弗鲁米嫩塞联邦大学）；Universidade Federal do Ceará（塞阿拉联邦大学）
多句子压缩（MSC）的目的是从一组相似的句子中提取关键信息，生成一个短句。MSC使摘要和问答系统能够从一个或多个文档中生成组合完整句子的输出。本文描述了一种基于线性规划的MSC方法，该方法使用顶点标记图来选择不同的关键字，其目标是在保持语法性的同时生成更多信息的句子。我们的系统质量很好，在以三种语言（法语、葡萄牙语和西班牙语）进行的新闻数据集评估方面优于最先进的水平。我们进行了自动和手动评估，以确定每个数据集压缩的信息量和语法性。在额外的测试中，利用压缩的长度可以调节的事实，我们仍然使用更短的输出句子来提高ROUGE分数。
2020-04-09 cs.CL
Syntactically Look-Ahead Attention Network for Sentence Compression
Institute of Innovative Research, Tokyo Institute of Technology（东京工业大学创新研究所）
句子压缩是通过删除冗余单词将长句压缩成短句的任务。在基于序列到序列（Seq 2Seq）的模型中，解码器单向决定保留或删除单词。因此，它通常不能显式地捕获解码的单词和将在未来时间步长中解码的未看到的单词之间的关系。因此，为了避免产生不合语法的句子，解码器有时会在压缩句子时丢弃重要的单词。为了解决这个问题，我们提出了一种新的Seq 2Seq模型，语法前瞻注意力网络（SLAHAN），它可以通过在解码过程中显式跟踪依赖父单词和子单词并捕获将来将被解码的重要单词来生成信息摘要。在Google句子压缩数据集上的自动评估结果显示，SLAHAN实现了最好的基于保留标记的F1，ROUGE-1，ROUGE-2和ROUGE-L得分，分别为85.5，79.3，71.3和79.1。SLAHAN还提高了较长句子的摘要性能。此外，在人工评估中，SLAHAN在不损失可读性的情况下提高了信息量。
2020-05-17 cs.CL
Unsupervised Sentence Compression using Denoising Auto-Encoders
Center for Data Science（数据科学中心）；New York University（纽约大学）
在句子压缩中，缩短句子同时保留原始含义的任务，模型倾向于在包含冗长和压缩句子对的大型语料库上进行训练。为了消除对成对语料库的需求，我们模拟了一个摘要任务，并添加噪声来扩展句子，训练一个去噪自动编码器来恢复原始句子，构建了一个端到端的训练机制，而不需要任何压缩句子的例子。我们在标准文本摘要数据集上对我们的模型进行了人工评估，并表明它基于语法正确性和保留意义来执行监督基线。尽管没有目标数据，但我们的无监督模型学习生成不完美但可读的句子摘要。虽然我们基于ROUGE分数的监督模型表现不佳，但我们的模型与基于人类评估的监督基线相比，在语法正确性和保留意义方面具有竞争力。
2018-09-07 cs.CL
A Token-wise CNN-based Method for Sentence Compression
The Australian National University（澳大利亚国立大学）；Data61/CSIRO（澳大利亚联邦科学与工业研究组织数据61中心）；University of Turku（图尔库大学）
句子压缩是一项自然语言处理（NLP）任务，旨在缩短原始句子并保留其关键信息。它的应用可以使许多领域受益，例如可以构建语言教育工具。然而，目前的方法主要是基于递归神经网络（RNN）模型，其具有较差的处理速度。为了解决这个问题，在本文中，我们提出了一个令牌式卷积神经网络，一个基于CNN的模型，以及预训练的双向编码器表示Transformers（BERT）功能，用于基于删除的句子压缩。我们还将我们的模型与基于RNN的模型和微调的BERT进行了比较。虽然其中一个基于RNN的模型在相同输入下的性能略优于其他模型，但我们基于CNN的模型比基于RNN的方法快十倍。
2020-09-23 cs.CL
From direct tagging to Tagging with sentences compression
这两种标注方法（直接标注和句子压缩标注）本质上都是基于自然语言固有的语言模式，利用正则表达式对我们需要的信息进行标注。虽然直接标注在提取规则数据方面有很多优势，但在某些情况下并不适用。如果我们需要抽取的数据是不规则的，而它周围的词是规则的，是相对规则的，那么我们可以在标记我们需要的数据之前，使用信息压缩来切割我们不需要的信息。通过这种方式，我们可以提高数据的精确度，同时不会破坏数据的召回率。
2018-10-05 cs.CL
Sentence-Anchored Gist Compression for Long-Context LLMs
FusionBrainLab（融合脑实验室）；HSE University（俄罗斯高等经济大学）；Innopolis University（伊诺波利斯大学）
本研究针对长上下文大语言模型的内存与计算需求问题，提出句子锚定要点压缩方法，通过微调预训练模型实现2-8倍压缩且性能无显著下降，在30亿参数LLaMA模型上压缩比更高且效果与其他技术相当。
2025-11-11 cs.CL
SEQ^3: Differentiable Sequence-to-Sequence-to-Sequence Autoencoder for Unsupervised Abstractive Sentence Compression
National Technical University of Athens（雅典国立技术大学）；Athens University of Economics and Business（雅典经济与商业大学）；Heriot-Watt University（赫瑞-瓦特大学）
神经序列到序列模型是目前在几个自然语言处理任务中占主导地位的方法，但需要大型并行语料库。我们提出了一个序列到序列到序列的自动编码器（SEQ ^3），由两个链式编码器-解码器对组成，单词用作离散潜在变量的序列。我们将该模型应用于无监督抽象句压缩，其中第一个和最后一个序列分别是输入和重构的句子，而中间序列是压缩的句子。限制潜在单词序列的长度迫使模型从输入中提取重要信息。预先训练的语言模型作为潜在序列的先验，鼓励压缩的句子是人类可读的。连续松弛使我们能够从分类分布中采样，允许基于梯度的优化，而不像依赖于强化学习的替代方案。该模型不需要并行的文本摘要对，在基准数据集上的无监督句子压缩中取得了令人满意的结果。
2019-06-09 cs.CL
On Improving Informativity and Grammaticality for Multi-Sentence Compression
University of New South Wales（新南威尔士大学）；National ICT（国家信息与通信技术机构）
多句子压缩在很多实际应用中具有重要的价值，如引导式微博摘要、意见摘要和新闻摘要。最近，基于词图的方法已被提出，并成为流行的MSC。他们的关键假设是，一组相关句子之间的冗余提供了一种可靠的方式来生成信息和语法句子。在本文中，我们提出了一种有效的方法来增强基于单词图的MSC，并解决了大多数最先进的MSC方法所面临的问题：即，同时提高信息量和语法性。我们的方法包括三个主要组成部分：（1）合并方法的基础上的多词表达式（MWE）;（2）映射策略的基础上同义词之间的关系;（3）重新排序的步骤，以确定最佳的压缩候选人使用基于POS的语言模型（POS-LM）。我们证明了这种新方法的有效性，使用的数据集的英语新闻专线句子的集群。所观察到的信息量和语法的生成的压缩的改进表明，我们的方法是优于国家的最先进的MSC方法。
2016-05-07 cs.CL
Sentence Compression in Spanish driven by Discourse Segmentation and Language Models
École Polytechnique de Montréal（蒙特利尔高等理工学院）；Universitat Pompeu Fabra（庞培法布拉大学）
以前的工作表明，自动文本摘要（ATS）的句子提取可以提高使用句子压缩。在这项工作中，我们提出了一个句子压缩的方法指导下的水平句语篇分割和概率语言模型（LM）。这里给出的结果表明，所提出的解决方案是能够生成连贯的摘要与语法压缩的句子。这种方法很简单，可以移植到其他语言中。
2012-12-17 cs.CL cs.IR
SupMMD: A Sentence Importance Model for Extractive Summarization using Maximum Mean Discrepancy
Australian National University（澳大利亚国立大学）；Google Research（谷歌研究院）
多文档摘要的大部分工作都集中在每个单独的文档集中存在的信息的通用摘要。然而，更新摘要的未充分开发的设置（其中目标是识别每个集合中存在的新信息）具有相同的实际兴趣（例如，向读者呈现关于演进的新闻主题的更新）。在这项工作中，我们提出了SupMMD，一种新的技术，通用和更新摘要的基础上最大的平均差异，从内核两个样本测试。SupMMD结合了针对显著性的监督学习和针对覆盖率和多样性的无监督学习。此外，我们调整多核学习以利用多个信息源之间的相似性（例如，文本特征和基于知识的概念）。我们通过在DUC-2004和TAC-2009数据集上达到或超过当前最先进水平，展示了SupMMD在通用和更新摘要任务中的功效。
2020-10-06 cs.CL
A Noisy-Channel Model for Document Compression
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
我们提出了一个文件压缩系统，使用分层噪声通道模型的文本生产。我们的压缩系统首先自动推导出每个句子的句法结构和作为输入的文本的整体话语结构。然后，该系统使用文本生产的统计层次模型，以丢弃不重要的句法和话语成分，从而生成任意长度的连贯的、语法的文档压缩。该系统的性能优于基线和基于压缩的压缩系统，后者通过顺序简化文本中的所有句子来操作。我们的研究结果支持了语篇知识在文档摘要中起着重要作用的观点。
2009-07-04 cs.CL
Sentence Compression via DC Programming Approach
Shanghai Jiao Tong University（上海交通大学）；SJTU-Paristech Elite Institute of Technology（上海交通大学巴黎高科卓越工程师学院）
句子压缩是自然语言处理中的一个重要问题。本文首先基于概率模型和句法分析树模型建立了一种新的句子压缩模型。我们的句子压缩模型等价于一个整数线性规划（ILP），既能保证压缩的语法正确性，又能保存句子的主要意思。我们建议使用DC（凸差分）规划方法（DCA）寻找我们的模型的局部最优解。将DCA与并行分支定界框架相结合，可以得到全局最优解。数值结果表明，我们的句子压缩模型的质量和我们提出的解决方案的算法的优异性能。
2019-02-13 cs.CL math.OC
Distributional Discrepancy: A Metric for Unconditional Text Generation
Southwest Jiaotong University（西南交通大学）；Leshan Normal University（乐山师范学院）
无条件文本生成的目的是用真实的句子训练模型，然后生成与训练数据质量相同且多样的新句子。然而，当使用不同的指标来比较无条件文本生成的方法时，得出了相互矛盾的结论。困难在于在评价模型时，样本的多样性和质量应同时考虑。为了解决这个问题，一个新的度量分布差异（DD）的设计，以评估生成器之间的差异生成和真实的训练句子。然而，它不能直接计算DD，因为真实句子的分布不可用。因此，我们提出了一种方法，通过训练基于神经网络的文本分类器来估计DD。为了进行比较，三个现有的指标，双语评估替补（BLEU）与自BLEU，语言模型分数与反向语言模型分数，和Fréchet嵌入距离，以及提出的DD，被用来评估两个流行的生成模型的长短期记忆和生成预训练的Transformer 2的语法和真实数据。实验结果表明，DD是显着优于现有的三个指标，这些生成模型的排名。
2020-07-02 cs.CL
Task-agnostic Prompt Compression with Context-aware Sentence Embedding and Reward-guided Task Descriptor
Queen’s University（女王大学）
本文提出任务无关提示压缩框架 TPC，通过奖励引导的任务描述符评估句子相关性，无需问题或模板即可跨任务压缩提示，并在 LongBench 与 ZeroSCROLLS 上取得领先或可比性能。
2025-02-19 cs.CL
Unsupervised Abstractive Meeting Summarization with Multi-Sentence Compression and Budgeted Submodular Maximization
École Polytechnique（巴黎综合理工学院）；Linagora（利纳戈拉公司）；AUEB（雅典经济与商业大学）
我们介绍了一种新的基于图的框架，抽象的会议语音摘要，是完全无监督的，不依赖于任何注释。我们的工作结合了多种最新方法的优势，同时解决了它们的弱点。此外，我们利用应用于NLP的词嵌入和图退化的最新进展，考虑外部语义知识，并设计自定义多样性和信息量的措施。在AMI和ICSI语料库上的实验表明，我们的系统在现有技术的基础上有所改进，代码和数据是公开的，并且我们的系统可以进行交互式测试。
2018-11-14 cs.CL
Multi-document abstractive summarization using ILP based multi-sentence compression
The Pennsylvania State University（宾夕法尼亚州立大学）；QCRI（卡塔尔计算研究所）；National University of Singapore（新加坡国立大学）
摘要文摘是一种理想的文摘形式，它可以综合多个文档中的信息，生成简洁的信息摘要。在这项工作中，我们的目标是开发一个抽象的摘要。首先，我们提出的方法确定多文档集中最重要的文档。最重要文档中的句子与其他文档中的句子对齐，以生成相似句子的聚类。其次，我们使用词图结构从每个聚类中的句子生成K-最短路径。最后，我们选择句子从所有集群产生的最短路径集采用一种新的整数线性规划（ILP）模型的目标是最大限度地提高信息含量和可读性的最终摘要。我们的ILP模型将最短路径表示为二元变量，并在目标函数中考虑路径的长度、信息分数和语言质量分数。DUC 2004年和2005年的多文档摘要数据集上的实验结果表明，我们提出的方法优于所有的基线和国家的最先进的提取摘要衡量的ROUGE分数。我们的方法也优于最近的抽象摘要技术。在人工评估中，我们的方法也取得了可喜的成果的信息性和可读性。
2016-09-22 cs.CL
Deleter: Leveraging BERT to Perform Unsupervised Successive Text Compression
Salesforce Research（赛富时研究院）
文本压缩有多种应用，如摘要、阅读理解和文本编辑。然而，几乎所有现有的方法都需要手工制作的功能，语法标签或并行数据。即使是在无监督环境中实现此任务的机器人，其架构也需要特定于任务的自动编码器。此外，这些模型只为每个源输入生成一个压缩句子，因此适应最终输出的不同风格要求（例如长度）通常意味着从头开始重新训练模型。在这项工作中，我们提出了一个完全无监督的模型，删除器，这是能够发现一个“最佳删除路径”的任意句子，其中沿路径的每个中间序列是前一个连贯的子序列。这种方法完全依赖于预训练的双向语言模型（BERT），根据结果句子的平均困惑度对每个候选删除进行评分，并执行渐进式贪婪前瞻搜索，为每个步骤选择最佳删除。我们将Deleter应用于提取句子压缩的任务，并发现我们的模型与在102万个具有类似压缩比的域内示例上训练的最先进的监督模型具有竞争力。定性分析以及自动和人工评估都验证了我们的模型可以产生高质量的压缩。
2019-09-07 cs.CL
Language as a Latent Variable: Discrete Generative Models for Sentence Compression
University of Oxford（牛津大学）；Google Deepmind（谷歌DeepMind）
在这项工作中，我们探讨了深生成模型的文本中，一个文件的潜在表示本身是从离散的语言模型分布。我们制定了一个变分自动编码器在这个模型中的推理，并将其应用到压缩句子的任务。在该应用中，生成模型首先从背景语言模型中提取潜在概要语句，然后随后根据该潜在概要提取观察语句。在我们的经验评估中，我们表明，当在大量的监督数据上训练时，抽象和提取压缩的生成公式都可以产生最先进的结果。此外，我们还探索了半监督压缩场景，在这些场景中，我们证明了在对一小部分监督数据进行训练的同时，可以实现与先前提出的监督模型相竞争的性能。
2016-10-14 cs.AI cs.CL
Prompt Compression with Context-Aware Sentence Encoding for Fast and Improved LLM Inference
Alterra AI（Alterra人工智能公司）；Queen’s University（女王大学）；Workday Inc.（Workday公司）
提出上下文感知提示压缩方法CPC，通过对比学习训练句子编码器进行句子级提示压缩，在基准数据集上显著优于现有方法且推理速度最高提升10.93倍。
2024-12-18 cs.CL cs.LG
Towards Lossless Encoding of Sentences
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
利用机器学习进行图像压缩已经做了大量的工作，但是对自然语言的压缩还没有给予足够的关注。将文本压缩为无损表示，同时使功能易于检索不是一项微不足道的任务，但有巨大的好处。设计用于产生特征丰富的句子嵌入的大多数方法仅关注于在下游任务上表现良好，并且无法从学习的嵌入正确地重建原始序列。在这项工作中，我们提出了一个近无损的方法编码长序列的文本以及所有的子序列到功能丰富的表示。我们测试了我们的方法在情感分析，并显示出良好的性能在所有子句和句子嵌入。
2019-08-02 cs.CL
EnComp: Lightweight Encoder-Only Context Compression for Retrieval-Augmented Question Answering
Korea Advanced Institute of Science and Technology（韩国科学技术院）
LooComp通过留一法策略提升仅编码器Transformer的查询感知上下文压缩效率，实现高效压缩与高吞吐量推理。
2026-09-24 cs.CL
Tiny Transformers Excel at Sentence Compression
ETH Zurich（苏黎世联邦理工学院）
本研究针对大语言模型token存储开销大的问题，验证了1-3层小型Transformer可将标准英语句子编解码为单个3千字节的token，证明小型网络能构建有效英语句子，为大模型优化提供了转向更大文本片段嵌入的新思路。
2024-10-30 cs.CL cs.LG
From Lengthy to Lucid: A Systematic Literature Review on NLP Techniques for Taming Long Sentences
Aristotle University of Thessaloniki（亚里士多德大学）；Medoid AI；Pfizer Center for Digital Innovation（辉瑞数字创新中心）
本文系统综述了NLP中处理长句子的两种主要技术：句子压缩和分割，并探讨了当前方法的挑战与未来研究方向。
2026-01-31 cs.CL
Sentence Compression as Deletion with Contextual Embeddings
CINNAMON LAB（肉桂实验室）；Hung Yen University of Technology and Education（兴安技术教育大学）；The University of Queensland（昆士兰大学）
句子压缩是在保留重要信息的同时创建输入句子的较短版本的任务。在本文中，我们扩展的任务压缩删除使用上下文嵌入。不同于以前的工作通常使用非上下文嵌入（手套或Word2Vec），我们利用上下文嵌入，使我们的模型捕捉输入的上下文。更准确地说，我们利用由双向长短期记忆和条件随机场堆叠的上下文嵌入来处理序列标记。在基准Google数据集上的实验结果表明，通过利用上下文嵌入，我们的模型实现了一个新的最先进的F分数相比，强大的方法报告的领导者板。
2020-06-05 cs.CL cs.IR cs.LG
A new hybrid metric for verifying parallel corpora of Arabic-English
Bangor University（班戈大学）
本文讨论了一种新的衡量标准，该标准已被应用于验证阿拉伯语-英语平行语料库中句子对之间的翻译质量。该度量结合了两种技术，一种基于句子长度，另一种基于压缩代码长度。在样本测试平行阿拉伯语-英语语料库上的实验表明，与单独使用句子长度和压缩码长度相比，这两种技术的结合提高了识别满意和不满意句子对的准确性。本研究提出的新方法能有效地滤除噪声，减少误译，从而大大提高翻译质量。
2015-02-12 cs.CL
Machine Translation with Unsupervised Length-Constraints
Maastricht University（马斯特里赫特大学）
由于使用了深度学习，我们看到了机器翻译的显着改进。虽然翻译质量的提高令人印象深刻，但编码器-解码器架构实现了更多的可能性。在本文中，我们将探讨其中之一，生成的约束翻译。我们重点关注长度约束，如果翻译应该以给定的格式显示，这是必不可少的。在这项工作中，我们提出了一个端到端的方法来完成这项任务。与先翻译然后执行句子压缩的传统方法相比，文本压缩是完全无监督学习的。通过将该思想与zero-shot多语言机器翻译相结合，我们也能够执行无监督单语句子压缩。为了满足长度约束，我们研究了几种方法来将约束集成到模型中。使用所提出的技术，我们能够在约束条件下显着提高翻译质量。此外，我们能够执行无监督单语句子压缩。
2020-04-07 cs.CL
Learning-Based Single-Document Summarization with Compression and Anaphoricity Constraints
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个判别模型的单文档摘要，集成了压缩和照应性约束。我们的模型基于一组丰富的稀疏特征来选择文本单元以包含在摘要中，这些特征的权重是在大型语料库上学习的。我们允许删除一个句子中的内容时，该删除是由压缩规则许可的;在我们的框架中，这些实现为文本的实质单元之间的依赖关系。回指性约束则通过保证对于摘要中包含的每个代词，代词的先行词也被包括在内或者代词被重写为完整提及来提高跨句连贯性。当端到端训练时，我们的最终系统在ROUGE以及人类对语言质量的判断上都优于先前的工作。
2016-06-08 cs.CL
PC-SubMax: Efficient Prompt Compression via Regularized Submodular Maximization
PC-SubMax将选择性提示压缩建模为正则化单调子模最大化，提出RGM算法，在背包约束下优化信息覆盖、查询相关性与多样性，实现低开销的高效压缩。
2026-09-29 cs.CL
InstructCMP: Length Control in Sentence Compression through Instruction-based Large Language Models
Chungnam National University（忠南大学）；Nara Institute of Science and Technology (NAIST)（奈良科学技术研究所）；Tokyo Institute of Technology（东京工业大学）
针对传统句子压缩模型难满足长度约束的问题，提出基于指令的InstructCMP方法，结合长度启动策略与指令格式数据集微调，在零样本和微调场景下均显著提升长度控制性能且无需修改模型。
2024-06-18 cs.AI cs.CL
Semantic Compression for Word and Sentence Embeddings using Discrete Wavelet Transform
School of Engineering and Applied Science, George Washington University（工程与应用科学学院，乔治华盛顿大学）；Faculty of Computers and Artificial Intelligence, Cairo University（计算机与人工智能学院，开罗大学）；Language Technologies Institute, Carnegie Mellon University（语言技术研究所，卡内基梅隆大学）
本研究将离散小波变换（DWT）应用于词与句子嵌入，实现了50%-93%的维度压缩，语义相似度任务性能几乎不变，多数下游任务准确率更优，为NLP应用优化提供了新路径。
2025-07-31 cs.CL
Text Compression for Efficient Language Generation
ETH Zurich（苏黎世联邦理工学院）；NVIDIA（英伟达公司）
本文提出分层 transformer 模型 GPTHF，通过句子嵌入压缩、句子注意力及缓存复用机制减少计算，在小规模设置下显著提升同等规模 GPT 的 FLOPs 效率与运行速度。
2025-03-14 cs.CL
Extreme compression of sentence-transformer ranker models: faster inference, longer battery life, and less storage on edge devices
Xayn AG（Xayn公司）
现代搜索系统使用几个大的排名模型与Transformer架构。这些模型需要大量的计算资源，并且不适合在具有有限计算资源的设备上使用。知识蒸馏是一种流行的压缩技术，可以减少这种模型的资源需求，其中一个大的教师模型将知识转移到一个小的学生模型。为了大大减少内存需求和能源消耗，我们提出了两个扩展的流行的存储器变压器蒸馏过程：生成一个最佳大小的词汇和降维的嵌入维数的教师蒸馏前。我们评估这些扩展两种不同类型的排名模型。这将导致非常压缩的学生模型，其对测试数据集的分析显示了我们提出的扩展的意义和实用性。
2022-06-29 cs.CL cs.IR cs.LG
SummPip: Unsupervised Multi-Document Summarization with Sentence Graph Compression
Monash University（莫纳什大学）；Deakin University（迪肯大学）；Shandesitong
获取多文档摘要（MDS）的训练数据是耗时和资源密集型的，所以最近的神经模型只能在有限的领域进行训练。在本文中，我们提出了SummPip：一种用于多文档摘要的无监督方法，在该方法中，我们将原始文档转换为句子图，同时考虑语言和深度表示，然后应用谱聚类来获得多个句子聚类，最后压缩每个聚类以生成最终摘要。在Multi-News和DUC-2004数据集上的实验表明，我们的方法与以前的无监督方法相比具有竞争力，甚至可以与神经监督方法相媲美。此外，人类的评价表明，我们的系统产生一致和完整的摘要相比，人类的书面。
2020-07-20 cs.CL cs.IR cs.LG
Large-Scale Multi-Document Summarization with Information Extraction and Compression
Northwestern University（西北大学）
我们开发了一个抽象的摘要框架独立的标记数据的多个异构文档。与现有的多文档摘要方法不同，我们的框架处理讲述不同故事的文档，而不是同一主题的文档。我们还增强了现有的句子融合方法与一个单向的语言模型优先融合的句子概率较高，以提高可读性的目标。最后，我们基于CNN/Daily Mail和NewsRoom数据集构建了总共12个数据集变体，其中每个文档组包含大量不同的文档集合，以评估我们的模型与其他基线系统相比的性能。我们的实验表明，我们的框架优于当前国家的最先进的方法，在这个更通用的设置。
2022-05-01 cs.CL cs.IR
Fiction Sentence Expansion and Enhancement via Focused Objective and Novelty Curve Sampling
Ariel University（阿里埃勒大学）
我们描述了句子扩展和增强的任务，其中由人类提供的句子以某种创造性的方式扩展。扩展应该是可理解的，令人信服的语法，并最佳地保持意义。句子扩展和增强可以作为创作工具，或集成在动态媒体，会话代理或多样化的广告中。我们实现了一个神经句子扩展器，它是在从现代小说语料库生成的句子压缩上训练的。我们修改的MLE目标，以支持任务，专注于新的单词，并在测试时解码控制曲线样的新奇采样。我们在人类受试者提供的句子上运行句子扩展器，并让人类评估这些扩展。我们表明，尽管生成方法不如专业的人类作家，但它们与我们的受试者的原始输入句子相当，并且比基线更受欢迎。
2020-11-10 cs.CL
Syntax, Parsing and Production of Natural Language in a Framework of Information Compression by Multiple Alignment, Unification and Search
本文介绍了“多重对齐、统一和搜索的信息压缩”（ICMAUS）的思想，在ICMAUS中，自然语言的语法可以用一种简单的格式表示，自然语言的语法分析和生成可以以一种透明的方式进行。ICMAUS概念体现在软件模型SP 61中。该模型的组织和操作进行了描述，并给出了一个简单的例子，显示该模型可以实现自然语言的解析。尽管存在“通过压缩进行解压缩”的明显矛盾，但ICMAUS框架在没有任何修改的情况下可以通过解码句子的压缩代码来生成句子。SP 61模型的输出说明了这一点。本文还包括另外四个例子--一个是法语句子的分析，三个是英语助动词的分析。这些示例展示了ICMAUS框架和SP 61模型如何以相对简单和直接的方式适应语法的“上下文敏感”特征。
2003-07-07 cs.AI cs.CL
Brain-CLIPLM: Semantic Compression for EEG-to-Text Decoding
Beijing Institute of Technology, Beijing, China（北京理工大学，北京，中国）
该研究提出Brain-CLIPLM框架，通过语义锚点恢复和锚点引导的句子重建，解决EEG信号低信噪比和信息带宽限制的问题，实现了更高的文本检索准确率。
2026-07-20 cs.AI cs.CL cs.CV
From Similarity to Structure: Training-free LLM Context Compression with Hybrid Graph Priors
School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）；School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件工程学院）；Department of Computer Science and Engineering, Kyung Hee University（Kyung Hee大学计算机科学与工程系）；Department of Industrial and Systems Engineering, The Hong Kong Polytechnic University（香港理工大学工业与系统工程系）；School of Robotics and Advanced Manufacture, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳校区机器人与先进制造学院）
本文提出一种无需训练的上下文压缩框架，利用混合图先验选择句子，通过构建稀疏句子图、提取主题骨架并结合可解释评分进行冗余抑制，实验证明在长文档基准上表现更优。
2026-04-25 cs.AI cs.CL
Hamming Sentence Embeddings for Information Retrieval
在检索应用中，二进制哈希已知在存储器和速度方面提供显著的改进。我们研究的压缩句子嵌入使用神经编码器-解码器架构，这是通过最小化重建误差训练。而不是采用原来的实值嵌入，我们使用潜在的表示在汉明空间产生的编码器的相似性计算。在语义相似性任务的几个基准的定量实验中，我们表明，我们的压缩汉明嵌入产生了可比的性能未压缩的嵌入（Sent 2 Vec，InferSent，手套-BoW），在压缩比高达256：1。我们进一步证明了我们的模型强烈地去相关输入特征，并且压缩器在对维基百科句子进行预训练时泛化良好。我们在Github上发布了源代码和所有实验结果。
2019-08-15 cs.CL cs.IR cs.LG
EASSE: Easier Automatic Sentence Simplification Evaluation
University of Sheffield（谢菲尔德大学）；Facebook AI Research（Facebook人工智能研究院）；Inria（法国国家信息与自动化研究所）；Imperial College London（帝国理工学院）
我们介绍了EASSE，一个Python软件包，旨在促进和简化句子简化（SS）系统的自动评估和比较。EASSE提供了一个单一的访问点，以广泛的评估资源：标准的自动度量评估SS输出（如SARI），单词级的准确性分数为某些简化转换，参考独立的质量估计功能（如压缩比），和标准的测试数据的SS评估（如TurkCorpus）。最后，EASSE生成关于上述各种指标和特性的易于可视化的报告，以及关于特定SS输出如何对抗参考简化的报告。通过实验，我们表明，这些功能可以更好地比较和理解SS系统的性能。
2019-09-13 cs.CL
Referee: Reference-Free Sentence Summarization with Sharper Controllability through Symbolic Knowledge Distillation
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们提出了Reflection，一个新的句子摘要框架，可以训练无参考（即，不需要用于监督的黄金摘要），同时允许对压缩比的直接控制。我们的工作是第一次证明，通过符号知识蒸馏的概念框架，无参考，受控的句子摘要是可行的（韦斯特等人，2022），其中预训练的语言模型中的潜在知识通过从教师模型中采样的显式示例进行提取，并使用三种类型的过滤器进行进一步纯化：长度，保真度和信息瓶颈。此外，我们独特地提出了知识的迭代蒸馏，其中来自上一次迭代蒸馏的学生模型在下一次迭代中充当教师模型。从一组相对温和的GPT 3生成的摘要开始，我们演示了迭代知识蒸馏如何导致相当小的，但更好的摘要具有更清晰的可控性。这种迭代蒸馏过程的一个有用的副产品是具有不同程度压缩比的高质量数据集。实证结果表明，最终的学生模型在压缩比的可控性方面大大优于更大的GPT 3-Instruct模型，而不会影响所得摘要的质量。
2022-10-25 cs.AI cs.CL cs.LG
TexShape: Information Theoretic Sentence Embedding for Language Models
Boğaziçi University（博加齐大学）；Nokia Bell Labs（诺基亚贝尔实验室）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Massachusetts Institute of Technology (MIT)（麻省理工学院）
本文提出 TexShape，一种基于 Donsker-Varadhan 互信息估计的信息论句子嵌入方法，用于任务数据压缩及敏感信息过滤，并验证其在高压缩比下兼顾效用、隐私与公平性的效果。
2024-05-11 cs.CL cs.IT math.IT
Compression Method Matters: Benchmark-Dependent Output Dynamics in LLM Prompt Compression
Plexor Labs（Plexor实验室）
研究探讨了提示压缩对输出长度和推理成本的影响，提出指令生存概率指标，并揭示了不同基准下的压缩效果差异，强调提示结构对压缩安全性和效率的重要性。
2026-03-06 cs.CL
Compressive Summarization with Plausibility and Salience Modeling
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
压缩摘要系统通常依赖于一组精心制作的语法规则来确定可以删除哪些可能的摘要句子的跨度，然后通过优化内容选择（ROUGE）来学习实际删除的模型。在这项工作中，我们建议放宽严格的句法约束的候选跨度，而不是离开压缩决策的两个数据驱动的标准：可扩展性和显着性。删除一个跨度是合理的，如果删除它保持一个句子的语法性和真实性，和跨度是显着的，如果他们包含重要的信息，从总结。这些中的每一个都是由预先训练的Transformer模型来判断的，并且只有既合理又不显著的删除才能被应用。当集成到一个简单的提取-压缩管道中时，我们的方法在基准摘要数据集上实现了强大的域内结果，人工评估表明，可扩展性模型通常选择语法和事实删除。此外，我们方法的灵活性使其能够推广跨域：我们的系统仅对来自新域的500个样本进行微调，就可以匹配或超过在更多数据上训练的域内提取模型。
2020-10-15 cs.CL
Ranking LLMs by compression
School of Mathematics, Northwest University（西北大学数学学院）；Shanghai Institute for Mathematics and Interdisciplinary Sciences（上海数学与交叉科学研究院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Cheriton School of Computer Science, University of Waterloo（滑铁卢大学切尔顿计算机科学学院）
该研究将理解视为信息压缩，提出基于无损压缩的LLM排序方法，证明压缩长度与累积负对数概率等价，实验显示压缩比与模型性能正相关，可作为通用评估指标。
2024-06-20 cs.AI cs.CL
Leveraging Information Bottleneck for Scientific Document Summarization
Monash University（莫纳什大学）；Deakin University（迪肯大学）；Zhongtukexin Co. Ltd.（中土科信有限公司）
基于信息瓶颈原理，提出了一种无监督的科技长文档抽取方法。以前的工作，使用信息瓶颈原则的句子压缩的启发，我们将其扩展到文档级的摘要与两个单独的步骤。在第一步中，我们使用信号作为查询，从源文档中检索关键内容。然后，预先训练的语言模型进行进一步的句子搜索和编辑，以返回最终提取的摘要。重要的是，我们的工作可以通过不同的信号灵活地扩展到多视图框架。对三个科学文献数据集的自动评估验证了该框架的有效性。进一步的人工评估表明，提取的摘要比以前的系统覆盖更多的内容方面。
2021-10-04 cs.CL
Judgment of Learning: A Human Ability Beyond Generative Artificial Intelligence
Leibniz-Institut für Wissensmedien（莱布尼茨知识媒体研究所）；Eberhard Karls Universität Tübingen（蒂宾根大学）
本研究引入跨智能体预测模型评估ChatGPT类LLMs的学习判断能力，发现尽管LLMs在客体层面能模仿人类认知，但在元认知层面无法像人类一样准确预测记忆表现，揭示了其自我监控能力的不足。
2025-06-06 cs.CL
Predicting Sentence Acceptability Judgments in Multimodal Contexts
研究探讨了在多模态上下文中，视觉上下文对人类和LLM句子可接受性判断的影响，发现LLM在去除视觉上下文时表现更优，且不同模型的判断分布各异。
2026-02-24 cs.AI cs.CL
Automatic Summarization System coupled with a Question-Answering System (QAAS)
Laboratoire Informatique d’Avignon（阿维尼翁计算机实验室）；École Polytechnique de Montréal（蒙特利尔综合理工学院）
为了选择文档中最相关的句子，它使用了一种结合了几个度量的最佳决策算法。该指标通过统计和信息算法处理、加权和提取相关性句子。该技术可以改进问答系统，其功能是用自然语言对问题提供准确的答案。在本文中，我们提出了通过耦合的皮质摘要与问答系统（QAAS）所获得的结果。两种配置进行了评价。在第一种方法中，选择低压缩级别，并且摘要系统仅用作噪声滤波器。在第二种配置中，该系统实际上用作摘要器，具有非常高的压缩级别。我们在法语语料库上的实验结果表明，自动文摘系统与问答系统的结合是很有前途的。然后，该系统已调整为根据具体问题生成定制摘要。在一个法语多文档语料库上进行了测试，个性化QAAS系统获得了最佳的性能。
2009-05-18 cs.CL cs.IR
Novels generated by language models show compressed formal variation
University of Maryland（马里兰大学）；University of West Bohemia（西波希米亚大学）；Charles University（查理大学）
该研究对比不同模型生成及人类撰写的小说语料库，发现AI生成小说的形式多样性被压缩，句子结构等指标的变异性远低于人类小说，且存在方差与相关性过度封闭现象。
2026-08-14 cs.AI cs.CL
