A Sentence Compression Based Framework to Query-Focused Multi-Document Summarization
Cornell University（康奈尔大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们考虑使用句子压缩技术，以方便查询为重点的多文档摘要的问题。我们提出了一个基于解析压缩的框架，并设计了一系列基于学习的压缩模型建立在解析树。提出了一种创新的束搜索解码器，以有效地找到高度可能的压缩。在这个框架下，我们展示了如何整合各种指示性指标，如语言动机和查询相关性到压缩过程中推导出一种新的配方的压缩评分函数。我们最好的模型实现了统计上的显着改善，在几个指标（如8.0%和5.4%的改进ROUGE-2分别）的DUC 2006年和2007年的总结任务的最先进的系统。
2016-06-24 cs.CL
Fast k-best Sentence Compression
Google Research（谷歌研究院）
句子压缩的一种流行方法是将任务表示为约束优化问题，并使用整数线性规划（ILP）工具解决它。不幸的是，对ILP的依赖可能使压缩机慢得令人望而却步，因此已经提出了近似技术，这些技术通常是复杂的，并且提供了适度的速度增益。作为一种替代解决方案，我们引入了一种新的压缩算法，该算法依赖于本地删除决策生成k-最佳压缩。我们的算法是两个数量级的速度比最近的ILP为基础的方法，同时产生更好的压缩。此外，广泛的评估表明，压缩的质量并没有降低太多，因为我们从单一的最佳移动到前五名的结果。
2015-10-28 cs.CL
Query-focused Sentence Compression in Linear Time
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
搜索应用程序通常显示缩短的句子，这些句子必须包含某些查询项，并且必须适合用户界面的空间约束。这项工作介绍了一种新的过渡为基础的句子压缩技术开发的这种设置。我们的查询为重点的方法构造长度和词汇约束压缩在线性时间，通过增长一个子图中的依赖分析的句子。这种理论上有效的方法实现了11倍的经验加速比基线ILP方法，同时更好地重建黄金约束缩短。这样的加速有助于以查询为中心的应用程序，因为用户会受到界面延迟的明显阻碍。此外，我们的技术不需要ILP求解器或GPU。
2019-09-17 cs.CL
A Multilingual Study of Multi-Sentence Compression using Word Vertex-Labeled Graphs and Integer Linear Programming
University of La Rochelle（拉罗谢尔大学）；University of Avignon（阿维尼翁大学）；Polytechnique Montréal（蒙特利尔高等理工学院）；Inst. Federal de Educação, Ciência e Tecnologia da Paraiba（帕拉伊巴联邦教育、科学与技术学院）；Univ. Federal Fluminense（弗鲁米嫩塞联邦大学）；Universidade Federal do Ceará（塞阿拉联邦大学）
多句子压缩（MSC）的目的是从一组相似的句子中提取关键信息，生成一个短句。MSC使摘要和问答系统能够从一个或多个文档中生成组合完整句子的输出。本文描述了一种基于线性规划的MSC方法，该方法使用顶点标记图来选择不同的关键字，其目标是在保持语法性的同时生成更多信息的句子。我们的系统质量很好，在以三种语言（法语、葡萄牙语和西班牙语）进行的新闻数据集评估方面优于最先进的水平。我们进行了自动和手动评估，以确定每个数据集压缩的信息量和语法性。在额外的测试中，利用压缩的长度可以调节的事实，我们仍然使用更短的输出句子来提高ROUGE分数。
2020-04-09 cs.CL
Syntactically Look-Ahead Attention Network for Sentence Compression
Institute of Innovative Research, Tokyo Institute of Technology（东京工业大学创新研究所）
句子压缩是通过删除冗余单词将长句压缩成短句的任务。在基于序列到序列（Seq 2Seq）的模型中，解码器单向决定保留或删除单词。因此，它通常不能显式地捕获解码的单词和将在未来时间步长中解码的未看到的单词之间的关系。因此，为了避免产生不合语法的句子，解码器有时会在压缩句子时丢弃重要的单词。为了解决这个问题，我们提出了一种新的Seq 2Seq模型，语法前瞻注意力网络（SLAHAN），它可以通过在解码过程中显式跟踪依赖父单词和子单词并捕获将来将被解码的重要单词来生成信息摘要。在Google句子压缩数据集上的自动评估结果显示，SLAHAN实现了最好的基于保留标记的F1，ROUGE-1，ROUGE-2和ROUGE-L得分，分别为85.5，79.3，71.3和79.1。SLAHAN还提高了较长句子的摘要性能。此外，在人工评估中，SLAHAN在不损失可读性的情况下提高了信息量。
2020-05-17 cs.CL
Unsupervised Sentence Compression using Denoising Auto-Encoders
Center for Data Science（数据科学中心）；New York University（纽约大学）
在句子压缩中，缩短句子同时保留原始含义的任务，模型倾向于在包含冗长和压缩句子对的大型语料库上进行训练。为了消除对成对语料库的需求，我们模拟了一个摘要任务，并添加噪声来扩展句子，训练一个去噪自动编码器来恢复原始句子，构建了一个端到端的训练机制，而不需要任何压缩句子的例子。我们在标准文本摘要数据集上对我们的模型进行了人工评估，并表明它基于语法正确性和保留意义来执行监督基线。尽管没有目标数据，但我们的无监督模型学习生成不完美但可读的句子摘要。虽然我们基于ROUGE分数的监督模型表现不佳，但我们的模型与基于人类评估的监督基线相比，在语法正确性和保留意义方面具有竞争力。
2018-09-07 cs.CL
A Token-wise CNN-based Method for Sentence Compression
The Australian National University（澳大利亚国立大学）；Data61/CSIRO（澳大利亚联邦科学与工业研究组织数据61中心）；University of Turku（图尔库大学）
句子压缩是一项自然语言处理（NLP）任务，旨在缩短原始句子并保留其关键信息。它的应用可以使许多领域受益，例如可以构建语言教育工具。然而，目前的方法主要是基于递归神经网络（RNN）模型，其具有较差的处理速度。为了解决这个问题，在本文中，我们提出了一个令牌式卷积神经网络，一个基于CNN的模型，以及预训练的双向编码器表示Transformers（BERT）功能，用于基于删除的句子压缩。我们还将我们的模型与基于RNN的模型和微调的BERT进行了比较。虽然其中一个基于RNN的模型在相同输入下的性能略优于其他模型，但我们基于CNN的模型比基于RNN的方法快十倍。
2020-09-23 cs.CL
From direct tagging to Tagging with sentences compression
这两种标注方法（直接标注和句子压缩标注）本质上都是基于自然语言固有的语言模式，利用正则表达式对我们需要的信息进行标注。虽然直接标注在提取规则数据方面有很多优势，但在某些情况下并不适用。如果我们需要抽取的数据是不规则的，而它周围的词是规则的，是相对规则的，那么我们可以在标记我们需要的数据之前，使用信息压缩来切割我们不需要的信息。通过这种方式，我们可以提高数据的精确度，同时不会破坏数据的召回率。
2018-10-05 cs.CL
Sentence-Anchored Gist Compression for Long-Context LLMs
FusionBrainLab（融合脑实验室）；HSE University（俄罗斯高等经济大学）；Innopolis University（伊诺波利斯大学）
本研究针对长上下文大语言模型的内存与计算需求问题，提出句子锚定要点压缩方法，通过微调预训练模型实现2-8倍压缩且性能无显著下降，在30亿参数LLaMA模型上压缩比更高且效果与其他技术相当。
2025-11-11 cs.CL
SEQ^3: Differentiable Sequence-to-Sequence-to-Sequence Autoencoder for Unsupervised Abstractive Sentence Compression
National Technical University of Athens（雅典国立技术大学）；Athens University of Economics and Business（雅典经济与商业大学）；Heriot-Watt University（赫瑞-瓦特大学）
神经序列到序列模型是目前在几个自然语言处理任务中占主导地位的方法，但需要大型并行语料库。我们提出了一个序列到序列到序列的自动编码器（SEQ ^3），由两个链式编码器-解码器对组成，单词用作离散潜在变量的序列。我们将该模型应用于无监督抽象句压缩，其中第一个和最后一个序列分别是输入和重构的句子，而中间序列是压缩的句子。限制潜在单词序列的长度迫使模型从输入中提取重要信息。预先训练的语言模型作为潜在序列的先验，鼓励压缩的句子是人类可读的。连续松弛使我们能够从分类分布中采样，允许基于梯度的优化，而不像依赖于强化学习的替代方案。该模型不需要并行的文本摘要对，在基准数据集上的无监督句子压缩中取得了令人满意的结果。
2019-06-09 cs.CL
On Improving Informativity and Grammaticality for Multi-Sentence Compression
University of New South Wales（新南威尔士大学）；National ICT（国家信息与通信技术机构）
多句子压缩在很多实际应用中具有重要的价值，如引导式微博摘要、意见摘要和新闻摘要。最近，基于词图的方法已被提出，并成为流行的MSC。他们的关键假设是，一组相关句子之间的冗余提供了一种可靠的方式来生成信息和语法句子。在本文中，我们提出了一种有效的方法来增强基于单词图的MSC，并解决了大多数最先进的MSC方法所面临的问题：即，同时提高信息量和语法性。我们的方法包括三个主要组成部分：（1）合并方法的基础上的多词表达式（MWE）;（2）映射策略的基础上同义词之间的关系;（3）重新排序的步骤，以确定最佳的压缩候选人使用基于POS的语言模型（POS-LM）。我们证明了这种新方法的有效性，使用的数据集的英语新闻专线句子的集群。所观察到的信息量和语法的生成的压缩的改进表明，我们的方法是优于国家的最先进的MSC方法。
2016-05-07 cs.CL
Improving Natural Language Processing Tasks with Human Gaze-Guided Neural Attention
University of Stuttgart（斯图加特大学）；Institute for Visualization and Interactive Systems (VIS)（可视化与交互系统研究所）；Institute for Natural Language Processing (IMS)（自然语言处理研究所）
到目前为止，语料库的缺乏限制了将人类凝视数据作为自然语言处理（NLP）的神经注意力机制中的监督信号整合的进展。我们提出了一种新的混合文本显着性模型（TSM），首次将阅读的认知模型与明确的人类注视监督结合在一个单一的机器学习框架中。在四个不同的语料库中，我们证明了我们的混合TSM持续时间预测与人类凝视地面真相高度相关。我们进一步提出了一种新的联合建模方法，将TSM预测集成到为特定上游NLP任务设计的网络的注意力层中，而不需要任何特定于任务的人类凝视数据。我们证明了我们的联合模型在BLEU-4中的Quora问题对语料库上的释义生成性能优于最先进的水平超过10%，并在具有挑战性的Google句子压缩语料库上实现了句子压缩的最先进性能。因此，我们的工作引入了一种实用的方法来桥接数据驱动和认知模型，并展示了一种将人类凝视引导的神经注意力整合到NLP任务中的新方法。
2020-10-27 cs.CL cs.LG
Evaluation Discrepancy Discovery: A Sentence Compression Case-study
Bloomberg L.P.（彭博有限合伙企业）；Ubiquitous Knowledge Processing Lab (UKP Lab)（普适知识处理实验室（UKP实验室））；Technical University of Darmstadt（达姆施塔特工业大学）
可靠的评估协议对于可重复的NLP研究至关重要。在这项工作中，我们表明，有时既不是度量，也不是传统的人的评价是不够的，得出有关系统性能的结论。使用句子压缩作为示例任务，我们演示了系统如何与完善的数据集进行博弈，以获得最先进的结果。与以前的工作中报告的结果相比，显示了人类判断和度量分数之间的相关性，我们对最先进的系统输出的手动分析表明，高度量分数可能只表明更好地拟合数据，而不是更好的输出，正如人类所感知的那样。
2021-01-22 cs.CL
A Noisy-Channel Model for Document Compression
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
我们提出了一个文件压缩系统，使用分层噪声通道模型的文本生产。我们的压缩系统首先自动推导出每个句子的句法结构和作为输入的文本的整体话语结构。然后，该系统使用文本生产的统计层次模型，以丢弃不重要的句法和话语成分，从而生成任意长度的连贯的、语法的文档压缩。该系统的性能优于基线和基于压缩的压缩系统，后者通过顺序简化文本中的所有句子来操作。我们的研究结果支持了语篇知识在文档摘要中起着重要作用的观点。
2009-07-04 cs.CL
Sentence Compression in Spanish driven by Discourse Segmentation and Language Models
École Polytechnique de Montréal（蒙特利尔高等理工学院）；Universitat Pompeu Fabra（庞培法布拉大学）
以前的工作表明，自动文本摘要（ATS）的句子提取可以提高使用句子压缩。在这项工作中，我们提出了一个句子压缩的方法指导下的水平句语篇分割和概率语言模型（LM）。这里给出的结果表明，所提出的解决方案是能够生成连贯的摘要与语法压缩的句子。这种方法很简单，可以移植到其他语言中。
2012-12-17 cs.CL cs.IR
Sentence Compression via DC Programming Approach
Shanghai Jiao Tong University（上海交通大学）；SJTU-Paristech Elite Institute of Technology（上海交通大学巴黎高科卓越工程师学院）
句子压缩是自然语言处理中的一个重要问题。本文首先基于概率模型和句法分析树模型建立了一种新的句子压缩模型。我们的句子压缩模型等价于一个整数线性规划（ILP），既能保证压缩的语法正确性，又能保存句子的主要意思。我们建议使用DC（凸差分）规划方法（DCA）寻找我们的模型的局部最优解。将DCA与并行分支定界框架相结合，可以得到全局最优解。数值结果表明，我们的句子压缩模型的质量和我们提出的解决方案的算法的优异性能。
2019-02-13 cs.CL math.OC
Task-agnostic Prompt Compression with Context-aware Sentence Embedding and Reward-guided Task Descriptor
Queen’s University（女王大学）
本文提出任务无关提示压缩框架 TPC，通过奖励引导的任务描述符评估句子相关性，无需问题或模板即可跨任务压缩提示，并在 LongBench 与 ZeroSCROLLS 上取得领先或可比性能。
2025-02-19 cs.CL
Towards Making a Dependency Parser See
Universidade da Coruña（拉科鲁尼亚大学）；CITIC
我们探索是否有可能在RNN依赖解析器（英语）中利用眼动跟踪数据，当这些信息仅在训练期间可用时，即，在推断时不使用聚集的或标记级的注视特征。为此，我们训练了一个多任务学习模型，该模型将句子解析为序列标记，并利用凝视特征作为辅助任务。我们的方法还学习从不相交的数据集进行训练，即它可以用于测试已经收集的凝视特征是否有助于提高新的非凝视注释树库的性能。准确度的提高是适度的，但积极的，表明该方法的可行性。它可以作为架构的第一步，可以更好地利用眼动跟踪数据或其他仅用于训练句子的补充信息，可能会导致句法分析的改进。
2019-09-03 cs.CL cs.LG
Unsupervised Abstractive Meeting Summarization with Multi-Sentence Compression and Budgeted Submodular Maximization
École Polytechnique（巴黎综合理工学院）；Linagora（利纳戈拉公司）；AUEB（雅典经济与商业大学）
我们介绍了一种新的基于图的框架，抽象的会议语音摘要，是完全无监督的，不依赖于任何注释。我们的工作结合了多种最新方法的优势，同时解决了它们的弱点。此外，我们利用应用于NLP的词嵌入和图退化的最新进展，考虑外部语义知识，并设计自定义多样性和信息量的措施。在AMI和ICSI语料库上的实验表明，我们的系统在现有技术的基础上有所改进，代码和数据是公开的，并且我们的系统可以进行交互式测试。
2018-11-14 cs.CL
Multi-document abstractive summarization using ILP based multi-sentence compression
The Pennsylvania State University（宾夕法尼亚州立大学）；QCRI（卡塔尔计算研究所）；National University of Singapore（新加坡国立大学）
摘要文摘是一种理想的文摘形式，它可以综合多个文档中的信息，生成简洁的信息摘要。在这项工作中，我们的目标是开发一个抽象的摘要。首先，我们提出的方法确定多文档集中最重要的文档。最重要文档中的句子与其他文档中的句子对齐，以生成相似句子的聚类。其次，我们使用词图结构从每个聚类中的句子生成K-最短路径。最后，我们选择句子从所有集群产生的最短路径集采用一种新的整数线性规划（ILP）模型的目标是最大限度地提高信息含量和可读性的最终摘要。我们的ILP模型将最短路径表示为二元变量，并在目标函数中考虑路径的长度、信息分数和语言质量分数。DUC 2004年和2005年的多文档摘要数据集上的实验结果表明，我们提出的方法优于所有的基线和国家的最先进的提取摘要衡量的ROUGE分数。我们的方法也优于最近的抽象摘要技术。在人工评估中，我们的方法也取得了可喜的成果的信息性和可读性。
2016-09-22 cs.CL
Deleter: Leveraging BERT to Perform Unsupervised Successive Text Compression
Salesforce Research（赛富时研究院）
文本压缩有多种应用，如摘要、阅读理解和文本编辑。然而，几乎所有现有的方法都需要手工制作的功能，语法标签或并行数据。即使是在无监督环境中实现此任务的机器人，其架构也需要特定于任务的自动编码器。此外，这些模型只为每个源输入生成一个压缩句子，因此适应最终输出的不同风格要求（例如长度）通常意味着从头开始重新训练模型。在这项工作中，我们提出了一个完全无监督的模型，删除器，这是能够发现一个“最佳删除路径”的任意句子，其中沿路径的每个中间序列是前一个连贯的子序列。这种方法完全依赖于预训练的双向语言模型（BERT），根据结果句子的平均困惑度对每个候选删除进行评分，并执行渐进式贪婪前瞻搜索，为每个步骤选择最佳删除。我们将Deleter应用于提取句子压缩的任务，并发现我们的模型与在102万个具有类似压缩比的域内示例上训练的最先进的监督模型具有竞争力。定性分析以及自动和人工评估都验证了我们的模型可以产生高质量的压缩。
2019-09-07 cs.CL
Language as a Latent Variable: Discrete Generative Models for Sentence Compression
University of Oxford（牛津大学）；Google Deepmind（谷歌DeepMind）
在这项工作中，我们探讨了深生成模型的文本中，一个文件的潜在表示本身是从离散的语言模型分布。我们制定了一个变分自动编码器在这个模型中的推理，并将其应用到压缩句子的任务。在该应用中，生成模型首先从背景语言模型中提取潜在概要语句，然后随后根据该潜在概要提取观察语句。在我们的经验评估中，我们表明，当在大量的监督数据上训练时，抽象和提取压缩的生成公式都可以产生最先进的结果。此外，我们还探索了半监督压缩场景，在这些场景中，我们证明了在对一小部分监督数据进行训练的同时，可以实现与先前提出的监督模型相竞争的性能。
2016-10-14 cs.AI cs.CL
Towards Lossless Encoding of Sentences
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
利用机器学习进行图像压缩已经做了大量的工作，但是对自然语言的压缩还没有给予足够的关注。将文本压缩为无损表示，同时使功能易于检索不是一项微不足道的任务，但有巨大的好处。设计用于产生特征丰富的句子嵌入的大多数方法仅关注于在下游任务上表现良好，并且无法从学习的嵌入正确地重建原始序列。在这项工作中，我们提出了一个近无损的方法编码长序列的文本以及所有的子序列到功能丰富的表示。我们测试了我们的方法在情感分析，并显示出良好的性能在所有子句和句子嵌入。
2019-08-02 cs.CL
EnComp: Lightweight Encoder-Only Context Compression for Retrieval-Augmented Question Answering
Korea Advanced Institute of Science and Technology（韩国科学技术院）
LooComp通过留一法策略提升仅编码器Transformer的查询感知上下文压缩效率，实现高效压缩与高吞吐量推理。
2026-09-24 cs.CL
Prompt Compression with Context-Aware Sentence Encoding for Fast and Improved LLM Inference
Alterra AI（Alterra人工智能公司）；Queen’s University（女王大学）；Workday Inc.（Workday公司）
提出上下文感知提示压缩方法CPC，通过对比学习训练句子编码器进行句子级提示压缩，在基准数据集上显著优于现有方法且推理速度最高提升10.93倍。
2024-12-18 cs.CL cs.LG
Tiny Transformers Excel at Sentence Compression
ETH Zurich（苏黎世联邦理工学院）
本研究针对大语言模型token存储开销大的问题，验证了1-3层小型Transformer可将标准英语句子编解码为单个3千字节的token，证明小型网络能构建有效英语句子，为大模型优化提供了转向更大文本片段嵌入的新思路。
2024-10-30 cs.CL cs.LG
From Lengthy to Lucid: A Systematic Literature Review on NLP Techniques for Taming Long Sentences
Aristotle University of Thessaloniki（亚里士多德大学）；Medoid AI；Pfizer Center for Digital Innovation（辉瑞数字创新中心）
本文系统综述了NLP中处理长句子的两种主要技术：句子压缩和分割，并探讨了当前方法的挑战与未来研究方向。
2026-01-31 cs.CL
A new hybrid metric for verifying parallel corpora of Arabic-English
Bangor University（班戈大学）
本文讨论了一种新的衡量标准，该标准已被应用于验证阿拉伯语-英语平行语料库中句子对之间的翻译质量。该度量结合了两种技术，一种基于句子长度，另一种基于压缩代码长度。在样本测试平行阿拉伯语-英语语料库上的实验表明，与单独使用句子长度和压缩码长度相比，这两种技术的结合提高了识别满意和不满意句子对的准确性。本研究提出的新方法能有效地滤除噪声，减少误译，从而大大提高翻译质量。
2015-02-12 cs.CL
Machine Translation with Unsupervised Length-Constraints
Maastricht University（马斯特里赫特大学）
由于使用了深度学习，我们看到了机器翻译的显着改进。虽然翻译质量的提高令人印象深刻，但编码器-解码器架构实现了更多的可能性。在本文中，我们将探讨其中之一，生成的约束翻译。我们重点关注长度约束，如果翻译应该以给定的格式显示，这是必不可少的。在这项工作中，我们提出了一个端到端的方法来完成这项任务。与先翻译然后执行句子压缩的传统方法相比，文本压缩是完全无监督学习的。通过将该思想与zero-shot多语言机器翻译相结合，我们也能够执行无监督单语句子压缩。为了满足长度约束，我们研究了几种方法来将约束集成到模型中。使用所提出的技术，我们能够在约束条件下显着提高翻译质量。此外，我们能够执行无监督单语句子压缩。
2020-04-07 cs.CL
Sentence Compression as Deletion with Contextual Embeddings
CINNAMON LAB（肉桂实验室）；Hung Yen University of Technology and Education（兴安技术教育大学）；The University of Queensland（昆士兰大学）
句子压缩是在保留重要信息的同时创建输入句子的较短版本的任务。在本文中，我们扩展的任务压缩删除使用上下文嵌入。不同于以前的工作通常使用非上下文嵌入（手套或Word2Vec），我们利用上下文嵌入，使我们的模型捕捉输入的上下文。更准确地说，我们利用由双向长短期记忆和条件随机场堆叠的上下文嵌入来处理序列标记。在基准Google数据集上的实验结果表明，通过利用上下文嵌入，我们的模型实现了一个新的最先进的F分数相比，强大的方法报告的领导者板。
2020-06-05 cs.CL cs.IR cs.LG
Learning-Based Single-Document Summarization with Compression and Anaphoricity Constraints
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个判别模型的单文档摘要，集成了压缩和照应性约束。我们的模型基于一组丰富的稀疏特征来选择文本单元以包含在摘要中，这些特征的权重是在大型语料库上学习的。我们允许删除一个句子中的内容时，该删除是由压缩规则许可的;在我们的框架中，这些实现为文本的实质单元之间的依赖关系。回指性约束则通过保证对于摘要中包含的每个代词，代词的先行词也被包括在内或者代词被重写为完整提及来提高跨句连贯性。当端到端训练时，我们的最终系统在ROUGE以及人类对语言质量的判断上都优于先前的工作。
2016-06-08 cs.CL
PC-SubMax: Efficient Prompt Compression via Regularized Submodular Maximization
PC-SubMax将选择性提示压缩建模为正则化单调子模最大化，提出RGM算法，在背包约束下优化信息覆盖、查询相关性与多样性，实现低开销的高效压缩。
2026-09-29 cs.CL
Semantic Compression for Word and Sentence Embeddings using Discrete Wavelet Transform
School of Engineering and Applied Science, George Washington University（工程与应用科学学院，乔治华盛顿大学）；Faculty of Computers and Artificial Intelligence, Cairo University（计算机与人工智能学院，开罗大学）；Language Technologies Institute, Carnegie Mellon University（语言技术研究所，卡内基梅隆大学）
本研究将离散小波变换（DWT）应用于词与句子嵌入，实现了50%-93%的维度压缩，语义相似度任务性能几乎不变，多数下游任务准确率更优，为NLP应用优化提供了新路径。
2025-07-31 cs.CL
InstructCMP: Length Control in Sentence Compression through Instruction-based Large Language Models
Chungnam National University（忠南大学）；Nara Institute of Science and Technology (NAIST)（奈良科学技术研究所）；Tokyo Institute of Technology（东京工业大学）
针对传统句子压缩模型难满足长度约束的问题，提出基于指令的InstructCMP方法，结合长度启动策略与指令格式数据集微调，在零样本和微调场景下均显著提升长度控制性能且无需修改模型。
2024-06-18 cs.AI cs.CL
Text Compression for Efficient Language Generation
ETH Zurich（苏黎世联邦理工学院）；NVIDIA（英伟达公司）
本文提出分层 transformer 模型 GPTHF，通过句子嵌入压缩、句子注意力及缓存复用机制减少计算，在小规模设置下显著提升同等规模 GPT 的 FLOPs 效率与运行速度。
2025-03-14 cs.CL
Extreme compression of sentence-transformer ranker models: faster inference, longer battery life, and less storage on edge devices
Xayn AG（Xayn公司）
现代搜索系统使用几个大的排名模型与Transformer架构。这些模型需要大量的计算资源，并且不适合在具有有限计算资源的设备上使用。知识蒸馏是一种流行的压缩技术，可以减少这种模型的资源需求，其中一个大的教师模型将知识转移到一个小的学生模型。为了大大减少内存需求和能源消耗，我们提出了两个扩展的流行的存储器变压器蒸馏过程：生成一个最佳大小的词汇和降维的嵌入维数的教师蒸馏前。我们评估这些扩展两种不同类型的排名模型。这将导致非常压缩的学生模型，其对测试数据集的分析显示了我们提出的扩展的意义和实用性。
2022-06-29 cs.CL cs.IR cs.LG
SummPip: Unsupervised Multi-Document Summarization with Sentence Graph Compression
Monash University（莫纳什大学）；Deakin University（迪肯大学）；Shandesitong
获取多文档摘要（MDS）的训练数据是耗时和资源密集型的，所以最近的神经模型只能在有限的领域进行训练。在本文中，我们提出了SummPip：一种用于多文档摘要的无监督方法，在该方法中，我们将原始文档转换为句子图，同时考虑语言和深度表示，然后应用谱聚类来获得多个句子聚类，最后压缩每个聚类以生成最终摘要。在Multi-News和DUC-2004数据集上的实验表明，我们的方法与以前的无监督方法相比具有竞争力，甚至可以与神经监督方法相媲美。此外，人类的评价表明，我们的系统产生一致和完整的摘要相比，人类的书面。
2020-07-20 cs.CL cs.IR cs.LG
Large-Scale Multi-Document Summarization with Information Extraction and Compression
Northwestern University（西北大学）
我们开发了一个抽象的摘要框架独立的标记数据的多个异构文档。与现有的多文档摘要方法不同，我们的框架处理讲述不同故事的文档，而不是同一主题的文档。我们还增强了现有的句子融合方法与一个单向的语言模型优先融合的句子概率较高，以提高可读性的目标。最后，我们基于CNN/Daily Mail和NewsRoom数据集构建了总共12个数据集变体，其中每个文档组包含大量不同的文档集合，以评估我们的模型与其他基线系统相比的性能。我们的实验表明，我们的框架优于当前国家的最先进的方法，在这个更通用的设置。
2022-05-01 cs.CL cs.IR
Syntax, Parsing and Production of Natural Language in a Framework of Information Compression by Multiple Alignment, Unification and Search
本文介绍了“多重对齐、统一和搜索的信息压缩”（ICMAUS）的思想，在ICMAUS中，自然语言的语法可以用一种简单的格式表示，自然语言的语法分析和生成可以以一种透明的方式进行。ICMAUS概念体现在软件模型SP 61中。该模型的组织和操作进行了描述，并给出了一个简单的例子，显示该模型可以实现自然语言的解析。尽管存在“通过压缩进行解压缩”的明显矛盾，但ICMAUS框架在没有任何修改的情况下可以通过解码句子的压缩代码来生成句子。SP 61模型的输出说明了这一点。本文还包括另外四个例子--一个是法语句子的分析，三个是英语助动词的分析。这些示例展示了ICMAUS框架和SP 61模型如何以相对简单和直接的方式适应语法的“上下文敏感”特征。
2003-07-07 cs.AI cs.CL
Brain-CLIPLM: Semantic Compression for EEG-to-Text Decoding
Beijing Institute of Technology, Beijing, China（北京理工大学，北京，中国）
该研究提出Brain-CLIPLM框架，通过语义锚点恢复和锚点引导的句子重建，解决EEG信号低信噪比和信息带宽限制的问题，实现了更高的文本检索准确率。
2026-07-20 cs.AI cs.CL cs.CV
From Similarity to Structure: Training-free LLM Context Compression with Hybrid Graph Priors
School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）；School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件工程学院）；Department of Computer Science and Engineering, Kyung Hee University（Kyung Hee大学计算机科学与工程系）；Department of Industrial and Systems Engineering, The Hong Kong Polytechnic University（香港理工大学工业与系统工程系）；School of Robotics and Advanced Manufacture, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳校区机器人与先进制造学院）
本文提出一种无需训练的上下文压缩框架，利用混合图先验选择句子，通过构建稀疏句子图、提取主题骨架并结合可解释评分进行冗余抑制，实验证明在长文档基准上表现更优。
2026-04-25 cs.AI cs.CL
Hamming Sentence Embeddings for Information Retrieval
在检索应用中，二进制哈希已知在存储器和速度方面提供显著的改进。我们研究的压缩句子嵌入使用神经编码器-解码器架构，这是通过最小化重建误差训练。而不是采用原来的实值嵌入，我们使用潜在的表示在汉明空间产生的编码器的相似性计算。在语义相似性任务的几个基准的定量实验中，我们表明，我们的压缩汉明嵌入产生了可比的性能未压缩的嵌入（Sent 2 Vec，InferSent，手套-BoW），在压缩比高达256：1。我们进一步证明了我们的模型强烈地去相关输入特征，并且压缩器在对维基百科句子进行预训练时泛化良好。我们在Github上发布了源代码和所有实验结果。
2019-08-15 cs.CL cs.IR cs.LG
Exploring Italian sentence embeddings properties through multi-tasking
Idiap Research Institute（伊迪亚普研究所）；University of Geneva（日内瓦大学）
该研究在多任务设置下探究现有大型语言模型对意大利语句向量中抽象语言信息的编码程度，利用意大利语黑鸟语言矩阵合成数据，通过两级架构分析句法语义编码特性，发现不同任务线索编码方式存在差异。
2024-11-29 cs.CL
Individual corpora predict fast memory retrieval during reading
Bergische Universität Wuppertal（伍珀塔尔大学）；Universität Hamburg（汉堡大学）
从其中训练预测语言模型的语料库可以被认为是语义系统的经验。我们在平板电脑上记录了两名参与者两个月的日常阅读，生成了300/500 K令牌的个体语料库样本。然后，我们从个人语料库和7000万句报纸语料库中训练word 2 vec模型，以获得基于个人和规范的长期记忆结构。为了测试个体语料库是否能对长期记忆提取的认知任务做出更好的预测，我们生成了由134个句子组成的刺激材料，这些句子具有不相关的个体和基于范数的单词概率。对于随后的眼动追踪研究1-2个月后，我们的回归分析表明，个人，但不是正常语料库为基础的单词概率可以解释首次注视时间和首次通过凝视时间。字长还影响注视时间和总观看时间。结果表明，语料库代表个人的长期记忆结构可以更好地解释阅读性能比规范语料库，最近获得的信息是词汇访问迅速。
2020-10-20 cs.CL cs.IR
Referee: Reference-Free Sentence Summarization with Sharper Controllability through Symbolic Knowledge Distillation
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们提出了Reflection，一个新的句子摘要框架，可以训练无参考（即，不需要用于监督的黄金摘要），同时允许对压缩比的直接控制。我们的工作是第一次证明，通过符号知识蒸馏的概念框架，无参考，受控的句子摘要是可行的（韦斯特等人，2022），其中预训练的语言模型中的潜在知识通过从教师模型中采样的显式示例进行提取，并使用三种类型的过滤器进行进一步纯化：长度，保真度和信息瓶颈。此外，我们独特地提出了知识的迭代蒸馏，其中来自上一次迭代蒸馏的学生模型在下一次迭代中充当教师模型。从一组相对温和的GPT 3生成的摘要开始，我们演示了迭代知识蒸馏如何导致相当小的，但更好的摘要具有更清晰的可控性。这种迭代蒸馏过程的一个有用的副产品是具有不同程度压缩比的高质量数据集。实证结果表明，最终的学生模型在压缩比的可控性方面大大优于更大的GPT 3-Instruct模型，而不会影响所得摘要的质量。
2022-10-25 cs.AI cs.CL cs.LG
TexShape: Information Theoretic Sentence Embedding for Language Models
Boğaziçi University（博加齐大学）；Nokia Bell Labs（诺基亚贝尔实验室）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Massachusetts Institute of Technology (MIT)（麻省理工学院）
本文提出 TexShape，一种基于 Donsker-Varadhan 互信息估计的信息论句子嵌入方法，用于任务数据压缩及敏感信息过滤，并验证其在高压缩比下兼顾效用、隐私与公平性的效果。
2024-05-11 cs.CL cs.IT math.IT
KinyaEmbed: Contrastive Sentence Embeddings for Kinyarwanda via Multi-Stage Curriculum Training
Barclays（巴克莱银行）；Carnegie Mellon University（卡内基梅隆大学）
针对卢旺达语预训练嵌入不足的问题，提出基于KinyaBERT-large的KinyaEmbed模型，经四阶段课程训练后，在SemRel2024-rw等基准上超越现有多语言模型，效果显著且相关资源公开。
2026-08-28 cs.CL
Compressive Summarization with Plausibility and Salience Modeling
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
压缩摘要系统通常依赖于一组精心制作的语法规则来确定可以删除哪些可能的摘要句子的跨度，然后通过优化内容选择（ROUGE）来学习实际删除的模型。在这项工作中，我们建议放宽严格的句法约束的候选跨度，而不是离开压缩决策的两个数据驱动的标准：可扩展性和显着性。删除一个跨度是合理的，如果删除它保持一个句子的语法性和真实性，和跨度是显着的，如果他们包含重要的信息，从总结。这些中的每一个都是由预先训练的Transformer模型来判断的，并且只有既合理又不显著的删除才能被应用。当集成到一个简单的提取-压缩管道中时，我们的方法在基准摘要数据集上实现了强大的域内结果，人工评估表明，可扩展性模型通常选择语法和事实删除。此外，我们方法的灵活性使其能够推广跨域：我们的系统仅对来自新域的500个样本进行微调，就可以匹配或超过在更多数据上训练的域内提取模型。
2020-10-15 cs.CL
Does Attention Mechanism Possess the Feature of Human Reading? A Perspective of Sentiment Classification Task
Nanjing University of Science and Technology（南京理工大学）
【目的】为了理解一个句子的意思，人类可以专注于句子中的重要单词，这反映了我们的眼睛在不同的注视时间或时间停留在每个单词上。因此，一些研究利用眼动跟踪值来优化深度学习模型中的注意力机制。但这些研究缺乏对这种做法合理性的解释。注意力机制是否具备人类阅读的这一特征，还有待探讨。[设计/方法/方式]我们进行了情感分类任务的实验。首先，我们从两个开放源代码的眼动语料库中获得眼动值来描述人类阅读的特征。然后，从情感分类模型中学习每个句子的机器注意力值。最后，进行了比较，以分析机器注意力值和眼动跟踪值。[发现]通过实验，我们发现注意力机制可以集中在重要的词上，例如形容词、副词和情感词，这些词对于判断情感分类任务中句子的情感很有价值。它具有人类阅读的特点，阅读时关注句子中的重要单词。由于对注意力机制的学习不足，导致一些单词的聚焦错误。眼动跟踪值可以帮助注意力机制纠正这种错误并提高模型性能。[独创性/价值]我们的研究不仅为利用眼动跟踪值优化注意力机制的研究提供了合理的解释，也为注意力机制的可解释性提供了新的启示。
2022-09-08 cs.CL cs.HC
Improving Factual Consistency in Summarization with Compression-Based Post-Editing
Salesforce AI Research（Salesforce人工智能研究院）
最先进的摘要模型仍然很难与输入文本保持一致。解决这个问题的一种与模型无关的方法是对生成的摘要进行后期编辑。然而，如果合适的输入实体替换不可用或者可能插入错误内容，则现有方法通常无法移除实体错误。在我们的工作中，我们专注于删除外部实体错误，或不在源代码中的实体，以提高一致性，同时保留摘要的基本信息和形式。我们建议使用压缩数据来训练后编辑模型，以获取带有用特殊标记标记的外部实体错误的摘要，并输出一个压缩的、格式良好的摘要，其中删除了这些错误。我们发现，该模型在保持ROUGE的同时提高了事实一致性，在XSum上将实体精度提高了30%，并且该模型可以应用于另一个后期编辑器，将实体精度提高了38%。我们进行了广泛的比较后编辑的方法，证明事实的一致性，信息量和语法之间的权衡，我们分析设置后编辑器显示最大的改进。
2022-11-11 cs.CL
Semantic Register Compression in Multi-Agent LLM Cascades
研究多智能体大语言模型级联中的语义寄存器压缩现象，用三智能体管道量化压缩，通过五个架构变体分析驱动因素，发现压缩在不同领域强度不同且可泛化，提示级回归可解释大部分方差，对高风险领域安全评估有意义。
2026-07-21 cs.CL
BRIEF-Pro: Universal Context Compression with Short-to-Long Synthesis for Fast and Accurate Multi-Hop Reasoning
University of California, Los Angeles（加州大学洛杉矶分校）
BRIEF-Pro通过短到长合成实现通用上下文压缩，提升多跳推理的效率和准确性，适用于多种语言模型。
2026-04-27 cs.CL
RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective Augmentation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Washington（华盛顿大学）
针对检索增强语言模型推理成本高、长文档信息筛选难的问题，提出RECOMP框架，通过抽取式/生成式压缩器压缩检索文档并实现选择性增强，在低压缩率下保持性能且可跨模型迁移。
2023-10-06 cs.CL
Eye-tracking based classification of Mandarin Chinese readers with and without dyslexia using neural sequence models
The Education University of Hong Kong（香港教育大学）；University of Macau（澳门大学）；University of Zurich（苏黎世大学）；University of Potsdam（波茨坦大学）
眼动被认为反映了阅读中的认知过程，心理阅读研究表明，有阅读障碍的读者和没有阅读障碍的读者之间的眼睛注视模式是不同的。近年来，研究者尝试使用支持向量机（SVM）根据阅读障碍者的眼球运动对阅读障碍进行分类。然而，这些方法（i）是基于高度聚合的特征平均在所有的单词阅读的参与者，从而忽视了眼睛运动的顺序性质，和（ii）不考虑语言刺激和它的相互作用与读者的眼睛运动。在目前的工作中，我们提出了两个简单的序列模型，在整个刺激过程中的眼球运动，而不需要聚合功能的句子。此外，我们以两种方式将语言刺激纳入模型-上下文词嵌入和手动提取语言特征。该模型进行了评估，普通话中文数据集包含眼动儿童和无阅读障碍。我们的研究结果表明，（i）即使是像中文这样的语标文字，序列模型也能够对眼睛注视序列上的阅读障碍进行分类，达到最先进的性能，（ii）将语言刺激纳入分类并不能帮助提高分类性能。
2022-12-02 cs.CL cs.LG
