Sentence Compression in Spanish driven by Discourse Segmentation and Language Models
École Polytechnique de Montréal（蒙特利尔高等理工学院）；Universitat Pompeu Fabra（庞培法布拉大学）
以前的工作表明，自动文本摘要（ATS）的句子提取可以提高使用句子压缩。在这项工作中，我们提出了一个句子压缩的方法指导下的水平句语篇分割和概率语言模型（LM）。这里给出的结果表明，所提出的解决方案是能够生成连贯的摘要与语法压缩的句子。这种方法很简单，可以移植到其他语言中。
2012-12-17 cs.CL cs.IR
A Sentence Compression Based Framework to Query-Focused Multi-Document Summarization
Cornell University（康奈尔大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们考虑使用句子压缩技术，以方便查询为重点的多文档摘要的问题。我们提出了一个基于解析压缩的框架，并设计了一系列基于学习的压缩模型建立在解析树。提出了一种创新的束搜索解码器，以有效地找到高度可能的压缩。在这个框架下，我们展示了如何整合各种指示性指标，如语言动机和查询相关性到压缩过程中推导出一种新的配方的压缩评分函数。我们最好的模型实现了统计上的显着改善，在几个指标（如8.0%和5.4%的改进ROUGE-2分别）的DUC 2006年和2007年的总结任务的最先进的系统。
2016-06-24 cs.CL
Fast k-best Sentence Compression
Google Research（谷歌研究院）
句子压缩的一种流行方法是将任务表示为约束优化问题，并使用整数线性规划（ILP）工具解决它。不幸的是，对ILP的依赖可能使压缩机慢得令人望而却步，因此已经提出了近似技术，这些技术通常是复杂的，并且提供了适度的速度增益。作为一种替代解决方案，我们引入了一种新的压缩算法，该算法依赖于本地删除决策生成k-最佳压缩。我们的算法是两个数量级的速度比最近的ILP为基础的方法，同时产生更好的压缩。此外，广泛的评估表明，压缩的质量并没有降低太多，因为我们从单一的最佳移动到前五名的结果。
2015-10-28 cs.CL
Query-focused Sentence Compression in Linear Time
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
搜索应用程序通常显示缩短的句子，这些句子必须包含某些查询项，并且必须适合用户界面的空间约束。这项工作介绍了一种新的过渡为基础的句子压缩技术开发的这种设置。我们的查询为重点的方法构造长度和词汇约束压缩在线性时间，通过增长一个子图中的依赖分析的句子。这种理论上有效的方法实现了11倍的经验加速比基线ILP方法，同时更好地重建黄金约束缩短。这样的加速有助于以查询为中心的应用程序，因为用户会受到界面延迟的明显阻碍。此外，我们的技术不需要ILP求解器或GPU。
2019-09-17 cs.CL
A Multilingual Study of Multi-Sentence Compression using Word Vertex-Labeled Graphs and Integer Linear Programming
University of La Rochelle（拉罗谢尔大学）；University of Avignon（阿维尼翁大学）；Polytechnique Montréal（蒙特利尔高等理工学院）；Inst. Federal de Educação, Ciência e Tecnologia da Paraiba（帕拉伊巴联邦教育、科学与技术学院）；Univ. Federal Fluminense（弗鲁米嫩塞联邦大学）；Universidade Federal do Ceará（塞阿拉联邦大学）
多句子压缩（MSC）的目的是从一组相似的句子中提取关键信息，生成一个短句。MSC使摘要和问答系统能够从一个或多个文档中生成组合完整句子的输出。本文描述了一种基于线性规划的MSC方法，该方法使用顶点标记图来选择不同的关键字，其目标是在保持语法性的同时生成更多信息的句子。我们的系统质量很好，在以三种语言（法语、葡萄牙语和西班牙语）进行的新闻数据集评估方面优于最先进的水平。我们进行了自动和手动评估，以确定每个数据集压缩的信息量和语法性。在额外的测试中，利用压缩的长度可以调节的事实，我们仍然使用更短的输出句子来提高ROUGE分数。
2020-04-09 cs.CL
Syntactically Look-Ahead Attention Network for Sentence Compression
Institute of Innovative Research, Tokyo Institute of Technology（东京工业大学创新研究所）
句子压缩是通过删除冗余单词将长句压缩成短句的任务。在基于序列到序列（Seq 2Seq）的模型中，解码器单向决定保留或删除单词。因此，它通常不能显式地捕获解码的单词和将在未来时间步长中解码的未看到的单词之间的关系。因此，为了避免产生不合语法的句子，解码器有时会在压缩句子时丢弃重要的单词。为了解决这个问题，我们提出了一种新的Seq 2Seq模型，语法前瞻注意力网络（SLAHAN），它可以通过在解码过程中显式跟踪依赖父单词和子单词并捕获将来将被解码的重要单词来生成信息摘要。在Google句子压缩数据集上的自动评估结果显示，SLAHAN实现了最好的基于保留标记的F1，ROUGE-1，ROUGE-2和ROUGE-L得分，分别为85.5，79.3，71.3和79.1。SLAHAN还提高了较长句子的摘要性能。此外，在人工评估中，SLAHAN在不损失可读性的情况下提高了信息量。
2020-05-17 cs.CL
Unsupervised Sentence Compression using Denoising Auto-Encoders
Center for Data Science（数据科学中心）；New York University（纽约大学）
在句子压缩中，缩短句子同时保留原始含义的任务，模型倾向于在包含冗长和压缩句子对的大型语料库上进行训练。为了消除对成对语料库的需求，我们模拟了一个摘要任务，并添加噪声来扩展句子，训练一个去噪自动编码器来恢复原始句子，构建了一个端到端的训练机制，而不需要任何压缩句子的例子。我们在标准文本摘要数据集上对我们的模型进行了人工评估，并表明它基于语法正确性和保留意义来执行监督基线。尽管没有目标数据，但我们的无监督模型学习生成不完美但可读的句子摘要。虽然我们基于ROUGE分数的监督模型表现不佳，但我们的模型与基于人类评估的监督基线相比，在语法正确性和保留意义方面具有竞争力。
2018-09-07 cs.CL
A Token-wise CNN-based Method for Sentence Compression
The Australian National University（澳大利亚国立大学）；Data61/CSIRO（澳大利亚联邦科学与工业研究组织数据61中心）；University of Turku（图尔库大学）
句子压缩是一项自然语言处理（NLP）任务，旨在缩短原始句子并保留其关键信息。它的应用可以使许多领域受益，例如可以构建语言教育工具。然而，目前的方法主要是基于递归神经网络（RNN）模型，其具有较差的处理速度。为了解决这个问题，在本文中，我们提出了一个令牌式卷积神经网络，一个基于CNN的模型，以及预训练的双向编码器表示Transformers（BERT）功能，用于基于删除的句子压缩。我们还将我们的模型与基于RNN的模型和微调的BERT进行了比较。虽然其中一个基于RNN的模型在相同输入下的性能略优于其他模型，但我们基于CNN的模型比基于RNN的方法快十倍。
2020-09-23 cs.CL
From direct tagging to Tagging with sentences compression
这两种标注方法（直接标注和句子压缩标注）本质上都是基于自然语言固有的语言模式，利用正则表达式对我们需要的信息进行标注。虽然直接标注在提取规则数据方面有很多优势，但在某些情况下并不适用。如果我们需要抽取的数据是不规则的，而它周围的词是规则的，是相对规则的，那么我们可以在标记我们需要的数据之前，使用信息压缩来切割我们不需要的信息。通过这种方式，我们可以提高数据的精确度，同时不会破坏数据的召回率。
2018-10-05 cs.CL
Sentence-Anchored Gist Compression for Long-Context LLMs
FusionBrainLab（融合脑实验室）；HSE University（俄罗斯高等经济大学）；Innopolis University（伊诺波利斯大学）
本研究针对长上下文大语言模型的内存与计算需求问题，提出句子锚定要点压缩方法，通过微调预训练模型实现2-8倍压缩且性能无显著下降，在30亿参数LLaMA模型上压缩比更高且效果与其他技术相当。
2025-11-11 cs.CL
SEQ^3: Differentiable Sequence-to-Sequence-to-Sequence Autoencoder for Unsupervised Abstractive Sentence Compression
National Technical University of Athens（雅典国立技术大学）；Athens University of Economics and Business（雅典经济与商业大学）；Heriot-Watt University（赫瑞-瓦特大学）
神经序列到序列模型是目前在几个自然语言处理任务中占主导地位的方法，但需要大型并行语料库。我们提出了一个序列到序列到序列的自动编码器（SEQ ^3），由两个链式编码器-解码器对组成，单词用作离散潜在变量的序列。我们将该模型应用于无监督抽象句压缩，其中第一个和最后一个序列分别是输入和重构的句子，而中间序列是压缩的句子。限制潜在单词序列的长度迫使模型从输入中提取重要信息。预先训练的语言模型作为潜在序列的先验，鼓励压缩的句子是人类可读的。连续松弛使我们能够从分类分布中采样，允许基于梯度的优化，而不像依赖于强化学习的替代方案。该模型不需要并行的文本摘要对，在基准数据集上的无监督句子压缩中取得了令人满意的结果。
2019-06-09 cs.CL
On Improving Informativity and Grammaticality for Multi-Sentence Compression
University of New South Wales（新南威尔士大学）；National ICT（国家信息与通信技术机构）
多句子压缩在很多实际应用中具有重要的价值，如引导式微博摘要、意见摘要和新闻摘要。最近，基于词图的方法已被提出，并成为流行的MSC。他们的关键假设是，一组相关句子之间的冗余提供了一种可靠的方式来生成信息和语法句子。在本文中，我们提出了一种有效的方法来增强基于单词图的MSC，并解决了大多数最先进的MSC方法所面临的问题：即，同时提高信息量和语法性。我们的方法包括三个主要组成部分：（1）合并方法的基础上的多词表达式（MWE）;（2）映射策略的基础上同义词之间的关系;（3）重新排序的步骤，以确定最佳的压缩候选人使用基于POS的语言模型（POS-LM）。我们证明了这种新方法的有效性，使用的数据集的英语新闻专线句子的集群。所观察到的信息量和语法的生成的压缩的改进表明，我们的方法是优于国家的最先进的MSC方法。
2016-05-07 cs.CL
Evaluation Discrepancy Discovery: A Sentence Compression Case-study
Bloomberg L.P.（彭博有限合伙企业）；Ubiquitous Knowledge Processing Lab (UKP Lab)（普适知识处理实验室（UKP实验室））；Technical University of Darmstadt（达姆施塔特工业大学）
可靠的评估协议对于可重复的NLP研究至关重要。在这项工作中，我们表明，有时既不是度量，也不是传统的人的评价是不够的，得出有关系统性能的结论。使用句子压缩作为示例任务，我们演示了系统如何与完善的数据集进行博弈，以获得最先进的结果。与以前的工作中报告的结果相比，显示了人类判断和度量分数之间的相关性，我们对最先进的系统输出的手动分析表明，高度量分数可能只表明更好地拟合数据，而不是更好的输出，正如人类所感知的那样。
2021-01-22 cs.CL
Language as a Latent Variable: Discrete Generative Models for Sentence Compression
University of Oxford（牛津大学）；Google Deepmind（谷歌DeepMind）
在这项工作中，我们探讨了深生成模型的文本中，一个文件的潜在表示本身是从离散的语言模型分布。我们制定了一个变分自动编码器在这个模型中的推理，并将其应用到压缩句子的任务。在该应用中，生成模型首先从背景语言模型中提取潜在概要语句，然后随后根据该潜在概要提取观察语句。在我们的经验评估中，我们表明，当在大量的监督数据上训练时，抽象和提取压缩的生成公式都可以产生最先进的结果。此外，我们还探索了半监督压缩场景，在这些场景中，我们证明了在对一小部分监督数据进行训练的同时，可以实现与先前提出的监督模型相竞争的性能。
2016-10-14 cs.AI cs.CL
A Noisy-Channel Model for Document Compression
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
我们提出了一个文件压缩系统，使用分层噪声通道模型的文本生产。我们的压缩系统首先自动推导出每个句子的句法结构和作为输入的文本的整体话语结构。然后，该系统使用文本生产的统计层次模型，以丢弃不重要的句法和话语成分，从而生成任意长度的连贯的、语法的文档压缩。该系统的性能优于基线和基于压缩的压缩系统，后者通过顺序简化文本中的所有句子来操作。我们的研究结果支持了语篇知识在文档摘要中起着重要作用的观点。
2009-07-04 cs.CL
Prompt Compression with Context-Aware Sentence Encoding for Fast and Improved LLM Inference
Alterra AI（Alterra人工智能公司）；Queen’s University（女王大学）；Workday Inc.（Workday公司）
提出上下文感知提示压缩方法CPC，通过对比学习训练句子编码器进行句子级提示压缩，在基准数据集上显著优于现有方法且推理速度最高提升10.93倍。
2024-12-18 cs.CL cs.LG
Sentence Compression as Deletion with Contextual Embeddings
CINNAMON LAB（肉桂实验室）；Hung Yen University of Technology and Education（兴安技术教育大学）；The University of Queensland（昆士兰大学）
句子压缩是在保留重要信息的同时创建输入句子的较短版本的任务。在本文中，我们扩展的任务压缩删除使用上下文嵌入。不同于以前的工作通常使用非上下文嵌入（手套或Word2Vec），我们利用上下文嵌入，使我们的模型捕捉输入的上下文。更准确地说，我们利用由双向长短期记忆和条件随机场堆叠的上下文嵌入来处理序列标记。在基准Google数据集上的实验结果表明，通过利用上下文嵌入，我们的模型实现了一个新的最先进的F分数相比，强大的方法报告的领导者板。
2020-06-05 cs.CL cs.IR cs.LG
Tiny Transformers Excel at Sentence Compression
ETH Zurich（苏黎世联邦理工学院）
本研究针对大语言模型token存储开销大的问题，验证了1-3层小型Transformer可将标准英语句子编解码为单个3千字节的token，证明小型网络能构建有效英语句子，为大模型优化提供了转向更大文本片段嵌入的新思路。
2024-10-30 cs.CL cs.LG
Task-agnostic Prompt Compression with Context-aware Sentence Embedding and Reward-guided Task Descriptor
Queen’s University（女王大学）
本文提出任务无关提示压缩框架 TPC，通过奖励引导的任务描述符评估句子相关性，无需问题或模板即可跨任务压缩提示，并在 LongBench 与 ZeroSCROLLS 上取得领先或可比性能。
2025-02-19 cs.CL
Experiments in Extractive Summarization: Integer Linear Programming, Term/Sentence Scoring, and Title-driven Models
University of Houston（休斯顿大学）
在本文中，我们重新审视了具有挑战性的问题，无监督的单文档摘要和研究以下几个方面：基于线性规划（ILP）的算法，参数化规范化的术语和句子的分数，和标题驱动的方法摘要。我们描述了一个新的框架，NewsSumm，其中包括许多现有的和新的方法，包括ILP和标题驱动的方法总结。NewsSumm的灵活性允许无缝结合不同的算法和句子评分方案。我们的结果结合句子评分与ILP和规范化是在对比以前的工作在这个主题上，显示了更广泛的搜索最佳参数的重要性。我们还表明，新的标题驱动的减少的想法导致性能的改善，无论是无监督和监督的方法考虑。
2020-08-01 cs.CL cs.IR
Unsupervised Abstractive Meeting Summarization with Multi-Sentence Compression and Budgeted Submodular Maximization
École Polytechnique（巴黎综合理工学院）；Linagora（利纳戈拉公司）；AUEB（雅典经济与商业大学）
我们介绍了一种新的基于图的框架，抽象的会议语音摘要，是完全无监督的，不依赖于任何注释。我们的工作结合了多种最新方法的优势，同时解决了它们的弱点。此外，我们利用应用于NLP的词嵌入和图退化的最新进展，考虑外部语义知识，并设计自定义多样性和信息量的措施。在AMI和ICSI语料库上的实验表明，我们的系统在现有技术的基础上有所改进，代码和数据是公开的，并且我们的系统可以进行交互式测试。
2018-11-14 cs.CL
Multi-document abstractive summarization using ILP based multi-sentence compression
The Pennsylvania State University（宾夕法尼亚州立大学）；QCRI（卡塔尔计算研究所）；National University of Singapore（新加坡国立大学）
摘要文摘是一种理想的文摘形式，它可以综合多个文档中的信息，生成简洁的信息摘要。在这项工作中，我们的目标是开发一个抽象的摘要。首先，我们提出的方法确定多文档集中最重要的文档。最重要文档中的句子与其他文档中的句子对齐，以生成相似句子的聚类。其次，我们使用词图结构从每个聚类中的句子生成K-最短路径。最后，我们选择句子从所有集群产生的最短路径集采用一种新的整数线性规划（ILP）模型的目标是最大限度地提高信息含量和可读性的最终摘要。我们的ILP模型将最短路径表示为二元变量，并在目标函数中考虑路径的长度、信息分数和语言质量分数。DUC 2004年和2005年的多文档摘要数据集上的实验结果表明，我们提出的方法优于所有的基线和国家的最先进的提取摘要衡量的ROUGE分数。我们的方法也优于最近的抽象摘要技术。在人工评估中，我们的方法也取得了可喜的成果的信息性和可读性。
2016-09-22 cs.CL
Deleter: Leveraging BERT to Perform Unsupervised Successive Text Compression
Salesforce Research（赛富时研究院）
文本压缩有多种应用，如摘要、阅读理解和文本编辑。然而，几乎所有现有的方法都需要手工制作的功能，语法标签或并行数据。即使是在无监督环境中实现此任务的机器人，其架构也需要特定于任务的自动编码器。此外，这些模型只为每个源输入生成一个压缩句子，因此适应最终输出的不同风格要求（例如长度）通常意味着从头开始重新训练模型。在这项工作中，我们提出了一个完全无监督的模型，删除器，这是能够发现一个“最佳删除路径”的任意句子，其中沿路径的每个中间序列是前一个连贯的子序列。这种方法完全依赖于预训练的双向语言模型（BERT），根据结果句子的平均困惑度对每个候选删除进行评分，并执行渐进式贪婪前瞻搜索，为每个步骤选择最佳删除。我们将Deleter应用于提取句子压缩的任务，并发现我们的模型与在102万个具有类似压缩比的域内示例上训练的最先进的监督模型具有竞争力。定性分析以及自动和人工评估都验证了我们的模型可以产生高质量的压缩。
2019-09-07 cs.CL
InstructCMP: Length Control in Sentence Compression through Instruction-based Large Language Models
Chungnam National University（忠南大学）；Nara Institute of Science and Technology (NAIST)（奈良科学技术研究所）；Tokyo Institute of Technology（东京工业大学）
针对传统句子压缩模型难满足长度约束的问题，提出基于指令的InstructCMP方法，结合长度启动策略与指令格式数据集微调，在零样本和微调场景下均显著提升长度控制性能且无需修改模型。
2024-06-18 cs.AI cs.CL
Extreme compression of sentence-transformer ranker models: faster inference, longer battery life, and less storage on edge devices
Xayn AG（Xayn公司）
现代搜索系统使用几个大的排名模型与Transformer架构。这些模型需要大量的计算资源，并且不适合在具有有限计算资源的设备上使用。知识蒸馏是一种流行的压缩技术，可以减少这种模型的资源需求，其中一个大的教师模型将知识转移到一个小的学生模型。为了大大减少内存需求和能源消耗，我们提出了两个扩展的流行的存储器变压器蒸馏过程：生成一个最佳大小的词汇和降维的嵌入维数的教师蒸馏前。我们评估这些扩展两种不同类型的排名模型。这将导致非常压缩的学生模型，其对测试数据集的分析显示了我们提出的扩展的意义和实用性。
2022-06-29 cs.CL cs.IR cs.LG
SummPip: Unsupervised Multi-Document Summarization with Sentence Graph Compression
Monash University（莫纳什大学）；Deakin University（迪肯大学）；Shandesitong
获取多文档摘要（MDS）的训练数据是耗时和资源密集型的，所以最近的神经模型只能在有限的领域进行训练。在本文中，我们提出了SummPip：一种用于多文档摘要的无监督方法，在该方法中，我们将原始文档转换为句子图，同时考虑语言和深度表示，然后应用谱聚类来获得多个句子聚类，最后压缩每个聚类以生成最终摘要。在Multi-News和DUC-2004数据集上的实验表明，我们的方法与以前的无监督方法相比具有竞争力，甚至可以与神经监督方法相媲美。此外，人类的评价表明，我们的系统产生一致和完整的摘要相比，人类的书面。
2020-07-20 cs.CL cs.IR cs.LG
Towards Lossless Encoding of Sentences
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
利用机器学习进行图像压缩已经做了大量的工作，但是对自然语言的压缩还没有给予足够的关注。将文本压缩为无损表示，同时使功能易于检索不是一项微不足道的任务，但有巨大的好处。设计用于产生特征丰富的句子嵌入的大多数方法仅关注于在下游任务上表现良好，并且无法从学习的嵌入正确地重建原始序列。在这项工作中，我们提出了一个近无损的方法编码长序列的文本以及所有的子序列到功能丰富的表示。我们测试了我们的方法在情感分析，并显示出良好的性能在所有子句和句子嵌入。
2019-08-02 cs.CL
Dynamic Programming Encoding for Subword Segmentation in Neural Machine Translation
Monash University（莫纳什大学）；Google Research（谷歌研究院）
本文介绍了一种新的分词算法--动态规划编码（DPE）。我们认为输出句子的子词切分是一个潜在的变量，应该被边缘化的学习和推理。提出了一种特征-子字混合变换器Transformer，它能实现精确的对数边缘似然估计和精确的MAP推理，以最大后验概率找到目标分割。DPE使用轻量级的混合字符-子字转换器Transformer作为预处理并行数据的方法，以便使用动态规划对输出语句进行分段。机器翻译的实验结果表明，DPE是有效的分割输出的句子，可以结合BPE辍学源句子的随机分割。DPE实现了比BPE平均提高0.9 BLEU（Sennrich等人，2016），BLEU比BPE脱落平均改善0.55（Provilkov等人，2019）在几个WMT数据集上，包括英语<=>（德语，罗马尼亚语，爱沙尼亚语，芬兰语，匈牙利语）。
2020-08-01 cs.CL cs.LG
EnComp: Lightweight Encoder-Only Context Compression for Retrieval-Augmented Question Answering
Korea Advanced Institute of Science and Technology（韩国科学技术院）
LooComp通过留一法策略提升仅编码器Transformer的查询感知上下文压缩效率，实现高效压缩与高吞吐量推理。
2026-09-24 cs.CL
Integer-Programming Ensemble of Temporal-Relations Classifiers
时态事件及其相互关系的提取和理解是自然语言处理的主要挑战。在逐句或逐表达式的基础上处理文本通常会失败，部分原因是捕获文本的全局一致性的挑战。我们提出了一个集成的方法，它调和跨文本使用整数规划的时间表达式的多个分类器的输出。计算实验表明，集成改进了最近两个挑战的最佳个体结果，SemEval-2013 TempEval-3（时间注释）和SemEval-2016 Task 12（临床TempEval）。
2018-07-30 cs.CL cs.LG math.OC
From Lengthy to Lucid: A Systematic Literature Review on NLP Techniques for Taming Long Sentences
Aristotle University of Thessaloniki（亚里士多德大学）；Medoid AI；Pfizer Center for Digital Innovation（辉瑞数字创新中心）
本文系统综述了NLP中处理长句子的两种主要技术：句子压缩和分割，并探讨了当前方法的挑战与未来研究方向。
2026-01-31 cs.CL
Large-Scale Multi-Document Summarization with Information Extraction and Compression
Northwestern University（西北大学）
我们开发了一个抽象的摘要框架独立的标记数据的多个异构文档。与现有的多文档摘要方法不同，我们的框架处理讲述不同故事的文档，而不是同一主题的文档。我们还增强了现有的句子融合方法与一个单向的语言模型优先融合的句子概率较高，以提高可读性的目标。最后，我们基于CNN/Daily Mail和NewsRoom数据集构建了总共12个数据集变体，其中每个文档组包含大量不同的文档集合，以评估我们的模型与其他基线系统相比的性能。我们的实验表明，我们的框架优于当前国家的最先进的方法，在这个更通用的设置。
2022-05-01 cs.CL cs.IR
Machine Translation with Unsupervised Length-Constraints
Maastricht University（马斯特里赫特大学）
由于使用了深度学习，我们看到了机器翻译的显着改进。虽然翻译质量的提高令人印象深刻，但编码器-解码器架构实现了更多的可能性。在本文中，我们将探讨其中之一，生成的约束翻译。我们重点关注长度约束，如果翻译应该以给定的格式显示，这是必不可少的。在这项工作中，我们提出了一个端到端的方法来完成这项任务。与先翻译然后执行句子压缩的传统方法相比，文本压缩是完全无监督学习的。通过将该思想与zero-shot多语言机器翻译相结合，我们也能够执行无监督单语句子压缩。为了满足长度约束，我们研究了几种方法来将约束集成到模型中。使用所提出的技术，我们能够在约束条件下显着提高翻译质量。此外，我们能够执行无监督单语句子压缩。
2020-04-07 cs.CL
Linear-Time Constituency Parsing with RNNs and Dynamic Programming
最近，基于跨度的选区解析已经通过使用双向RNN对“跨度”进行建模，用非常简单的模型实现了具有竞争力的准确性。然而，Stern et al（2017 a）的最小跨度解析器保持了当前最先进的准确性，它是一个以立方时间运行的图表解析器，$O(n^3)$，对于较长的句子和超出句子边界的应用程序（如端到端话语解析和联合句子边界检测和解析）来说太慢了。我们提出了一个线性时间选区解析器与RNN和动态规划使用图结构的堆栈和束搜索，它运行在时间$O(n b^2)$，其中$b$是波束的大小。通过集成立方体修剪，我们进一步将其加速到$O(n b\log b)$。与图表解析基线相比，这种线性时间解析器在Penn Treebank上的长句解析速度要快得多，在话语解析上要快几个数量级，并且在Penn Treebank上实现了单模型端到端系统中最高的F1精度。
2018-05-21 cs.CL
Learning-Based Single-Document Summarization with Compression and Anaphoricity Constraints
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个判别模型的单文档摘要，集成了压缩和照应性约束。我们的模型基于一组丰富的稀疏特征来选择文本单元以包含在摘要中，这些特征的权重是在大型语料库上学习的。我们允许删除一个句子中的内容时，该删除是由压缩规则许可的;在我们的框架中，这些实现为文本的实质单元之间的依赖关系。回指性约束则通过保证对于摘要中包含的每个代词，代词的先行词也被包括在内或者代词被重写为完整提及来提高跨句连贯性。当端到端训练时，我们的最终系统在ROUGE以及人类对语言质量的判断上都优于先前的工作。
2016-06-08 cs.CL
PC-SubMax: Efficient Prompt Compression via Regularized Submodular Maximization
PC-SubMax将选择性提示压缩建模为正则化单调子模最大化，提出RGM算法，在背包约束下优化信息覆盖、查询相关性与多样性，实现低开销的高效压缩。
2026-09-29 cs.CL
Brain-CLIPLM: Semantic Compression for EEG-to-Text Decoding
Beijing Institute of Technology, Beijing, China（北京理工大学，北京，中国）
该研究提出Brain-CLIPLM框架，通过语义锚点恢复和锚点引导的句子重建，解决EEG信号低信噪比和信息带宽限制的问题，实现了更高的文本检索准确率。
2026-07-20 cs.AI cs.CL cs.CV
Syntax, Parsing and Production of Natural Language in a Framework of Information Compression by Multiple Alignment, Unification and Search
本文介绍了“多重对齐、统一和搜索的信息压缩”（ICMAUS）的思想，在ICMAUS中，自然语言的语法可以用一种简单的格式表示，自然语言的语法分析和生成可以以一种透明的方式进行。ICMAUS概念体现在软件模型SP 61中。该模型的组织和操作进行了描述，并给出了一个简单的例子，显示该模型可以实现自然语言的解析。尽管存在“通过压缩进行解压缩”的明显矛盾，但ICMAUS框架在没有任何修改的情况下可以通过解码句子的压缩代码来生成句子。SP 61模型的输出说明了这一点。本文还包括另外四个例子--一个是法语句子的分析，三个是英语助动词的分析。这些示例展示了ICMAUS框架和SP 61模型如何以相对简单和直接的方式适应语法的“上下文敏感”特征。
2003-07-07 cs.AI cs.CL
DP-KB: Data Programming with Knowledge Bases Improves Transformer Fine Tuning for Answer Sentence Selection
Alexa AI（亚马逊Alexa人工智能部门）
虽然Transformers在许多知识密集型（KI）任务上表现出令人印象深刻的性能，但它们作为隐式知识库（KB）的能力仍然有限，如几个插槽填充，问答（QA），事实验证和实体链接任务所示。在本文中，我们实现了一个高效的，数据编程技术，丰富的训练数据与知识库派生的上下文，并提高Transformer利用编码的知识时，微调一个特定的QA任务，即答案句子选择（AS2）。我们的方法优于最先进的Transformer方法在WikiQA和TrecQA，两个广泛研究的AS2基准测试中，分别增加了2.0%p@1，1.3%MAP，1.1%MRR和4.4%p@1，0.9%MAP，2.4%MRR。为了证明我们在行业环境中的改进，我们还在Alexa QA对的专有数据集上评估了我们的方法，并显示F1增加了2.3%，MAP增加了2.0%。我们还发现，即使在推理时省略KB上下文，这些改进仍然存在，允许在现有的Transformer工作流中使用我们的模型，而不会产生额外的延迟或部署成本。
2022-03-17 cs.CL cs.LG
Semantic Compression for Word and Sentence Embeddings using Discrete Wavelet Transform
School of Engineering and Applied Science, George Washington University（工程与应用科学学院，乔治华盛顿大学）；Faculty of Computers and Artificial Intelligence, Cairo University（计算机与人工智能学院，开罗大学）；Language Technologies Institute, Carnegie Mellon University（语言技术研究所，卡内基梅隆大学）
本研究将离散小波变换（DWT）应用于词与句子嵌入，实现了50%-93%的维度压缩，语义相似度任务性能几乎不变，多数下游任务准确率更优，为NLP应用优化提供了新路径。
2025-07-31 cs.CL
Text Compression for Efficient Language Generation
ETH Zurich（苏黎世联邦理工学院）；NVIDIA（英伟达公司）
本文提出分层 transformer 模型 GPTHF，通过句子嵌入压缩、句子注意力及缓存复用机制减少计算，在小规模设置下显著提升同等规模 GPT 的 FLOPs 效率与运行速度。
2025-03-14 cs.CL
Hamming Sentence Embeddings for Information Retrieval
在检索应用中，二进制哈希已知在存储器和速度方面提供显著的改进。我们研究的压缩句子嵌入使用神经编码器-解码器架构，这是通过最小化重建误差训练。而不是采用原来的实值嵌入，我们使用潜在的表示在汉明空间产生的编码器的相似性计算。在语义相似性任务的几个基准的定量实验中，我们表明，我们的压缩汉明嵌入产生了可比的性能未压缩的嵌入（Sent 2 Vec，InferSent，手套-BoW），在压缩比高达256：1。我们进一步证明了我们的模型强烈地去相关输入特征，并且压缩器在对维基百科句子进行预训练时泛化良好。我们在Github上发布了源代码和所有实验结果。
2019-08-15 cs.CL cs.IR cs.LG
Towards Annotating and Creating Sub-Sentence Summary Highlights
University of Central Florida（中佛罗里达大学）；Amazon（亚马逊）
突出显示是一个强有力的工具，可以挑出重要的内容并加以强调。在子句级别创建摘要亮点是特别可取的，因为子句比整句更简洁。它们也比单个单词和短语更适合，这些单词和短语可能会导致不流畅，支离破碎的摘要。在本文中，我们试图通过注释值得总结的子句和教学分类器来生成摘要亮点。我们的任务是共同选择重要的句子，并从每个句子中识别出一个信息量最大的文本单元。这个公式大大降低了句子压缩中涉及的任务复杂性。我们的研究提供了新的基准和基线，在子句水平上产生的亮点。
2019-10-17 cs.CL
From Similarity to Structure: Training-free LLM Context Compression with Hybrid Graph Priors
School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）；School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件工程学院）；Department of Computer Science and Engineering, Kyung Hee University（Kyung Hee大学计算机科学与工程系）；Department of Industrial and Systems Engineering, The Hong Kong Polytechnic University（香港理工大学工业与系统工程系）；School of Robotics and Advanced Manufacture, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳校区机器人与先进制造学院）
本文提出一种无需训练的上下文压缩框架，利用混合图先验选择句子，通过构建稀疏句子图、提取主题骨架并结合可解释评分进行冗余抑制，实验证明在长文档基准上表现更优。
2026-04-25 cs.AI cs.CL
Referee: Reference-Free Sentence Summarization with Sharper Controllability through Symbolic Knowledge Distillation
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们提出了Reflection，一个新的句子摘要框架，可以训练无参考（即，不需要用于监督的黄金摘要），同时允许对压缩比的直接控制。我们的工作是第一次证明，通过符号知识蒸馏的概念框架，无参考，受控的句子摘要是可行的（韦斯特等人，2022），其中预训练的语言模型中的潜在知识通过从教师模型中采样的显式示例进行提取，并使用三种类型的过滤器进行进一步纯化：长度，保真度和信息瓶颈。此外，我们独特地提出了知识的迭代蒸馏，其中来自上一次迭代蒸馏的学生模型在下一次迭代中充当教师模型。从一组相对温和的GPT 3生成的摘要开始，我们演示了迭代知识蒸馏如何导致相当小的，但更好的摘要具有更清晰的可控性。这种迭代蒸馏过程的一个有用的副产品是具有不同程度压缩比的高质量数据集。实证结果表明，最终的学生模型在压缩比的可控性方面大大优于更大的GPT 3-Instruct模型，而不会影响所得摘要的质量。
2022-10-25 cs.AI cs.CL cs.LG
TexShape: Information Theoretic Sentence Embedding for Language Models
Boğaziçi University（博加齐大学）；Nokia Bell Labs（诺基亚贝尔实验室）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Massachusetts Institute of Technology (MIT)（麻省理工学院）
本文提出 TexShape，一种基于 Donsker-Varadhan 互信息估计的信息论句子嵌入方法，用于任务数据压缩及敏感信息过滤，并验证其在高压缩比下兼顾效用、隐私与公平性的效果。
2024-05-11 cs.CL cs.IT math.IT
CNL2ASP: converting controlled natural language sentences into ASP
University of Genova（热那亚大学）；University of Calabria（卡拉布里亚大学）
本文提出CNL2ASP工具，将受控自然语言句子自动翻译为ASP规则，并在合成及现实组合问题上验证，其性能可与专家编码媲美。
2023-11-17 cs.AI cs.CL cs.LO
DSPC: Dual-Stage Progressive Compression Framework for Efficient Long-Context Reasoning
Institute of Cyberspace Security, Zhejiang University of Technology A STAR Amazon Binjiang Institute of Artificial Intelligence, Zhejiang University of Technology
本文提出免训练的双阶段渐进压缩框架DSPC，通过粗粒度句子过滤和细粒度token剪除，在保持语义的同时显著降低长上下文推理的token开销，并在多个模型和数据集上取得优于现有基线的性能。
2025-09-18 cs.CL
Code and Named Entity Recognition in StackOverflow
The Ohio State University（俄亥俄州立大学）
随着大量的编程文本在互联网上变得容易获得，一起学习自然语言和计算机代码的兴趣越来越大。例如，StackOverflow目前有超过1500万个编程相关的问题，由850万用户编写。与此同时，仍然缺乏基本的NLP技术来识别出现在自然语言句子中的代码令牌或软件相关的命名实体。在本文中，我们介绍了一个新的命名实体识别（NER）语料库的计算机编程领域，由15,372个句子与20个细粒度的实体类型注释。我们在来自StackOverflow的1.52亿个句子上训练了域内BERT表示（BERTOverflow），这导致了比现成的BERT绝对增加了+10的F-1分数。我们还提出了SoftNER模型，该模型在StackOverflow数据上实现了代码和命名实体识别的总体79.10 F $_1$得分。我们的SoftNER模型采用了一个上下文无关的代码令牌分类器与语料库级别的功能，以改善基于BERT的标记模型。我们的代码和数据可在https://github.com/jeniyat/StackOverflowNER/上获得
2020-11-15 cs.CL
Parsing Combinatory Categorial Grammar with Answer Set Programming: Preliminary Report
University of Kentucky（肯塔基大学）；Technische Universität Wien（维也纳工业大学）
组合范畴语法（CCG）是一种用于自然语言分析的语法形式。CCG将结构化的词汇类别分配给单词，并使用一小组组合规则来组合这些类别以解析句子。在这项工作中，我们提出并实现了一种新的CCG解析方法，该方法依赖于突出的知识表示形式主义，即答案集编程（ASP）--一种声明性编程范式。我们制定的CCG解析的任务作为一个规划问题，并使用ASP计算工具来计算解决方案，对应于有效的解析。与其他方法相比，不需要使用这种声明性方法实现特定的解析算法。我们的方法旨在为一个给定的句子产生所有语义不同的解析树。从这一目标出发，出现了规范化和效率问题，我们通过结合和扩展现有战略来处理这些问题。我们已经实现了一个CCG解析工具包- AspCcgTk -使用ASP作为其主要的计算手段。C&C supertagger可以用作AspCcgTk中的预处理器，这使我们能够实现广泛覆盖的自然语言解析。
2011-08-29 cs.AI cs.CL
Segmenting Natural Language Sentences via Lexical Unit Analysis
Tencent AI Lab（腾讯人工智能实验室）
在这项工作中，我们提出了词汇单元分析（LUA），一般序列分割任务的框架。给定一个自然语言句子，LUA评分的所有有效的分割候选人，并利用动态规划（DP），以提取最大的得分。LUA具有许多吸引人的特性，例如内在地保证预测的分割是有效的，并促进全局最优的训练和推理。此外，LUA的实际时间复杂度可以降低到线性时间，这是非常有效的。我们在15个数据集上对句法组块、命名实体识别、槽填充、汉语分词和汉语词性标注等5个任务进行了广泛的实验。我们的模特已经在其中13个项目上取得了最先进的表现。结果还表明，识别长片段的F1得分显著提高。
2021-04-16 cs.CL
Adversarial Neural Networks for Cross-lingual Sequence Tagging
University of Stuttgart（斯图加特大学）；Google AI（谷歌人工智能）
我们研究跨语言序列标记很少或没有标记的数据在目标语言。对抗性训练以前已经被证明是有效的训练跨语言句子分类器。然而，目前尚不清楚由对抗性语言机器人强制执行的语言不可知表示是否也能够有效地转移标记级预测任务。因此，我们在两个任务上进行了不同类型的对抗训练：依存句法分析和句子压缩。我们表明，与传统训练的基线相比，对抗性训练始终会提高每个任务的跨语言性能。
2018-08-14 cs.CL
Ranking LLMs by compression
School of Mathematics, Northwest University（西北大学数学学院）；Shanghai Institute for Mathematics and Interdisciplinary Sciences（上海数学与交叉科学研究院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Cheriton School of Computer Science, University of Waterloo（滑铁卢大学切尔顿计算机科学学院）
该研究将理解视为信息压缩，提出基于无损压缩的LLM排序方法，证明压缩长度与累积负对数概率等价，实验显示压缩比与模型性能正相关，可作为通用评估指标。
2024-06-20 cs.AI cs.CL
LP-LM: No Hallucinations in Question Answering with Logic Programming
Cornell University（康奈尔大学）；Stony Brook University（石溪大学）
针对大型语言模型（LLMs）问答幻觉问题，提出LP-LM系统，通过Prolog语义解析锚定知识库事实生成可靠答案，实验表明其无幻觉且运行高效。
2025-02-13 cs.AI cs.CL
