Fast k-best Sentence Compression
Google Research(谷歌研究院)
句子压缩的一种流行方法是将任务表示为约束优化问题,并使用整数线性规划(ILP)工具解决它。不幸的是,对ILP的依赖可能使压缩机慢得令人望而却步,因此已经提出了近似技术,这些技术通常是复杂的,并且提供了适度的速度增益。作为一种替代解决方案,我们引入了一种新的压缩算法,该算法依赖于本地删除决策生成k-最佳压缩。我们的算法是两个数量级的速度比最近的ILP为基础的方法,同时产生更好的压缩。此外,广泛的评估表明,压缩的质量并没有降低太多,因为我们从单一的最佳移动到前五名的结果。
2015-10-28 cs.CL
Query-focused Sentence Compression in Linear Time
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
搜索应用程序通常显示缩短的句子,这些句子必须包含某些查询项,并且必须适合用户界面的空间约束。这项工作介绍了一种新的过渡为基础的句子压缩技术开发的这种设置。我们的查询为重点的方法构造长度和词汇约束压缩在线性时间,通过增长一个子图中的依赖分析的句子。这种理论上有效的方法实现了11倍的经验加速比基线ILP方法,同时更好地重建黄金约束缩短。这样的加速有助于以查询为中心的应用程序,因为用户会受到界面延迟的明显阻碍。此外,我们的技术不需要ILP求解器或GPU。
2019-09-17 cs.CL
A Multilingual Study of Multi-Sentence Compression using Word Vertex-Labeled Graphs and Integer Linear Programming
University of La Rochelle(拉罗谢尔大学);University of Avignon(阿维尼翁大学);Polytechnique Montréal(蒙特利尔高等理工学院);Inst. Federal de Educação, Ciência e Tecnologia da Paraiba(帕拉伊巴联邦教育、科学与技术学院);Univ. Federal Fluminense(弗鲁米嫩塞联邦大学);Universidade Federal do Ceará(塞阿拉联邦大学)
多句子压缩(MSC)的目的是从一组相似的句子中提取关键信息,生成一个短句。MSC使摘要和问答系统能够从一个或多个文档中生成组合完整句子的输出。本文描述了一种基于线性规划的MSC方法,该方法使用顶点标记图来选择不同的关键字,其目标是在保持语法性的同时生成更多信息的句子。我们的系统质量很好,在以三种语言(法语、葡萄牙语和西班牙语)进行的新闻数据集评估方面优于最先进的水平。我们进行了自动和手动评估,以确定每个数据集压缩的信息量和语法性。在额外的测试中,利用压缩的长度可以调节的事实,我们仍然使用更短的输出句子来提高ROUGE分数。
2020-04-09 cs.CL
Syntactically Look-Ahead Attention Network for Sentence Compression
Institute of Innovative Research, Tokyo Institute of Technology(东京工业大学创新研究所)
句子压缩是通过删除冗余单词将长句压缩成短句的任务。在基于序列到序列(Seq 2Seq)的模型中,解码器单向决定保留或删除单词。因此,它通常不能显式地捕获解码的单词和将在未来时间步长中解码的未看到的单词之间的关系。因此,为了避免产生不合语法的句子,解码器有时会在压缩句子时丢弃重要的单词。为了解决这个问题,我们提出了一种新的Seq 2Seq模型,语法前瞻注意力网络(SLAHAN),它可以通过在解码过程中显式跟踪依赖父单词和子单词并捕获将来将被解码的重要单词来生成信息摘要。在Google句子压缩数据集上的自动评估结果显示,SLAHAN实现了最好的基于保留标记的F1,ROUGE-1,ROUGE-2和ROUGE-L得分,分别为85.5,79.3,71.3和79.1。SLAHAN还提高了较长句子的摘要性能。此外,在人工评估中,SLAHAN在不损失可读性的情况下提高了信息量。
2020-05-17 cs.CL
Unsupervised Sentence Compression using Denoising Auto-Encoders
Center for Data Science(数据科学中心);New York University(纽约大学)
在句子压缩中,缩短句子同时保留原始含义的任务,模型倾向于在包含冗长和压缩句子对的大型语料库上进行训练。为了消除对成对语料库的需求,我们模拟了一个摘要任务,并添加噪声来扩展句子,训练一个去噪自动编码器来恢复原始句子,构建了一个端到端的训练机制,而不需要任何压缩句子的例子。我们在标准文本摘要数据集上对我们的模型进行了人工评估,并表明它基于语法正确性和保留意义来执行监督基线。尽管没有目标数据,但我们的无监督模型学习生成不完美但可读的句子摘要。虽然我们基于ROUGE分数的监督模型表现不佳,但我们的模型与基于人类评估的监督基线相比,在语法正确性和保留意义方面具有竞争力。
2018-09-07 cs.CL
A Token-wise CNN-based Method for Sentence Compression
The Australian National University(澳大利亚国立大学);Data61/CSIRO(澳大利亚联邦科学与工业研究组织数据61中心);University of Turku(图尔库大学)
句子压缩是一项自然语言处理(NLP)任务,旨在缩短原始句子并保留其关键信息。它的应用可以使许多领域受益,例如可以构建语言教育工具。然而,目前的方法主要是基于递归神经网络(RNN)模型,其具有较差的处理速度。为了解决这个问题,在本文中,我们提出了一个令牌式卷积神经网络,一个基于CNN的模型,以及预训练的双向编码器表示Transformers(BERT)功能,用于基于删除的句子压缩。我们还将我们的模型与基于RNN的模型和微调的BERT进行了比较。虽然其中一个基于RNN的模型在相同输入下的性能略优于其他模型,但我们基于CNN的模型比基于RNN的方法快十倍。
2020-09-23 cs.CL
From direct tagging to Tagging with sentences compression
这两种标注方法(直接标注和句子压缩标注)本质上都是基于自然语言固有的语言模式,利用正则表达式对我们需要的信息进行标注。虽然直接标注在提取规则数据方面有很多优势,但在某些情况下并不适用。如果我们需要抽取的数据是不规则的,而它周围的词是规则的,是相对规则的,那么我们可以在标记我们需要的数据之前,使用信息压缩来切割我们不需要的信息。通过这种方式,我们可以提高数据的精确度,同时不会破坏数据的召回率。
2018-10-05 cs.CL
Sentence-Anchored Gist Compression for Long-Context LLMs
FusionBrainLab(融合脑实验室);HSE University(俄罗斯高等经济大学);Innopolis University(伊诺波利斯大学)
本研究针对长上下文大语言模型的内存与计算需求问题,提出句子锚定要点压缩方法,通过微调预训练模型实现2-8倍压缩且性能无显著下降,在30亿参数LLaMA模型上压缩比更高且效果与其他技术相当。
2025-11-11 cs.CL
SEQ^3: Differentiable Sequence-to-Sequence-to-Sequence Autoencoder for Unsupervised Abstractive Sentence Compression
National Technical University of Athens(雅典国立技术大学);Athens University of Economics and Business(雅典经济与商业大学);Heriot-Watt University(赫瑞-瓦特大学)
神经序列到序列模型是目前在几个自然语言处理任务中占主导地位的方法,但需要大型并行语料库。我们提出了一个序列到序列到序列的自动编码器(SEQ ^3),由两个链式编码器-解码器对组成,单词用作离散潜在变量的序列。我们将该模型应用于无监督抽象句压缩,其中第一个和最后一个序列分别是输入和重构的句子,而中间序列是压缩的句子。限制潜在单词序列的长度迫使模型从输入中提取重要信息。预先训练的语言模型作为潜在序列的先验,鼓励压缩的句子是人类可读的。连续松弛使我们能够从分类分布中采样,允许基于梯度的优化,而不像依赖于强化学习的替代方案。该模型不需要并行的文本摘要对,在基准数据集上的无监督句子压缩中取得了令人满意的结果。
2019-06-09 cs.CL
On Improving Informativity and Grammaticality for Multi-Sentence Compression
University of New South Wales(新南威尔士大学);National ICT(国家信息与通信技术机构)
多句子压缩在很多实际应用中具有重要的价值,如引导式微博摘要、意见摘要和新闻摘要。最近,基于词图的方法已被提出,并成为流行的MSC。他们的关键假设是,一组相关句子之间的冗余提供了一种可靠的方式来生成信息和语法句子。在本文中,我们提出了一种有效的方法来增强基于单词图的MSC,并解决了大多数最先进的MSC方法所面临的问题:即,同时提高信息量和语法性。我们的方法包括三个主要组成部分:(1)合并方法的基础上的多词表达式(MWE);(2)映射策略的基础上同义词之间的关系;(3)重新排序的步骤,以确定最佳的压缩候选人使用基于POS的语言模型(POS-LM)。我们证明了这种新方法的有效性,使用的数据集的英语新闻专线句子的集群。所观察到的信息量和语法的生成的压缩的改进表明,我们的方法是优于国家的最先进的MSC方法。
2016-05-07 cs.CL
Evaluation Discrepancy Discovery: A Sentence Compression Case-study
Bloomberg L.P.(彭博有限合伙企业);Ubiquitous Knowledge Processing Lab (UKP Lab)(普适知识处理实验室(UKP实验室));Technical University of Darmstadt(达姆施塔特工业大学)
可靠的评估协议对于可重复的NLP研究至关重要。在这项工作中,我们表明,有时既不是度量,也不是传统的人的评价是不够的,得出有关系统性能的结论。使用句子压缩作为示例任务,我们演示了系统如何与完善的数据集进行博弈,以获得最先进的结果。与以前的工作中报告的结果相比,显示了人类判断和度量分数之间的相关性,我们对最先进的系统输出的手动分析表明,高度量分数可能只表明更好地拟合数据,而不是更好的输出,正如人类所感知的那样。
2021-01-22 cs.CL
Sentence Compression in Spanish driven by Discourse Segmentation and Language Models
École Polytechnique de Montréal(蒙特利尔高等理工学院);Universitat Pompeu Fabra(庞培法布拉大学)
以前的工作表明,自动文本摘要(ATS)的句子提取可以提高使用句子压缩。在这项工作中,我们提出了一个句子压缩的方法指导下的水平句语篇分割和概率语言模型(LM)。这里给出的结果表明,所提出的解决方案是能够生成连贯的摘要与语法压缩的句子。这种方法很简单,可以移植到其他语言中。
2012-12-17 cs.CL cs.IR
A Noisy-Channel Model for Document Compression
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
我们提出了一个文件压缩系统,使用分层噪声通道模型的文本生产。我们的压缩系统首先自动推导出每个句子的句法结构和作为输入的文本的整体话语结构。然后,该系统使用文本生产的统计层次模型,以丢弃不重要的句法和话语成分,从而生成任意长度的连贯的、语法的文档压缩。该系统的性能优于基线和基于压缩的压缩系统,后者通过顺序简化文本中的所有句子来操作。我们的研究结果支持了语篇知识在文档摘要中起着重要作用的观点。
2009-07-04 cs.CL
Sentence Compression via DC Programming Approach
Shanghai Jiao Tong University(上海交通大学);SJTU-Paristech Elite Institute of Technology(上海交通大学巴黎高科卓越工程师学院)
句子压缩是自然语言处理中的一个重要问题。本文首先基于概率模型和句法分析树模型建立了一种新的句子压缩模型。我们的句子压缩模型等价于一个整数线性规划(ILP),既能保证压缩的语法正确性,又能保存句子的主要意思。我们建议使用DC(凸差分)规划方法(DCA)寻找我们的模型的局部最优解。将DCA与并行分支定界框架相结合,可以得到全局最优解。数值结果表明,我们的句子压缩模型的质量和我们提出的解决方案的算法的优异性能。
2019-02-13 cs.CL math.OC
Task-agnostic Prompt Compression with Context-aware Sentence Embedding and Reward-guided Task Descriptor
Queen’s University(女王大学)
本文提出任务无关提示压缩框架 TPC,通过奖励引导的任务描述符评估句子相关性,无需问题或模板即可跨任务压缩提示,并在 LongBench 与 ZeroSCROLLS 上取得领先或可比性能。
2025-02-19 cs.CL
Unsupervised Abstractive Meeting Summarization with Multi-Sentence Compression and Budgeted Submodular Maximization
École Polytechnique(巴黎综合理工学院);Linagora(利纳戈拉公司);AUEB(雅典经济与商业大学)
我们介绍了一种新的基于图的框架,抽象的会议语音摘要,是完全无监督的,不依赖于任何注释。我们的工作结合了多种最新方法的优势,同时解决了它们的弱点。此外,我们利用应用于NLP的词嵌入和图退化的最新进展,考虑外部语义知识,并设计自定义多样性和信息量的措施。在AMI和ICSI语料库上的实验表明,我们的系统在现有技术的基础上有所改进,代码和数据是公开的,并且我们的系统可以进行交互式测试。
2018-11-14 cs.CL
Multi-document abstractive summarization using ILP based multi-sentence compression
The Pennsylvania State University(宾夕法尼亚州立大学);QCRI(卡塔尔计算研究所);National University of Singapore(新加坡国立大学)
摘要文摘是一种理想的文摘形式,它可以综合多个文档中的信息,生成简洁的信息摘要。在这项工作中,我们的目标是开发一个抽象的摘要。首先,我们提出的方法确定多文档集中最重要的文档。最重要文档中的句子与其他文档中的句子对齐,以生成相似句子的聚类。其次,我们使用词图结构从每个聚类中的句子生成K-最短路径。最后,我们选择句子从所有集群产生的最短路径集采用一种新的整数线性规划(ILP)模型的目标是最大限度地提高信息含量和可读性的最终摘要。我们的ILP模型将最短路径表示为二元变量,并在目标函数中考虑路径的长度、信息分数和语言质量分数。DUC 2004年和2005年的多文档摘要数据集上的实验结果表明,我们提出的方法优于所有的基线和国家的最先进的提取摘要衡量的ROUGE分数。我们的方法也优于最近的抽象摘要技术。在人工评估中,我们的方法也取得了可喜的成果的信息性和可读性。
2016-09-22 cs.CL
Deleter: Leveraging BERT to Perform Unsupervised Successive Text Compression
Salesforce Research(赛富时研究院)
文本压缩有多种应用,如摘要、阅读理解和文本编辑。然而,几乎所有现有的方法都需要手工制作的功能,语法标签或并行数据。即使是在无监督环境中实现此任务的机器人,其架构也需要特定于任务的自动编码器。此外,这些模型只为每个源输入生成一个压缩句子,因此适应最终输出的不同风格要求(例如长度)通常意味着从头开始重新训练模型。在这项工作中,我们提出了一个完全无监督的模型,删除器,这是能够发现一个“最佳删除路径”的任意句子,其中沿路径的每个中间序列是前一个连贯的子序列。这种方法完全依赖于预训练的双向语言模型(BERT),根据结果句子的平均困惑度对每个候选删除进行评分,并执行渐进式贪婪前瞻搜索,为每个步骤选择最佳删除。我们将Deleter应用于提取句子压缩的任务,并发现我们的模型与在102万个具有类似压缩比的域内示例上训练的最先进的监督模型具有竞争力。定性分析以及自动和人工评估都验证了我们的模型可以产生高质量的压缩。
2019-09-07 cs.CL
Language as a Latent Variable: Discrete Generative Models for Sentence Compression
University of Oxford(牛津大学);Google Deepmind(谷歌DeepMind)
在这项工作中,我们探讨了深生成模型的文本中,一个文件的潜在表示本身是从离散的语言模型分布。我们制定了一个变分自动编码器在这个模型中的推理,并将其应用到压缩句子的任务。在该应用中,生成模型首先从背景语言模型中提取潜在概要语句,然后随后根据该潜在概要提取观察语句。在我们的经验评估中,我们表明,当在大量的监督数据上训练时,抽象和提取压缩的生成公式都可以产生最先进的结果。此外,我们还探索了半监督压缩场景,在这些场景中,我们证明了在对一小部分监督数据进行训练的同时,可以实现与先前提出的监督模型相竞争的性能。
2016-10-14 cs.AI cs.CL
Prompt Compression with Context-Aware Sentence Encoding for Fast and Improved LLM Inference
Alterra AI(Alterra人工智能公司);Queen’s University(女王大学);Workday Inc.(Workday公司)
提出上下文感知提示压缩方法CPC,通过对比学习训练句子编码器进行句子级提示压缩,在基准数据集上显著优于现有方法且推理速度最高提升10.93倍。
2024-12-18 cs.CL cs.LG
Towards Lossless Encoding of Sentences
Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
利用机器学习进行图像压缩已经做了大量的工作,但是对自然语言的压缩还没有给予足够的关注。将文本压缩为无损表示,同时使功能易于检索不是一项微不足道的任务,但有巨大的好处。设计用于产生特征丰富的句子嵌入的大多数方法仅关注于在下游任务上表现良好,并且无法从学习的嵌入正确地重建原始序列。在这项工作中,我们提出了一个近无损的方法编码长序列的文本以及所有的子序列到功能丰富的表示。我们测试了我们的方法在情感分析,并显示出良好的性能在所有子句和句子嵌入。
2019-08-02 cs.CL
EnComp: Lightweight Encoder-Only Context Compression for Retrieval-Augmented Question Answering
Korea Advanced Institute of Science and Technology(韩国科学技术院)
LooComp通过留一法策略提升仅编码器Transformer的查询感知上下文压缩效率,实现高效压缩与高吞吐量推理。
2026-09-24 cs.CL
Simplify-then-Translate: Automatic Preprocessing for Black-Box Machine Translation
Virginia Tech(弗吉尼亚理工大学);Netflix Inc.(奈飞公司)
黑盒机器翻译系统已被证明对各种应用程序非常有用,但在设计上很难适应,调整到特定的领域,或建立在其之上。在这项工作中,我们介绍了一种方法来改善这种系统,通过自动预处理(APP)使用句子简化。首先提出了一种利用黑盒机器翻译系统通过回译自动生成大型领域内释义语料库的方法,并利用该方法训练释义模型,使原句“简化”,更有利于翻译。该模型用于对多个低资源语言对的源语句进行预处理。我们表明,这种预处理导致更好的翻译性能相比,非预处理的源句子。我们进一步进行并排的人工评估,以验证简化句子的翻译比原始句子更好。最后,我们通过调查语言对的翻译容易程度(由BLEU测量)与该语言对的反向翻译产生的简化模型质量(由SARI测量)之间的关系,为生成简化模型语料库提供了一些建议语言对的指导,并将其与低资源翻译的下游任务联系起来。
2020-05-27 cs.CL
Tiny Transformers Excel at Sentence Compression
ETH Zurich(苏黎世联邦理工学院)
本研究针对大语言模型token存储开销大的问题,验证了1-3层小型Transformer可将标准英语句子编解码为单个3千字节的token,证明小型网络能构建有效英语句子,为大模型优化提供了转向更大文本片段嵌入的新思路。
2024-10-30 cs.CL cs.LG
Sentence Compression as Deletion with Contextual Embeddings
CINNAMON LAB(肉桂实验室);Hung Yen University of Technology and Education(兴安技术教育大学);The University of Queensland(昆士兰大学)
句子压缩是在保留重要信息的同时创建输入句子的较短版本的任务。在本文中,我们扩展的任务压缩删除使用上下文嵌入。不同于以前的工作通常使用非上下文嵌入(手套或Word2Vec),我们利用上下文嵌入,使我们的模型捕捉输入的上下文。更准确地说,我们利用由双向长短期记忆和条件随机场堆叠的上下文嵌入来处理序列标记。在基准Google数据集上的实验结果表明,通过利用上下文嵌入,我们的模型实现了一个新的最先进的F分数相比,强大的方法报告的领导者板。
2020-06-05 cs.CL cs.IR cs.LG
From Lengthy to Lucid: A Systematic Literature Review on NLP Techniques for Taming Long Sentences
Aristotle University of Thessaloniki(亚里士多德大学);Medoid AI;Pfizer Center for Digital Innovation(辉瑞数字创新中心)
本文系统综述了NLP中处理长句子的两种主要技术:句子压缩和分割,并探讨了当前方法的挑战与未来研究方向。
2026-01-31 cs.CL
Machine Translation with Unsupervised Length-Constraints
Maastricht University(马斯特里赫特大学)
由于使用了深度学习,我们看到了机器翻译的显着改进。虽然翻译质量的提高令人印象深刻,但编码器-解码器架构实现了更多的可能性。在本文中,我们将探讨其中之一,生成的约束翻译。我们重点关注长度约束,如果翻译应该以给定的格式显示,这是必不可少的。在这项工作中,我们提出了一个端到端的方法来完成这项任务。与先翻译然后执行句子压缩的传统方法相比,文本压缩是完全无监督学习的。通过将该思想与zero-shot多语言机器翻译相结合,我们也能够执行无监督单语句子压缩。为了满足长度约束,我们研究了几种方法来将约束集成到模型中。使用所提出的技术,我们能够在约束条件下显着提高翻译质量。此外,我们能够执行无监督单语句子压缩。
2020-04-07 cs.CL
Exploiting Class Probabilities for Black-box Sentence-level Attacks
Arizona State University(亚利桑那州立大学)
本文提出一种利用类别概率反馈的黑盒句子级攻击新算法,克服了现有方法仅用标签或无反馈的局限,并通过多分类器和基准数据集上的广泛评估验证了其有效性。
2024-02-21 cs.AI cs.CL cs.CR
Learning-Based Single-Document Summarization with Compression and Anaphoricity Constraints
UC Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个判别模型的单文档摘要,集成了压缩和照应性约束。我们的模型基于一组丰富的稀疏特征来选择文本单元以包含在摘要中,这些特征的权重是在大型语料库上学习的。我们允许删除一个句子中的内容时,该删除是由压缩规则许可的;在我们的框架中,这些实现为文本的实质单元之间的依赖关系。回指性约束则通过保证对于摘要中包含的每个代词,代词的先行词也被包括在内或者代词被重写为完整提及来提高跨句连贯性。当端到端训练时,我们的最终系统在ROUGE以及人类对语言质量的判断上都优于先前的工作。
2016-06-08 cs.CL
PC-SubMax: Efficient Prompt Compression via Regularized Submodular Maximization
PC-SubMax将选择性提示压缩建模为正则化单调子模最大化,提出RGM算法,在背包约束下优化信息覆盖、查询相关性与多样性,实现低开销的高效压缩。
2026-09-29 cs.CL
InstructCMP: Length Control in Sentence Compression through Instruction-based Large Language Models
Chungnam National University(忠南大学);Nara Institute of Science and Technology (NAIST)(奈良科学技术研究所);Tokyo Institute of Technology(东京工业大学)
针对传统句子压缩模型难满足长度约束的问题,提出基于指令的InstructCMP方法,结合长度启动策略与指令格式数据集微调,在零样本和微调场景下均显著提升长度控制性能且无需修改模型。
2024-06-18 cs.AI cs.CL
Vec2Sent: Probing Sentence Embeddings with Natural Language Generation
Technische Universität Darmstadt(达姆施塔特工业大学)
我们反思黑盒句子嵌入,有条件地从他们的目标是检索潜在的离散句子。我们认为这是一个新的无监督探测任务,并表明它与下游任务的性能相关。我们还说明了从不同编码器生成的语言是如何不同的。我们应用我们的方法从句子嵌入生成句子类比。
2020-11-01 cs.CL
PropNet: a White-Box and Human-Like Network for Sentence Representation
CogBeauty Lab(CogBeauty 实验室)
本文提出受认知科学启发、基于句子命题构建层次结构的纯自盒类人句子表示网络 PropNet,以增强内在可解释性,并揭示其与 SOTA 的差距及认知分析价值。
2025-05-14 cs.AI cs.CL
Semantic Compression for Word and Sentence Embeddings using Discrete Wavelet Transform
School of Engineering and Applied Science, George Washington University(工程与应用科学学院,乔治华盛顿大学);Faculty of Computers and Artificial Intelligence, Cairo University(计算机与人工智能学院,开罗大学);Language Technologies Institute, Carnegie Mellon University(语言技术研究所,卡内基梅隆大学)
本研究将离散小波变换(DWT)应用于词与句子嵌入,实现了50%-93%的维度压缩,语义相似度任务性能几乎不变,多数下游任务准确率更优,为NLP应用优化提供了新路径。
2025-07-31 cs.CL
Text Compression for Efficient Language Generation
ETH Zurich(苏黎世联邦理工学院);NVIDIA(英伟达公司)
本文提出分层 transformer 模型 GPTHF,通过句子嵌入压缩、句子注意力及缓存复用机制减少计算,在小规模设置下显著提升同等规模 GPT 的 FLOPs 效率与运行速度。
2025-03-14 cs.CL
Towards Opening the Black Box of Neural Machine Translation: Source and Target Interpretations of the Transformer
TALP Research Center(TALP研究中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Meta AI
在神经机器翻译(NMT)中,每个标记预测都以源句子和目标前缀(先前在解码步骤中已翻译的内容)为条件。然而,以往的工作主要集中在可解释性的NMT源句标记的属性。因此,我们缺乏对每个输入标记(源句子和目标前缀)在模型预测中的影响的充分理解。在这项工作中,我们提出了一个可解释性的方法,跟踪输入令牌的属性为两个上下文。我们的方法可以扩展到任何基于编码器-解码器转换器的模型,使我们能够更好地理解当前NMT模型的内部工作原理。我们将所提出的方法应用于双语和多语言的Transformers,并提出他们的行为的见解。
2022-11-04 cs.CL
Extreme compression of sentence-transformer ranker models: faster inference, longer battery life, and less storage on edge devices
Xayn AG(Xayn公司)
现代搜索系统使用几个大的排名模型与Transformer架构。这些模型需要大量的计算资源,并且不适合在具有有限计算资源的设备上使用。知识蒸馏是一种流行的压缩技术,可以减少这种模型的资源需求,其中一个大的教师模型将知识转移到一个小的学生模型。为了大大减少内存需求和能源消耗,我们提出了两个扩展的流行的存储器变压器蒸馏过程:生成一个最佳大小的词汇和降维的嵌入维数的教师蒸馏前。我们评估这些扩展两种不同类型的排名模型。这将导致非常压缩的学生模型,其对测试数据集的分析显示了我们提出的扩展的意义和实用性。
2022-06-29 cs.CL cs.IR cs.LG
SummPip: Unsupervised Multi-Document Summarization with Sentence Graph Compression
Monash University(莫纳什大学);Deakin University(迪肯大学);Shandesitong
获取多文档摘要(MDS)的训练数据是耗时和资源密集型的,所以最近的神经模型只能在有限的领域进行训练。在本文中,我们提出了SummPip:一种用于多文档摘要的无监督方法,在该方法中,我们将原始文档转换为句子图,同时考虑语言和深度表示,然后应用谱聚类来获得多个句子聚类,最后压缩每个聚类以生成最终摘要。在Multi-News和DUC-2004数据集上的实验表明,我们的方法与以前的无监督方法相比具有竞争力,甚至可以与神经监督方法相媲美。此外,人类的评价表明,我们的系统产生一致和完整的摘要相比,人类的书面。
2020-07-20 cs.CL cs.IR cs.LG
Large-Scale Multi-Document Summarization with Information Extraction and Compression
Northwestern University(西北大学)
我们开发了一个抽象的摘要框架独立的标记数据的多个异构文档。与现有的多文档摘要方法不同,我们的框架处理讲述不同故事的文档,而不是同一主题的文档。我们还增强了现有的句子融合方法与一个单向的语言模型优先融合的句子概率较高,以提高可读性的目标。最后,我们基于CNN/Daily Mail和NewsRoom数据集构建了总共12个数据集变体,其中每个文档组包含大量不同的文档集合,以评估我们的模型与其他基线系统相比的性能。我们的实验表明,我们的框架优于当前国家的最先进的方法,在这个更通用的设置。
2022-05-01 cs.CL cs.IR
Syntax, Parsing and Production of Natural Language in a Framework of Information Compression by Multiple Alignment, Unification and Search
本文介绍了“多重对齐、统一和搜索的信息压缩”(ICMAUS)的思想,在ICMAUS中,自然语言的语法可以用一种简单的格式表示,自然语言的语法分析和生成可以以一种透明的方式进行。ICMAUS概念体现在软件模型SP 61中。该模型的组织和操作进行了描述,并给出了一个简单的例子,显示该模型可以实现自然语言的解析。尽管存在“通过压缩进行解压缩”的明显矛盾,但ICMAUS框架在没有任何修改的情况下可以通过解码句子的压缩代码来生成句子。SP 61模型的输出说明了这一点。本文还包括另外四个例子--一个是法语句子的分析,三个是英语助动词的分析。这些示例展示了ICMAUS框架和SP 61模型如何以相对简单和直接的方式适应语法的“上下文敏感”特征。
2003-07-07 cs.AI cs.CL
Brain-CLIPLM: Semantic Compression for EEG-to-Text Decoding
Beijing Institute of Technology, Beijing, China(北京理工大学,北京,中国)
该研究提出Brain-CLIPLM框架,通过语义锚点恢复和锚点引导的句子重建,解决EEG信号低信噪比和信息带宽限制的问题,实现了更高的文本检索准确率。
2026-07-20 cs.AI cs.CL cs.CV
From Similarity to Structure: Training-free LLM Context Compression with Hybrid Graph Priors
School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院);School of Information and Software Engineering, University of Electronic Science and Technology of China(电子科技大学信息与软件工程学院);Department of Computer Science and Engineering, Kyung Hee University(Kyung Hee大学计算机科学与工程系);Department of Industrial and Systems Engineering, The Hong Kong Polytechnic University(香港理工大学工业与系统工程系);School of Robotics and Advanced Manufacture, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学深圳校区机器人与先进制造学院)
本文提出一种无需训练的上下文压缩框架,利用混合图先验选择句子,通过构建稀疏句子图、提取主题骨架并结合可解释评分进行冗余抑制,实验证明在长文档基准上表现更优。
2026-04-25 cs.AI cs.CL
Hamming Sentence Embeddings for Information Retrieval
在检索应用中,二进制哈希已知在存储器和速度方面提供显著的改进。我们研究的压缩句子嵌入使用神经编码器-解码器架构,这是通过最小化重建误差训练。而不是采用原来的实值嵌入,我们使用潜在的表示在汉明空间产生的编码器的相似性计算。在语义相似性任务的几个基准的定量实验中,我们表明,我们的压缩汉明嵌入产生了可比的性能未压缩的嵌入(Sent 2 Vec,InferSent,手套-BoW),在压缩比高达256:1。我们进一步证明了我们的模型强烈地去相关输入特征,并且压缩器在对维基百科句子进行预训练时泛化良好。我们在Github上发布了源代码和所有实验结果。
2019-08-15 cs.CL cs.IR cs.LG
Character-level White-Box Adversarial Attacks against Transformers via Attachable Subwords Substitution
Tsinghua University(清华大学)
提出了第一种针对Transformer模型的字符级白盒对抗攻击方法。我们的方法的直观性来自于观察,即单词在被馈送到Transformer模型之前被分成子令牌,并且两个接近的子令牌之间的替换具有与字符修改类似的效果。我们的方法主要包括三个步骤。首先,采用基于梯度的方法找到句子中最脆弱的词。然后,我们将所选单词拆分为子标记,以替换来自Transformer标记器的原始标记化结果。最后,我们利用对抗性损失来指导可附加子令牌的替换,其中引入了Gumbel-softmax技巧来确保梯度传播。同时,我们在优化过程中引入了视觉和长度约束,以达到最小的字符修改。大量的实验表明,该方法在成功率和编辑距离方面优于以前的攻击方法。此外,人类评估验证了我们的对抗性示例可以保留其原始标签。
2022-10-31 cs.CL
Beyond Black Box AI-Generated Plagiarism Detection: From Sentence to Document Level
New York University(纽约大学);Columbia University(哥伦比亚大学);IBM Research(IBM研究院)
针对现有AI生成文本剽窃检测准确率低、易误报的问题,提出基于NLP的多维度检测方法,通过释义生成和余弦相似度对比匹配文本,句级与文档级均提供可量化指标,分类准确率最高达94%,鲁棒透明且可随LLM迭代升级。
2023-06-13 cs.AI cs.CL cs.LG
Exploring Explainable Selection to Control Abstractive Summarization
Institute for Language, Cognition and Computation, School of Informatics, University of Edinburgh(爱丁堡大学信息学院语言、认知与计算研究所)
像人类一样,文档摘要模型可以以多种方式解释文档的内容。不幸的是,今天的神经模型在很大程度上是黑盒子,几乎没有解释它们如何或为什么以这种方式生成摘要。因此,为了开始撬开黑匣子,并在最终摘要的实质内容中注入一定程度的控制,我们开发了一个新的选择和生成框架,专注于可解释性。通过揭示潜在的中心性和句子之间的相互作用,以及句子新颖性和相关性的分数,用户可以看到模型正在做出的选择,并有机会将这些选择引导到更理想的方向。一种新颖的成对矩阵捕获句子的相互作用,中心性和属性得分,和一个可调属性阈值的掩码允许用户控制哪些句子可能被包括在提取中。摘要器中的一个临时部署的注意力机制确保最终摘要强调所需的内容。此外,该编码器具有自适应性,支持基于Transformer和基于BERT的配置。在一系列使用ROUGE指标和两次人工评估进行评估的实验中,ESCA在CNN/DailyMail和NYT 50基准数据集上的表现优于八种最先进的模型。
2020-12-14 cs.CL
Referee: Reference-Free Sentence Summarization with Sharper Controllability through Symbolic Knowledge Distillation
Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
我们提出了Reflection,一个新的句子摘要框架,可以训练无参考(即,不需要用于监督的黄金摘要),同时允许对压缩比的直接控制。我们的工作是第一次证明,通过符号知识蒸馏的概念框架,无参考,受控的句子摘要是可行的(韦斯特等人,2022),其中预训练的语言模型中的潜在知识通过从教师模型中采样的显式示例进行提取,并使用三种类型的过滤器进行进一步纯化:长度,保真度和信息瓶颈。此外,我们独特地提出了知识的迭代蒸馏,其中来自上一次迭代蒸馏的学生模型在下一次迭代中充当教师模型。从一组相对温和的GPT 3生成的摘要开始,我们演示了迭代知识蒸馏如何导致相当小的,但更好的摘要具有更清晰的可控性。这种迭代蒸馏过程的一个有用的副产品是具有不同程度压缩比的高质量数据集。实证结果表明,最终的学生模型在压缩比的可控性方面大大优于更大的GPT 3-Instruct模型,而不会影响所得摘要的质量。
2022-10-25 cs.AI cs.CL cs.LG
Fundamental Limits of Prompt Compression: A Rate-Distortion Framework for Black-Box Language Models
UT Austin(德克萨斯大学奥斯汀分校);EPFL(洛桑联邦理工学院)
该研究形式化大语言模型提示压缩问题,提出率失真框架推导其基本极限,发现现有方法与最优策略存在差距,并提出感知查询的Adaptive QuerySelect方法缩小差距,经合成与自然语言数据集验证结论。
2024-12-11 cs.CL cs.IT cs.LG
TexShape: Information Theoretic Sentence Embedding for Language Models
Boğaziçi University(博加齐大学);Nokia Bell Labs(诺基亚贝尔实验室);University of Texas at Austin(德克萨斯大学奥斯汀分校);Massachusetts Institute of Technology (MIT)(麻省理工学院)
本文提出 TexShape,一种基于 Donsker-Varadhan 互信息估计的信息论句子嵌入方法,用于任务数据压缩及敏感信息过滤,并验证其在高压缩比下兼顾效用、隐私与公平性的效果。
2024-05-11 cs.CL cs.IT math.IT
Combining Word Embeddings and N-grams for Unsupervised Document Summarization
Raytheon BBN Technologies(雷神BBN技术公司)
基于图的抽取式文档摘要依赖于句子相似度图的质量。基于词袋或tf-idf的句子相似度使用精确的词匹配,但不能测量单个词之间的语义相似度或考虑句子的语义结构。为了提高句子之间的相似性度量,我们采用了现成的深度嵌入特征和tf-idf特征,并引入了一种新的文本相似性度量。建立了一种改进的句子相似度图,并将其用于子模块目标函数中,该子模块目标函数由加权覆盖项和差异项组成。一个基于Transformer的压缩模型被开发用于句子压缩以帮助文档摘要。我们的摘要方法是提取和无监督的。实验表明,我们的方法可以优于基于tf-idf的方法,并在DUC 04数据集上实现最先进的性能,并且与CNN/DM和NYT数据集上的完全监督学习方法的性能相当。
2020-04-25 cs.CL cs.LG stat.ML
Métodos de Otimização Combinatória Aplicados ao Problema de Compressão MultiFrases
互联网使可获得的信息量急剧增加。在这种情况下,阅读和理解这种信息流已成为代价高昂的任务。近年来,为了帮助人们理解文本数据,已经设计出基于组合优化的各种自然语言处理(NLP)应用。然而,对于多句子压缩(MSC)这种在不去除核心信息的情况下减少句子长度的方法,如何插入优化方法来提高MSC的性能还需要进一步的研究。本文介绍了一种MSC使用组合优化和图论生成更多信息的句子,同时保持其语法的方法。在40个句子集的语料库上进行的实验表明,我们的系统取得了很好的质量,优于最先进的。
2017-03-19 cs.CL
Chat as Expected: Learning to Manipulate Black-box Neural Dialogue Models
Michigan State University(密歇根州立大学)
近年来,基于神经网络的对话系统在我们日益数字化的社会中变得无处不在。然而,由于其固有的不透明性,最近提出的一些关于使用神经模型的担忧开始受到重视。事实上,有意或无意的行为都可能导致对话系统产生不适当的反应。因此,在本文中,我们研究了我们是否可以学习制作输入句子,从而导致黑盒神经对话模型被操纵,使其输出包含目标词或匹配目标句子。我们提出了一个基于强化学习的模型,可以自动生成这样的所需的输入。在一个流行的训练有素的最先进的神经对话模型上进行的大量实验表明,我们的方法可以成功地找到所需的输入,在相当大的一部分情况下,导致目标输出。因此,我们的工作揭示了神经对话模型被操纵的潜力,这激发并打开了开发策略来保护它们的大门。
2020-05-27 cs.AI cs.CL
SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models
ALTA Institute(ALTA研究所);University of Cambridge(剑桥大学)
提出SelfCheckGPT,一种基于采样的零资源黑盒方法,通过检测采样响应的一致性来识别大语言模型的幻觉,在句子级检测和段落级评估中优于灰盒基线。
2023-10-11 cs.CL
ShufText: A Simple Black Box Approach to Evaluate the Fragility of Text Classification Models
Pune Institute of Computer Technology(浦那计算机技术学院);Indian Institute of Technology Madras(印度理工学院马德拉斯分校);L3Cube Pune(L3Cube浦那)
文本分类是最基本的自然语言处理任务。它具有广泛的应用范围,从情感分析到主题分类。最近,基于CNN、LSTM和Transformers的深度学习方法已经成为文本分类的事实上的方法。在这项工作中,我们强调了与这些方法相关的一个共同问题。我们发现,这些系统过度依赖于文本中对分类有用的重要单词。在有限的训练数据和有区别的训练策略下,这些方法往往忽略句子的语义含义,而仅仅关注关键字或重要的n-gram。我们提出了一个简单的黑盒技术ShutText来呈现模型的缺点,并识别模型对关键字的过度依赖。这涉及随机打乱句子中的单词并评估分类准确性。我们看到,在常见的文本分类数据集上,洗牌的影响非常小,并且这些模型很有可能预测原始类别。我们还评估了语言模型预训练对这些模型的影响,并试图回答有关模型对域外句子的鲁棒性的问题。我们发现,基于CNN或LSTM的简单模型以及BERT等复杂模型在语法和语义理解方面都存在问题。
2021-01-30 cs.CL cs.LG