Synchronous Bidirectional Inference for Neural Sequence Generation
National Laboratory of Pattern Recognition, CASIA(中国科学院自动化研究所模式识别国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
在序列到序列生成任务(例如,机器翻译和抽象概括)中,通常以从左到右的方式执行推理,以逐个标记地产生结果。LSTM和自注意力网络等神经方法现在能够在推理过程中充分利用左侧的所有预测历史假设,但无法同时访问任何未来(右侧)信息,并且通常会生成不平衡的输出,其中左侧部分比右侧部分准确得多。在这项工作中,我们提出了一个同步的双向推理模型,同时使用从左到右和从右到左的解码和交互式生成输出。首先,我们介绍了一种新的束搜索算法,有利于同步双向解码。然后,我们提出的核心方法,使从左到右和从右到左的解码相互作用,以便在推理过程中同时利用历史和未来的预测。我们将所提出的模型应用于LSTM和自注意力网络。此外,我们提出了两种策略的参数优化。在机器翻译和摘要摘要上的大量实验表明,我们的同步双向推理模型可以在强基线上取得显着的改善。
2019-02-24 cs.CL cs.LG
Speculative Decoding: Exploiting Speculative Execution for Accelerating Seq2seq Generation
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
本文提出推测解码SpecDec,通过Spec-Drafter高效起草和Spec-Verification可靠验证,在保持生成质量的同时将Transformer解码加速约5倍,并展示了额外实用优势。
2023-10-30 cs.CL cs.LG
A Hierarchical Encoding-Decoding Scheme for Abstractive Multi-document Summarization
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);National University of Singapore(新加坡国立大学);Hupan Lab(湖畔实验室)
本文提出在编码器和解码器上施加层次结构以增强预训练语言模型处理多文档交互的能力,在10个多文档摘要基准上取得领先或具有竞争力的性能,并在Rouge-L上最高提升3分。
2023-11-01 cs.CL
Sequence Generation: From Both Sides to the Middle
University of Chinese Academy of Sciences(中国科学院大学);National Laboratory of Pattern Recognition, CASIA(中国科学院自动化研究所模式识别国家重点实验室);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心);Machine Intelligence Technology Lab, Alibaba Group(阿里巴巴集团机器智能技术实验室)
编码器-解码器框架已经实现了许多序列生成任务的前景,如神经机器翻译和文本摘要。这样的框架通常从左到右逐标记地生成序列,因此(1)当输出句子变得较长时,这种自回归解码过程是耗时的,并且(2)它缺乏未来上下文的指导,这对于避免欠翻译是至关重要的。为了缓解这些问题,我们提出了一个同步双向序列生成(SBSG)模型,预测其输出从两侧到中间同时进行。在SBSG模型中,我们使从左到右(L2 R)和从右到左(R2 L)的生成能够通过利用交互式双向注意网络来相互帮助和交互。神经机器翻译(En-De,Ch-En和En-Ro)和文本摘要任务的实验表明,与自回归Transformer相比,该模型显着加快了解码速度,同时提高了生成质量。
2019-06-23 cs.AI cs.CL cs.LG
Enhancing Factuality through Consensus and Consistency in Summarization Using Minimum Bayes Risk Decoding
Nara Institute of Science and Technology(奈良科学技术研究所);Chungnam National University(全南国立大学);Institute of Science Tokyo(东京科学研究所)
提出ConSUM方法,利用最小贝叶斯风险解码建立候选摘要间的共识,并结合与源文档的一致性指标进行重排序,以提升摘要的事实性。
2026-05-28 cs.CL
Attention Optimization for Abstractive Document Summarization
Alibaba Group(阿里巴巴集团);Nankai University(南开大学)
注意力在基于序列到序列的文档摘要模型的改进中起着关键作用。为了获得强大的注意力,帮助再现最显著的信息,避免重复,我们从局部和全局两个方面增强了香草注意力模型。我们提出了一个注意力细化单元与局部方差损失配对,以在每个解码步骤中对注意力模型进行监督,并从全局角度优化所有解码步骤的注意力分布。在CNN/Daily Mail数据集上的实验结果验证了本文方法的有效性。
2019-10-25 cs.CL
Controlling Decoding for More Abstractive Summaries with Copy-Based Networks
Stony Brook University(石溪大学);New York University(纽约大学)
基于注意力的神经抽象摘要系统配备了复制机制,显示出可喜的成果。尽管取得了这一成功,但已经注意到,这样的系统通过大部分(如果不是全部的话)从输入段落复制短语、句子以及有时多个连续的句子来生成摘要,从而有效地执行提取摘要。在本文中,我们使用最新的神经抽象摘要系统-指针生成器网络来验证这种行为。我们提出了一个简单的基线方法,使我们能够控制复制量,而无需重新训练。实验表明,该方法为抽象系统提供了一个强大的基线,希望获得高ROUGE分数,同时最大限度地减少与源文章的重叠,大大减少了与原始文章的n-gram重叠,同时保持在2点内的原始模型的ROUGE分数。
2018-03-20 cs.CL
Mutual Information Alleviates Hallucinations in Abstractive Summarization
尽管从抽象摘要模型生成的语言质量有了显著的进步,但这些模型仍然表现出幻觉的倾向,即,源文档不支持输出内容。许多作品试图解决--或者至少揭示--这个问题的根源,但收效甚微。在本文中,我们确定了一个简单的标准,根据该标准,模型在生成过程中更有可能为幻觉内容分配更多的概率:高模型不确定性。这一发现为幻觉提供了一个潜在的解释:模型默认支持边缘概率高的文本,即,当不确定是否继续时,训练集中的高频事件。它还激发了解码过程中实时干预的可能途径,以防止这种幻觉。我们提出了一种解码策略,切换到优化逐点互信息的源和目标令牌-而不是纯粹的目标令牌的概率-当模型表现出不确定性。在XSum数据集上的实验表明,我们的方法降低了幻觉令牌的概率,同时保持了最佳解码策略的Rouge和BertS分数。
2022-10-29 cs.CL
Faithfulness-Aware Decoding Strategies for Abstractive Summarization
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Amazon Alexa AI(亚马逊Alexa人工智能部门);AWS AI Labs(亚马逊云服务人工智能实验室)
尽管在理解和提高摘要忠实性方面取得了重大进展,但解码策略如何影响摘要忠实性的问题研究较少。我们提出了一个系统的研究,如束搜索和核心抽样的生成技术的影响,在摘要的忠实性。我们发现了一个一致的趋势,其中具有大波束尺寸的束搜索产生最忠实的摘要,而核采样产生最不忠实的摘要。我们提出了两种忠实性感知的生成方法,以进一步提高忠实性比当前的生成技术:(1)排名的候选人产生的束搜索使用自动忠实性指标和(2)纳入前瞻性分析,产生一个忠实性分数的未来摘要。我们表明,这两种生成方法显着提高了两个数据集的忠实性,由四个自动忠实性指标和人类评价。为了减少计算成本,我们展示了一个简单的蒸馏方法,允许模型生成忠实的摘要,只需贪心解码。我们的代码可在https://github.com/amazon-science/faithful-summarization-generation上公开获取
2023-03-06 cs.AI cs.CL cs.LG
Context-aware Decoding Reduces Hallucination in Query-focused Summarization
University of Utah(犹他大学)
本文提出上下文感知解码方法,通过减少查询导向摘要中的幻觉并保留词法模式匹配度,提升生成质量。
2026-01-05 cs.CL cs.IR
Fast Interleaved Bidirectional Sequence Generation
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);ILLC, University of Amsterdam(阿姆斯特丹大学语言、逻辑与计算研究所(ILLC));Department of Computational Linguistics, University of Zurich(苏黎世大学计算语言学系)
序列生成过程中的独立性假设可以加快推理速度,但高度相互依赖的令牌的并行生成是以质量为代价的。而不是假设相邻的令牌之间的独立性(半自回归解码,SA),我们从双向序列生成的灵感,并引入一个解码器,从左到右和从右到左的方向同时生成目标字。我们表明,我们可以很容易地转换成一个双向解码器的单向解码的标准架构,通过简单地交织的两个方向和适应字的位置和自我注意力的面具。我们的交织双向解码器(IBDecoder)保留了标准Transformer的模型简单性和训练效率,在五个机器翻译任务和两个文档摘要任务上,与质量相当的自回归解码相比,实现了约2倍的解码加速。值得注意的是,它优于从左到右的SA,因为IBDecoder中的独立性假设更恰当。为了实现更高的加速比,我们探索混合模型,在该模型中,我们可以同时预测每个方向的多个相邻令牌,或者通过分割目标序列来执行多方向解码。这些方法在不同的任务上实现了4 - 11倍的加速,成本<1 BLEU或<0.5 ROUGE(平均)。源代码发布于https://github.com/bzhangGo/zero。
2020-10-27 cs.CL cs.LG
On Faithfulness and Factuality in Abstractive Summarization
Google Research(谷歌研究院)
众所周知,神经文本生成模型中的标准似然训练和近似解码目标导致对语言建模和故事生成等开放式任务的响应不太像人类。在本文中,我们分析了这些模型的局限性,抽象的文档摘要,发现这些模型是非常容易产生幻觉的内容是不忠实的输入文档。我们对几种神经抽象摘要系统进行了大规模的人类评估,以更好地了解它们产生的幻觉类型。我们的人类注释者在所有模型生成的摘要中发现了大量的幻觉内容。然而,我们的分析确实表明,预训练模型不仅在原始指标方面,即,ROUGE,但也在生成由人类评估的忠实和事实的总结。此外,我们表明,文本蕴涵措施更好地与忠诚度比标准的指标,潜在的自动评估指标以及训练和解码标准的方式。
2020-05-02 cs.CL
Focus Attention: Promoting Faithfulness and Diversity in Summarization
University of Copenhagen(哥本哈根大学);Google Research(谷歌研究院);ASAPP
专业摘要是根据文档级别的信息编写的,例如文档的主题。这与大多数seq2seq解码器形成对比,大多数seq2seq解码器在每个解码步骤中同时学习关注突出内容,同时决定生成什么。为了缩小这一差距,我们引入了焦点注意力机制,这是一种简单而有效的方法,可以鼓励解码器主动生成与输入文档相似或主题的令牌。此外,我们提出了一个焦点采样方法,使不同的摘要,目前在总结研究的一个领域的生成。当在BBC极端摘要任务上进行评估时,两个最先进的模型与Focus Attention增强后生成的摘要更接近目标,更忠实于其输入文档,在\rouge和多个忠实度指标上优于其普通模型。我们还实证表明,焦点采样是更有效地产生多样化和忠实的摘要比顶部$k$或核采样为基础的解码方法。
2021-05-25 cs.CL
BLooP: Zero-Shot Abstractive Summarization using Large Language Models with Bigram Lookahead Promotion
BLooP通过双元前瞻促进技术,在无需训练的情况下提升大语言模型生成摘要的准确性和忠实度。
2026-03-12 cs.CL
Constrained Abstractive Summarization: Preserving Factual Consistency with Constrained Generation
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Southern California(南加州大学)
尽管取得了重大进展,但最先进的抽象摘要方法仍然容易产生与源文档不一致的幻觉内容。在本文中,我们提出了约束抽象摘要(CAS),一个一般的设置,保持事实的一致性,抽象摘要,通过指定令牌的约束,必须存在于摘要。我们采用词汇约束解码,一种通常适用于自回归生成模型的技术,以实现CAS,并在两种情况下进行实验:(1)自动摘要没有人类参与,其中关键词从源文档中提取并用作约束;(2)人工指导的交互式摘要,其中人工反馈的形式手动约束用于指导摘要生成。两个基准数据集上的自动和人工评估表明,CAS提高了抽象摘要的词汇重叠(ROUGE)和事实一致性。特别是,我们观察到高达13.8 ROUGE-2增益时,只有一个手动约束用于交互式摘要。
2021-12-16 cs.CL
Abstractive Summarization as Augmentation for Document-Level Event Detection
University of Zagreb, Faculty of Electrical Engineering and Computing(萨格勒布大学电气工程与计算学院)
本文提出用BART零样本抽象式摘要对DocEE低资源类别进行数据增强,并结合文档标题输入,在文档级事件检测中提升线性SVM和RoBERTa的分类性能。
2023-05-29 cs.CL
Computationally Efficient NER Taggers with Combined Embeddings and Constrained Decoding
命名实体识别(NER)中的当前最先进的模型是具有条件随机场(CRF)作为最终网络层的神经模型,以及预训练的“上下文嵌入“。CRF层用于促进标签之间的全局一致性,并且上下文嵌入提供上下文中的单词的更好表示。然而,这两种改进都需要很高的计算成本。在这项工作中,我们探索了两种简单的技术,大大提高了NER的性能在一个强大的基线可以忽略不计的成本。首先,我们通过连接使用多个预先训练的嵌入作为单词表示。其次,我们在解码过程中约束使用交叉熵损失训练的标记器,以消除非法转换。当在CoNLL 2003上训练一个标记器时,我们发现在不牺牲强大性能的情况下,基于上下文嵌入的标记器的速度提高了$786$ \%。我们还表明,串联技术适用于多个任务和数据集。我们分析了预训练嵌入之间的相似性和覆盖率以及标签共现的动态性,以解释这些技术的工作原理。我们在三个流行的深度学习框架-- TensorFlow、Pytorch和DyNet中使用这些技术提供了标记器的开源实现。
2021-03-24 cs.CL
CUED at ProbSum 2023: Hierarchical Ensemble of Summarization Models
ALTA Institute(ALTA研究所);University of Cambridge(剑桥大学)
针对有限数据下医疗病程记录摘要生成问题,提出由多微调Clinical-T5词元级集成加MBR解码的HESM方法,在BioNLP 2023共享任务1A中取得ROUGE-L 32.77的榜首成绩。
2023-06-08 cs.CL
Adding Connectionist Temporal Summarization into Conformer to Improve Its Decoder Efficiency For Speech Recognition
Ping An Technology(平安科技)
Conformer模型是一种优秀的语音识别建模体系结构,它有效地利用了连接主义时间分类(CTC)的混合损失和对训练模型参数的关注。为了提高解码效率的构象,我们提出了一种新的连接主义的时间摘要(CTS)的方法,减少了所需的帧的数量的注意解码器从由编码器产生的声学序列,从而减少操作。然而,为了实现这种解码改进,我们必须微调模型参数,因为交叉注意观察会发生变化,因此需要相应的改进。我们的最终实验表明,在波束宽度为4的情况下,LibriSpeech的解码预算可以减少多达20%,对于FluentSpeech数据,可以减少11%,而不会损失ASR的准确性。LibriSpeech“test-other”集的准确性甚至有所提高。字出错率(WER)在波束宽度为1时相对降低6%,在波束宽度为4时相对降低3%。
2022-04-08 cs.CL cs.SD eess.AS
Multi-Document Scientific Summarization from a Knowledge Graph-Centric View
National University of Defense Technology(国防科技大学)
多文档科学摘要(MDSS)旨在为主题相关的科学论文集群生成连贯和简洁的摘要。这项任务需要精确理解论文内容并准确建模跨论文关系。知识图谱为文档传递了紧凑且可解释的结构化信息,这使它们成为内容建模和关系建模的理想选择。在本文中,我们提出了KGSum,MDSS模型在编码和解码过程中的知识图谱为中心。具体而言,在编码过程中,提出了两个基于图的模块,将知识图谱信息融入到论文编码中;在解码过程中,提出了两级解码器,首先生成以描述性语句形式表示的摘要的知识图谱信息,然后生成最终摘要。实证结果表明,与Multi-Xscience数据集的基线相比,拟议的架构带来了实质性改进。
2022-09-09 cs.AI cs.CL
Beyond Error Propagation in Neural Machine Translation: Characteristics of Language Also Matter
Sun Yat-sen University(中山大学);Microsoft Research(微软研究院);Peking University(北京大学)
神经机器翻译通常采用自回归模型,并遭受曝光偏差以及随之而来的错误传播问题。许多先前的工作已经讨论了误差传播和\emph{accuracy drop}之间的关系(即,在从左到右解码模型中,翻译句子的左部分通常比其右部分好)问题。在本文中,我们进行了一系列的分析,以深入了解这个问题,并得到了一些有趣的发现。(1)误差传播对精度下降的作用在文献中被夸大了,尽管它确实有助于精度下降问题。(2)语言的特征在导致准确性下降方面起着更重要的作用:翻译的左部分导致右分支语言(例如,英语)更可能比其右部分更准确,而右部分对于左分支语言(例如,日语)。我们的发现在不同的模型结构上得到了证实,包括Transformer和RNN,以及其他序列生成任务,如文本摘要。
2018-09-11 cs.CL
Leveraging Locality in Abstractive Text Summarization
Yale University(耶鲁大学);Microsoft Research(微软研究院)
神经注意力模型在许多自然语言处理任务上取得了显著的进步。然而,自注意模块相对于输入长度的二次记忆复杂度阻碍了它们在长文本摘要中的应用。而不是设计更有效的注意力模块,我们通过调查,如果模型与一个受限制的上下文可以有竞争力的性能相比,内存效率的注意力模型,保持一个全球范围内的输入作为一个单一的序列来解决这个问题。我们的模型被应用到单独的页面,其中包含部分输入分组的原则,在编码和解码过程中的局部性。我们实证研究了三种不同粒度的文本摘要的局部性,从句子到文档。我们的实验结果表明,我们的模型具有更好的性能与强大的基线与有效的注意力模块相比,我们的分析提供了进一步的见解,我们的位置感知建模策略。
2022-10-31 cs.CL
DYLE: Dynamic Latent Extraction for Abstractive Long-Input Summarization
Yale University(耶鲁大学);Carnegie Mellon University(卡内基梅隆大学);Penn State University(宾夕法尼亚州立大学);The University of Hong Kong(香港大学);Microsoft Research(微软研究院)
基于transformer的模型在短输入摘要方面已经达到了最先进的性能。然而,他们仍然在努力总结较长的文本。在本文中,我们提出了DYLE,一种新的动态潜在提取方法的抽象长输入摘要。DYLE联合训练提取器和生成器,并将提取的文本片段视为潜在变量,允许在解码期间动态片段级注意力权重。为了提供足够的监督,我们提出了简单而有效的Oracle提取算法以及一致性损失项,它鼓励提取器近似生成器预测的平均动态权重。我们在不同的长文档和长对话摘要任务上评估了我们的方法:GovReport,QMSum和arXiv。实验结果表明,DYLE在GovReport和QMSum上的性能优于所有现有方法,增益高达6.1 ROUGE,而在arXiv上则获得了很好的结果。进一步的分析表明,所提出的动态权重提供了我们的生成过程的可解释性。
2022-04-24 cs.CL
Efficient Summarization with Read-Again and Copy Mechanism
Tsinghua University(清华大学);University of Toronto(多伦多大学)
编码器-解码器模型已被广泛用于解决序列到序列预测任务。然而,目前的方法有两个缺点。首先,编码器计算每个单词的表示,只考虑到到目前为止已经读取的单词的历史,产生次优表示。第二,当前的解码器利用大的词汇表,以便最小化未知词的问题,导致解码时间慢。在本文中,我们解决这两个缺点。为了实现这个目标,我们首先引入一个简单的机制,在提交每个单词的表示之前,首先读取输入序列。此外,我们提出了一个简单的复制机制,能够利用非常小的词汇表和处理词汇表外的话。我们证明了我们的方法在Gigaword数据集和DUC竞争中的有效性,优于最先进的技术。
2016-11-10 cs.CL
Lexicon-constrained Copying Network for Chinese Abstractive Summarization
College of Computer Science and Electronic Engineering, Hunan University(湖南大学信息科学与工程学院);National Supercomputing Center in Changsha(国家超级计算长沙中心);Department of Industrial Engineering, International Ataturk Alatoo University(国际阿塔图尔克-阿拉图大学工业工程系)
复制机制允许序列到序列模型从输入中选择单词并将它们直接放入输出中,这在抽象摘要中得到越来越多的使用。然而,由于中文句子中没有显式的重复,现有的中文摘要生成模型大多只能进行字符复制,效率低下。为了解决这个问题,我们提出了一个字典约束的复制网络模型的多粒度的编码器和解码器。在源端,使用基于Transformerbased的编码器将单词和字符聚合到同一输入内存中。在目标端,解码器可以在每个时间步复制一个字符或多字符单词,并且解码过程由单词增强搜索算法指导,该算法有利于并行计算并鼓励模型复制更多单词。此外,我们采用词选择器来整合关键字信息。在中文社交媒体数据集上的实验结果表明,我们的模型可以独立工作,也可以与单词选择器一起工作。这两种形式都可以优于以前的基于字符的模型,并实现有竞争力的性能。
2021-12-21 cs.CL
Convex Aggregation for Opinion Summarization
Megagon Labs(Megagon实验室);University of Edinburgh(爱丁堡大学);Facebook AI
文本自动编码器的最新进展显着提高了潜在空间的质量,使模型能够从聚合的潜在向量生成语法和一致的文本。作为这一特性的成功应用,无监督意见摘要模型通过对输入的聚合特征向量进行解码来生成摘要。更具体地说,它们通过简单平均来执行聚合。然而,很少有人知道矢量聚合步骤如何影响生成质量。在这项研究中,我们通过检查潜在空间和生成摘要来重新审视常用的简单平均方法。我们发现,文本自动编码器倾向于从简单平均的潜在向量生成过度通用的摘要,这是由于聚合潜在向量中的意外$L_2$范数收缩,我们称之为摘要向量退化。为了克服这个问题,我们开发了一个框架Coop,它使用输入输出字重叠搜索输入组合的潜在向量聚合。实验结果表明,Coop成功地解决了摘要向量退化问题,并在两个意见摘要基准上建立了新的最先进的性能。代码可在\url{https://github.com/megagonlabs/coop}上获得。
2021-11-16 cs.CL
Hallucinate at the Last in Long Response Generation: A Case Study on Long Document Summarization
Department of Artificial Intelligence, Chung-Ang University(人工智能系, Chung-Ang 大学);Adobe Research, USA(Adobe 研究,美国)
本文研究了大型语言模型在长响应生成中幻觉集中在后部的现象,并提出方法以提高长输出结尾的忠实性。
2026-01-13 cs.CL
Analysis of GraphSum's Attention Weights to Improve the Explainability of Multi-Document Summarization
Ulm University(乌尔姆大学)
现代多文档摘要(MDS)方法是基于Transformer架构的。它们生成了最先进的摘要,但缺乏可解释性。我们专注于基于图的Transformer模型的MDS,因为他们最近获得的普及。我们的目标是提高基于图的MDS的可解释性,通过分析他们的注意力权重。在基于图的MDS(如GraphSum)中,顶点表示文本单元,而边在单元上形成一些相似性图。我们比较GraphSum的性能,利用不同的文本单位,即。例如,句子与段落,在两个新闻基准数据集上,即WikiSum和MultiNews。我们的实验表明,段落级表示提供了最好的摘要性能。因此,我们随后集中oAnalysisn分析GraphSum的多头和解码层的段落级注意力权重,以提高基于transformer的MDS模型的可解释性。作为一个参考指标,我们计算的ROUGE分数之间的输入段落和每个句子在生成的摘要,这表明通过文本相似性的来源信息。我们观察到注意力权重和该参考度量之间的高度相关性,特别是在Transformer架构的后面的解码层上。最后,我们调查所生成的摘要是否遵循一种模式的位置偏差提取的段落提供了最多的信息,为每个生成的摘要。我们的研究结果表明,摘要中的位置和来源之间有很高的相关性。
2022-12-06 cs.CL cs.LG
Parallel Hierarchical Transformer with Attention Alignment for Abstractive Multi-Document Summarization
与单文档摘要相比,抽象的多文档摘要(MDS)在表示和覆盖其冗长和链接的源方面带来了挑战。本研究开发了一种用于MDS的注意对齐的并行分层Transformer(PHT)。通过结合单词级和段落级的多头注意力,PHT的分层架构允许在标记和文档级更好地处理依赖关系。为了引导解码更好地覆盖源文档,然后引入注意力对齐机制来用预测的最佳注意力分布校准束搜索。基于WikiSum数据,进行了全面的评估,以测试所提出的架构对MDS的改进。通过更好地处理内部和跨文档信息,ROUGE和人工评估的结果表明,我们的分层模型以相对较低的计算成本生成了相对于其他基于Transformer的基线质量更高的摘要。
2022-08-16 cs.AI cs.CL
A Call for Clarity in Beam Search: How It Works and When It Stops
Toyota Technological Institute at Chicago(芝加哥丰田工业大学);Tohoku University(东北大学);RIKEN(日本理化学研究所);Allen Institute for AI(艾伦人工智能研究院);Yale University(耶鲁大学);University of Washington(华盛顿大学)
本文揭示常用 beam decoding 的先到先得停止机制,提出仅改一行代码的 patience factor,以可忽略开销提升摘要与翻译性能,并呼吁明确实现细节。
2024-02-28 cs.CL
Calibrating Sequence likelihood Improves Conditional Language Generation
Google Research(谷歌研究院)
条件语言模型主要用最大似然估计(MLE)进行训练,为稀疏观察的目标序列提供概率质量。虽然MLE训练的模型在给定上下文的情况下将高概率分配给似然序列,但模型概率通常不能准确地按质量对生成的序列进行排序。这已经在束搜索解码中根据经验观察到,输出质量随着大的束尺寸而降级,并且解码策略受益于诸如长度归一化和重复分块之类的简化。在这项工作中,我们引入序列似然校准(SLiC),其中校准模型生成序列的似然,以更好地与模型潜在空间中的参考序列对齐。利用SLiC,解码算法变得不必要,并且无论解码方法如何,解码候选的质量都显著提高。此外,SLiC没有显示出随着模型规模而减少收益的迹象,并提供了在有限的训练和推理预算下提高质量的替代方法。使用SLiC,我们在广泛的生成任务上超过或匹配SOTA结果,包括抽象摘要,问题生成,抽象问答和数据到文本生成,即使是中等规模的模型。
2022-09-30 cs.CL
Discrete Diffusion Language Model for Efficient Text Summarization
VinUniversity(维恩大学);Nanyang Technological University(南洋理工大学)
本文针对离散扩散模型在长文本摘要任务中的不足,提出语义感知加噪过程和CrossMamba架构,在三个摘要基准上取得最优ROUGE成绩并实现快速推理。
2025-03-10 cs.CL cs.LG
SummaReranker: A Multi-Task Mixture-of-Experts Re-ranking Framework for Abstractive Summarization
Nanyang Technological University(南洋理工大学);Salesforce Research Asia(Salesforce亚洲研究院)
本文提出多任务专家混合重排序框架 SummaReranker,对摘要候选进行二阶段选择,在 CNN-DailyMail、XSum 和 Reddit TIFU 上显著提升 PEGASUS 的 ROUGE 分数并达到新最优。
2023-05-26 cs.CL
Learning Syntactic and Dynamic Selective Encoding for Document Summarization
AI Labs - Didi Chuxing Co., Ltd.(滴滴出行有限公司AI实验室);Beijing, China(中国北京(注:此处为地址信息,按要求不应提取,原回答有误,正确应为仅保留AI Labs - Didi Chuxing Co., Ltd.))
摘要的目的是生成一个标题或一个简短的摘要组成的主要信息的源文本。最近的研究采用序列到序列的框架,用神经网络对输入进行编码,并生成抽象摘要。然而,大多数的研究都是以语义词嵌入的方式提供给编码器,而忽略了文本的句法信息。此外,虽然先前的研究提出了选择性门来控制从编码器到解码器的信息流,但它在解码期间是静态的,并且不能基于解码器状态来区分信息。在本文中,我们提出了一种新的神经结构的文档摘要。我们的方法有以下贡献:第一,我们将句法信息,如选区解析树到编码序列中学习的语义和句法信息的文件,从而更准确的摘要;第二,我们提出了一个动态门网络来选择显着的信息的基础上的上下文的解码器状态,这是必不可少的文档摘要。在CNN/Daily Mail摘要数据集上对所提出的模型进行了测试,实验结果表明,所提出的方法优于基线方法。
2020-03-25 cs.CL cs.LG
Think Big, Generate Quick: LLM-to-SLM for Fast Autoregressive Decoding
Hasso Plattner Institute for Digital Engineering, University of Potsdam(波茨坦大学哈索·普拉特纳数字工程研究所);Qualcomm AI Research(高通人工智能研究);University of Amsterdam(阿姆斯特丹大学)
提出LLM-to-SLM混合解码方法,利用冻结大模型并行编码提示,引导小模型高效生成,在多个基准上实现高达4倍加速,性能损失仅1-2%。
2024-07-17 cs.AI cs.CL cs.LG
Discriminative Adversarial Search for Abstractive Summarization
reciTAL;Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);LIP6(LIP6实验室)
我们介绍了一种新的序列解码方法,判别式对抗搜索(DAS),它具有理想的性能,减轻曝光偏差的影响,而不需要外部指标。受生成对抗网络(GANs)的启发,其中一个迭代器用于改进生成器,我们的方法与GANs的不同之处在于,生成器参数在训练时不更新,迭代器仅用于在推理时驱动序列生成。我们研究了所提出的方法在抽象摘要任务上的有效性:获得的结果表明,DAS的天真应用程序比最先进的方法有所改进,通过重复训练获得了进一步的收益。此外,我们展示了DAS如何有效地进行跨领域自适应。最后,报告的所有结果都是在没有额外的基于规则的过滤策略的情况下获得的,这些策略通常由可用的最佳性能系统使用:这表明可以有效地部署DAS,而无需依赖对生成的输出进行事后修改。
2020-08-30 cs.CL cs.LG
CertMark: Distortion-Free Multi-Bit Watermarking with Certified Decoding
CertMark是一种无失真多比特水印方法,通过Gumbel-max采样保持分布,并提供带认证弃权(不执行)的解码器,在保证文本质量的同时可靠恢复消息,且模型感知解码器比特准确率更高。
2026-09-29 cs.CL
Neural Abstractive Text Summarization with Sequence-to-Sequence Models
Virginia Tech(弗吉尼亚理工大学)
在过去的几年里,使用序列到序列(seq 2seq)模型的神经抽象文本摘要已经非常流行。已经提出了许多有趣的技术来改进seq 2seq模型,使它们能够处理不同的挑战,例如显着性,流畅性和人类可读性,并生成高质量的摘要。一般来说,这些技术中的大多数在这三类中的一个方面有所不同:网络结构,参数推断和解码/生成。还有其他问题,例如训练模型的效率和并行性。在本文中,我们提供了一个全面的文献调查不同seq 2seq模型的抽象文本摘要的网络结构,训练策略和摘要生成算法的观点。最初提出的几种模型用于语言建模和生成任务,如机器翻译,后来应用于抽象文本摘要。因此,我们也对这些模型进行了简要的回顾。作为这项调查的一部分,我们还开发了一个开源库,即神经抽象文本摘要(NATS)工具包,用于抽象文本摘要。在广泛使用的CNN/Daily Mail数据集上进行了一组广泛的实验,以检查几个不同的神经网络组件的有效性。最后,我们在最近发布的两个数据集上对NATS中实现的两个模型进行了基准测试,即Newsroom和Bytecup。
2020-09-18 cs.CL cs.LG stat.ML
Efficient Encoder-Decoder Transformer Decoding for Decomposable Tasks
University of Washington(华盛顿大学);Microsoft Research(微软研究院);Allen Institute for AI(艾伦人工智能研究所)
本文提出一种名为 PiD 的编码器-解码器模型新配置,通过一次编码输入并并行解码多个输出,显著提升了可分解任务的训练与推理效率,在多项任务中实现高达4.6倍加速且性能相当或更优。
2024-11-16 cs.CL
A Lightweight Constrained Generation Alternative for Query-focused Summarization
University of Utah(犹他大学);Dataminr, Inc.(Dataminr公司)
本文提出基于NLD的轻量级约束生成QFS方法,利用梯度归因构建词汇约束并直接调整词汇似然,无需额外参数或微调,在两个公开集合上接近最先进性能。
2023-04-23 cs.CL cs.IR
Leveraging Generative Models for Real-Time Query-Driven Text Summarization in Large-Scale Web Search
Baidu Inc.(百度公司);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
本文提出融合蒸馏、监督微调、偏好优化与前瞻解码的生成式 QDTS 框架,使 0.1B 模型超越生产基线并实现低延迟大规模部署。
2025-08-28 cs.CL cs.IR
SpecExtend: A Drop-in Enhancement for Speculative Decoding of Long Sequences
Seoul National University(首尔国立大学)
SpecExtend通过集成高效注意力机制和Cross-model Retrieval策略,提升长序列推测解码效率,加速文档摘要和推理任务。
2026-01-19 cs.AI cs.CL cs.LG
Accelerating LLM Inference with Lossless Speculative Decoding Algorithms for Heterogeneous Vocabularies
Weizmann Institute of Science(魏茨曼科学研究所);Intel Labs(英特尔实验室)
针对现有推测解码方法需起草与目标大模型共享词汇表的局限,提出三种无损异构词汇表推测解码算法,无需额外训练即可用现成模型,实现最高2.8倍推理加速,拓宽了该框架的适用范围。
2025-06-11 cs.AI cs.CL cs.LG
Online Segment to Segment Neural Transduction
University of Oxford(牛津大学);DeepMind
我们引入了一个在线神经序列到序列模型,该模型学习在读取输入时在编码和解码段之间交替。通过独立地跟踪编码和解码表示,我们的算法允许在训练期间对潜在分割进行精确的多项式边缘化,并且在解码期间采用束搜索来找到最佳对齐路径以及预测的输出序列。我们的模型解决了香草编码器-解码器的瓶颈,即在产生任何输出之前,必须读取和记忆固定长度隐藏状态中的整个输入序列。它是不同于以前的注意力模型,而不是把注意力权重作为一个确定性函数的输出,我们的模型将注意力权重分配给一个连续的潜在变量,可以被边缘化,并允许在线生成。摘要句子摘要和形态变化的实验显示出显着的性能增益的基线编码器-解码器。
2016-09-26 cs.AI cs.CL cs.NE
Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding
University of Oxford(牛津大学);Peking University(北京大学);Yale University(耶鲁大学);Tencent AI Lab(腾讯人工智能实验室)
在序列到序列学习中,例如,在自然语言生成中,解码器依赖于注意力机制来有效地从编码器提取信息。虽然通常的做法是仅从最后一个编码器层提取信息,但最近的工作提出了使用来自不同编码器层的表示来获得不同级别的信息。尽管如此,解码器仍然仅获得源序列的单个视图,这可能由于层级绕过问题而导致编码器层堆栈的训练不足。在这项工作中,我们提出逐层多视图解码,其中对于每个解码器层,连同来自最后一个编码器层的表示,其作为全局视图,来自其他编码器层的表示被补充用于源序列的立体视图。系统的实验和分析表明,我们成功地解决了层次结构绕过问题,几乎可以忽略不计的参数增加,并大大提高了序列到序列学习的性能与五个不同的任务,即,机器翻译、抽象概括、图像描述、视频描述、医疗报告生成和释义生成。特别是,我们的方法在10个基准数据集上取得了新的最先进的结果,包括一个低资源的机器翻译数据集和两个低资源的医疗报告生成数据集。
2022-08-29 cs.CL cs.LG
Monotonic Chunkwise Attention
Google Brain(谷歌大脑);Mountain View, CA, 94043, USA(美国加利福尼亚州山景城,邮编94043(注:此地址为机构所在位置,非机构本身,按提取规则应忽略,原文本中明确机构为Google Brain))
具有软注意力的序列到序列模型已经成功地应用于各种各样的问题,但是它们的解码过程会产生二次的时间和空间代价,并且不适用于实时序列转换。为了解决这些问题,我们提出了单调分块注意力(MoChA),它自适应地将输入序列分割成小块,在小块上计算软注意力。我们表明,利用MoChA的模型可以有效地训练标准的反向传播,同时允许在线和线性时间解码在测试时。当应用于在线语音识别,我们获得了国家的最先进的结果,并匹配使用离线软注意力机制的模型的性能。在文档摘要实验中,我们不期望单调对齐,我们表现出显着改善的性能相比,基线单调注意力为基础的模型。
2018-02-23 cs.CL stat.ML
Felix: Flexible Text Editing Through Tagging and Insertion
University of Edinburgh(爱丁堡大学);Google Research(谷歌研究院)
我们提出了Felix -一种灵活的文本编辑生成方法,旨在从双向上下文解码和自我监督预训练的想法中获得最大利益。与传统的序列到序列(seq 2seq)模型相比,Felix在低资源设置中是高效的,并且在推理时间上是快速的,同时能够对灵活的输入输出转换进行建模。我们通过将文本编辑任务分解为两个子任务来实现这一点:标记以决定输入标记的子集及其在输出文本中的顺序,插入以填充输入中不存在的输出中缺少的标记。标记模型采用了一种新的指针机制,而插入模型是基于一个掩蔽的语言模型。这两个模型都被选择为非自回归,以保证更快的推理。与最近的文本编辑方法和强大的seq 2seq基线相比,Felix在四个NLG任务上表现良好:句子融合,机器翻译自动后期编辑,摘要和文本简化。
2020-03-24 cs.CL
PLD+: Accelerating LLM inference by leveraging Language Model Artifacts
Adobe Research(奥多比研究院)
提出 PLD+ 免调优推理加速算法,利用输入输出重叠及推理产生的注意力与隐藏状态,在五类输入引导任务上超过免调优方法,并在四项任务中优于 EAGLE。
2024-12-02 cs.AI cs.CL
REFRAG: Rethinking RAG based Decoding
Meta Superintelligence Labs(Meta超智能实验室);National University of Singapore(新加坡国立大学);Rice University(Rice大学)
提出高效解码框架 REFRAG,利用 RAG 上下文的稀疏性进行压缩与扩展,在无精度损失下实现 30.85 倍首字加速并将上下文扩展 16 倍。
2025-10-12 cs.AI cs.CL cs.LG
Chunk, Align, Select: A Simple Long-sequence Processing Method for Transformers
Tencent AI Lab(腾讯AI实验室);Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学)
本文提出一种分块、对齐、选择的简单长序列处理方法,通过块间信息对齐和强化学习驱动的隐藏状态选择策略,使预训练 Transformer 以线性复杂度处理长序列,并在长文本摘要和阅读理解任务上取得有效提升。
2024-07-05 cs.AI cs.CL