InstructPTS: Instruction-Tuning LLMs for Product Title Summarization
Amazon.com, Inc.(亚马逊公司)
本文提出InstructPTS,一种基于指令微调LLMs的商品标题摘要方法,通过新颖的指令微调策略实现可控摘要,在真实电商数据上相比简单微调显著提升了准确率。
2023-10-25 cs.AI cs.CL
Enhanced Seq2Seq Autoencoder via Contrastive Learning for Abstractive Text Summarization
University of Delaware(特拉华大学);University of Maryland, College Park(马里兰大学帕克分校);Tongji University(同济大学);Tezign(特赞)
在本文中,我们提出了一个去噪序列到序列(seq2seq)自动编码器通过对比学习的抽象文本摘要。我们的模型采用了一个标准的transformer为基础的架构与多层双向编码器和自回归解码器。为了增强其去噪能力,我们将自监督对比学习与各种文档级文档增强相结合。这两个组件seq2seq autoencoder和对比学习通过微调进行联合训练,从而提高了文本摘要在ROUGE分数和人工评估方面的性能。我们在两个数据集上进行了实验,并证明我们的模型优于许多现有的基准测试,甚至达到了与使用更复杂的架构和广泛的计算资源训练的最先进的抽象系统相当的性能。
2021-08-26 cs.CL
UMB@PerAnsSumm 2025: Enhancing Perspective-Aware Summarization with Prompt Optimization and Supervised Fine-Tuning
Department of Computer Science, University of Massachusetts Boston(计算机科学系,马萨诸塞大学波士顿分校)
UMB@PerAnsSumm 2025通过提示优化和监督微调提升视角感知摘要质量,结合关键词和引导信息优化摘要生成过程。
2025-03-14 cs.AI cs.CL
Domain-Oriented Prefix-Tuning: Towards Efficient and Generalizable Fine-tuning for Zero-Shot Dialogue Summarization
Beijing University of Posts and Telecommunications(北京邮电大学);Meituan Group(美团集团)
目前最先进的抽象对话摘要器缺乏对新领域的泛化能力,摘要中的领域自适应研究一般依赖于大规模的预训练。为探索对话摘要领域自适应的轻量级微调方法,提出了一种高效、可推广的面向领域前缀调整模型。该模型利用领域词初始化前缀模块缓解领域纠缠,采用离散提示引导模型聚焦对话关键内容,增强模型泛化能力。我们进行了zero-shot实验,并在两个多领域对话摘要数据集TODSum和QMSum上建立了领域自适应基准。大量的实验和定性分析证明了本文方法的有效性。
2022-04-09 cs.CL
Searching for Effective Multilingual Fine-Tuning Methods: A Case Study in Summarization
Carnegie Mellon University(卡内基梅隆大学);Inspired Cognition
最近,已经提出了大量的调优策略,以使预训练的语言模型适应下游任务。在本文中,我们进行了广泛的实证评估的各种调整策略的多语言学习,特别是在文本摘要的背景下。具体来说,我们探讨了三个家庭的多语言调整策略(共五种模式)的相对优势,并实证评估他们总结超过45种语言。在实验上,我们不仅在XL-Sum数据集上建立了一个新的最先进的模型,而且还得到了一系列的观察结果,希望这些观察结果可以为未来设计多语言调优策略的研究提供线索。
2022-12-12 cs.CL
Improving Automatic Summarization of Radiology Reports through Mid-Training of Large Language Models
University of Florida(佛罗里达大学);Department of Health Outcomes and Biomedical Informatics(健康结果与生物医学信息学系);Department of Engineering Education(工程教育系)
本文提出在大语言模型中段训练的方法,通过三种策略提升放射报告摘要效果,实验表明GatorTronT5-Radio在文本和事实性指标上表现最佳,且在少样本学习中表现更优。
2026-04-10 cs.AI cs.CL
Latent Prompt Tuning for Text Summarization
The Hong Kong Polytechnic University(香港理工大学);Microsoft(微软);Microsoft Research Asia(微软亚洲研究院)
具有不同控制信号的开关(例如,长度、关键字等)可用于控制文本摘要。当控制信号可用时,它们可以控制生成的摘要的属性,并潜在地提高摘要质量(因为给出了更多信息)。不幸的是,控制信号在推断时间期间还不可用。在本文中,我们提出了莲花(简写为潜在的提示微调的总结),这是一个单一的模型,可以应用于控制和非控制(无控制信号)模式。在训练过程中,Lotus使用对比学习目标从具有黄金控制信号的提示中学习潜在的提示表示。实验表明,Lotus在不受控制的模式下在四个不同的摘要数据集上一致地改进了强(不可控)摘要模型。我们还演示了生成的摘要可以使用用户指定的控制令牌的提示进行控制。
2022-12-19 cs.CL
PSP: Pre-trained Soft Prompts for Few-Shot Abstractive Summarization
Beijing Institute of Technology(北京理工大学)
Few-Shot摘要摘要是自然语言生成中的一个具有挑战性的课题。为了支持它,我们设计了一个新的软提示架构,加上一个快速的预训练加微调范式,这是有效的,只调整非常轻的参数。软提示包括跨编码器和解码器的连续输入嵌入,以适应生成模型的结构。重要的是,一个新的内部提示放置在文本中引入捕获文档级的信息。其目的是将注意力放在理解文档上,从而更好地提示模型生成与文档相关的内容。摘要过程的第一步是使用自监督伪数据进行快速预训练。这将教授模型基本的汇总功能。然后使用Few-Shot示例对模型进行微调。在CNN/DailyMail和XSum数据集上的实验结果表明,我们的方法,只有0.1%的参数,优于全模型调整,其中所有的模型参数进行了调整。它还大幅超越了提示微调,并以3%的参数提供了与Prefix-Tuning竞争的结果。
2022-10-04 cs.AI cs.CL
Leveraging the Power of LLMs: A Fine-Tuning Approach for High-Quality Aspect-Based Summarization
Computer Science and Engineering Department, IIT Kharagpur(印度理工学院卡拉格普尔分校计算机科学与工程系);Emergence AI(Emergence AI公司)
本文研究通过微调Llama2、Mistral、Gemma和Aya等开源大语言模型来提升方面级摘要质量,并建立评估框架验证其优于现有方法和未微调模型。
2024-08-05 cs.AI cs.CL cs.IR
BERT Fine-tuning For Arabic Text Summarization
Department of Electrical and Electronics Engineering(电气与电子工程系)
微调预训练的BERT模型是提取/抽象文本摘要的最先进方法,在本文中,我们展示了如何将这种微调方法应用于阿拉伯语,以构建第一个用于抽象阿拉伯语文本摘要的文档化模型,并展示其在阿拉伯语提取摘要中的性能。我们的模型适用于多语言BERT(因为阿拉伯语没有自己的预训练BERT)。我们首先在英语语料库中展示了它的性能,然后将其应用于阿拉伯语语料库中的提取和抽象任务。
2020-03-29 cs.CL cs.LG
Unsupervised Sentence Compression using Denoising Auto-Encoders
Center for Data Science(数据科学中心);New York University(纽约大学)
在句子压缩中,缩短句子同时保留原始含义的任务,模型倾向于在包含冗长和压缩句子对的大型语料库上进行训练。为了消除对成对语料库的需求,我们模拟了一个摘要任务,并添加噪声来扩展句子,训练一个去噪自动编码器来恢复原始句子,构建了一个端到端的训练机制,而不需要任何压缩句子的例子。我们在标准文本摘要数据集上对我们的模型进行了人工评估,并表明它基于语法正确性和保留意义来执行监督基线。尽管没有目标数据,但我们的无监督模型学习生成不完美但可读的句子摘要。虽然我们基于ROUGE分数的监督模型表现不佳,但我们的模型与基于人类评估的监督基线相比,在语法正确性和保留意义方面具有竞争力。
2018-09-07 cs.CL
Entity-level Factual Adaptiveness of Fine-tuning based Abstractive Summarization Models
Seoul National University(首尔大学);Samsung SDS(三星SDS);ASRI(首尔国立大学先进技术与融合研究院);INMC(纳米融合技术研究院);AIIS(人工智能与信息科学研究院)
本文研究基于微调的抽象式摘要模型在参数知识与输入文档知识冲突时的事实适应性,提出可控反事实数据增强方法,在 PEGASUS 和 BART 上提升事实适应性并保持与对比学习基线相当的事实一致性。
2024-02-23 cs.AI cs.CL cs.LG
FactPEGASUS: Factuality-Aware Pre-training and Fine-tuning for Abstractive Summarization
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
我们提出了FactPEGASUS,一个抽象的摘要模型,解决了预训练和微调期间的真实性问题:(1)我们增强了PEGASUS的句子选择策略(Zhang et al.,(2020)预训练目标是创建既重要又真实的伪摘要;(2)我们引入了三个互补的组件进行微调。校正器去除参考摘要中存在的幻觉,对比器使用对比学习来更好地区分非事实摘要和事实摘要,连接器弥合预训练和微调之间的差距,以更好地传递知识。在三个下游任务上的实验表明,FactPEGASUS大大提高了由多个自动度量和人类评估的真实性。我们的全面分析表明,FactPEGASUS比在zero-shot和Few-Shot设置中使用原始预训练目标更符合事实,比强基线更稳健地保留事实行为,并且不完全依赖于变得更加提取来提高真实性。我们的代码和数据可在以下网址公开获取:https://github.com/meetdavidwan/factpegasus
2022-05-16 cs.AI cs.CL cs.LG
Fine-Tuning LLMs for Report Summarization: Analysis on Supervised and Unsupervised Data
Software Engineering Institute, Carnegie Mellon University(软件工程研究院,卡内基梅隆大学)
研究LLM微调在报告摘要任务中的有效性,探讨在资源有限和本地计算环境下微调的可行性及摘要质量评估指标。
2026-04-13 cs.AI cs.CL cs.LG
To Adapt or to Fine-tune: A Case Study on Abstractive Summarization
University of Edinburgh(爱丁堡大学)
摘要领域的最新进展利用预训练的语言模型,而不是从头开始训练模型。然而,这样的模型是缓慢的训练,并伴随着大量的开销。研究人员已经提出了一些轻量级的替代方案,如较小的适配器,以减轻缺点。尽管如此,仍然不确定使用适配器是否有利于总结任务,在提高效率而不牺牲性能方面。在这项工作中,我们进行了多方面的调查微调和适配器的摘要任务具有不同的复杂性:语言,域和任务转移。在我们的实验中,微调预训练的语言模型通常比使用适配器获得更好的性能;性能差距与所使用的训练数据的量呈正相关。值得注意的是,适配器在资源非常少的情况下超过了微调。我们进一步提供了对多语言性,模型收敛性和鲁棒性的见解,希望能够阐明抽象摘要中微调或适配器的务实选择。
2022-08-30 cs.CL
Efficient Few-Shot Fine-Tuning for Opinion Summarization
University of Edinburgh(爱丁堡大学);Amazon(亚马逊);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
抽象摘要模型通常在大量通用文本上进行预训练,然后在数万或数十万个带注释的样本上进行微调。然而,在意见摘要中,与参考摘要配对的评论的大型注释数据集不可用,并且创建成本很高。这就要求微调方法对小数据集的过拟合具有鲁棒性。此外,通常预先训练的模型通常不习惯客户评论的细节,并且在微调之后,产生具有不流畅和语义错误的摘要。为了解决这些问题,我们利用了一个有效的Few-Shot方法的基础上适配器,我们表明,可以很容易地存储在域知识。我们没有对整个模型进行微调,而是添加适配器,并以特定于任务的方式在大量未注释的客户评论语料库上对它们进行预训练,使用保留的评论作为伪摘要。然后,在小的可用人工注释数据集上微调适配器。我们发现,这种自我监督的适配器预训练在Amazon和Yelp数据集上分别将摘要质量提高了2.0和1.3个ROUGE-L点。最后,对于摘要个性化,我们以从通用数据集自动创建的方面关键字查询为条件。同样,我们以基于客户评论的查询方式预训练适配器,然后在带注释的数据集上对其进行微调。这使得摘要内容组织得更好,体现在一致性得到改善,冗余现象减少。
2022-05-08 cs.AI cs.CL cs.LG
DSGPT: Domain-Specific Generative Pre-Training of Transformers for Text Generation in E-commerce Title and Review Summarization
JD.com Silicon Valley Research Center(京东硅谷研发中心)
本文提出了一种新的特定领域生成式预训练(DS-GPT)文本生成方法,并将其应用于电子商业移动显示的产品标题和评论摘要问题。首先,我们采用了一种仅解码器的Transformer架构,通过将输入和输出结合在一起,适合于微调任务。其次,我们证明了在相关领域中仅利用少量的预训练数据是强大的。从维基百科或CommonCrawl等通用语料库中预训练语言模型需要大量的时间和资源投入,如果下游任务的种类有限,则可能是浪费。OurDSGPT是在有限的数据集上进行预训练的,即中文短文本摘要数据集(LCSTS)。第三,我们的模型不需要与产品相关的人工标记数据。对于标题摘要任务,现有技术在训练和预测阶段明确使用额外的背景知识。相比之下,我们的模型隐含地捕获了这些知识,并在公共淘宝网上进行微调后,实现了对其他方法的显着改进。对于评论摘要任务,我们利用JD.com内部数据集,并观察到与标准机器翻译方法相比类似的改进,这些方法缺乏微调的灵活性。我们提出的工作可以简单地扩展到其他领域的文本生成任务。
2021-12-15 cs.AI cs.CL
IUTEAM1 at MEDIQA-Chat 2023: Is simple fine tuning effective for multilayer summarization of clinical conversations?
Indiana University Bloomington(印第安纳大学伯明顿分校)
该研究面向临床对话生成 chart note,比较单模型基线、按章节专精的模型集成及多层/多阶段微调方法,发现集成有效但多层传递未能提升准确性。
2023-06-07 cs.CL
Improving Zero and Few-Shot Abstractive Summarization with Intermediate Fine-tuning and Data Augmentation
Yale University(耶鲁大学);Facebook AI(脸书人工智能研究院);Nanyang Technological University(南洋理工大学);Renmin University of China(中国人民大学)
在大型文本语料库上使用自监督目标预训练的模型在英语文本摘要任务上实现了最先进的性能。然而,这些模型通常在数十万个数据点上进行微调,这在将摘要应用于新的利基领域时是不可行的要求。在这项工作中,我们介绍了一种新颖的和可推广的方法,称为WikiTransfer,用于微调预训练模型,以无监督的,特定于网络的方式进行摘要。WikiTransfer对伪摘要的预训练模型进行微调,伪摘要是从通用维基百科数据中产生的,其中包含目标数据集的特征,例如所需摘要的长度和抽象级别。WikiTransfer模型在CNN-DailyMail数据集上实现了最先进的zero-shot抽象摘要性能,并在另外三个不同的数据集上证明了我们的方法的有效性。这些模型对噪声数据更鲁棒,并且与来自其他摘要数据集的Few-Shot传输相比,使用10个和100个训练样本也实现了更好或相当的Few-Shot性能。为了进一步提高性能,我们通过往返转换采用数据增强,并引入正则化项以改进Few-Shot传输。为了了解数据集方面在传输性能和最终输出摘要质量中的作用,我们进一步研究了无监督微调数据的组件的影响,并使用自动和人工评估来分析Few-Shot性能。
2021-04-11 cs.CL
AlignSum: Data Pyramid Hierarchical Fine-tuning for Aligning with Human Summarization Preference
Shanghai Jiao Tong University(上海交通大学);Suzhou Laboratory(苏州实验室)
本文提出AlignSum框架,通过构建数据金字塔、高斯重采样和两阶段分层微调,使BART-Large等预训练语言模型在自动与人类评估中超越175B GPT-3,显著提升摘要生成与人类偏好的对齐。
2024-10-01 cs.CL
Prompting and Fine-Tuning of Small LLMs for Length-Controllable Telephone Call Summarization
AppTek GmbH;RWTH Aachen University(亚琛工业大学)
本文提出利用前沿模型生成长度可控、多样化的合成通话数据并微调 Llama-2-7B,使其摘要质量在多项指标上媲美 GPT-4。
2024-10-24 cs.AI cs.CL cs.LG
Automatic Summarization of Doctor-Patient Encounter Dialogues Using Large Language Model through Prompt Tuning
University of Florida(佛罗里达大学);University of Florida Health Cancer Center(佛罗里达大学健康癌症中心)
本研究提出通过提示调优生成式大型语言模型来自动总结医患对话,实验表明GatorTronGPT-20B模型在所有评估指标上表现最佳,且计算成本低。
2026-06-16 cs.CL
Reducing Hallucinations in Summarization via Reinforcement Learning with Entity Hallucination Index
International Institute of Information Technology(国际信息研究所);Informatica Business Solutions(Informatica商务解决方案)
针对抽象式摘要的幻觉问题,提出基于实体幻觉指数(EHI)的强化学习微调框架,无需人工事实标注即可提升摘要实体忠实度,且不损害流畅度与信息量,同时开源了可复现实验流程。
2025-07-30 cs.AI cs.CL
Low-Rank Adaptation for Multilingual Summarization: An Empirical Study
University of Cambridge(剑桥大学);Google DeepMind(谷歌DeepMind)
本文实证研究低秩适配(LoRA)在多语言摘要中的效果,发现其在低数据场景和跨语言迁移中优于全量微调,且持续 LoRA 调优在少样本跨语言迁移中表现最佳。
2024-03-31 cs.AI cs.CL cs.LG
'Finance Wizard' at the FinLLM Challenge Task: Financial Text Summarization
Monash University(莫纳什大学)
本文提出通过持续预训练、多任务指令微调和任务专用微调将Llama3 8B适配为金融文本摘要模型FinLlama3_sum,在FinNLP-AgentScen 2024共享任务2中以ROUGE-1 0.521获得第三名。
2024-08-07 cs.CL
MEDVOC: Vocabulary Adaptation for Fine-tuning Pre-trained Language Models on Medical Text Summarization
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校);L3S Research Center(L3S研究中心)
本研究提出动态词汇适配策略MEDVOC,通过基于片段得分的超参数搜索优化预训练语言模型词汇,大幅降低微调成本,在多类医学摘要场景下显著提升效果与忠实度。
2024-08-17 cs.CL
A Hybrid Architecture with Efficient Fine Tuning for Abstractive Patent Document Summarization
Informatics Institute of Technology(信息技术学院)
针对专利文档结构复杂、篇幅长导致摘要生成困难的问题,提出结合LexRank抽取算法与LoRA微调BART模型的混合摘要系统,并通过元学习实现跨专利领域的域泛化。
2025-06-14 cs.CL
CONFIT: Toward Faithful Dialogue Summarization with Linguistically-Informed Contrastive Fine-tuning
Yale University(耶鲁大学);Meta AI
针对对话摘要中的事实不一致问题,提出基于语言学错误类型学的对比微调方法ConFiT,通过模块化目标和对话特定损失显著减少幻觉,并在SAMSum和AMI数据集上超越多数基线。
2022-07-09 cs.CL
Fine-tuning GPT-3 for Russian Text Summarization
Federal State Budget Educational Institution of Higher Education «MIREA - Russian Technological University»(联邦国家预算高等教育机构「MIREA——俄罗斯技术大学」);National Research University Higher School of Economics(国立研究型大学高等经济学院)
自动摘要技术旨在缩短和概括文本中给出的信息,同时保留其核心信息和最相关的想法。这个任务可以用各种方法来处理和处理,然而,尽管现有的最先进的模型的本地化,但并没有进行很多尝试来产生专门针对俄语的解决方案。在本文中,我们的目标是展示ruGPT3的能力,总结文本,微调它对语料库的俄罗斯新闻与相应的人工生成的摘要。此外,我们采用超参数调整,使模型的输出变得不那么随机,更紧密地联系到原始文本。我们评估所产生的文本与一组指标,表明我们的解决方案可以超越国家的最先进的模型的性能,而无需额外的架构或损失函数的变化。尽管能够生成合理的摘要,但我们的模型仍然存在一些缺陷,即它容易改变原始文本中存在的命名实体(如姓氏,地点,日期),偏离给定文档中陈述的事实,并重复摘要中的信息。
2021-08-07 cs.CL
Prompt-tuning for Clickbait Detection via Text Summarization
School of Information Engineering, Yangzhou University(扬州大学信息工程学院);School of Electronics and Information Engineering, Anhui Jianzhu University(安徽建筑大学电子与信息工程学院)
针对标题与内容长度、语义差异大导致直接计算相似度难以检测点击诱饵的问题,提出结合文本摘要的提示调优方法,通过两阶段摘要模型生成摘要并融入外部知识,在基准数据集上取得最优性能。
2024-04-17 cs.CL
Enhancing Faithfulness in Abstractive Summarization via Span-Level Fine-Tuning
University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文研究了通过片段级微调策略减少LLM生成式摘要中的幻觉问题,构建了含片段级标签的忠实与不忠实摘要数据集,并评估了梯度上升、不可能性训练和任务向量否定三种技术,发现不可能性训练效果最佳。
2025-10-10 cs.CL
Few-Shot Dialogue Summarization via Skeleton-Assisted Prompt Transfer in Prompt Tuning
School of Interactive Computing, Georgia Institute of Technology(佐治亚理工学院交互计算学院);Adobe Research(奥多比研究院);University of California San Diego(加利福尼亚大学圣迭戈分校)
本文提出骨架辅助提示迁移方法,通过自动提取对话骨架作为额外监督,改进从对话状态跟踪到对话摘要的跨任务知识迁移,显著提升少样本对话摘要性能。
2024-02-27 cs.CL
Fine-Tuned Language Models for Domain-Specific Summarization and Tagging
ZhejiangLab(之江实验室)
针对亚文化语言与俚语干扰领域信息提取的问题,提出融合微调LLM与NER的领域文本摘要标注流水线,经多数据集微调与指标验证,该方法可提升处理准确率,具备跨语言迁移性与实时适配性,适用于知识管理与安全运营场景。
2025-10-29 cs.AI cs.CL
Comparing Approaches to Automatic Summarization in Less-Resourced Languages
本文比较了不同方法在资源较少语言中自动摘要的效果,发现多语言微调的mT5基线表现最佳,而LLM作为评判者在资源较少语言上可靠性较低。
2025-12-30 cs.AI cs.CL
GersteinLab at MEDIQA-Chat 2023: Clinical Note Summarization from Doctor-Patient Conversations through Fine-tuning and In-context Learning
Yale University(耶鲁大学)
本文提出通过微调预训练模型和GPT-4少样本上下文学习两种流程,解决医患对话临床笔记摘要任务,在ROUGE-1、BERTScore和BLEURT上取得优异分数,并利用专家注释验证ICL方法效果最佳。
2023-05-08 cs.CL
Enhancing Biomedical Text Summarization and Question-Answering: On the Utility of Domain-Specific Pre-Training
University of Technology Sydney(悉尼科技大学)
本文研究生物医学摘要任务中的预训练策略,发现通用领域预训练加任务微调优于领域内预训练,并提出仅需千例样本的三步微调方法,证明无领域预训练的大语言模型在特定生物医学文本生成中更具优势。
2023-07-10 cs.CL
PromptSum: Parameter-Efficient Controllable Abstractive Summarization
Nanyang Technological University(南洋理工大学);Salesforce AI(赛富时人工智能研究院)
PromptSum 结合提示微调、多任务目标和离散实体提示,在参数高效、数据高效和可控性条件下实现强抽象式摘要性能。
2023-08-06 cs.CL
Enhancing News Summarization with ELearnFit through Efficient In-Context Learning and Efficient Fine-Tuning
AllianceBernstein(AllianceBernstein( AllianceBernstein 是一家全球投资管理公司,中文可译为“ AllianceBernstein 公司”,保留原名更准确));University of California, Berkeley(加利福尼亚大学伯克利分校)
本文提出ELearnFit模型,结合高效上下文学习与参数高效微调,通过增加提示示例、使用简单模板及微调LLMs首层等方法优化XSum新闻摘要性能,并揭示了提示与微调在有限标注样本下的权衡。
2024-05-04 cs.CL
Fine Tuning Large Language Models for Medicine: The Role and Importance of Direct Preference Optimization
Stanford University(斯坦福大学);Linguamind AI(Linguamind人工智能公司);M.P. Shah Government Medical College(M.P.沙阿政府医学院)
本研究对比了监督微调(SFT)与直接偏好优化(DPO)在医学领域五类常见自然语言处理任务上的表现,明确了DPO在复杂医学任务中的性能提升作用,同时指出了制约该技术落地的软件缺口。
2024-12-13 cs.AI cs.CL
Parameter-Efficient Fine-Tuning with Layer Pruning on Free-Text Sequence-to-Sequence Modeling
Hainan University(海南大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Guangzhou University(广州大学)
本文提出一种集成 LoRA 与结构化层级剪枝的参数高效微调框架,在大幅降低 GPU 内存和训练时间的同时,有效保持了自由文本序列到序列任务的生成质量。
2023-05-19 cs.AI cs.CL
Transforming Wikipedia into Augmented Data for Query-Focused Summarization
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research Asia(微软亚洲研究院)
现有的以查询为中心的摘要数据集的有限大小使得训练数据驱动的摘要模型具有挑战性。同时,人工构建以查询为中心的摘要语料库是昂贵和耗时的。在本文中,我们使用维基百科自动收集了一个包含超过280,000个示例的大型以查询为中心的摘要数据集(名为WIKIREF),这可以作为数据增强的一种手段。我们还开发了一个基于BERT的以查询为中心的摘要模型(Q-BERT),从文档中提取句子作为摘要。为了更好地使包含数百万参数的庞大模型适应微小的基准,我们只识别和微调一个稀疏的子网络,它对应于整个模型参数的一小部分。在三个DUC基准上的实验结果表明,在WIKIREF上预训练的模型已经达到了合理的性能。在对特定基准数据集进行微调后,具有数据增强的模型优于强比较系统。此外,我们提出的Q-BERT模型和子网络微调进一步提高了模型的性能。该数据集可在https://aka.ms/wikiref上公开获得。
2022-07-22 cs.CL
Denoising based Sequence-to-Sequence Pre-training for Text Generation
Yuanfudao AI Lab(猿辅导人工智能实验室);Peking University(北京大学)
本文提出了一种新的序列到序列(seq 2seq)预训练方法PoDA(Pre-training of Denoising Autoencoders),它学习适合文本生成任务的表示。与仅编码器(例如,BERT)或仅解码器(例如,OpenAI GPT)预训练方法,PoDA通过对噪声破坏的文本进行去噪来联合预训练编码器和解码器,并且它还具有在后续微调阶段保持网络架构不变的优点。同时,我们设计了一个混合模型的Transformer和指针生成器网络作为骨干架构的PoDA。我们在两个文本生成任务上进行实验:摘要摘要和语法错误纠正。在四个数据集上的结果表明,PoDA可以在不使用任何特定任务技术的情况下提高强基线上的模型性能,并显着加快收敛速度。
2019-08-22 cs.CL
How Green are Neural Language Models? Analyzing Energy Consumption in Text Summarization Fine-tuning
Jadavpur University(贾达普大学);Indian Association for the Cultivation of Science(印度科学促进会);Techno India University(印度技术大学)
本文针对文本摘要微调任务,比较T5-base、BART-base与LLaMA-3-8B的碳足迹和多项指标性能,发现LLaMA-3-8B环境成本最高,凸显节能AI的必要性。
2025-03-14 cs.CL
Naver-News-KO: A Korean News Summarization Dataset for Open-Source Fine-Tuning of Summarization Models
该研究发布Naver-News-KO韩语新闻摘要数据集,含27400个文档与摘要对,介绍了数据收集等情况,给出语料库统计、与其他语料库对比结果,还提供提取参考点和微调基线及训练脚本,为下游工作提供可引用参考。
2026-07-24 cs.CL cs.LG
Domain Aligned Prefix Averaging for Domain Generalization in Abstractive Summarization
Indian Institute of Technology (BHU)(印度理工学院(巴纳拉斯印度教大学));Indian Institute of Technology, Patna(印度理工学院巴特那分校)
本文提出轻量级域对齐前缀平均方法DAPA,通过为各源领域训练前缀并基于目标文档相似度加权平均,实现抽象摘要的领域泛化,在四个领域上取得与基线相当或更优的性能。
2023-05-29 cs.AI cs.CL
Evaluating Small Language Models for News Summarization: Implications and Factors Influencing Performance
Shandong University(山东大学);National University of Singapore(新加坡国立大学);HKUST(GZ)(香港科技大学(广州));HKUST(香港科技大学)
针对资源受限环境下LLMs应用受限的问题,本文评估19个SLMs在2000条新闻样本上的摘要表现,发现部分SLMs性能接近70B LLMs且摘要更简洁,揭示提示词复杂度和指令微调对其性能的影响,为高效摘要方案提供参考。
2025-02-11 cs.AI cs.CL
Detect, Unlearn, Restore: Defending Text Summarization Models Against Data Poisoning
The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
提出统一的后验防御框架,通过影响函数分析或行为审计检测微调阶段的数据投毒,并利用梯度上升遗忘恢复模型性能,在多种攻击下实现85-92%检测精度和96%行为恢复。
2026-06-25 cs.CL cs.CR
Leverage Unlabeled Data for Abstractive Speech Summarization with Self-Supervised Learning and Back-Summarization
Ubiqus Labs(Ubiqus实验室);LIUM – Le Mans Université(勒芒大学计算机科学实验室);Université de Paris(巴黎大学);LIA – Avignon Université(阿维尼翁大学计算机科学实验室)
神经抽象摘要的监督方法需要大量的注释语料库,构建成本很高。我们提出了一个法语会议摘要任务,报告预测的基础上自动转录的会议录音。为了为该任务构建语料库,需要获取每次会议的(自动或手动)转录,然后将其与相应的手动报告进行分割和对齐,以产生适合于训练的训练样本。另一方面,我们可以访问大量未对齐的数据,特别是没有相应转录的报告。报告是专业的书面和良好的格式,使预处理简单。在这种情况下,我们研究了如何使用两种方法来利用这种大量的未对齐数据:(i)使用目标端去噪编码器-解码器模型的自监督预训练;(ii)后摘要,即通过学习预测给定报告的转录来逆转摘要过程,以便将单个报告与生成的转录对齐,并使用此合成数据集进行进一步训练。我们报告了两种方法在两个评估集上与以前的基线(仅在对齐数据上训练)相比的巨大改进。此外,将两者结合起来可以得到更好的结果,在两个评估集上,其表现优于基线,分别为+6 ROUGE-1和ROUGE-L以及+5 ROUGE-2
2020-09-17 cs.CL
An Empirical Study of Many-to-Many Summarization with Large Language Models
Pattern Recognition Center, WeChat AI, Tencent Inc, China(腾讯人工智能研究中心);Fudan Unversity(复旦大学);Waseda University(早稻田大学);Beijing Jiaotong University(北京交通大学);Zhejiang University(浙江大学)
本研究针对大语言模型的多对多摘要生成(M2MS)能力开展系统实证,构建跨5领域6语言的4.78万样本数据集,测试18个大语言模型的零样本与指令微调效果,发现指令微调可显著提升开源模型性能但可能加剧事实性错误。
2025-05-19 cs.AI cs.CL
Can Smaller LLMs do better? Unlocking Cross-Domain Potential through Parameter-Efficient Fine-Tuning for Text Summarization
Technical University of Munich(慕尼黑技术大学)
该研究针对大语言模型领域适配成本高、低资源领域表现不佳的问题,用Llama-3-8B-Instruct测试6种参数高效微调技术,发现域内适配器效果优于少样本方法和更大的Llama-3-70B-Instruct,还探索了跨域适配器组合方案以提升低资源场景表现。
2025-09-01 cs.CL
SumTra: A Differentiable Pipeline for Few-Shot Cross-Lingual Summarization
University of Technology Sydney(悉尼科技大学);RoZetta Technology(罗泽塔科技公司)
本文提出一种端到端可微的“先摘要后翻译”流水线SumTra,通过复用单语资源实现卓越的跨语言摘要零样本性能,并在仅用10%微调样本时于多语言上超越基线。
2024-03-20 cs.CL
Multi-Stage Pre-training Enhanced by ChatGPT for Multi-Scenario Multi-Domain Dialogue Summarization
Beihang University(北京航空航天大学);Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Zhongke Fanyu Technology Co., Ltd(中科凡语科技有限公司)
本研究提出一种多阶段预训练模型,结合ChatGPT标注数据,专用于多场景多领域对话摘要,在多个数据集上显著超越现有最先进模型。
2023-10-16 cs.CL
Baichuan2-Sum: Instruction Finetune Baichuan2-7B Model for Dialogue Summarization
Viterbi School of Engineering University of Southern California Los Angeles, United States;School of Computing National University of Singapore Singapore, Singapore;College of Computing;Information Science Cornell University New York, United States.;Computer Science College Taiyuan Normal University Guangzhou, China
本文提出面向角色对话摘要的指令微调模型 Baichuan2-Sum,通过为不同角色设置不同指令并结合 NEFTune 噪声训练,在 CSDS 和 SAMSUM 数据集上取得新 SOTA。
2024-04-04 cs.AI cs.CL cs.LG
Benchmarking Large Language Models for News Summarization
大语言模型(LLM)已经显示出自动摘要的前景,但其成功背后的原因却知之甚少。通过对不同预训练方法、提示和模型尺度的10个LLM进行人工评估,我们得出了两个重要的观察结果。首先,我们发现指令微调,而不是模型大小,是LLM的zero-shot总结能力的关键。其次,现有的研究受到低质量参考文献的限制,导致低估了人类的表现,以及较低的Few-Shot和微调性能。为了更好地评估LLM,我们对我们从自由撰稿人那里收集的高质量摘要进行了人工评估。尽管主要的文体差异,如释义量,我们发现,LMM摘要被判断为与人类的书面摘要。
2023-01-31 cs.AI cs.CL cs.LG