A BART-based approach with hierarchical strategy for Vietnamese abstractive multi-document summarization
Aimesoft JSC(Aimesoft股份公司)
提出一种新颖简单的基于黄金摘要缩短文档的分层策略,结合BART模型实现越南语多文档抽象式摘要,在VLSP 2022测试集上达到ROUGE2-F1 0.2468,并利用外部数据增强训练。
2026-06-19 cs.AI cs.CL
Hierarchical Transformers for Multi-Document Summarization
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
在本文中,我们开发了一个神经摘要模型,它可以有效地处理多个输入文档和提取Transformer架构的能力,以分层的方式编码文档。我们表示跨文档的关系,通过一个注意力机制,它允许共享信息,而不是简单地连接文本跨度和处理它们作为一个平面序列。我们的模型学习文本单元之间的潜在依赖关系,但也可以利用专注于相似性或话语关系的显式图形表示。WikiSum数据集上的实证结果表明,所提出的架构带来了几个强大的基线大幅改善。
2019-05-30 cs.AI cs.CL
NexusSum: Hierarchical LLM Agents for Long-Form Narrative Summarization
CJ Corporation(CJ公司)
NexusSum提出一种多智能体LLM框架,通过对话到描述转换和分层多LLM摘要两大创新,无需微调即可处理长篇叙事文本,在多领域BERTScore(F1)上最高提升30.0%,达到SOTA。
2025-05-30 cs.AI cs.CL
Hierarchical Repository-Level Code Summarization for Business Applications Using Local LLMs
TCS Research, Tata Consultancy Services Ltd.(塔塔咨询服务有限公司TCS研究院)
针对现有代码摘要方法难以处理大代码单元、忽略业务上下文的问题,提出结合语法分析与本地LLM的两步分层仓库级代码摘要方法,经电信BSS验证可提升摘要覆盖度与相关性。
2025-01-14 cs.AI cs.SE
Hierarchical Cross-Modality Semantic Correlation Learning Model for Multimodal Summarization
School of Cyber Science and Technology, Beihang University(北京航空航天大学网络科学与技术学院);College of Cyber Security, Jinan University(暨南大学网络安全学院)
多模态摘要与多模态输出(MSMO)生成一个摘要与文本和视觉内容。多模态新闻报道包含着内容的异质性,这使得多模态新闻报道具有重要意义。此外,据观察,不同形式的数据在新闻报道中的层次相关。传统的MSMO方法通过学习整个数据的表示来处理不同形式的数据,这不能直接适应异构的内容和层次相关性。在本文中,我们提出了一个层次化的跨模态语义相关学习模型(HCSCL)来学习存在于多模态数据中的模态内和模态间的相关性。HCSCL采用图网络对模态内相关性进行编码。然后,提出了一个层次融合框架,学习文本和图像之间的层次相关性。此外,我们构建了一个新的数据集与相关的图像注释和图像对象标签信息提供监督信息的学习过程。在数据集上的大量实验表明,HCSCL在自动摘要度量和细粒度多样性测试方面明显优于基线方法。
2021-12-16 cs.AI cs.CL cs.CV
Hierarchical Summarization for Longform Spoken Dialog
Columbia University(哥伦比亚大学);Microsoft(微软);Stanford University(斯坦福大学)
我们每天都被对话包围着。这种媒介提供丰富多样的信息流,但系统地理解对话往往是不平凡的。尽管口头对话普遍存在,但自动语音理解和质量信息抽取仍然明显较差,特别是与书面散文相比时。此外,与理解文本相比,听觉交流带来了许多额外的挑战,例如说话者不流利,非正式的散文风格和缺乏结构。这些问题都表明,需要一个明显的语音定制的交互系统,以帮助用户理解和浏览口语领域。虽然个人自动语音识别(ASR)和文本摘要方法已经存在,但它们是不完善的技术;既不考虑用户目的和意图,也不解决口语引起的并发症。因此,我们设计了一个两阶段的ASR和文本摘要管道,并提出了一套语义分割和合并算法,以解决这些语音建模的挑战。我们的系统使用户能够轻松地浏览和导航内容,以及从这些底层技术的错误中恢复。最后,我们提出了一个评估系统,突出用户偏好的分层摘要作为一种工具,快速浏览音频和识别感兴趣的内容给用户。
2021-08-21 cs.AI cs.CL
DeepQAMVS: Query-Aware Hierarchical Pointer Networks for Multi-Video Summarization
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Virginia Tech(弗吉尼亚理工大学)
最近网络视频共享平台的增长增加了对能够有效地浏览、检索和汇总视频内容的系统的需求。查询感知的多视频摘要是一种很有前途的技术,迎合了这一需求。在这项工作中,我们引入了一种新的用于多视频摘要的查询感知分层指针网络,称为DeepQAMVS,它联合优化了多个标准:(1)简洁性,(2)重要查询相关事件的代表性和(3)时间顺序合理性。我们设计了一个分层注意力模型,它分解了三个分布,每个分布从不同的模态收集证据,然后是一个指针网络,它选择要包含在摘要中的帧。DeepQAMVS通过强化学习进行训练,并结合了捕获代表性,多样性,查询适应性和时间一致性的奖励。我们在MVS1K数据集上实现了最先进的结果,推理时间与输入视频帧的数量呈线性关系。
2021-05-13 cs.AI cs.CV cs.IR
Hierarchical Multimodal Transformer to Summarize Videos
Xidian University(西安电子科技大学);Northwestern Polytechnical University(西北工业大学)
虽然视频摘要在循环神经网络(RNN)的帮助下取得了巨大的成功,但是基于RNN的方法忽略了视频帧之间的全局依赖性和多跳关系,从而限制了性能。Transformer模型是解决这一问题的有效模型,在机器翻译、视频描述、\emph{etc}等序列建模任务中优于基于RNN的方法。基于Transformer的巨大成功和视频的自然结构(帧-镜头-视频),本文提出了一种分层的Transformer用于视频摘要,它能够捕捉帧和镜头之间的依赖关系,并利用镜头形成的场景信息对视频进行摘要。此外,我们认为,音频和视觉信息是必不可少的视频摘要任务。为了整合这两种信息,它们被编码在一个两个流的计划,和多模态融合机制的基础上的分层Transformer。在本文中,所提出的方法被表示为分层多模式Transformer(HMT)。大量的实验表明,HMT优于大多数传统的基于RNN和基于注意力的视频摘要方法。
2021-09-22 cs.AI cs.CV
Leveraging Hierarchical Organization for Medical Multi-document Summarization
National Tsing Hua University(清华大学);University of Washington(华盛顿大学);Allen Institute for AI(人工智能研究院)
本文研究在医学多文档摘要输入中引入层次化结构,以提升模型跨文档组织和情境化信息的能力,实验证明该方法能保持事实性、覆盖度与连贯性,并提高人类对摘要的偏好。
2025-11-04 cs.AI cs.CL cs.IR
HERCULES: Hierarchical Embedding-based Recursive Clustering Using LLMs for Efficient Summarization
University of Debrecen(德布勒恩大学)
该研究提出HERCULES分层递归聚类算法及Python包,深度集成LLM生成聚类语义描述以提升可解释性,支持多模态数据、两种聚类模式与主题引导,搭配可视化工具,可从复杂数据中提取分层知识。
2025-09-03 cs.AI cs.LG
Commenting Higher-level Code Unit: Full Code, Reduced Code, or Hierarchical Code Summarization
Nanyang Technological University(南洋理工大学);Yangzhou University(扬州大学);Nanjing University(南京大学);Chongqing University of Posts and Telecommunications(重庆邮电大学);Nanjing Tech University(南京工业大学);Wuhan University(武汉大学);Peking University(北京大学)
本文研究如何用 LLM 为文件级和模块级代码生成注释,比较完整代码、精简代码和层次化摘要策略,并验证 LLM 评估与人工评估的强相关性。
2025-03-13 cs.AI cs.SE
Label-Free Topic-Focused Summarization Using Query Augmentation
Singapore University of Technology and Design(新加坡科技设计大学);Information Systems Technology and Design(信息系统技术与设计(注:此处为该大学下属学院级机构))
本研究提出 Augmented-Query Summarization (AQS) 方法,利用查询增强和层次聚类实现无标签的主题聚焦摘要,避免特定主题训练,在真实测试中生成准确摘要,提供可扩展的个性化内容提取方案。
2024-04-25 cs.AI
A Personalized Reinforcement Learning Summarization Service for Learning Structure from Unstructured Data
Macquarie University(麦考瑞大学);W.W. Grainger(固安捷)
针对传统摘要难以个性化且缺乏结构的问题,提出 Summation 分层概念摘要框架,利用强化学习适应用户偏好并生成个性化概念图。
2023-07-09 cs.AI cs.CL cs.IR
Mining both Commonality and Specificity from Multiple Documents for Multi-Document Summarization
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
多文档摘要任务要求设计的摘要器生成涵盖原始文档重要信息并满足内容多样性的简短文本。提出了一种基于文档层次聚类的多文档文摘方法。该方法利用构建的文档类树,提取反映文档共性的句子和反映文档子类特殊性的句子生成摘要,以满足多文档摘要的覆盖性和多样性要求。在DUC'2002-2004数据集上进行了不同方法的对比实验,证明了挖掘文档的共性和特异性的多文档摘要的有效性。在DUC'2004和Multi-News数据集上的实验表明,与现有的无监督和有监督方法相比,该方法具有很好的性能。
2023-03-05 cs.AI cs.CL
Neural Label Search for Zero-Shot Multi-Lingual Extractive Summarization
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Microsoft Research Asia(微软亚洲研究院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
在zero-shot多语言抽取式文本摘要中,通常在英语摘要数据集上训练模型,然后将其应用于其他语言的摘要数据集。给定英文黄金摘要和文档,用于提取摘要的摘要级标签通常使用语法生成。然而,在英语数据集上创建的这些单语标签在其他语言的数据集上可能不是最佳的,因为不同语言之间存在句法或语义差异。通过这种方式,可以将英语数据集翻译为其他语言,并使用语法学再次获得不同的标签集。为了充分利用这些不同标签集的信息,我们提出了NLSSum(用于摘要的神经标签搜索),它与我们的摘要模型一起学习这些不同标签集的分层权重。我们在MLSUM和WikiLingua数据集上进行了多语言zero-shot摘要实验,并在这两个数据集上使用人工和自动评估实现了最先进的结果。
2022-04-29 cs.AI cs.CL
Assertion-Aware Test Code Summarization with Large Language Models
University of North Texas(北卡罗来纳州立大学)
本文构建了91个Java测试用例基准,通过消融实验发现基于断言语义的提示能以更少token提升LLM测试摘要质量,并评估了四种代码LLM的性能。
2025-11-09 cs.AI cs.CE cs.SE
SEOpinion: Summarization and Exploration Opinion of E-Commerce Websites
Beni-Suef University(贝尼苏韦夫大学);Universidade de Vigo(维戈大学)
提出SEOpinion方法,结合制造商模板与顾客评论,分两阶段生成产品方面摘要与意见,实验证明RNN优于CNN和SVM。
2023-12-12 cs.AI cs.CL
Predicting Line-Level Defects by Capturing Code Contexts with Hierarchical Transformers
Dalhousie University(达尔豪斯大学)
针对行级缺陷预测难度大、现有方法利用率不足的问题,提出基于分层Transformer的Bugsplorer技术,针对行级目标优化,准确率较最优方法提升26%-72%,可显著降低SQA成本。
2023-12-19 cs.AI cs.SE
Data Augmentation for Abstractive Query-Focused Multi-Document Summarization
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Microsoft Research(微软研究院)
由于缺乏足够的大规模高质量训练数据集,以查询为中心的多文档摘要(QMDS)的研究进展受到限制。我们提出了两个QMDS训练数据集,我们使用两种数据增强方法构建:(1)传输常用的单文档CNN/Daily Mail摘要数据集以创建QMDSCNN数据集,以及(2)挖掘搜索查询日志以创建QMDSIR数据集。这两个数据集具有互补的特性,即,QMDSCNN有真实的摘要,但查询是模拟的,而QMDSIR有真实的查询,但模拟摘要。为了涵盖这些真实的摘要和查询方面,我们在组合数据集上构建了抽象的端到端神经网络模型,这些模型在DUC数据集上产生了新的最先进的传输结果。我们还引入了新的分层编码器,使查询与多个文档的编码更有效。实证结果表明,我们的数据增强和编码方法优于自动度量的基线模型,以及沿多个属性的人类评估。
2021-03-02 cs.AI cs.CL
Natural Language Summarization Enables Multi-Repository Bug Localization by LLMs in Microservice Architectures
Yildiz Technical University, Dept. of Computer Eng.(Yildiz技术大学,计算机工程系);Yildiz Technical University, Department of Computer Engineering(Yildiz技术大学,计算机工程系)
利用自然语言摘要和LLM技术,通过多仓库微服务架构实现更高效的Bug定位,显著提升定位准确率和透明度。
2025-12-05 cs.AI cs.CL cs.IR
Dynamic Multi-Byte Prediction With Hierarchical Language Models
The Ohio State University(俄亥俄州立大学);University of Florida(佛罗里达大学);University of Washington(华盛顿大学)
本文针对分层语言模型逐字节生成推理速度慢的问题,提出多字节预测方法,通过可变长度预测窗口与因果注意力掩码实现并行字节预测,在多任务中达成性能与吞吐量的最优权衡。
2026-08-25 cs.AI
FlashVector: Agent for Hierarchical Model Serving Stack Optimization
Stanford University(斯坦福大学);Unity Vector AI Team(Unity Vector AI 团队)
FlashVector是一个智能体系统,通过可扩展框架跨层优化模型服务栈,在Unity广告平台实现高达2倍吞吐量提升和1.98倍延迟加速。
2026-09-16 cs.AI cs.PF
Multi-Dimensional Summarization Agents with Context-Aware Reasoning over Enterprise Tables
Amazon(亚马逊)
提出基于LLM的多智能体框架,通过切片、差异检测、上下文构建与生成实现企业表格多维摘要,在忠实度、相关性与洞察质量上显著优于基线方法。
2025-08-10 cs.AI cs.MA
TreeReader: A Hierarchical Academic Paper Reader Powered by Language Models
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(向量人工智能研究所);University of Toronto Mississauga(多伦多大学密西沙加分校);Acceleration Consortium(加速联盟);Canadian Institute for Advanced Research (CIFAR)(加拿大高级研究院);NVIDIA(英伟达)
本文提出语言模型增强的TreeReader,将论文转为可按需展开的交互式摘要树,并通过用户研究验证其提升学术文献浏览效率与理解效果。
2025-07-25 cs.AI cs.CL cs.HC
HIPIF: Hierarchical Planning and Information Folding for Long-Horizon LLM Agent Learning
Meituan(美团);University of Chinese Academy of Sciences(中国科学院大学)
提出层次化规划与信息折叠方法,通过子目标分解和历史折叠减少长上下文干扰,结合层次化反思和子目标过程奖励,提升LLM在多轮长视界任务中的表现。
2026-06-09 cs.AI
Z-Code++: A Pre-trained Language Model Optimized for Abstractive Summarization
Microsoft Azure AI(微软Azure人工智能部门);Microsoft Research(微软研究院)
本文提出面向生成式摘要的预训练模型 Z-Code++,通过两阶段预训练、解耦注意力和 fusion-in-encoder,在多语言摘要基准及零/少样本设置中取得参数高效的最优性能。
2023-06-07 cs.AI cs.CL
HierSum: A Global and Local Attention Mechanism for Video Summarization
Georgia Institute of Technology(佐治亚理工学院);Google DeepMind(谷歌DeepMind)
本研究提出HierSum分层方法,结合字幕局部线索与视频级全局指令,利用“最多重播”信号识别关键片段,在多个基准数据集上优于现有方法,并整理新多模态数据集提升摘要效果。
2025-04-25 cs.AI cs.CV cs.LG
Improving Multi-Document Summarization through Referenced Flexible Extraction with Credit-Awareness
National Yang Ming Chiao Tung University(阳明交通大学)
多文档摘要(MDS)中的一个显著挑战是输入的长度非常长。在本文中,我们提出了一个提取然后抽象的Transformer框架来克服这个问题。具体来说,我们利用预先训练的语言模型来构建一个分层提取器,用于跨文档选择突出句子,并构建一个抽象器,用于将所选内容重写为摘要。然而,学习这样的框架是具有挑战性的,因为抽象的最佳内容通常是未知的。以前的工作通常创建伪提取预言机,以使提取器和抽象器都能够进行监督学习。然而,我们认为,这种方法的性能可能会受到限制,由于预测和训练和测试之间的目标不一致的信息不足。为此,我们提出了一个损失加权机制,使模型意识到不属于伪提取预言的句子的不平等重要性,并利用微调的抽象器生成摘要参考作为学习提取器的辅助信号。此外,我们提出了一种强化学习方法,可以有效地适用于提取器协调训练和测试之间的优化。实验结果表明,我们的框架大大优于强基线具有可比的模型大小,并取得了最好的结果,多新闻,多XScience和WikiCatSum语料库。
2022-05-04 cs.AI cs.CL
Discourse-Aware Scientific Paper Recommendation via QA-Style Summarization and Multi-Level Contrastive Learning
Institute of Communication Studies, Communication University of China(中国传媒大学通信学院);Beijing Renhe Information Technology Co., Ltd.(北京润和信息技术有限公司);Key Laboratory of Digital Publishing and Total Process Management of Scientific and Technical Journals(科技期刊数字出版总流程管理重点实验室)
本文提出OMRC-MR框架,通过QA式OMRC摘要、多层级对比学习和结构感知重排序,将论文转化为语篇一致的表示,在多个数据集上显著提升了科学论文推荐的精度与可解释性。
2025-11-05 cs.AI cs.IR
HCQA @ Ego4D EgoSchema Challenge 2024
Peng Cheng Laboratory(鹏城实验室);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Shandong Jianzhu University(山东建筑大学)
本研究提出面向第一人称视频问答的分层理解方案HCQA,通过三阶段融合分层视觉信息推理答题,在2024年Ego4D EgoSchema挑战赛中夺冠,盲测集准确率达75%。
2024-10-29 cs.AI cs.CV
HIRO: Hierarchical Information Retrieval Optimization
HIRO提出基于深度优先搜索和分支剪枝的分层信息检索优化方法,在减少LLM上下文信息过载的同时保持信息完整,并在NarrativeQA上取得10.85%的性能提升。
2024-09-04 cs.AI cs.CL cs.IR
LocAgent: Graph-Guided LLM Agents for Code Localization
Yale University(耶鲁大学);University of Southern California(南加州大学);Stanford University(斯坦福大学);All Hands AI
提出LocAgent框架,通过将代码库解析为有向异构图以捕获代码结构与依赖关系,引导LLM智能体进行多跳推理实现精准代码定位,在降低86%成本的同时达到SOTA性能并提升下游任务解决率。
2025-04-29 cs.AI cs.CL cs.SE
Combining Learning from Human Feedback and Knowledge Engineering to Solve Hierarchical Tasks in Minecraft
DEVCOM Army Research Laboratory(美国陆军作战能力发展司令部陆军研究实验室);Columbia University(哥伦比亚大学);University of Maryland, Baltimore(马里兰大学巴尔的摩分校)
现实世界中感兴趣的任务通常没有人类可读的描述,并且没有预定义的奖励信号,除非它是由人类设计师定义的。相反,数据驱动的算法通常被设计为解决一个特定的,狭义的,具有驱动代理学习的性能指标的任务。在这项工作中,我们提出了在2021年NeurIPS竞赛MineRL BASALT挑战赛中获得第一名并被授予最像人类的智能体的解决方案:在Minecraft中从人类反馈中学习,该挑战赛要求参与者使用人类数据来解决仅由自然语言描述定义的四个任务,而没有奖励功能。我们的方法使用现有的人类示范数据训练模仿学习政策的导航和额外的人类反馈训练图像分类器。这些模块与估计的里程图相结合,成为一个强大的状态机,旨在利用人类的知识在一个自然的层次模式。我们将这种混合智能方法与端到端机器学习和纯工程解决方案进行比较,然后由人类评估人员进行判断。Codebase可在https://github.com/viniciusguigo/kairos_minerl_basalt上获得。
2022-05-11 cs.AI cs.HC cs.LG