Q-STRUM Debate: Query-Driven Contrastive Summarization for Recommendation Comparison
University of Toronto(多伦多大学)
本文提出 Q-STRUM Debate,通过辩论式提示扩展 STRUM-LLM,利用大语言模型生成查询相关的聚焦对比摘要,在三个数据集上显著提升了查询驱动对比摘要的性能。
2025-06-02 cs.CL
Understanding Factual Errors in Summarization: Errors, Summarizers, Datasets, Error Detectors
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Salesforce AI Research(赛富时人工智能研究院)
本文汇总九个数据集的事实性错误标注并按摘要模型分层,评估现有事实性检测指标,发现其性能因模型和错误类型而异,近期改进主要来自旧模型摘要,并据此提出最佳实践建议。
2023-05-26 cs.AI cs.CL
Improving Automatic Source Code Summarization via Deep Reinforcement Learning
Zhejiang University(浙江大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Technology Sydney(悉尼科技大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Tsinghua University(清华大学)
代码摘要提供了对代码所执行功能的高级自然语言描述,有利于软件维护、代码分类和检索。据我们所知,大多数最先进的方法遵循编码器-解码器框架,其将代码编码到隐藏空间中,然后将其解码到自然语言空间中,具有两个主要缺点:a)它们的编码器只考虑代码的顺序内容,忽略了对于代码摘要任务也至关重要的树结构,b)它们的解码器通常被训练为通过最大化下一个地面实况词与前一个地面实况词的可能性来预测下一个词。但是,预计将在测试时从头开始生成整个序列。这种差异可能导致\textit{exposure bias}问题,使学习的解码器次优。在本文中,我们将抽象语法树结构以及代码片段的顺序内容纳入深度强化学习框架(即,演员-评论家网络)。演员网络提供了根据当前状态预测下一个词的信心。另一方面,评论家网络评估当前状态的所有可能扩展的奖励值,并可以为探索提供全局指导。我们采用BLEU指标组成的优势奖励训练两个网络。在真实数据集上的综合实验表明,与一些最先进的方法相比,我们提出的模型是有效的。
2018-11-17 cs.CL cs.LG cs.SE
VCSUM: A Versatile Chinese Meeting Summarization Dataset
City University of Hong Kong(香港城市大学);City University of Hong Kong Shenzhen Research Institute(香港城市大学深圳研究院);SenseTime Research(商汤科技研究院)
本文提出VCSum,一个包含239场真实会议、总时长超230小时的多功能中文会议摘要数据集,支持多种摘要任务,并提供基准模型以促进研究。
2023-05-15 cs.AI cs.CL
How well do you know your summarization datasets?
Carnegie Mellon University(卡内基梅隆大学)
最先进的摘要系统在从网络上抓取的大量数据集上进行训练和评估。尽管它们普遍存在,但我们对它们的基本特征(数据噪声,摘要复杂性等)知之甚少。这些数据集,以及它们如何影响系统性能和ROUGE等自动度量的可靠性。在这项研究中,我们手动分析了600个样本,从三个流行的摘要数据集。我们的研究是由六类类型学驱动的,它捕获了不同的噪音类型(缺失的事实,实体)和总结难度(提取,抽象)。我们随后对27种最先进的摘要模型和5种流行的指标进行了全面分析,并报告了我们的关键见解:(1)数据集具有不同的数据质量和复杂性分布,这可以追溯到它们的收集过程。(2)模型的性能和度量的可靠性取决于样本的复杂性。(3)由于参考文献的多样性差,忠实的摘要往往得分较低。我们发布代码、带注释的数据和模型输出。
2021-06-21 cs.CL cs.LG
Query-controllable Video Summarization
University of Amsterdam(阿姆斯特丹大学)
当视频集合变得庞大时,如何有效地在视频内和视频间进行探索是一个挑战。视频摘要是解决这个问题的方法之一。传统的摘要方法限制了视频探索的有效性,因为它们仅为给定的输入视频生成一个固定的视频摘要,与用户的信息需求无关。在这项工作中,我们介绍了一种方法,该方法将基于文本的查询作为输入,并生成与之对应的视频摘要。我们通过将视频摘要建模为监督学习问题来实现这一点,并提出了一种基于端到端深度学习的查询可控视频摘要方法,以生成查询相关的视频摘要。我们提出的方法包括一个视频摘要控制器,视频摘要生成器,和视频摘要输出模块。为了促进查询可控的视频摘要的研究和进行我们的实验,我们引入了一个数据集,其中包含基于帧的相关性分数标签。实验结果表明,基于文本的查询有助于控制视频摘要。它还表明基于文本的查询提高了我们的模型的性能。我们的代码和数据集:https://github.com/Jhhuangkay/Query-controllable-Video-Summarization。
2020-04-07 cs.CL cs.CV cs.IR
EmbSum: Leveraging the Summarization Capabilities of Large Language Models for Content-Based Recommendations
University of British Columbia(不列颠哥伦比亚大学);Meta AI;Monash University(莫纳什大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
针对基于内容的推荐需求,本文提出EmbSum框架,结合预训练编解码模型、多头注意力层与LLM监督的用户兴趣摘要生成,实现离线预计算与长期兴趣建模,在两个跨领域数据集上以更少参数超越现有最优方法,还可输出兴趣摘要。
2024-08-19 cs.CL cs.IR
"TL;DR:" Out-of-Context Adversarial Text Summarization and Hashtag Recommendation
DePaul University(德保罗大学)
本文介绍了断章取义的摘要,一个工具,采取任意公共新闻文章断章取义,总结他们连贯地适合自由或保守倾向的议程。Out-of-Context Summarizer还建议使用hashtag关键字来支持摘要的两极分化,以防有人倾向于将其带到Twitter,Parler或其他平台进行拖钓。Out-of-Context Summarizer在总结COVID-19文章时实现了79%的准确率和99%的召回率,在总结以政治为中心的文章时实现了93%的准确率和93%的召回率,在断章取义时实现了87%的准确率和88%的召回率。总结有效的来源,而不是合成虚假的文本,Out-of-Context Summarizer可以公平地通过“对抗性披露”测试,但我们在论文中没有采取这种简单的方法。相反,我们使用了Out-of-Context Summarizer来推动关于自动文本生成的潜在滥用的辩论,超越了对抗性语言模型的负责任披露的样板文本。
2021-04-01 cs.CL cs.CR cs.IR
Exploiting Method Names to Improve Code Summarization: A Deliberation Multi-Task Learning Approach
National Engineering Research Center for Software Engineering, Peking University(北京大学软件工程国家工程研究中心);School of Software and Microelectronics, Peking University(北京大学软件与微电子学院)
代码摘要是源代码片段的简短自然语言描述。代码摘要的主要目的是帮助开发人员理解代码并减少文档工作量。在本文中,我们设计了一种新的多任务学习(MTL)的代码摘要方法,通过挖掘方法代码摘要和方法名称之间的关系。更具体地说,由于一个方法的名称可以被认为是一个较短的版本,其代码摘要,我们首先介绍的任务的生成和信息量预测的方法名称作为两个辅助训练目标的代码摘要。一种新的两遍审议机制,然后纳入我们的MTL架构,以产生更一致的中间状态馈入一个摘要解码器,特别是当信息方法名称不存在。为了评估我们的审议MTL方法,我们对Java和Python的两个现有数据集进行了大规模实验。实验结果表明,我们的技术可以很容易地应用到许多国家的最先进的神经模型的代码摘要,并提高其性能。同时,我们的方法显示出显着的优越性时,生成摘要的方法与非信息名称。
2021-03-30 cs.CL
"This Suits You the Best": Query Focused Comparative Explainable Summarization
Computer Science and Engineering, IIT Bombay, India(计算机科学与工程系,印度班加罗尔理工学院);Flipkart, India(Flipkart,印度)
本文提出面向查询的比较式可解释摘要生成任务QF-CES,引入MS-Q2P数据集,并利用多源观点摘要作为中间步骤结合大语言模型生成表格化比较摘要,在降低推理延迟的同时实现了与人类判断高度相关的评估效果。
2025-07-07 cs.CL cs.IR
Code Summarization with Structure-induced Transformer
Shanghai Jiao Tong University(上海交通大学);Soochow University(苏州大学)
代码摘要是近年来语言理解研究的一个热点,它旨在以源代码的形式自动生成程序设计语言的合理的人类语言,以最大限度地方便程序员的开发。众所周知,程序设计语言是高度结构化的。因此,以前的工作尝试应用基于结构的遍历(SBT)或非顺序模型,如Tree-LSTM和图神经网络(GNN)来学习结构化程序语义。然而,令人惊讶的是,将SBT纳入高级编码器(如Transformer)而不是LSTM并没有表现出性能提升,这使得GNN成为唯一的休息手段,在源代码中建模这种必要的结构线索。为了解决这一问题,我们提出了结构诱导的Transformer,它利用一种新提出的结构诱导的自注意力机制,对具有多视角结构线索的序列代码输入进行编码。大量的实验表明,我们提出的结构诱导的Transformer有助于实现新的国家的最先进的基准测试结果。
2021-06-01 cs.CL
ROSUM-MCTS: Monte Carlo Tree Search-Inspired HDL Code Summarization with Structural Rewards
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
提出ROSUM-MCTS方法,利用蒙特卡洛树搜索引导大语言模型,通过分层候选扩展和复合奖励函数优化硬件描述语言代码摘要,在VHDL和Verilog数据集上优于基线方法。
2026-06-06 cs.CL
CroCoSum: A Benchmark Dataset for Cross-Lingual Code-Switched Summarization
Brown University(布朗大学);University of Tübingen(蒂宾根大学)
CroCoSum是首个跨语言代码切换摘要基准数据集,包含超2.4万英文文章和1.8万中文摘要,92%含代码切换,评估显示现有方法泛化有限。
2024-05-23 cs.CL
Code Summarization Beyond Function Level
Innopolis University(因诺波利斯大学);AIRI;Research Center of the Artificial Intelligence Institute(人工智能研究所研究中心)
本研究探索超越函数级别的代码摘要,利用类和仓库上下文,通过微调CodeT5+及结合少样本学习和RAG的LLM,显著提升了摘要质量,并发布了相关基准和资源。
2025-02-23 cs.AI cs.CL
Code Structure Guided Transformer for Source Code Summarization
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));University of Warwick(华威大学);The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学);Huawei(华为)
代码摘要帮助开发人员理解程序,并减少他们在软件维护期间推断程序功能的时间。最近的努力诉诸于深度学习技术,例如用于生成准确代码摘要的序列到序列模型,其中基于transformer的方法已经取得了有希望的性能。然而,有效地将代码结构信息集成到Transformer中,在这个任务领域中还没有得到充分的探索。在本文中,我们提出了一种新的方法命名为SG-transans纳入代码的结构特性到Transformer。具体来说,我们注入本地符号信息(例如,代码令牌和语句)和全局语法结构(例如,数据流图)输入到Transformer的自注意模块中作为感应偏置。为了进一步捕捉代码的层次特性,将局部信息和全局结构分别分布在Transformer的低层和高层的注意头中。广泛的评估表明,SG-Trans的性能优于最先进的方法。与表现最好的基线相比,SG-Trans在METEOR得分方面仍然提高了1.4%和2.0%,METEOR得分是一种广泛用于衡量生成质量的指标,分别在两个基准数据集上。
2022-07-22 cs.CL
Retrieval Augmented Code Generation and Summarization
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Columbia University(哥伦比亚大学)
软件开发人员在软件开发过程中编写了大量的源代码和文档。本质上,开发人员经常回忆他们过去在实现软件或编写文档时编写的部分源代码或代码摘要。为了模仿开发人员的代码或摘要生成行为,我们提出了一个检索增强框架,REDCODER,检索相关的代码或摘要从检索数据库,并提供它们作为补充代码生成或摘要模型。Redcoder有几个独特之处。首先,它扩展了最先进的稠密检索技术,以搜索相关代码或摘要。其次,它可以与包括单峰(仅代码或自然语言描述)或双峰实例(代码描述对)的检索数据库一起工作。我们进行了实验和广泛的分析,在Java和Python的代码生成和摘要的两个基准数据集,和有前途的结果认可我们提出的检索增强框架的有效性。
2021-09-10 cs.CL cs.SE
Understanding LLM Reasoning for Abstractive Summarization
ALOHA Lab, University of Hawaii at Manoa(夏威夷大学马诺亚分校ALOHA实验室)
本研究通过大规模比较8种推理策略和3种大型推理模型在8个数据集上的表现,发现推理并非万能,其效果依赖于策略和摘要设置,且存在质量与事实准确性之间的权衡。
2026-06-16 cs.CL
Abstractive Tabular Dataset Summarization via Knowledge Base Semantic Embeddings
New Knowledge(新知识公司)
提出了一种基于知识库语义嵌入的表格数据摘要生成方法。假设数据集在标题、列和/或一些扩充元数据中包含描述性文本,则系统采用嵌入来为每个文本片段推荐主题/类型。通过利用预先指定的本体中的类型层次结构,将推荐聚合到被认为是数据集的描述性的超类型的小集合中。使用2015年2月的Wikipedia作为知识库,并使用相应的DBpedia本体作为类型,我们展示了来自多个来源的开放数据的实验结果-OpenML,CKAN和data.world-以说明该方法的有效性。
2018-04-05 cs.AI cs.CL
AST-Transformer: Encoding Abstract Syntax Trees Efficiently for Code Summarization
Nanjing University(南京大学);Saarland Informatics Campus(萨尔兰信息学园区)
代码摘要旨在为源代码生成简短的自然语言描述。由于源代码是高度结构化的,并且遵循严格的程序设计语言语法,因此通常利用其抽象树(AST)来通知编码器有关结构信息。然而,AST通常比源代码长得多。目前的方法忽略了大小限制,并简单地将整个线性化AST馈送到编码器中。为了解决这个问题,我们提出了AST-Transformer来有效地编码树结构的AST。实验结果表明,AST-变压器优于国家的艺术由一个相当大的保证金,同时能够降低$90\sim95\%$的计算复杂性在编码过程中。
2021-12-02 cs.CL cs.SE
Improved Code Summarization via a Graph Neural Network
University of Notre Dame(圣母大学);IBM Research(IBM研究院)
自动源代码摘要是为源代码生成自然语言描述的任务。自动代码摘要是一个快速扩展的研究领域,特别是随着社区更好地利用神经网络和AI技术的进步。通常,源代码摘要技术使用源代码作为输入并输出自然语言描述。然而,一个强烈的共识是,使用结构信息作为输入导致改进的性能。使用结构信息的第一种方法将AST扁平化为序列。最近,基于随机AST路径或图神经网络的更复杂的方法已经改进了使用扁平化AST的模型。然而,文献仍然没有描述将图神经网络与源代码序列一起用作模型的单独输入。因此,在本文中,我们提出了一种使用基于图的神经架构的方法,该架构可以更好地匹配AST的默认结构来生成这些摘要。我们使用210万Java方法-注释对的数据集来评估我们的技术,并显示了对四种基线技术的改进,其中两种来自软件工程文献,两种来自机器学习文献。
2020-04-07 cs.CL cs.SE
Leveraging Code Generation to Improve Code Retrieval and Summarization via Dual Learning
National Engineering Research Center for Software Engineering, Peking University(北京大学软件工程国家工程研究中心);School of Software and Microelectronics, Peking University(北京大学软件与微电子学院);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
代码摘要在给定源代码片段的情况下生成简短的自然语言描述,而代码检索在给定自然语言查询的情况下获取相关源代码。由于这两个任务的目的是建立自然语言和程序设计语言之间的联系,最近的研究已经结合这两个任务,以提高其性能。然而,研究人员还没有能够有效地利用这两个任务之间的内在联系,因为他们训练这些任务在一个单独的或管道的方式,这意味着他们的表现不能很好地平衡。在本文中,我们提出了一个新的端到端的模型,这两个任务,通过引入一个额外的代码生成任务。更具体地说,我们明确地利用代码摘要和代码生成与双重学习之间的概率相关性,并利用两个编码器的代码摘要和代码生成训练的代码检索任务,通过多任务学习。我们已经在现有的SQL和Python数据集上进行了广泛的实验,结果表明,我们的模型可以显着提高代码检索任务的结果超过最先进的模型,以及实现竞争力的性能方面的BLEU得分的代码摘要任务。
2020-02-25 cs.CL cs.IR cs.SE
Guided Neural Language Generation for Abstractive Summarization using Abstract Meaning Representation
The University of Sheffield(谢菲尔德大学)
最近关于抽象摘要的工作在神经编码器-解码器架构方面取得了进展。然而,这样的模型往往是挑战,由于他们缺乏明确的语义建模的源文档及其摘要。在本文中,我们扩展了以前的工作抽象摘要使用抽象意义表示(AMR)与神经语言生成阶段,我们指导使用源文件。我们证明,这一指导提高了7.4和10.5点,在ROUGE-2使用黄金标准AMR解析和解析从现成的解析器分别获得的摘要结果。我们还发现,使用后者的摘要性能比在较大数据集上训练的成熟神经编码器-解码器方法高2个ROUGE-2点。代码可在\url{https://github.com/sheffieldnlp/AMR2Text-summ}上获得
2018-08-28 cs.CL
A Convolutional Neural Network for Language-Agnostic Source Code Summarization
Two Six Labs(双六实验室)
描述性注释在软件工程过程中起着至关重要的作用。它们减少了开发时间,实现了更好的bug检测,并促进了以前编写的代码的重用。然而,注释通常是软件开发人员的最后一个优先级,因此要么是不足的,要么是完全缺失的。因此,自动源代码摘要可能具有显著改进软件开发过程的能力。我们引入了一种新颖的编码器-解码器模型,它总结了源代码,有效地编写了一个注释来描述代码的功能。我们在当前的源代码摘要模型之外做了两个主要的创新。首先,我们的编码器是完全语言无关的,不需要复杂的输入预处理。其次,我们的解码器有一个开放的词汇表,使它能够预测任何单词,甚至是在训练中没有看到的单词。我们展示的结果相当于国家的最先进的方法在一个单一的语言数据集,并提供了第一个由多个程序设计语言的数据集上的结果。
2019-03-29 cs.CL cs.LG stat.ML
Subjective Bias in Abstractive Summarization
Beijing University of Posts and Telecommunications(北京邮电大学);Shamoon College of Engineering(沙蒙工程学院)
由于总结的主观性,每个培训文档都有一个以上的黄金总结是一个很好的做法。然而,许多现代大规模的摘要数据集只有一对一的样本,由不同的人以不同的风格编写。这一现象的影响尚未得到充分研究。我们制定了可能的多个表达式之间的差异,总结了相同的内容主观偏见,并检查这种偏见的作用,在抽象的总结。本文提出了一种轻量级的、有效的主观风格特征嵌入提取方法。在风格聚类数据集上训练的摘要模型的结果表明,有某些类型的风格可以导致更好的收敛,抽象和泛化。可复制的代码和生成的摘要可在线获得。
2021-06-18 cs.CL
Analyzing the Performance of Large Language Models on Code Summarization
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究分析大语言模型在代码摘要任务的性能,发现其表现与代码和参考描述的词元重叠度相关,重叠主要集中在函数名,且BLEU、BERTScore等评估指标高度相关,难提供额外评估价值。
2024-04-10 cs.AI cs.CL cs.SE
HunSum-1: an Abstractive Summarization Dataset for Hungarian
Institute for Computer Science and Control(计算机科学与控制研究所);Budapest University of Technology and Economics(布达佩斯技术与经济大学);Eötvös Loránd Research Network(厄特沃什·罗兰研究网络)
我们介绍HunSum-1:一个用于匈牙利语摘要的数据集,由114万篇新闻文章组成。该数据集是通过CommonCrawl从匈牙利9个主要新闻网站收集,清理和删除重复数据而建立的。使用这个数据集,我们构建了基于huBERT和mT5的抽象摘要器模型。我们通过对模型结果进行定量和定性分析来证明所创建数据集的价值。HunSum-1数据集,我们实验中使用的所有模型和我们的代码都是开源的。
2023-02-01 cs.CL
Entity-based SpanCopy for Abstractive Summarization to Improve the Factual Consistency
University of British Columbia(不列颠哥伦比亚大学)
尽管最近的抽象摘要自动评价指标的成功,生成的摘要仍然存在与源文件的事实不一致。在本文中,我们专注于实体级的事实不一致,即减少不匹配的实体之间生成的摘要和源文档。因此,我们提出了一种新的基于实体的SpanCopy机制,并探索其扩展与全局相关性组件。在4个摘要数据集上的实验结果表明,SpanCopy能有效地提高实体级的事实一致性,而对词级和实体级的显著性基本没有影响。代码可在www.example.com上获得
2022-09-07 cs.CL
Progressive Code Integration for Abstractive Bug Report Summarization
Islamic University of Technology(伊斯兰技术大学)
本文提出渐进式代码集成框架,通过整合长代码片段和文本内容,提升基于LLM的bug报告摘要效果,优于现有方法。
2025-11-29 cs.AI cs.CL cs.SE
From News to Summaries: Building a Hungarian Corpus for Extractive and Abstractive Summarization
HUN-REN Institute for Computer Science and Control(HUN-REN计算机科学与控制研究所);Budapest University of Technology and Economics(布达佩斯技术与经济大学)
针对匈牙利语摘要资源稀缺的问题,本文构建了开源语料库HunSum-2,生成两类摘要标签并训练基线模型,经评估验证有效,相关资源全部公开以推动后续研究与应用。
2024-04-12 cs.CL
Toward Abstractive Summarization Using Semantic Representations
School of Computer Science(计算机科学学院);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种新的抽象摘要框架,借鉴了最近发展的树库的抽象意义表示(AMR)。在这个框架中,源文本被解析成一组AMR图,这些图被转换成摘要图,然后从摘要图生成文本。我们专注于图到图的转换,减少了源语义图到一个摘要图,利用现有的AMR解析器,并假设最终可用的AMR到文本生成器。该框架是数据驱动的,可训练的,而不是专门为特定领域设计的。在金标准AMR注释和系统解析上的实验显示了良好的结果。代码可在:https://github.com/summarization
2018-05-25 cs.CL
Improving Code Summarization with Block-wise Abstract Syntax Tree Splitting
Xiamen University(厦门大学)
自动代码摘要将软件开发人员从手动注释的沉重负担中解放出来,有利于软件开发和维护。抽象语法树(AST)描述了源代码的语法结构,它被用来指导代码摘要的生成。然而,现有的基于AST的方法遭受训练的困难,并产生不充分的代码摘要。本文提出了一种基于块的抽象树分割方法(BASTS),该方法充分利用了AST丰富的树形语法结构,提高了代码摘要的质量。BASTS基于控制流图的支配者树中的块来分割方法的代码,并为每个代码分割生成分割AST。然后,每个分割的AST由Tree-LSTM使用预训练策略来建模,以捕获本地非线性语法编码。学习的语法编码与代码编码相结合,并输入到Transformer中以生成高质量的代码摘要。基准测试的综合实验表明,BASTS显着优于国家的最先进的方法在各种评估指标。为了便于再现,我们的实现可在https://github.com/XMUDM/BASTS上获得。
2021-03-18 cs.AI cs.CL cs.SE
Improving the Faithfulness of Abstractive Summarization via Entity Coverage Control
Salesforce Research(赛富时研究院)
利用预训练语言模型的抽象摘要系统在基准数据集上取得了优异的结果。然而,这样的模型已经被证明更容易产生对输入上下文不忠实的幻觉事实。在本文中,我们提出了一种方法来补救实体级的外部幻觉与实体覆盖控制(ECC)。首先计算实体覆盖精度,并为每个训练样本预先设定相应的控制代码,隐式地指导模型在训练阶段识别忠实内容。我们进一步扩展我们的方法,通过中间微调从维基百科提取的大但嘈杂的数据解锁zero-shot摘要。我们表明,该方法导致更忠实和突出的抽象摘要在监督微调和zero-shot设置根据我们的实验结果在三个基准数据集XSum,Pubmed和SAMSum非常不同的领域和风格。
2022-07-05 cs.CL
Z-Code++: A Pre-trained Language Model Optimized for Abstractive Summarization
Microsoft Azure AI(微软Azure人工智能部门);Microsoft Research(微软研究院)
本文提出面向生成式摘要的预训练模型 Z-Code++,通过两阶段预训练、解耦注意力和 fusion-in-encoder,在多语言摘要基准及零/少样本设置中取得参数高效的最优性能。
2023-06-07 cs.AI cs.CL
Chain-of-Descriptions: Improving Code LLMs for VHDL Code Generation and Summarization
IBM Research(IBM研究院);IBM
针对现有代码LLM在VHDL代码生成与摘要任务上表现不佳的问题,提出Chain-of-Descriptions(CoDes)方法,通过生成并整合中间描述步骤至输入提示,显著提升了模型在VHDL-Eval和VHDL-Xform数据集上的性能。
2025-07-16 cs.AI cs.AR cs.CL
CS-Sum: A Benchmark for Code-Switching Dialogue Summarization and the Limits of Large Language Models
Nanyang Technological University(南洋理工大学)
本研究推出首个覆盖三语对的语码转换对话摘要基准CS-Sum,评估10种大语言模型在三类方法下的表现,发现模型自动化指标得分高但存在语义偏差错误,凸显语码转换数据专项训练的必要性。
2025-05-19 cs.CL cs.LG
EditSum: A Retrieve-and-Edit Framework for Source Code Summarization
Peking University(北京大学);Zhejiang University(浙江大学);Monash University(莫纳什大学)
本文提出名为 EditSum 的检索与编辑框架,通过检索相似代码片段作为原型摘要并自动编辑以结合模式与语义信息,显著提升了源代码摘要的关键词预测准确性和信息量。
2023-09-07 cs.CL cs.SE
Source Code Summarization with Structural Relative Position Guided Transformer
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室);The Chinese University of Hong Kong(香港中文大学)
源代码摘要旨在为程序设计语言生成简洁明了的自然语言描述。编写良好的代码摘要有利于程序员参与软件开发和维护过程。为了学习源代码的语义表示,最近的努力集中在将代码的语法结构合并到神经网络(如Transformer)中。这种基于变换器的方法可以比包括递归神经网络(RNN)的其他神经网络更好地捕获长程依赖性,然而,它们中的大多数没有考虑令牌之间的结构相对相关性,例如,抽象树(AST)中的相对位置,这有利于代码语义学习。为了对结构依赖性进行建模,我们提出了一种结构相对位置引导的Transformer,命名为STRT。该算法首先通过解析源代码的AST来获得标记之间的结构相对位置,然后将其传递给两种类型的Transformer编码器。一个Transformer根据结构相对距离直接调整输入,另一个Transformer在计算自我注意分数时对结构相对位置进行编码。最后,我们堆叠这两种类型的Transformer编码器来学习源代码的表示。实验结果表明,该方法在BLEU、ROUGE-L和METEOR三种测试数据集上的性能分别比现有方法提高了1.6%、1.4%和2.8%。我们进一步表明,如何建议的CRAFT捕获的结构相对依赖关系。
2022-02-14 cs.CL cs.SE
ReFEree: Reference-Free and Fine-Grained Method for Evaluating Factual Consistency in Real-World Code Summarization
本文提出ReFEree,一种无需参考的细粒度方法,用于评估现实世界代码总结中的事实一致性。通过定义特定于代码总结的事实不一致标准,并在段落层面进行评估,最终获得细粒度评分。
2026-04-12 cs.AI cs.CL cs.PL
Binary Code Summarization: Benchmarking ChatGPT/GPT-4 and Other Large Language Models
The Ohio State University(俄亥俄州立大学);Microsoft Research(微软研究院)
本研究针对二进制代码摘要的难点,构建含55.7万+函数的BinSum基准,提出提示词优化方法与新语义相似度指标,经多LLM大规模评估得出10项关键洞见,明确了LLM的潜力与待解挑战。
2023-12-15 cs.CL cs.CR cs.LG
A Convolutional Attention Network for Extreme Summarization of Source Code
University of Edinburgh(爱丁堡大学);Peking University(北京大学)
神经网络中的注意力机制已被证明对于输入和输出不具有固定维数的问题是有用的。通常存在局部平移不变的特征,并且对于引导模型的注意力是有价值的,但是以前的注意力架构并不是专门为了学习这些特征而构建的。我们引入了一个注意力神经网络,它采用卷积的输入令牌检测本地时不变和长距离的主题注意力特征的上下文相关的方式。我们将这种架构应用于将源代码片段极端总结成简短的、描述性的函数名称之类的摘要的问题。使用这些功能,该模型通过边缘化两个注意力机制来顺序生成摘要:一个基于输入标记的注意力权重预测下一个摘要标记,另一个能够将代码标记直接复制到摘要中。我们在10个流行的Java项目上展示了我们的卷积注意力神经网络的性能,表明与以前的注意力机制相比,它实现了更好的性能。
2016-05-25 cs.CL cs.LG cs.SE
HGAdapter: Hypergraph-based Adapters in Language Models for Code Summarization and Clone Detection
Data Technology Group, Technology Research and Development Department, Guotai Haitong Securities, China(国泰君安证券数据技术部、技术研发部);School of Computer Science and Technology, East China Normal University, China(华东师范大学计算机科学与技术学院)
HGAdapter通过引入高阶数据相关性,改进超图神经网络架构,提升预训练语言模型在代码摘要与克隆检测任务中的性能。
2025-10-20 cs.AI cs.CL cs.LG
USB-Rec: An Effective Framework for Improving Conversational Recommendation Capability of Large Language Model
Harbin Institute of Technology(哈尔滨工业大学);Beihang University(北航);Xiaohongshu Inc.(小红书公司)
本文提出USB-Rec框架,通过偏好优化数据集构建和推理阶段自我增强策略,在模型层面提升大语言模型的对话推荐能力,实验验证其优于现有方法。
2025-09-20 cs.AI cs.CL
AST-MHSA : Code Summarization using Multi-Head Self-Attention
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Walmart Global Tech(沃尔玛全球技术)
针对AST过长导致编码效率低和依赖关系难以提取的问题,提出AST-MHSA模型,利用多头自注意力从AST中提取关键语义信息,以更高效地生成代码摘要。
2023-08-10 cs.CL cs.LG cs.PL
Calibration of Large Language Models on Code Summarization
UC Davis(加州大学戴维斯分校);IBM Research(IBM研究院)
研究将LLM代码摘要与人类摘要的相似度评估作为校准问题,仅基于代码和LLM摘要计算置信度,在多语言多设置下验证了方法能可靠预测摘要质量。
2025-05-30 cs.CL cs.SE
Enhancing Abstractive Summarization of Scientific Papers Using Structure Information
Nanjing University of Science and Technology(南京理工大学)
针对现有科技论文生成式摘要方法难以捕捉结构信息、跨学科鲁棒性弱的问题,提出两阶段框架,通过结构功能自动识别与Longformer建模跨章节上下文,在领域数据集上优于先进基线。
2025-05-20 cs.AI cs.CL cs.IR
An Empirical Comparison of Text Summarization: A Multi-Dimensional Evaluation of Large Language Models
Florida Atlantic University(佛罗里达大西洋大学)
本研究通过多维框架在七个数据集上评估17个大语言模型的摘要性能,揭示了不同模型在事实准确性、类人质量和效率方面的差异及事实一致性与感知质量之间的权衡,并为不同应用场景提供模型选择建议。
2025-04-06 cs.AI cs.CL cs.LG