Metrics also Disagree in the Low Scoring Range: Revisiting Summarization Evaluation Metrics
Carnegie Mellon University(卡内基梅隆大学)
在文本摘要中,在没有人为判断的情况下评估自动度量的有效性最近变得流行。一个典型的工作得出结论,自动指标强烈不同意时,排名高分摘要。在本文中,我们重新审视了他们的实验,发现他们的观察结果源于这样一个事实,即度量在任何狭窄的评分范围内对摘要进行排名时都不一致。我们假设这可能是因为总结在狭窄的评分范围内彼此相似,因此难以排名。除了摘要的评分范围的宽度,我们还分析了影响指标间一致性的其他三个属性-总结的容易性,抽象性和覆盖率。为了鼓励可重复的研究,我们将所有的分析代码和数据公开。
2020-11-08 cs.AI cs.CL
Human-in-the-loop Abstractive Dialogue Summarization
Georgia Institute of Technology(佐治亚理工学院);Stanford University(斯坦福大学)
摘要近年来,对话摘要越来越受到人们的关注。尽管大多数当前的对话摘要系统都经过训练,以最大限度地提高人类撰写摘要的可能性,并取得了显著的成果,但在生成由人类确定的高质量摘要方面仍然存在巨大的差距,例如连贯性和忠实性,部分原因是最大限度地提高单个人类撰写摘要的不一致性。为此,我们建议将不同层次的人类反馈纳入培训过程。这将使我们能够引导模型捕捉人类关心的行为以进行总结。具体而言,我们要求人类突出显示摘要中包含的显著信息以提供局部反馈,并在连贯性,准确性,覆盖范围,简洁性和整体质量方面对摘要进行整体比较,作为全局反馈。然后,我们结合本地和全局反馈,使用强化学习微调对话摘要策略。在多个数据集上进行的实验证明了我们的方法在最先进的监督基线上的有效性和通用性,特别是在人类判断方面。
2022-12-19 cs.AI cs.CL
SCURank: Ranking Multiple Candidate Summaries with Summary Content Units for Enhanced Summarization
Department of Computer Science and Information Engineering, National Cheng Kung University(国立成功大学计算机科学与资讯工程系);Artificial Intelligence Research Center, Chang Gung University(长庚大学人工智能研究中心);Department of Artificial Intelligence, Chang Gung University(长庚大学人工智能系);Department of Computer Science, National Tsing Hua University(国立清华大学计算机科学系)
SCURank通过摘要内容单元提升摘要生成,优于传统指标和LLM排序方法,验证了信息导向排序在多LLM蒸馏中的优势。
2026-04-21 cs.AI cs.CL
Beyond One-Size-Fits-All Summarization: Customizing Summaries for Diverse Users
Faculty of Engineering and Natural Sciences, Bahcesehir University(巴赫切谢希尔大学工程与自然科学学院);Bahcesehir University(巴赫切谢希尔大学)
针对摘要难以按读者可读性水平调整的问题,本文构建土耳其语定制数据集并提出自定义架构模型,在保持准确性与连贯性的同时优于监督微调基线。
2025-03-10 cs.AI cs.CL
Exploring the Limits of ChatGPT for Query or Aspect-based Text Summarization
University of California, Santa Barbara(加州大学圣巴巴拉分校);Microsoft(微软);NEC Laboratories America(NEC美国实验室)
文本摘要是自然语言处理中的一个重要问题。它旨在将冗长的文件压缩成较短的版本,同时保留最关键的信息。已经提出了各种文本摘要方法,包括抽取式和抽象式摘要。大语言模型(LLM)的出现,如GPT3和ChatGPT,最近产生了使用这些模型进行文本摘要任务的极大兴趣。最近的研究\cite{goyal2022news, zhang2023benchmarking}表明,LLMs生成的新闻摘要已经与人类不相上下。然而,LLM对于更实际的应用程序(如方面或基于查询的摘要)的性能还没有得到充分的研究。为了填补这一空白,我们在四个广泛使用的基准数据集上对ChatGPT的性能进行了评估,其中包括Reddit帖子,新闻文章,对话会议和故事的各种摘要。我们的实验表明,ChatGPT的性能与传统的微调方法在胭脂分数方面相当。此外,我们强调了ChatGPT生成的摘要和人类引用之间的一些独特差异,为ChatGPT在各种文本摘要任务中的强大功能提供了有价值的见解。我们的研究结果呼吁在这一领域的新方向,我们计划进行进一步的研究,通过广泛的人类评估系统地检查ChatGPT生成的摘要的特征。
2023-02-16 cs.AI cs.CL
Improving Factuality of Abstractive Summarization via Contrastive Reward Learning
Carnegie Mellon University(卡内基梅隆大学);Shanghai Jiao Tong University(上海交通大学)
本文提出一种结合奖励学习与事实性指标的对比学习框架,使抽象式摘要模型从事实性反馈中学习,从而生成更符合事实的摘要。
2023-07-10 cs.AI cs.CL
Rank Your Summaries: Enhancing Bengali Text Summarization via Ranking-based Approach
Ahsanullah University of Science and Technology(阿萨努拉科技大学)
本文提出一种基于排序的孟加拉语文本摘要方法,预处理后由四个预训练模型生成候选摘要,并用文本排序算法选出最佳结果,在多项 NLG 指标上显著提升摘要质量。
2023-07-14 cs.AI cs.CL
Dialogue Summaries as Dialogue States (DS2), Template-Guided Summarization for Few-shot Dialogue State Tracking
Riiid AI Research(Riiid人工智能研究院);The Hong Kong University of Science and Technology(香港科技大学)
注释面向任务的对话以昂贵和困难的数据汇集过程而闻名。Few-Shot对话状态跟踪(DST)是解决这一问题的一个现实方案。在本文中,我们假设,对话摘要本质上是非结构化的对话状态,因此,我们建议重新制定对话状态跟踪作为一个对话摘要问题。为了详细说明,我们训练一个文本到文本的语言模型与合成的基于模板的对话摘要,由一组规则从对话状态生成。然后,可以通过逆应用概要生成规则来恢复对话状态。我们的经验表明,我们的方法DS2优于以前的作品Few-Shot DST在MultiWoZ 2.0和2.1,在跨域和多域设置。我们的方法在训练和推理过程中也表现出了巨大的加速,因为它可以一次生成所有状态。最后,基于我们的分析,我们发现摘要模板的自然性对成功的训练起着关键作用。
2022-03-03 cs.AI cs.CL
Extractive is not Faithful: An Investigation of Broad Unfaithfulness Problems in Extractive Summarization
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本文通过定义五类不忠实问题并人工标注1600篇抽取式摘要,发现30%的摘要存在问题,进而提出新指标ExtEval以更准确地自动检测抽取式摘要中的不忠实现象。
2023-05-30 cs.AI cs.CL
Utilizing GPT to Enhance Text Summarization: A Strategy to Minimize Hallucinations
University of Colorado - Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校);DataCrunch Lab, LLC(DataCrunch实验室有限责任公司);North Carolina State University(北卡罗来纳州立大学)
本文提出利用GPT优化DistilBERT与T5生成的抽取式、生成式及混合式摘要,以最小化幻觉问题,并通过多指标评估验证了该方法能显著提升摘要的事实准确性与可靠性。
2024-05-07 cs.AI cs.CL cs.LG
OpineSum: Entailment-based self-training for abstractive opinion summarization
Google Research(谷歌研究院)
一个典型的产品或地方往往有数百个评论,这些文本的摘要是一个重要的和具有挑战性的问题。最近在新闻等领域的抽象摘要方面的进展是由监督系统驱动的,这些系统在数十万篇新闻文章中进行了训练,并与人类撰写的摘要相结合。然而,对于意见文本,这种大规模的数据集很少可用。无监督方法、自我训练和少样本学习方法弥补了这一差距。在这项工作中,我们提出了一种新的自我训练方法,OpineSum,抽象的意见摘要。这种方法中的摘要是使用文本蕴涵的新应用程序构建的,并捕获了对一个项目的各种评论的一致意见。该方法可用于大规模获得银标准摘要,并可用于无监督和Few-Shot抽象摘要系统的训练。OpineSum在这两种设置下都实现了最先进的性能。
2022-12-21 cs.AI cs.CL
Summarization with Graphical Elements
University of Amsterdam(阿姆斯特丹大学);Microsoft Research(微软研究院)
近年来,自动文本摘要取得了长足的进步。随着这一进展,出现了一个问题,即通常由自动摘要模型生成的摘要类型是否符合用户的需求。Ter Hoeve et al(2020)否定地回答了这个问题。除其他外,他们建议专注于生成具有更多图形元素的摘要。这与我们从心理语言学文献中了解到的人类如何处理文本是一致的。从这两个角度出发,我们提出了一个新的任务:总结与图形元素,我们验证了这些摘要是有帮助的临界质量的人。我们收集了一个高质量的人类标记数据集,以支持对任务的研究。我们提出了一些基线方法,表明任务是有趣的和具有挑战性的。因此,通过这项工作,我们希望在自动摘要社区中激发一条新的研究路线。
2022-04-25 cs.AI cs.CL
ROUGE 2.0: Updated and Improved Measures for Evaluation of Summarization Tasks
摘要任务的评估对于确定机器生成摘要的质量至关重要。在过去的十年中,ROUGE已经成为评估摘要任务的标准自动评估措施。虽然ROUGE已被证明在捕获系统和人类组成的摘要之间的n-gram重叠方面是有效的,但是现有的ROUGE措施在捕获同义概念和主题覆盖方面存在一些限制。因此,ROUGE分数通常不能反映摘要的真实质量,并阻止对摘要的多方面评估(即按主题,按整体内容覆盖等)。在本文中,我们介绍了ROUGE 2.0,它有几个更新的ROUGE措施:ROUGE-N+同义词,ROUGE-Topic,ROUGE-Topic+同义词,ROUGE-TopicUniq和ROUGE-TopicUniq+同义词;所有这些都是对核心ROUGE措施的改进。
2018-03-05 cs.AI cs.CL cs.IR
Improving Factual Consistency of Abstractive Summarization via Question Answering
Amazon Web Services(亚马逊云服务);Columbia University(哥伦比亚大学)
最先进的抽象摘要模型的一个常见问题是生成的摘要可能与输入文档事实上不一致。事实上,自动摘要可能会产生听起来不可信但不准确的摘要是一个主要的问题,限制了它的广泛应用。在本文中,我们提出了一种方法来解决事实的一致性摘要。我们首先提出了一个有效的自动评估指标来衡量事实的一致性,接下来,我们提出了一种新的学习算法,最大限度地提高模型训练过程中提出的度量。通过大量的实验,我们证实,我们的方法是有效的,在提高事实的一致性,甚至整体质量的摘要,判断自动指标和人类的评价。
2021-05-10 cs.AI cs.CL
Comparing Methods for Extractive Summarization of Call Centre Dialogue
Connex One(Connex One公司)
本文提供了一些文本摘要技术的评估结果的目的,生产呼叫摘要的联络中心解决方案。我们特别关注提取汇总方法,因为它们不需要任何标记的数据,并且在生产中非常快速和容易实现。我们实验比较几个这样的方法,使用它们来产生呼叫的摘要,并客观地(使用ROUGE-L)和主观地(通过聚合几个注释者的判断)评估这些摘要。我们发现TopicSum和Lead-N优于其他总结方法,而BERTSum在主观和客观评价中的得分相对较低。结果表明,即使是像Lead-N这样简单的基于统计学的方法,也能产生有意义和有用的呼叫中心对话摘要。
2022-09-06 cs.AI cs.CL
Towards Enhancing Coherence in Extractive Summarization: Dataset and Experiments with LLMs
Adobe Research(奥多比研究院);Arizona State University(亚利桑那州立大学)
本文针对大语言模型抽取式摘要不连贯问题,提出融合用户意图的人工标注数据集,并通过监督微调与人类反馈对齐LLM,使Falcon-40B和Llama-2-13B的Rouge-L提升约10%。
2024-07-05 cs.AI cs.CL
Cross-Lingual Conversational Speech Summarization with Large Language Models
BBN Technologies(BBN技术公司)
针对跨语言对话语音摘要资源匮乏问题,研究者在Fisher和Callhome西英语音翻译语料库基础上补充GPT-4生成的摘要构建数据集,适配后的Mistral-7B模型摘要性能优于现成模型且媲美GPT-4。
2024-08-12 cs.AI cs.CL
Chain of Summaries: Summarization Through Iterative Questioning
Slovak Technical University(斯洛伐克技术大学);University of Southern Denmark(南部丹麦大学)
通过迭代提问生成摘要,CoS在多个数据集上超越现有方法,提供更高效的信息摘要。
2026-02-16 cs.AI cs.CL
Fair Summarization: Bridging Quality and Diversity in Extractive Summaries
Portland State University(波特兰州立大学)
针对多文档摘要中社会群体代表性不公的问题,提出 FairExtract 与 FairGPT,并结合质量和公平性复合指标验证其能在保持摘要质量的同时提升公平性。
2025-03-18 cs.AI cs.CL
QFMTS: Generating Query-Focused Summaries over Multi-Table Inputs
University of Amsterdam(阿姆斯特丹大学)
本文提出QFMTS方法,通过表格序列化模块、摘要控制器和LLM生成聚焦查询的多表摘要,并构建了含4909个查询-摘要对的数据集,实验证明其优于基线方法。
2024-08-25 cs.AI cs.CL
TODSum: Task-Oriented Dialogue Summarization with State Tracking
Beijing University of Posts and Telecommunications(北京邮电大学);Meituan(美团);China Mobile Communication Corporation(中国移动通信集团公司)
以往的会话摘要数据集主要集中在开放领域的聊天会话,而广泛使用的面向任务的会话摘要数据集还没有被探索。自动总结这种面向任务的对话可以帮助企业收集和审查需求以改进服务。此外,以往的数据集更注重生成具有较高ROUGE分数的好摘要,但它们几乎不理解对话的结构化信息,忽略了摘要的真实性。在本文中,我们介绍了一个大规模的公共面向任务的对话摘要数据集,TODSum,它旨在总结智能体完成某些任务与用户的关键点。与现有的工作相比,TODSum遭受严重的分散信息问题,并要求严格的事实一致性,这使得它很难直接应用最近的对话摘要模型。因此,我们引入额外的对话状态知识TODSum,以提高所生成的摘要的忠实性。我们希望更好地理解会话内容有助于摘要模型生成简洁和连贯的摘要。同时,我们建立了一个全面的基准TODSum,并提出了一个状态感知的结构化对话摘要模型,集成对话状态信息和对话历史。详尽的实验和定性分析证明了对话结构指导的有效性。最后,我们讨论了当前的问题TODSum和未来工作的潜在发展方向。
2021-10-25 cs.AI cs.CL
MUDOS-NG: Multi-document Summaries Using N-gram Graphs (Tech Report)
NCSR Demokritos(德谟克利特国家科学研究中心);University of the Aegean(爱琴海大学)
本报告描述了MUDOS-NG摘要系统,它应用了一套独立于语言的通用方法来生成摘要。所提出的方法大多是简单的操作符的组合上的一个通用的字符n-gram图表示的文本。这项工作定义了一组使用的操作符上n-gram图,并建议使用这些操作符在多文档摘要过程中的子任务,如文档分析,突出的句子选择,查询扩展和冗余控制。此外,一个新的组块方法,连同一个新的方式来分配概念的句子查询扩展。摘要系统的实验结果,广泛使用的语料库从文档理解和文本分析会议上进行,是有前途的,并提供证据的潜力的通用方法介绍。这项工作的目的是指定的核心方法,利用n-gram图表示,提供更先进的摘要系统的基础。
2010-12-09 cs.AI cs.CL
Rehearse With User: Personalized Opinion Summarization via Role-Playing based on Large Language Models
The Alan Turing Institute(阿兰·图灵研究所)
针对大语言模型在长文本个性化摘要任务中的困难,提出基于角色扮演的Rehearsal框架,通过让模型扮演用户、引入监督器与练习过程及虚拟用户建议干预,有效提升了摘要的个性化水平。
2025-03-01 cs.AI cs.CL
Multi-Dimensional Optimization for Text Summarization via Reinforcement Learning
Graduate School of Artificial Intelligence, POSTECH(浦项科技大学人工智能研究生院);Department of Computer Science and Engineering, POSTECH(浦项科技大学计算机科学与工程系);aiXplain Inc.(aiXplain公司)
本文提出多目标强化学习方法,通过MDO_min和MDO_pro策略优化摘要的一致性、连贯性、相关性和流畅性,并利用QA奖励模型和折扣因子调节,在多个数据集上显著提升性能。
2024-06-01 cs.AI cs.CL
SUMMPILOT: Bridging Efficiency and Customization for Interactive Summarization System
SUMMPILOT是一种通过交互式组件实现个性化摘要的系统,结合大型语言模型提升效率与定制化能力。
2026-01-13 cs.AI cs.HC
Hierarchical Repository-Level Code Summarization for Business Applications Using Local LLMs
TCS Research, Tata Consultancy Services Ltd.(塔塔咨询服务有限公司TCS研究院)
针对现有代码摘要方法难以处理大代码单元、忽略业务上下文的问题,提出结合语法分析与本地LLM的两步分层仓库级代码摘要方法,经电信BSS验证可提升摘要覆盖度与相关性。
2025-01-14 cs.AI cs.SE
AugSumm: towards generalizable speech summarization using synthetic labels from large language model
Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学)
本文提出 AugSumm,用 ChatGPT 生成高质量合成语音摘要并用于训练与评估,在 How2 上通过预训练加微调使两类测试集 ROUGE-L 均提升 1 点。
2024-01-10 cs.AI cs.CL
Enhancing Video Summarization with Context Awareness
Faculty of Information and Technology at the University of Science, VNU-HCM(VNU-HCM 科学大学信息技术学院)
针对视频摘要数据集稀缺与评估不足,本文提出利用视频结构信息的无监督、免训练上下文感知框架,并设计人工参与的评估流程,性能优于现有无监督方法且可媲美监督方法。
2024-04-06 cs.AI cs.CV
Leveraging Hierarchical Organization for Medical Multi-document Summarization
National Tsing Hua University(清华大学);University of Washington(华盛顿大学);Allen Institute for AI(人工智能研究院)
本文研究在医学多文档摘要输入中引入层次化结构,以提升模型跨文档组织和情境化信息的能力,实验证明该方法能保持事实性、覆盖度与连贯性,并提高人类对摘要的偏好。
2025-11-04 cs.AI cs.CL cs.IR
Benchmarking Large Language Models for News Summarization
大语言模型(LLM)已经显示出自动摘要的前景,但其成功背后的原因却知之甚少。通过对不同预训练方法、提示和模型尺度的10个LLM进行人工评估,我们得出了两个重要的观察结果。首先,我们发现指令微调,而不是模型大小,是LLM的zero-shot总结能力的关键。其次,现有的研究受到低质量参考文献的限制,导致低估了人类的表现,以及较低的Few-Shot和微调性能。为了更好地评估LLM,我们对我们从自由撰稿人那里收集的高质量摘要进行了人工评估。尽管主要的文体差异,如释义量,我们发现,LMM摘要被判断为与人类的书面摘要。
2023-01-31 cs.AI cs.CL cs.LG
TR-EduVSum: A Turkish-Focused Dataset and Consensus Framework for Educational Video Summarization
Izmir Katip Celebi University(伊兹密尔卡蒂普切莱比大学);Izmir Institute of Technology(伊兹密尔理工学院)
本文提出TR-EduVSum数据集和AutoMUP框架,通过多人类摘要生成高质量摘要,验证了共识权重和聚类对摘要质量的关键作用,适用于其他突厥语种。
2026-04-08 cs.AI cs.CL
Gold Standard Online Debates Summaries and First Experiments Towards Automatic Summarization of Online Debate Data
The University of Sheffield(谢菲尔德大学)
在线文本媒体的使用正在稳步增长。每天,越来越多的新闻故事,博客文章和科学文章被添加到在线卷。这些都是免费访问,并已被广泛应用于多个研究领域,例如自动文本摘要,信息检索,信息抽取等,同时,在线辩论论坛最近变得流行,但在很大程度上还未开发。由于这个原因,没有足够的资源注释的辩论数据可用于进行研究,在这一体裁。在本文中,我们收集和注释的自动摘要任务的辩论数据。与提取黄金标准摘要生成类似,我们的数据包含值得包含到摘要中的句子。五个人类注释者执行了这项任务。基于语义相似性的注释者间一致性,Cohen的kappa为36%,Krippendorff的alpha为48%。此外,我们还实现了一个在线辩论的提取摘要系统,并讨论了自动总结在线辩论数据的任务的突出特点。
2017-08-15 cs.AI cs.CL cs.IR
CaseSumm: A Large-Scale Dataset for Long-Context Summarization from U.S. Supreme Court Opinions
University of Chicago(芝加哥大学);University of Chicago Law School(芝加哥大学法学院);TTIC(丰田技术研究所)
本文提出CaseSumm数据集,包含25.6K份美国最高法院意见及官方摘要,用于法律长上下文摘要评估,并通过自动指标与专家人工评估揭示现有自动评估方法的局限及人工评估的重要性。
2024-12-30 cs.AI cs.CL cs.CY
Event-Keyed Summarization
University of Rochester(罗切斯特大学)
提出事件键控摘要(EKS)任务,结合传统摘要与文档级事件抽取,构建MUCSUM数据集并提供基线模型,验证任务独特性与基准稳健性。
2024-02-10 cs.AI cs.CL cs.LG
Assessment of Transformer-Based Encoder-Decoder Model for Human-Like Summarization
D.J. Sanghvi College of Engineering(D.J. Sanghvi工程学院);Sardar Patel Institute of Technology(Sardar Patel技术学院)
本文评估基于Transformer的BART编码器-解码器模型在类人摘要中的表现,发现常用指标对事实错误不敏感,并利用WeCheck和SummaC证明人类摘要的事实一致性比微调模型高17%。
2024-10-22 cs.AI cs.CL
SumRecom: A Personalized Summarization Approach by Learning from Users' Feedback
Macquarie University(麦考瑞大学)
针对现有多文档摘要未考虑用户个体兴趣的问题,提出将人纳入闭环的SumRecom方法,通过用户偏好提取与摘要生成两步实现无需参考摘要的个性化摘要生成,经基准数据集评估表现更优。
2024-08-02 cs.AI cs.IR
DiSCo: Making Absence Visible in Intelligent Summarization Interfaces
University of Haifa(海法大学)
DiSCo通过对比领域期望揭示摘要中的缺失内容,提升智能摘要界面的透明度和决策支持能力。
2026-01-13 cs.AI cs.HC cs.IR
UserSumBench: A Benchmark Framework for Evaluating User Summarization Approaches
Google DeepMind(谷歌DeepMind)
本文提出UserSumBench基准框架,通过无参考质量指标和结合时间分层摘要与自我批评验证的鲁棒方法,解决用户摘要缺乏标签、主观且人工评估昂贵的问题。
2024-09-05 cs.AI cs.CL cs.LG
PLANTS: A Novel Problem and Dataset for Summarization of Planning-Like (PL) Tasks
University of South Carolina(南卡罗来纳大学)
针对规划类任务提出新的摘要生成问题、数据集及基线方法,通过定量与定性评估验证其有效性,旨在重振摘要研究。
2024-07-18 cs.AI cs.CL
End-to-End Aspect-Guided Review Summarization at Scale
Wayfair
本研究提出结合ABSA与引导式摘要的可扩展LLM系统,为Wayfair生成产品评论摘要,经大规模A/B测试验证有效,还发布了含1180万条评论的数据集以支持相关研究。
2025-09-30 cs.AI cs.CL
CNTLS: A Benchmark Dataset for Abstractive or Extractive Chinese Timeline Summarization
Zhongguancun Laboratory(中关村实验室)
本文提出CNTLS,首个中文时间线摘要数据集,含77个主题、2524篇文档,平均压缩60%天数,并评估多种抽取与生成式系统,提供基准支持研究。
2023-11-15 cs.AI cs.IR cs.LG
A Personalized Reinforcement Learning Summarization Service for Learning Structure from Unstructured Data
Macquarie University(麦考瑞大学);W.W. Grainger(固安捷)
针对传统摘要难以个性化且缺乏结构的问题,提出 Summation 分层概念摘要框架,利用强化学习适应用户偏好并生成个性化概念图。
2023-07-09 cs.AI cs.CL cs.IR
Automatic Summarization of Online Debates
The University of Sheffield(谢菲尔德大学)
辩论文摘是自动文摘领域中一个新颖且具有挑战性的研究领域,目前还没有得到广泛的研究。在本文中,我们开发了一个辩论摘要管道,以总结在线辩论的对立双方讨论或争论的关键主题。我们认为,辩论摘要的生成可以通过聚类、聚类标记和可视化来实现。在我们的工作中,我们研究了两种不同的聚类方法的摘要的生成。在第一种方法中,我们通过应用纯粹的基于术语的聚类和聚类标记来生成摘要。第二种方法利用X均值聚类和互信息标记的集群。这两种方法都由本体驱动。我们使用条形图来可视化结果。我们认为,我们的结果是一个顺利的入口,旨在接收的第一印象是什么讨论的辩论主题包含浪费的论证数量的用户。
2017-08-15 cs.AI cs.CL cs.IR
Personalized Chain-of-Thought Summarization of Financial News for Investor Decision Support
Computer Science Department University of Southern California Los Angeles, CA, USA(计算机科学系 美国南加州大学 洛杉矶 加州 美国)
针对金融新闻信息过载问题,提出整合用户关键词的个性化思维链(CoT)摘要框架,生成事件驱动型简洁摘要,支持语言模型产出投资者聚焦叙述,助力弥合原始新闻与可操作见解的差距。
2025-11-13 cs.AI cs.CE q-fin.GN
Dialogue Summarization with Emotion Dynamics Using Topic- and Participant-Centric Decomposition
Delft University of Technology(代尔夫特理工大学)
该研究针对对话摘要问题,提出基于改进分层智能体链方法的框架,从主题和参与者两个视角分解对话,结合自动推断情感生成摘要,并引入情感轨迹指标评估,实验表明其框架能生成含语义和情感内容的摘要,凸显方法有效性。
2026-07-17 cs.AI cs.CL cs.MA
What Makes a Good and Useful Summary? Incorporating Users in Automatic Summarization Research
University of Amsterdam(阿姆斯特丹大学);Microsoft Research(微软研究院)
自动文本摘要多年来取得了很大的进展,并在许多应用中使用,影响了许多人的生活。尽管有这样的发展,有意义的研究很少调查如何在自动摘要目前的研究重点与用户的需求一致。为了弥合这一差距,我们提出了一个调查方法,可用于调查用户的自动生成的摘要的需求。重要的是,这些需求取决于目标群体。因此,我们设计的调查可以很容易地进行调整,以调查不同的用户组。在这项工作中,我们专注于大学生,他们在学习期间广泛使用摘要。我们发现,目前的研究方向的自动摘要社区不完全符合学生的需求。受我们的研究结果的启发,我们提出了在未来的自动摘要研究中减轻这种不匹配的方法:我们提出了影响自动生成摘要的设计,开发和评估的研究方向。
2022-04-29 cs.AI cs.CL cs.HC
ReFEree: Reference-Free and Fine-Grained Method for Evaluating Factual Consistency in Real-World Code Summarization
本文提出ReFEree,一种无需参考的细粒度方法,用于评估现实世界代码总结中的事实一致性。通过定义特定于代码总结的事实不一致标准,并在段落层面进行评估,最终获得细粒度评分。
2026-04-12 cs.AI cs.CL cs.PL
LVSum: A Benchmark for Timestamp-Aware Long Video Summarization
Apple(苹果公司)
本文提出LVSum基准测试,用于评估长视频摘要中时间对齐的性能,通过引入新的评估指标揭示现有MLLM在时间理解上的系统性差距。
2026-07-20 cs.AI cs.CV cs.LG
Centroid-based summarization of multiple documents: sentence extraction, utility-based evaluation, and user studies
我们提出了一个多文档摘要,称为MEAD,它产生的主题检测和跟踪系统使用集群质心摘要。我们还描述了两种新的技术,句子效用和包容的基础上,我们已经应用到单个和多个文件摘要的评估。最后,我们描述了两个用户研究,测试我们的多文档摘要模型。
2000-05-12 cs.AI cs.CL cs.DL