Tell me what I need to know: Exploring LLM-based (Personalized) Abstractive Multi-Source Meeting Summarization
University of Göttingen(哥廷根大学);Mercedes-Benz AG(梅赛德斯-奔驰公司)
提出三阶段 LLM 多源会议摘要框架,融合补充材料并按参与者特征个性化,显著提升摘要相关性与信息量,同时评估多模型性能—成本权衡。
2024-10-18 cs.AI cs.CL
Speech-to-SOAP: End-to-End Summarization of Medical Dialogues: KIT@BeTraC 2026
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
本研究针对医学对话摘要任务,提出KIT团队参加BeTraC挑战赛轻量级赛道的方案,构建可扩展数据增强流水线,适配语音基础模型实现端到端语音转SOAP生成,减轻医护记录负担。
2026-09-22 cs.CL eess.AS
Large Language Models are Diverse Role-Players for Summarization Evaluation
Microsoft(微软)
本文提出基于大语言模型的摘要评估框架,通过角色扮演者提示机制从客观和主观维度比较生成文本与参考文本,并结合上下文动态画像与多角色批量提示,在三个数据集上取得与人类标注高度一致的结果。
2023-09-19 cs.CL
SPECTRUM: Speaker-Enhanced Pre-Training for Long Dialogue Summarization
Tencent AI Lab, Seattle(腾讯人工智能实验室(西雅图));UNC Chapel Hill(北卡罗来纳大学教堂山分校)
针对传统语言模型忽略多轮对话特征的问题,提出SPECTRUM说话人增强预训练方法,结合自建多样化数据集与双预训练任务,在长对话摘要下游基准上取得SOTA性能。
2024-01-31 cs.CL
Advancing Speech Summarization in Multi-modal LLMs with Reinforcement Learning
Microsoft CoreAI(微软核心人工智能)
提出多阶段强化学习训练框架,增强多模态大语言模型的语音摘要能力,显著超越强基线和更大模型,缩小与文本大模型的差距。
2025-09-23 cs.AI cs.CL eess.AS
Real-time Speech Summarization for Medical Conversations
University of Toronto(多伦多大学);University Health Network(大学健康网络);College of William and Mary(威廉玛丽学院);University of Cincinnati(辛辛那提大学);Indiana State University(印第安纳州立大学);FPT Software AI Center(FPT软件人工智能中心)
本研究提出了首个可部署的实时医疗对话语音摘要系统,并发布了首个医疗对话语音摘要数据集VietMed-Sum,同时利用LLM与人工协同创建摘要并提供了基线结果。
2025-04-04 cs.AI cs.CL cs.LG
Transfer Learning from Pre-trained Language Models Improves End-to-End Speech Summarization
NTT Corporation(日本电报电话公司)
针对端到端语音摘要训练数据不足、生成不自然的问题,提出通过迁移学习集成预训练语言模型并迁移基线编码器,实验证明其性能优于基线与数据增强模型。
2023-06-07 cs.CL cs.SD eess.AS
CADS: A Systematic Literature Review on the Challenges of Abstractive Dialogue Summarization
Georg-August University(哥廷根大学)
本文系统综述2019-2024年间1262篇论文,梳理抽象式对话摘要的语言、结构、理解等六类挑战及其技术关联,指出理解、事实性等难题仍待攻克,并探讨了大语言模型的影响。
2025-04-23 cs.AI cs.CL
RadTimeline: Timeline Summarization for Longitudinal Radiological Lung Findings
本文提出RadTimeline时间线摘要任务,通过生成时间线来总结纵向放射学报告,提升疾病进展识别效率。实验表明,分组名称生成对发现分组至关重要,最佳配置在召回率和分组性能上接近人工标注。
2026-03-24 cs.CL
Aligning Large Language Models for Enhancing Psychiatric Interviews Through Symptom Delineation and Summarization: Pilot Study
Yonsei University(延世大学);Yonsei University College of Medicine(延世大学医学院);Yonsei University College of Nursing(延世大学护理学院)
本研究利用大语言模型对脱北者精神科访谈进行症状识别与摘要生成,通过微调和提示在症状界定上达到0.82的F1分数,并在摘要连贯性上取得4.6+的高分,验证了LLMs辅助心理健康分析的可行性。
2025-02-10 cs.AI cs.CL
You need to MIMIC to get FAME: Solving Meeting Transcript Scarcity with a Multi-Agent Conversations
University of Göttingen(哥廷根大学)
为解决会议摘要高质量数据受限问题,提出多智能体会议合成框架 MIMIC 生成 FAME 数据集,并辅以基于心理学的评估框架,验证其能近似真实会议条件,可作为可扩展的会议数据代理。
2025-05-30 cs.AI cs.CL
An Empirical Analysis of Diversity in Argument Summarization
Leiden University(莱顿大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);TU Delft(代尔夫特理工大学)
本文通过引入观点、标注者和来源三方面多样性,实证分析了 Key Point Analysis 论辩摘要任务,发现现有模型在少数论点、多源数据和主观性对齐上存在困难,但通用 LLM 与专用 KPA 模型互补,且数据多样化可改善泛化。
2024-02-14 cs.AI cs.CL
Evaluating the Evaluator: Summarization Metrics and LLM-Judges beyond English
HiTZ Center, University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU)HiTZ中心);University of Alicante (UA)(阿利坎特大学(UA));GOI Institute, Basque Summer University (UEU)(巴斯克夏季大学(UEU)GOI研究所)
该研究针对英语外语言开展摘要元评估,构建多语言数据集BASSE并测试自动摘要指标与LLM评判模型,发现专有评判LLM与人类评判相关性最高,开源评判LLM表现较差。
2026-09-03 cs.AI cs.CL
Little Giants: Exploring the Potential of Small LLMs as Evaluation Metrics in Summarization in the Eval4NLP 2023 Shared Task
Dataminr Inc.(Dataminr公司)
本文研究在 Eval4NLP 2023 共享任务中,通过组合标准提示、标注者指令提示和思维链提示,并融合零样本与单样本学习,证明小型开源模型 orca_mini_v3_7B 在摘要与机器翻译质量评估中具有竞争力。
2023-11-01 cs.CL
DACP: Domain-Adaptive Continual Pre-Training of Large Language Models for Phone Conversation Summarization
Dialpad Inc.(Dialpad公司)
本文提出域自适应持续预训练方法,利用大规模无标注商业对话数据增强大型语言模型的电话对话摘要能力,在域内外基准上均获显著提升。
2025-10-09 cs.AI cs.CL cs.LG
LLM Based Multi-Document Summarization Exploiting Main-Event Biased Monotone Submodular Content Extraction
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
针对多文档摘要主观偏差大的问题,提出融入主事件偏向单调子模函数的提取-改写方法,结合微调LLM生成连贯摘要,在内容覆盖等方面超越基线。
2023-10-05 cs.CL
UniSumEval: Towards Unified, Fine-Grained, Multi-Dimensional Summarization Evaluation for LLMs
Korea Advanced Institute of Science and Technology(韩国科学技术院);AWS AI Labs(亚马逊云科技人工智能实验室)
本文提出UniSumEval基准,通过AI辅助构建细粒度、多维标注并扩展输入场景,系统评估九种最新LLM的摘要能力及SOTA自动评估器。
2024-10-01 cs.AI cs.CL
Towards Better Evaluation of Instruction-Following: A Case-Study in Summarization
Google Research(谷歌研究院)
针对LLMs指令遵循评估方法正确性研究不足的问题,本文构建了含300个文档-指令对、900个答案的真实数据集riSum进行元评估,并提出新的基于LLM的无参考评估方法,其表现媲美高成本有参考指标。
2023-10-20 cs.AI cs.CL cs.LG
VT-SSum: A Benchmark Dataset for Video Transcript Segmentation and Summarization
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软)
视频文本摘要是视频理解的一项基本任务。传统的文本摘要方法通常建立在书面语言(如新闻文章)的摘要数据上,而领域差异可能会降低口语文本的模型性能。在本文中,我们介绍了VT-Ssum,这是一个用于视频转录分割和摘要的口语基准数据集,其中包括来自9,616个视频的125 K转录摘要对。VT-SSum利用VideoLectures.NET中的视频,利用幻灯片内容作为弱监督来生成视频记录的提取摘要。使用最先进的深度学习方法进行的实验表明,使用VT-Ssum训练的模型在AMI口语文本摘要基准测试中有显着改进。VT-SSum可在https://github.com/Dod-o/VT-SSum上公开获取,以支持未来的视频文本分割和摘要任务研究。
2021-07-15 cs.CL
Benchmarking Generation and Evaluation Capabilities of Large Language Models for Instruction Controllable Summarization
Yale University(耶鲁大学);Salesforce AI(Salesforce人工智能);Shanghai Jiao Tong University(上海交通大学);Allen Institute for AI(艾伦人工智能研究所)
该研究针对大语言模型在指令可控文本摘要任务上的能力展开基准测试,构建了评估数据集InstruSum,测试发现该任务对LLM仍具挑战,相关基准已公开以助力后续研究。
2024-07-12 cs.CL cs.LG
The Effect of Document Summarization on LLM-Based Relevance Judgments
The University of Queensland(昆士兰大学);University of Udine(乌迪内大学)
本文研究了文档摘要对基于大语言模型的相关性判断可靠性及IR评估的影响,发现摘要判断在稳定性上与完整文档判断相当,但引入了系统性的标签偏见。
2025-12-05 cs.AI cs.CL cs.IR
Extractive Summarization of Call Transcripts
Verizon Communications(威瑞森通信公司)
文本摘要是从文本中提取最重要的信息,并以较少的句子简洁地呈现的过程。通话记录是涉及客户(呼叫者)和代理(客户代表)之间电话对话的文本描述的文本。本文提出了一种本土开发的方法,结合主题建模和句子选择与标点符号恢复在浓缩不佳标点或unpunctuated通话记录,以产生更可读的摘要。广泛的测试,评估和比较已经证明了这个汇总器的呼叫成绩单摘要的有效性。
2021-04-15 cs.CL
Language Model as an Annotator: Exploring DialoGPT for Dialogue Summarization
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室)
当前的对话摘要系统通常用多个一般语义特征(例如,关键字和主题),以获得更强大的对话建模功能。然而,这些功能是通过开放域工具包获得的,这些工具包与对话无关或严重依赖于人类注释。在本文中,我们展示了如何DialoGPT,一个预先训练的会话响应生成模型,可以开发为一个无监督的对话注释器,它利用DialoGPT中编码的对话背景知识。我们应用DialoGPT来标记两个对话摘要数据集SAMSum和AMI上的三种类型的特征,并使用预训练和非预训练模型作为我们的摘要。实验结果表明,我们提出的方法可以在两个数据集上获得显着的改善,并在SAMSum数据集上实现了新的最先进的性能。
2021-05-28 cs.CL
Mark My Words: A Robust Multilingual Model for Punctuation in Text and Speech Transcripts
Nilekani Centre at AI4Bharat(AI4Bharat的Nilekani中心);Indian Institute of Technology, Madras(印度理工学院马德拉斯分校);Indian Institute of Technology, Bombay(印度理工学院孟买分校);Mahindra University, Hyderabad(马恒达大学海得拉巴)
本文提出基于预训练大语言模型的多语言标点恢复模型Cadence,将支持范围扩展到全部22种印度语言及英语,性能超越此前最优模型,并分析了领域偏移和罕见标点等挑战。
2025-06-04 cs.CL
A Hybrid Strategy for Chat Transcript Summarization
Verizon Communications(威瑞森通信)
本文提出一种结合抽取式与生成式技术并利用强化学习优化质量的混合方法,用于在缺乏标注摘要时大规模部署聊天记录摘要。
2024-07-31 cs.CL
PersonalSum: A User-Subjective Guided Personalized Summarization Dataset for Large Language Models
Norwegian University of Science and Technology(挪威科技大学)
针对现有个性化摘要研究缺乏普通大众主动标注数据集的问题,本文提出首个探究读者关注与LLM通用摘要差异的人工标注个性化摘要数据集PersonalSum,并验证了实体/主题等信号对个性化摘要生成的影响,指出该任务对现有LLM仍具挑战。
2024-10-04 cs.CL
MEDSAGE: Enhancing Robustness of Medical Dialogue Summarization to ASR Errors with LLM-generated Synthetic Dialogues
AICS
本文提出 MEDSAGE,利用 LLM 的上下文学习生成模拟 ASR 错误的合成医学对话,以低资源数据增强提升临床对话摘要系统的鲁棒性与准确性。
2025-01-08 cs.AI cs.CL
Towards Abstractive Grounded Summarization of Podcast Transcripts
Tencent AI Lab(腾讯人工智能实验室);University of Central Florida(中佛罗里达大学)
播客最近显示出受欢迎程度的迅速上升。摘要的播客成绩单是实际利益的内容提供方和消费者。它帮助消费者快速决定是否要收听播客,并减少内容提供方撰写摘要的认知负荷。然而,播客摘要面临着重大的挑战,包括输入的事实不一致。这个问题是加剧了言语不流利和识别错误的口头语言的成绩单。在本文中,我们探索了一种新的抽象摘要方法,以减轻这些挑战。具体来说,我们的方法学习产生抽象的摘要,同时将摘要片段固定在转录本的特定部分,以允许对摘要细节进行全面检查。我们在一个大型播客数据集上对所提出的方法进行了一系列分析,并表明该方法可以取得令人满意的结果。固定摘要在定位包含不一致信息的摘要和转录片段方面带来了明显的好处,因此在自动和人工评估指标中显着提高了摘要质量。
2022-03-22 cs.AI cs.CL
Aspect-based Meeting Transcript Summarization: A Two-Stage Approach with Weak Supervision on Sentence Classification
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Adobe Research(Adobe研究院);The Hong Kong Polytechnic University(香港理工大学)
针对基于方面的会议转录摘要任务中相关句子混杂分散的问题,提出两阶段方法,先通过伪标记弱监督训练句子分类器筛选特定方面内容再生成摘要,在AMI语料库上效果优于强基线。
2023-11-07 cs.CL
Query-OPT: Optimizing Inference of Large Language Models via Multi-Query Instructions in Meeting Summarization
Dialpad Inc.(Dialpad公司)
本文研究在会议摘要任务中将同一上下文的多个查询合并为单个提示,以减少LLM推理调用成本,并通过对比多种主流LLMs验证了多查询提示在优化推理成本方面的有效性。
2024-10-20 cs.CL
StreamHover: Livestream Transcript Summarization and Annotation
University of Central Florida(中佛罗里达大学);Adobe Research(Adobe研究院)
随着直播的爆炸式增长,迫切需要新的摘要技术,使我们能够创建流媒体内容的预览并利用这些丰富的知识。然而,由于口语的非正式性质,这个问题是不平凡的。此外,转录本摘要所需的注释数据集一直短缺。在本文中,我们介绍了StreamHover,一个用于注释和总结直播成绩单的框架。我们的基准数据集总共有超过500个小时的视频注释,包括提取和抽象摘要,比目前现有的注释语料库要大得多。我们探索了一种神经提取摘要模型,该模型利用矢量量化的变分自编码器来学习口语的潜在矢量表示,并从成绩单中识别突出的话语以形成摘要。我们表明,我们的模型更好地推广,并提高了强基线的性能。这项研究的结果为未来的研究提供了一个途径,以改善摘要解决方案,以有效地浏览直播。
2021-09-11 cs.CL
TANet: Thread-Aware Pretraining for Abstractive Conversational Summarization
Beihang University(北京航空航天大学);Meituan(美团)
虽然预训练的语言模型(PLM)已经取得了巨大的成功,并成为自然语言处理的一个里程碑,抽象的会话摘要仍然是一个具有挑战性的,但研究较少的任务。困难在于两个方面。一是缺乏大规模的会话摘要数据。另一个问题是,将现有的预训练模型应用于这项任务是很棘手的,因为对话中的结构依赖及其非正式表达等,在这项工作中,我们首先基于Reddit社区中的多人讨论构建了一个名为RCS的大规模(11M)预训练数据集。然后,我们提出了TANet,一个线程感知的基于transformer的网络。与现有的将对话视为句子序列的预训练模型不同,我们认为话语之间固有的上下文依赖性在理解整个对话中起着至关重要的作用,因此提出了两种新技术来将结构信息纳入我们的模型。第一种是线索感知注意力,它是通过考虑话语内的上下文依赖性来计算的。其次,我们应用线索预测损失来预测话语之间的关系。我们在四个真实对话的数据集上评估了我们的模型,这些数据集涵盖了会议记录、客户服务记录和论坛线程的类型。实验结果表明,TANET实现了一个新的国家的最先进的自动评估和人类的判断。
2022-04-09 cs.CL
Instruction-Following Speech Recognition
Apple(苹果公司);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文提出指令跟随语音识别,训练 Listen-Attend-Spell 模型从零开始理解并执行自由形式文本指令,在 Librispeech 上无需 LLMs 或预训练模块即可完成转录操作、摘要及选择性转录等任务,并提升隐私安全性。
2023-09-18 cs.CL cs.LG cs.SD
HTEC: Human Transcription Error Correction
Amazon(亚马逊)
本文提出HTEC两阶段框架,结合错误检测与生成式填空,并引入音素嵌入和删除纠错操作,显著提升人工转录纠错效果,辅助标注时可在不降低速度的情况下提高转录质量15.1%。
2023-09-18 cs.AI cs.CL cs.HC
Evaluation of Summarization Systems across Gender, Age, and Race
University of Amsterdam(阿姆斯特丹大学);University of Copenhagen(哥本哈根大学)
摘要系统最终由人类注释者和评分者进行评估。通常,注释者和评分者并不反映最终用户的人口统计数据,而是通过学生群体或具有倾斜人口统计数据的众包平台招募的。对于两种不同的评估方案-评估黄金总结和系统输出评级-我们表明,总结评估是敏感的保护属性。这可能会严重影响系统的开发和评估,导致我们构建的模型只适合某些群体,而不是其他群体。
2021-10-08 cs.CL
On Learning to Summarize with Large Language Models as References
Yale University(耶鲁大学);Salesforce AI(Salesforce人工智能);Shanghai Jiao Tong University(上海交通大学);Allen Institute for AI(艾伦人工智能研究所)
本研究提出以LLM为参考的训练框架,结合监督微调与对比学习,显著提升小型摘要模型性能,并揭示LLM评估与人类评估的差距。
2024-07-18 cs.CL
Leverage Unlabeled Data for Abstractive Speech Summarization with Self-Supervised Learning and Back-Summarization
Ubiqus Labs(Ubiqus实验室);LIUM – Le Mans Université(勒芒大学计算机科学实验室);Université de Paris(巴黎大学);LIA – Avignon Université(阿维尼翁大学计算机科学实验室)
神经抽象摘要的监督方法需要大量的注释语料库,构建成本很高。我们提出了一个法语会议摘要任务,报告预测的基础上自动转录的会议录音。为了为该任务构建语料库,需要获取每次会议的(自动或手动)转录,然后将其与相应的手动报告进行分割和对齐,以产生适合于训练的训练样本。另一方面,我们可以访问大量未对齐的数据,特别是没有相应转录的报告。报告是专业的书面和良好的格式,使预处理简单。在这种情况下,我们研究了如何使用两种方法来利用这种大量的未对齐数据:(i)使用目标端去噪编码器-解码器模型的自监督预训练;(ii)后摘要,即通过学习预测给定报告的转录来逆转摘要过程,以便将单个报告与生成的转录对齐,并使用此合成数据集进行进一步训练。我们报告了两种方法在两个评估集上与以前的基线(仅在对齐数据上训练)相比的巨大改进。此外,将两者结合起来可以得到更好的结果,在两个评估集上,其表现优于基线,分别为+6 ROUGE-1和ROUGE-L以及+5 ROUGE-2
2020-09-17 cs.CL
AugSumm: towards generalizable speech summarization using synthetic labels from large language model
Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学)
本文提出 AugSumm,用 ChatGPT 生成高质量合成语音摘要并用于训练与评估,在 How2 上通过预训练加微调使两类测试集 ROUGE-L 均提升 1 点。
2024-01-10 cs.AI cs.CL
ESSumm: Extractive Speech Summarization from Untranscribed Meeting
University of Maryland, College Park(马里兰大学帕克分校)
在本文中,我们提出了一种新的架构,直接提取语音到语音摘要,ESSumm,这是一个无监督的模型,不依赖于中间转录文本。与以往的文本呈现方法不同,我们的目标是直接从语音生成摘要,而无需转录。首先,根据语音信号的声学特征提取一组较小的语音段。对于每个候选语音段,设计了基于距离的摘要置信度作为潜在语音表征度量。具体来说,我们利用现成的自监督卷积神经网络从原始音频中提取深度语音特征。我们的方法自动预测的最佳序列的语音片段,捕获的关键信息与目标摘要长度。两个著名的会议数据集(AMI和ICSI语料库)的广泛结果表明,我们的直接语音为基础的方法,以提高摘要质量与未转录的数据的有效性。我们还观察到,我们的无监督的语音为基础的方法,甚至执行与最近的成绩单为基础的摘要方法,其中需要额外的语音识别。
2022-09-14 cs.CL cs.SD eess.AS
FABLES: Evaluating faithfulness and content selection in book-length summarization
UMass Amherst(马萨诸塞大学阿默斯特分校);Adobe(奥多比公司);Allen Institute for AI(艾伦人工智能研究所);Princeton(普林斯顿大学)
本文通过构建FABLES数据集首次对书籍长度摘要进行大规模人工评估,发现Claude-3-Opus忠实性最优,并揭示现有LLM评分器无法有效检测不忠实声明及内容选择中的系统性偏差。
2024-09-30 cs.AI cs.CL
Spot the BlindSpots: Systematic Identification and Quantification of Fine-Grained LLM Biases in Contact Center Summaries
本文提出BlindSpot框架,通过15个运营偏见维度和两个量化指标,系统识别并量化联络中心摘要中LLM的细粒度偏见,并在2500条真实通话记录及20个LLM上验证了偏见的系统性存在。
2025-08-18 cs.AI cs.CL
MediaSum: A Large-scale Media Interview Dataset for Dialogue Summarization
Microsoft Cognitive Services Research Group(微软认知服务研究小组)
MediaSum是一个大规模的媒体采访数据集,包含463.6K的摘要。为了创建这个数据集,我们收集了NPR和CNN的采访记录,并使用概述和主题描述作为摘要。与现有的公共语料库的对话摘要相比,我们的数据集是一个数量级更大,包含复杂的多方对话从多个领域。我们进行统计分析,以证明独特的立场偏见表现在电视和广播采访的成绩单。我们还表明,MediaSum可以用于迁移学习,以提高模型在其他对话摘要任务上的性能。
2021-03-12 cs.CL
LLMs for automatic annotation of Mandarin narrative transcripts
Shanghai Jiao Tong University(上海交通大学);University of California San Diego(加州大学圣地亚哥分校);The Hong Kong Polytechnic University(香港理工大学);National Research Center for Language and Well-Being(语言与幸福感国家研究中心);City University of Hong Kong(香港城市大学)
本研究探讨了大型语言模型在自动标注汉语叙述转录中的有效性,通过比较四种LLM与训练好的人类标注者,发现最佳模型在标注叙事宏观结构时能与人类标注者达成高一致性,同时显著减少标注时间,但轻量级本地部署模型表现较差,且标注难度因宏观结构元素类型而异,尤其在需要微妙语义区分的类别中存在持续挑战。
2026-05-17 cs.CL
PerHalluEval: Persian Hallucination Evaluation Benchmark for Large Language Models
PerHalluEval是首个波斯语动态幻觉评估基准,采用三阶段LLM流水线生成问答和摘要任务中的幻觉实例,评估12个模型发现其普遍难以检测波斯语幻觉,提供外部知识可部分缓解,且专门训练的模型无显著优势。
2025-09-25 cs.CL
KLearn: Background Knowledge Inference from Summarization Data
EPFL(洛桑联邦理工学院)
文本摘要的目标是将文档压缩为相关信息,同时排除接收者已知的背景信息。到目前为止,摘要研究者对相关性的关注远远超过了对背景知识的关注。相反,这项工作把背景知识放在前台。人类摘要者和注释者所做的选择包含关于其背景知识的隐含信息,基于这一认识,我们开发并比较了从摘要数据推断背景知识的技术。基于这个框架,我们定义了摘要评分函数,明确模型背景知识,并表明这些评分函数适合人类的判断显着优于基线。我们说明了我们的框架的许多潜在的应用。首先,我们提供了对人类信息重要性先验的见解。其次,我们证明了平均的背景知识的多个,潜在的偏见注释者或语料库大大提高了摘要评分性能。最后,我们讨论了我们的框架超越总结的潜在应用。
2020-10-13 cs.CL
Instruction-Guided Bullet Point Summarization of Long Financial Earnings Call Transcripts
Indian Institute of Technology(印度理工学院);Vellore Institute of Technology(韦洛尔理工学院)
本文面向长篇财报电话会议记录,提出结合无监督问题抽取与参数高效指令微调的 FLAN-FinBPS,在 ECTSum 上实现 14.88% 的平均 ROUGE 提升并生成事实一致的要点摘要。
2024-05-03 cs.CE cs.CL cs.IR
SANTLR: Speech Annotation Toolkit for Low Resource Languages
Carnegie Mellon University(卡内基梅隆大学)
虽然低资源语音识别已经吸引了语音社区的大量关注,但是有一些工具可用于促进低资源语音收集。在这项工作中,我们提出了SANTLR:语音注释工具包低资源语言。它是一个基于网络的工具包,允许研究人员轻松地收集和注释低资源语言的语音语料库。注释者可以将此工具包用于两个目的:转录或记录。在转录中,注释者将转录研究人员提供的音频文件;在记录中,注释者将通过阅读提供的文本来记录他们的声音。我们强调这个工具包的两个属性。首先,SANTLR具有非常用户友好的用户界面(UI)。研究人员和注释者都可以使用这个简单的Web界面进行交互。注释者不需要具备音频或文本处理方面的专业知识。该工具包将处理所有预处理和后处理步骤。其次,我们采用了多步排名机制,促进注释过程。特别地,工具包将给予更高优先级的话语更容易注释并且更有利于实现注释的目标,例如快速训练声学模型。
2019-08-02 cs.CL cs.SD eess.AS
ECTSum: A New Benchmark Dataset For Bullet Point Summarization of Long Earnings Call Transcripts
IIT Kharagpur(印度理工学院克勒格布尔分校);Goldman Sachs(高盛集团);Leibniz University of Hannover(汉诺威莱布尼茨大学)
尽管在自动摘要方面取得了巨大的进步,但最先进的方法主要是在总结简短的新闻通讯文章或具有强烈布局偏见的文档(如科学文章或政府报告)方面表现出色。总结财务文件(包括事实和数字)的有效技术在很大程度上尚未探索,主要是由于缺乏合适的数据集。在这项工作中,我们提出了ECTSum,一个新的数据集,由上市公司托管的盈利电话会议(ECTs)的成绩单,作为文件,以及来自相应的路透社文章的简短专家撰写的电报式要点摘要。ECT是长的非结构化文档,没有任何规定的长度限制或格式。我们使用最先进的摘要器在各种指标上对数据集进行基准测试,以评估生成的摘要的内容质量和事实一致性。最后,我们提出了一种简单而有效的方法,ECT-BPS,以生成一组要点,精确地捕捉在电话中讨论的重要事实。
2022-10-26 cs.CL
Multi-News+: Cost-efficient Dataset Cleansing via LLM-based Data Annotation
Chung-Ang University(中央大学);Graduate School of Advanced Imaging Sciences, Multimedia and Film, Chung-Ang University(中央大学高级影像科学、多媒体与电影研究生院)
本研究利用大语言模型结合思维链和多数投票策略,对多文档摘要数据集Multi-News进行清洗以剔除不相关文档,构建了增强版Multi-News+,提供了一种高效且低成本的数据集质量提升方法。
2024-09-24 cs.AI cs.CL
BooookScore: A systematic exploration of book-length summarization in the era of LLMs
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Allen Institute for AI(艾伦人工智能研究所);Princeton University(普林斯顿大学)
针对书籍长度摘要评估难题,研究两种LLM摘要工作流的连贯性,提出自动指标BooookScore,系统分析关键参数影响并对比不同模型表现。
2024-04-13 cs.AI cs.CL cs.LG
LongEval: Guidelines for Human Evaluation of Faithfulness in Long-form Summarization
Allen Institute for AI(艾伦人工智能研究所);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Yale University(耶鲁大学)
虽然人工评估仍然是准确判断自动生成摘要的忠实性的最佳实践,但在评估长格式摘要时,几乎没有解决方案可以解决增加的难度和工作量。通过对162篇关于长式摘要的论文的调查,我们首先阐明了围绕长式摘要的当前人类评估实践。我们发现,这些论文中有73%没有对模型生成的摘要进行任何人工评估,而其他作品在处理长文档时面临新的困难(例如,低注释者间一致性)。出于我们的调查,我们提出了LongEval,一套指导方针,为人类评价的忠实性,在长形式的摘要,解决了以下挑战:(1)我们如何才能实现高注释者之间的一致性的忠实分数?(2)我们如何在保持准确的忠实度分数的同时最大限度地减少注释者的工作量?以及(3)人类是否从摘要和源代码片段之间的自动对齐中受益?我们在不同领域(SQualITY和PubMed)的两个长格式摘要数据集的注释研究中部署了LongEval,我们发现切换到更细的判断粒度(例如,小句级别)减少了忠实度分数中的注释者间差异(例如,std-dev从18.5到6.8)。我们还表明,分数从部分注释的细粒度单位高度相关的分数从一个完整的注释工作量(0.89肯德尔的tau使用50%的判断)。我们发布了我们的人类判断,注释模板和我们的软件作为Python库用于未来的研究。
2023-01-30 cs.CL
A Hierarchical Network for Abstractive Meeting Summarization with Cross-Domain Pretraining
Microsoft Cognitive Services Research Group(微软认知服务研究组)
随着大量的自动会议记录的出现,会议摘要越来越受到与会者和其他各方的关注。传统的总结会议的方法依赖于复杂的多步管道,这使得联合优化变得棘手。与此同时,还有一些用于文本摘要和对话系统的深度神经模型。然而,会议记录的语义结构和风格与文章和对话有很大的不同。在本文中,我们提出了一种新的抽象摘要网络,适应会议场景。我们设计了一个层次结构,以适应长的会议成绩单和角色向量来描述扬声器之间的差异。此外,由于会议摘要数据的不足,我们在大规模新闻摘要数据上对模型进行了预训练。实证结果表明,我们的模型优于以前的方法在自动度量和人类的评价。例如,在ICSI数据集上,ROUGE-1评分从34.66%增加到46.28%。
2020-09-20 cs.CL
Large Language Models for Medical OSCE Assessment: A Novel Approach to Transcript Analysis
UT Southwestern Medical Center(德克萨斯大学西南医学中心);Lyda Hill Department of Bioinformatics(莱达·希尔生物信息学系);Department of Internal Medicine(内科学系);Simulation Center(模拟中心);Department of Surgery(外科学系)
本文利用大型语言模型分析OSCE考试转录文本以自动评估医学生病史总结能力,在UTSW的2027个视频数据上验证了GPT-4等模型与人类评分者高度一致(Cohen's kappa=0.88),并提出了部署最佳实践。
2024-10-11 cs.AI cs.CL
Reconstruct Before Summarize: An Efficient Two-Step Framework for Condensing and Summarizing Meeting Transcripts
City University of Hong Kong(香港城市大学);The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院)
提出一种名为RbS的两步会议总结框架,通过自监督重构标注关键内容并结合相对位置分桶算法压缩输入,在AMI和ICSI数据集上超越现有方法且无需大规模预训练。
2023-10-22 cs.CL