Large Language Models are Diverse Role-Players for Summarization Evaluation
Microsoft(微软)
本文提出基于大语言模型的摘要评估框架,通过角色扮演者提示机制从客观和主观维度比较生成文本与参考文本,并结合上下文动态画像与多角色批量提示,在三个数据集上取得与人类标注高度一致的结果。
2023-09-19 cs.CL
Towards an Automated Multimodal Approach for Video Summarization: Building a Bridge Between Text, Audio and Facial Cue-Based Summarization
Center for Machine Vision and Signal Analysis, Faculty of ITEE, University of Oulu, Finland(机器视觉与信号分析中心,ITEE学院,奥卢大学,芬兰);Center for Machine Vision(机器视觉与信号分析中心);Signal Analysis, Faculty of ITEE, University of Oulu, Finland(信号分析,ITEE学院,奥卢大学,芬兰)
本文提出一种行为感知的多模态视频摘要框架,通过整合文本、音频和视觉线索及奖励词生成时间戳对齐摘要,在多项指标上显著优于传统方法。
2025-06-30 cs.CL cs.CV
Little Giants: Exploring the Potential of Small LLMs as Evaluation Metrics in Summarization in the Eval4NLP 2023 Shared Task
Dataminr Inc.(Dataminr公司)
本文研究在 Eval4NLP 2023 共享任务中,通过组合标准提示、标注者指令提示和思维链提示,并融合零样本与单样本学习,证明小型开源模型 orca_mini_v3_7B 在摘要与机器翻译质量评估中具有竞争力。
2023-11-01 cs.CL
Q-STRUM Debate: Query-Driven Contrastive Summarization for Recommendation Comparison
University of Toronto(多伦多大学)
本文提出 Q-STRUM Debate,通过辩论式提示扩展 STRUM-LLM,利用大语言模型生成查询相关的聚焦对比摘要,在三个数据集上显著提升了查询驱动对比摘要的性能。
2025-06-02 cs.CL
Enhancing Summarization Performance through Transformer-Based Prompt Engineering in Automated Medical Reporting
Utrecht University(乌得勒支大学);Verticai;Nivel (Netherlands institute for health services research)(荷兰卫生服务研究所(Nivel))
本文研究提示设计对 LLM 医疗对话摘要的影响,结合示例提示与模式提示,并通过 ROUGE 和专家人工评估验证双示例加领域上下文方法效果最佳。
2024-01-19 cs.CL
MAGIC-Enhanced Keyword Prompting for Zero-Shot Audio Captioning with CLIP Models
Expedia Group, USA(Expedia集团);California Universities of Management and Sciences, USA(加州管理与科学大学);Jamia Hamdard, New Delhi, India(贾迈亚哈曼德大学);Macquarie University, Sydney, Australia(麦考瑞大学)
提出一种基于预训练音频CLIP模型和LLM的零样本音频字幕生成系统,通过MAGIC搜索和关键词提示优化token选择,使NLG平均得分提升35%。
2025-09-16 cs.CL
PrExMe! Large Scale Prompt Exploration of Open Source LLMs for Machine Translation and Summarization Evaluation
University of Mannheim(曼海姆大学);University of Technology Nuremberg (UTN)(纽伦堡工业大学(UTN))
本文提出PrExMe,通过超720个提示模板和660万次评估,全面探索开源LLM在机器翻译与摘要评估中的表现,揭示了提示策略的稳定性与局限性。
2024-11-17 cs.CL
Exploring Prompting Large Language Models as Explainable Metrics
School of Computer Engineering(计算机工程学院);Iran University of Science and Technology(伊朗科技大学)
本文提出基于零样本提示的大型语言模型评估策略,用于文本摘要任务的可解释评估,其最佳提示在测试数据上与人类评估达到0.477的Kendall相关性。
2023-11-20 cs.AI cs.CL cs.LG
Leveraging GPT-4 for Food Effect Summarization to Enhance Product-Specific Guidance Development via Iterative Prompting
Drexel University(德雷塞尔大学);United States Food and Drug Administration(美国食品药品监督管理局)
本研究提出一种三轮迭代提示方法,利用 GPT-4 从新药申请文件中生成食物效应摘要,实验表明其生成的摘要在事实一致性上表现优异,能显著提升特定产品指南评估的效率。
2023-06-28 cs.AI cs.CL cs.LG
SYMDIREC: A Neuro-Symbolic Divide-Retrieve-Conquer Framework for Enhanced RTL Synthesis and Summarization
IBM Research(IBM研究院)
SYMDIREC通过结合符号规划与LLM推理,提升RTL综合与摘要的准确性,实现比基线方法更高的Pass@1率和ROUGE-L分数。
2026-03-17 cs.CL cs.PL
Evaluating Factual Consistency of Summaries with Large Language Models
City University of Hong Kong(香港城市大学);Hong Kong University of Science and Technology(香港科技大学)
本研究通过直接提示大型语言模型来评估摘要的事实一致性,系统比较了多种模型和提示方法,实验证明该方法在多个设置下均优于现有最佳系统,准确率最高提升12.2个百分点。
2023-10-12 cs.CL
Controlled Attribute-Specific Summarization of Interrogative Dialogues
IIIT Delhi(德里印度理工学院)
本文提出CASPER框架,结合思维链提示与迭代细化,并构建MINDSum数据集,通过分层评估机制显著提升审讯对话摘要的事实一致性与完整性。
2026-09-24 cs.AI cs.CL
SummQA at MEDIQA-Chat 2023:In-Context Learning with GPT-4 for Medical Summarization
Carnegie Mellon University(卡内基梅隆大学)
本文提出一种基于GPT-4的上下文学习医学对话摘要系统,通过选择语义相似对话作为上下文示例进行少样本提示,在MEDIQA 2023共享任务中取得多项前列成绩,验证了该方法的有效性并指出其不足。
2023-06-30 cs.CL
IndicContextEval: A Benchmark for Evaluating Context Utilisation in Audio Large Language Models Across 8 Indic Languages
AI4Bharat, Indian Institute of Technology Madras, India(AI4Bharat,印度理工学院马德拉斯分校);Sarvam AI, India(Sarvam AI,印度)
提出IndicContextEval基准,包含8种印度语言555位说话人的56小时自然语音,通过7级提示框架评估音频大语言模型是否真正利用上下文而非依赖参数化知识。
2026-06-25 cs.CL eess.AS
Abstracts or full text? Evaluating input scope and computational efficiency in biomedical lay summarization
Özyeğin University(厄齐耶金大学);Galatasaray University(加拉塔萨雷大学)
本研究对比生物医学通俗摘要中基于摘要与全文的生成效果,发现基于摘要的方法整体表现更优,且运行速度是全文方法的4.70至5.31倍,可在保证质量的同时降低计算成本。
2026-10-16 cs.CL
OmniVox: Zero-Shot Emotion Recognition with Omni-LLMs
Stony Brook University(石溪大学);Institute for Advanced Computational Science(高级计算科学研究院)
本文提出OmniVox,首次系统评估四种全模态大语言模型在零样本情绪识别任务上的表现,并引入声学提示策略,在IEMOCAP和MELD基准上验证其优于或媲美微调音频模型。
2025-03-28 cs.CL
Advancing Speech Summarization in Multi-modal LLMs with Reinforcement Learning
Microsoft CoreAI(微软核心人工智能)
提出多阶段强化学习训练框架,增强多模态大语言模型的语音摘要能力,显著超越强基线和更大模型,缩小与文本大模型的差距。
2025-09-23 cs.AI cs.CL eess.AS
The Eval4NLP 2023 Shared Task on Prompting Large Language Models as Explainable Metrics
Bielefeld University(比勒费尔德大学);Heidelberg University(海德堡大学);Google(谷歌);Google Research(谷歌研究院);University of Haifa(海法大学)
本文介绍 Eval4NLP 2023 共享任务,在禁止微调的限制下探索用提示方法让 LLMs 作为机器翻译和摘要评估指标,最佳系统性能可比甚至超过 GEMBA 等更大模型的无参考指标。
2023-10-30 cs.CL
Robust Summarization of Doctor-Patient Conversations: TalTech Systems for the Beyond Transcription Challenge
TalTech(塔林理工大学)
塔尔图大学针对超越转录挑战,筛选鲁棒语音语言模型,用LoRA微调及DAPO强化学习调整Voxtral模型。其系统在两轨道夺冠,幻觉率最低,还表明微调文本转录本能提升语音输入鲁棒性。
2026-07-21 cs.CL eess.AS
Prompting Large Language Models with Speech Recognition Abilities
Meta AI;University of Cambridge(剑桥大学)
本研究通过给LLaMA-7B接入小型音频编码器构建ASR系统,在MLS上较单语言基线提升18%,且冻结LLM或采用大步长时仍可实现多语言语音识别,为长音频处理提供可能。
2023-07-21 cs.AI cs.CL cs.LG
MEDSAGE: Enhancing Robustness of Medical Dialogue Summarization to ASR Errors with LLM-generated Synthetic Dialogues
AICS
本文提出 MEDSAGE,利用 LLM 的上下文学习生成模拟 ASR 错误的合成医学对话,以低资源数据增强提升临床对话摘要系统的鲁棒性与准确性。
2025-01-08 cs.AI cs.CL
Topic-Guided Reinforcement Learning with LLMs for Enhancing Multi-Document Summarization
Department of Computer Science, University of British Columbia(英属哥伦比亚大学计算机科学系);Salesforce AI Research(Salesforce人工智能研究)
本文提出一种主题引导的强化学习方法,通过在GRPO框架中引入主题奖励以衡量生成摘要与源文档的主题对齐度,有效改进了多文档摘要的内容选择,并在Multi-News等数据集上持续优于强基线。
2025-09-11 cs.CL
RadTimeline: Timeline Summarization for Longitudinal Radiological Lung Findings
本文提出RadTimeline时间线摘要任务,通过生成时间线来总结纵向放射学报告,提升疾病进展识别效率。实验表明,分组名称生成对发现分组至关重要,最佳配置在召回率和分组性能上接近人工标注。
2026-03-24 cs.CL
Multi-Task Instruction Tuning via Data Scheduling for Low-Resource Arabic SpeechLLMs
Qatar Computing Research Institute(卡塔尔计算研究院)
本文研究了在资源受限环境下,通过数据调度优化多任务指令微调方法,提出AraMega-SSum用于训练和评估阿拉伯语中心的音频LLM,并比较了四种训练策略,发现两阶段TPC→ADS策略在任务平衡上表现最佳。
2026-07-08 cs.AI cs.CL cs.SD
Realizing Video Summarization from the Path of Language-based Semantic Understanding
National Yang Ming Chiao Tung University(国立阳明交通大学)
本研究受MoE范式启发,提出无需微调的推理时多VideoLLM整合视频摘要框架,融合音视频内容生成语义更丰富的摘要,提升下游任务性能与方法适应性。
2024-10-06 cs.CL cs.CV
Continual Learning Using Only Large Language Model Prompting
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Salesforce AI Research(Salesforce AI研究院)
提出CLOB持续学习范式,将大语言模型视为黑盒,仅通过提示进行增量学习,并设计基于增量摘要的CIS技术克服输入长度限制,实验表明其大幅优于基线。
2024-12-20 cs.AI cs.CL
Large Language Models with Temporal Reasoning for Longitudinal Clinical Summarization and Prediction
University of Colorado Anschutz Medical Campus(科罗拉多大学安舒茨医学校园);University of Colorado Boulder(科罗拉多大学波德分校);Northeastern University(东北大学)
该研究针对大语言模型处理长时序多模态临床病程轨迹能力不足的问题,系统评估了开源LLM、RAG变体及CoT提示在长上下文临床总结与预测任务的表现,发现长上下文窗口、RAG均无法完全解决时序推理与罕见病预测难题,填补了相关研究空白。
2025-09-04 cs.CL
Enhancing News Summarization with ELearnFit through Efficient In-Context Learning and Efficient Fine-Tuning
AllianceBernstein(AllianceBernstein( AllianceBernstein 是一家全球投资管理公司,中文可译为“ AllianceBernstein 公司”,保留原名更准确));University of California, Berkeley(加利福尼亚大学伯克利分校)
本文提出ELearnFit模型,结合高效上下文学习与参数高效微调,通过增加提示示例、使用简单模板及微调LLMs首层等方法优化XSum新闻摘要性能,并揭示了提示与微调在有限标注样本下的权衡。
2024-05-04 cs.CL
MedVoiceBias: A Controlled Study of Audio LLM Behavior in Clinical Decision-Making
本研究通过170个临床病例和36种语音特征,揭示音频大语言模型在临床决策中存在严重模态、年龄和性别偏差,呼吁在临床部署前开发偏差感知架构。
2025-11-10 cs.CL eess.AS
Audio Dialogues: Dialogues dataset for audio and music understanding
NVIDIA(英伟达)
针对现有音频理解数据集多为单轮交互、缺乏对话式理解支撑的问题,研究团队构建了含16.38万样本的多轮音频对话数据集Audio Dialogues,覆盖通用音频与音乐,支持多音频比较,基于提示方法和现有字幕标注用LLM生成对话,并验证了其复杂性与适用性。
2024-04-11 cs.CL cs.SD eess.AS
Benchmarking LLMs on the Semantic Overlap Summarization Task
Research Center Trustworth Data Science and Security, Technical University of Dortmund(多特蒙德技术大学信任数据科学与安全研究中心);School of Computing, Wichita State University(威斯康星州立大学计算机学院);Department of Computer Science, NC State University(北卡罗来纳州立大学计算机科学系)
本研究对主流大语言模型在语义重叠摘要任务上进行基准测试,引入隐私政策配对数据集,使用TELeR提示法生成并评估大量摘要,并分析模型性能与自动评估可靠性。
2025-08-07 cs.CL
Joint Effects of Argumentation Theory, Audio Modality and Data Enrichment on LLM-Based Fallacy Classification
University of Groningen(格罗宁根大学)
本文研究了上下文与情感语调元数据对LLM在政治辩论谬误分类中的影响,发现引入理论思维链框架虽提升可解释性,但增加上下文和音频情感元数据常因注意力分散导致性能下降。
2025-09-14 cs.CL
sui-1: Grounded and Verifiable Long-Form Summarization
ellamind
sui-1通过生成带引用的摘要,解决了大型语言模型摘要不可验证的问题,展示了任务特定训练在引用支持摘要中的优越性。
2026-01-13 cs.AI cs.CL
An End-to-End Speech Summarization Using Large Language Model
Huawei Translation Service Center(华为翻译服务中心)
本文提出以 Q-Former 连接语音与 LLM 的端到端语音摘要模型,通过 ASR、TSum 辅助任务和课程学习实现多阶段训练,并在 How-2 上取得有竞争力的结果。
2024-07-02 cs.CL cs.SD eess.AS
Mitigating Semantic Drift: Evaluating LLMs' Efficacy in Psychotherapy through MI Dialogue Summarization
Research Institute CODE University of the Bundeswehr(CODE研究机构 陆军大学);Department of Psychology Barkatullah University(心理学系 Barkatullah大学)
本文通过MI对话摘要评估LLMs在心理治疗中的有效性,揭示其在复杂心理构念理解中的能力及缓解语义漂移的最佳实践。
2025-11-28 cs.CL cs.LG
PIAST: Rapid Prompting with In-context Augmentation for Scarce Training data
Heinrich Heine Universität Düsseldorf(海因里希·海涅大学杜塞尔多夫)
PIAST通过生成少量示例快速构建提示,利用蒙特卡洛沙普利估计优化示例效用,实现在有限计算资源下提升文本简化、GSM8K和分类任务的性能。
2026-04-07 cs.CL
CARPAS: Towards Content-Aware Refinement of Provided Aspects for Summarization in Large Language Models
National Yang Ming Chiao Tung University(国家阳明交通大学)
本文提出CARPAS任务,构建三个数据集,引入两阶段框架优化LLMs的方面摘要生成,解决过度生成问题,提升了各数据集的性能并获得LLMs合规性的关键见解。
2026-09-03 cs.CL
UMB@PerAnsSumm 2025: Enhancing Perspective-Aware Summarization with Prompt Optimization and Supervised Fine-Tuning
Department of Computer Science, University of Massachusetts Boston(计算机科学系,马萨诸塞大学波士顿分校)
UMB@PerAnsSumm 2025通过提示优化和监督微调提升视角感知摘要质量,结合关键词和引导信息优化摘要生成过程。
2025-03-14 cs.AI cs.CL
Large Language Models for Token-Efficient and Semantic-Preserving Opinion Summarization
University of Calabria(卡拉布里亚大学)
研究如何在大语言模型进行观点摘要时保留语义并减少令牌使用,结合多维分类与分层抽样策略选择观点子集,定制提示生成摘要,实验证明该方法能降本增效,优于传统和标准大语言模型摘要基线。
2026-07-14 cs.AI cs.CL cs.LG
Chain-of-Description: What I can understand, I can put into words
Huawei Translation Services Center(华为翻译服务中心)
本文提出Chain-of-Description (CoD)提示策略,要求多模态大模型先描述输入再作答,在Qwen2-Audio、Qwen2-VL和Qwen2.5-VL上分别提升音频基准4%和视觉基准5.3%,消融实验验证其有效性。
2025-02-22 cs.AI cs.CL
Query-OPT: Optimizing Inference of Large Language Models via Multi-Query Instructions in Meeting Summarization
Dialpad Inc.(Dialpad公司)
本文研究在会议摘要任务中将同一上下文的多个查询合并为单个提示,以减少LLM推理调用成本,并通过对比多种主流LLMs验证了多查询提示在优化推理成本方面的有效性。
2024-10-20 cs.CL
A Dual-Prompting for Interpretable Mental Health Language Models
Sungkyunkwan University(成均馆大学);University of South Florida(南佛罗里达大学);Chung-Ang University(中央大学)
本文提出双重提示方法,结合专家身份、自杀词典和心理健康专用LLM进行证据提取,并用一致性评估器生成摘要,以提升心理健康LLM的可解释性并辅助临床评估。
2024-02-20 cs.AI cs.CL
Probing Audio-Generation Capabilities of Text-Based Language Models
Algoverse AI Research(Algoverse AI研究)
本研究探讨了基于文本的大型语言模型(LLMs)通过代码中介生成音频的能力,采用三层方法逐步增加复杂性,并用FAD和CLAP分数评估,发现LLMs能生成基础音频但随复杂性增加性能下降,表明其音频生成能力仍处初级阶段。
2025-05-04 cs.CL cs.SD eess.AS
Speech vs. Transcript: Does It Matter for Human Annotators in Speech Summarization?
Carnegie Mellon University(卡内基梅隆大学);ASAPP Inc(ASAPP公司);Mohammed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学)
本研究对比语音和文本转录两种模态下人类标注的语音摘要差异,通过多维度评估发现语音摘要事实一致性与信息筛选性更优,转录摘要受识别错误影响,专家摘要更可靠,并公开数据代码推动领域研究。
2024-08-12 cs.CL cs.HC cs.SD
Which is better? Exploring Prompting Strategy For LLM-based Metrics
Korea University(高丽大学)
针对传统自然语言生成评估指标与人类评估偏差大的问题,研究系统分析了开源大语言模型作为评估指标的三类方法,通过多组实验得出有效提示策略与相关能力洞见。
2023-11-07 cs.CL
Theme-Explanation Structure for Table Summarization using Large Language Models: A Case Study on Korean Tabular Data
Sungkyunkwan University(成均馆大学);Pohang University of Science and Technology(釜山科学技术大学)
本文提出Tabular-TX流水线,通过多步推理与记者角色提示生成主题-解释结构的表格摘要,无需微调即可高效处理韩语行政表格,提升可读性并适用于低资源场景。
2025-07-09 cs.AI cs.CL
On Positional Bias of Faithfulness for Long-form Summarization
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Salesforce AI Research(Salesforce人工智能研究)
本文研究长文本摘要中LLM的位置偏差,发现忠实性呈U形趋势,并验证提示技术可有效引导注意力以缓解该偏差。
2025-07-06 cs.CL
ALLM4ADD: Unlocking the Capabilities of Audio Large Language Models for Audio Deepfake Detection
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Department of Automation, Tsinghua University(清华大学自动化系);Taizhou University(台州大学);Anhui University(安徽大学);Beijing National Research Center for Information Science and Technology,Tsinghua University(北京信息科学与技术国家研究中心,清华大学)
本文提出ALLM4ADD框架,将音频深度伪造检测重构为问答任务,通过监督微调音频大语言模型,在数据稀缺场景下实现优越的伪造音频检测性能。
2025-07-08 cs.CL cs.SD eess.AS
Role of Audio in Audio-Visual Video Summarization
KUIS-AI Laboratory(KUIS人工智能实验室)
视频摘要吸引了人们的注意力,有效的视频表示,检索和浏览,以缓解量和流量激增的问题。虽然视频摘要大多使用视觉通道进行压缩,但最近的文献中出现了视听建模的好处。来自音频通道的信息可以是视频内容中的视听相关的结果。在这项研究中,我们提出了一个新的视听视频摘要框架集成四种方式的视听信息融合与基于GRU和基于注意力的网络。此外,我们研究了一种新的可解释性方法,使用视听典型相关分析(CCA),以更好地理解和解释音频在视频摘要任务中的作用。在TVSum数据集上的实验评估获得了视听视频摘要的F1分数和Kendall-tau分数的改进。此外,基于视听CCA将TVSum和COGNIMUSE数据集上的视频内容拆分为正相关和负相关视频,与仅音频和视听视频摘要的正相关视频相比,性能得到了很大的提高。
2022-12-02 cs.CV cs.MM cs.SD
Error Analysis Prompting Enables Human-Like Translation Evaluation in Large Language Models
Southeast University(东南大学);Nanjing University(南京大学);The University of Sydney(悉尼大学);Shenzhen Research Institute(深圳研究院);Microsoft(微软公司);Nanyang Technological University(南洋理工大学)
针对LLMs在机器翻译片段级评估表现不佳的问题,提出结合思维链与错误分析的EAPrompt方法,模拟MQM框架实现可解释的系统级与片段级评估,在WMT22任务上验证了其有效性。
2024-06-05 cs.CL
IDAS: Intent Discovery with Abstractive Summarization
Sinch Chatlayer;Ghent University(根特大学)
IDAS利用大语言模型基于原型话语生成抽象摘要式标签,再通过冻结编码器聚类以发现潜在意图,在无监督和半监督场景下均优于现有方法。
2023-05-31 cs.CL
Venn Diagram Prompting : Accelerating Comprehension with Scaffolding Effect
Palo Alto Networks(帕洛阿尔托网络公司)
本文提出维恩图提示技术,通过单次LLM调用替代多步骤策略,消除位置偏差并提升多文档问答一致性,在四个基准数据集上达到或超过精心设计的指令提示性能。
2024-06-08 cs.AI cs.CL cs.LG
ASCRIBE: Atomic and Significance-Based Reasoning for Thai Clinical SOAP Note Generation
Looloo Health(卢卢健康);Kasetsart University(泰国农业大学);Mahidol University(玛希隆大学)
提出ASCRIBE框架,通过为对话中原子事实赋予临床显著性等级提升泰语SOAP笔记生成的完整性与可靠性,并发布首个泰语临床基准ThaiClinicBench及合成语料,显著优于现有提示方法。
2026-10-02 cs.CL
BooookScore: A systematic exploration of book-length summarization in the era of LLMs
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Allen Institute for AI(艾伦人工智能研究所);Princeton University(普林斯顿大学)
针对书籍长度摘要评估难题,研究两种LLM摘要工作流的连贯性,提出自动指标BooookScore,系统分析关键参数影响并对比不同模型表现。
2024-04-13 cs.AI cs.CL cs.LG