Little Giants: Exploring the Potential of Small LLMs as Evaluation Metrics in Summarization in the Eval4NLP 2023 Shared Task
Dataminr Inc.（Dataminr公司）
本文研究在 Eval4NLP 2023 共享任务中，通过组合标准提示、标注者指令提示和思维链提示，并融合零样本与单样本学习，证明小型开源模型 orca_mini_v3_7B 在摘要与机器翻译质量评估中具有竞争力。
2023-11-01 cs.CL
DisasterQA: A Benchmark for Assessing the performance of LLMs in Disaster Response
本文构建源自六个在线来源的DisasterQA基准，结合四种提示方法与Logprobs评估五个LLM的灾害响应知识准确率和置信度，发现其仍需改进。
2024-10-09 cs.CL
Q-STRUM Debate: Query-Driven Contrastive Summarization for Recommendation Comparison
University of Toronto（多伦多大学）
本文提出 Q-STRUM Debate，通过辩论式提示扩展 STRUM-LLM，利用大语言模型生成查询相关的聚焦对比摘要，在三个数据集上显著提升了查询驱动对比摘要的性能。
2025-06-02 cs.CL
Enhancing Summarization Performance through Transformer-Based Prompt Engineering in Automated Medical Reporting
Utrecht University（乌得勒支大学）；Verticai；Nivel (Netherlands institute for health services research)（荷兰卫生服务研究所（Nivel））
本文研究提示设计对 LLM 医疗对话摘要的影响，结合示例提示与模式提示，并通过 ROUGE 和专家人工评估验证双示例加领域上下文方法效果最佳。
2024-01-19 cs.CL
PrExMe! Large Scale Prompt Exploration of Open Source LLMs for Machine Translation and Summarization Evaluation
University of Mannheim（曼海姆大学）；University of Technology Nuremberg (UTN)（纽伦堡工业大学（UTN））
本文提出PrExMe，通过超720个提示模板和660万次评估，全面探索开源LLM在机器翻译与摘要评估中的表现，揭示了提示策略的稳定性与局限性。
2024-11-17 cs.CL
Prompting and Fine-Tuning of Small LLMs for Length-Controllable Telephone Call Summarization
AppTek GmbH；RWTH Aachen University（亚琛工业大学）
本文提出利用前沿模型生成长度可控、多样化的合成通话数据并微调 Llama-2-7B，使其摘要质量在多项指标上媲美 GPT-4。
2024-10-24 cs.AI cs.CL cs.LG
Evaluating Factual Consistency of Summaries with Large Language Models
City University of Hong Kong（香港城市大学）；Hong Kong University of Science and Technology（香港科技大学）
本研究通过直接提示大型语言模型来评估摘要的事实一致性，系统比较了多种模型和提示方法，实验证明该方法在多个设置下均优于现有最佳系统，准确率最高提升12.2个百分点。
2023-10-12 cs.CL
SummQA at MEDIQA-Chat 2023:In-Context Learning with GPT-4 for Medical Summarization
Carnegie Mellon University（卡内基梅隆大学）
本文提出一种基于GPT-4的上下文学习医学对话摘要系统，通过选择语义相似对话作为上下文示例进行少样本提示，在MEDIQA 2023共享任务中取得多项前列成绩，验证了该方法的有效性并指出其不足。
2023-06-30 cs.CL
Abstracts or full text? Evaluating input scope and computational efficiency in biomedical lay summarization
Özyeğin University（厄齐耶金大学）；Galatasaray University（加拉塔萨雷大学）
本研究对比生物医学通俗摘要中基于摘要与全文的生成效果，发现基于摘要的方法整体表现更优，且运行速度是全文方法的4.70至5.31倍，可在保证质量的同时降低计算成本。
2026-10-16 cs.CL
The Eval4NLP 2023 Shared Task on Prompting Large Language Models as Explainable Metrics
Bielefeld University（比勒费尔德大学）；Heidelberg University（海德堡大学）；Google（谷歌）；Google Research（谷歌研究院）；University of Haifa（海法大学）
本文介绍 Eval4NLP 2023 共享任务，在禁止微调的限制下探索用提示方法让 LLMs 作为机器翻译和摘要评估指标，最佳系统性能可比甚至超过 GEMBA 等更大模型的无参考指标。
2023-10-30 cs.CL
SYMDIREC: A Neuro-Symbolic Divide-Retrieve-Conquer Framework for Enhanced RTL Synthesis and Summarization
IBM Research（IBM研究院）
SYMDIREC通过结合符号规划与LLM推理，提升RTL综合与摘要的准确性，实现比基线方法更高的Pass@1率和ROUGE-L分数。
2026-03-17 cs.CL cs.PL
Controlled Attribute-Specific Summarization of Interrogative Dialogues
IIIT Delhi（德里印度理工学院）
本文提出CASPER框架，结合思维链提示与迭代细化，并构建MINDSum数据集，通过分层评估机制显著提升审讯对话摘要的事实一致性与完整性。
2026-09-24 cs.AI cs.CL
Exploring Prompting Large Language Models as Explainable Metrics
School of Computer Engineering（计算机工程学院）；Iran University of Science and Technology（伊朗科技大学）
本文提出基于零样本提示的大型语言模型评估策略，用于文本摘要任务的可解释评估，其最佳提示在测试数据上与人类评估达到0.477的Kendall相关性。
2023-11-20 cs.AI cs.CL cs.LG
Leveraging GPT-4 for Food Effect Summarization to Enhance Product-Specific Guidance Development via Iterative Prompting
Drexel University（德雷塞尔大学）；United States Food and Drug Administration（美国食品药品监督管理局）
本研究提出一种三轮迭代提示方法，利用 GPT-4 从新药申请文件中生成食物效应摘要，实验表明其生成的摘要在事实一致性上表现优异，能显著提升特定产品指南评估的效率。
2023-06-28 cs.AI cs.CL cs.LG
Topic-Guided Reinforcement Learning with LLMs for Enhancing Multi-Document Summarization
Department of Computer Science, University of British Columbia（英属哥伦比亚大学计算机科学系）；Salesforce AI Research（Salesforce人工智能研究）
本文提出一种主题引导的强化学习方法，通过在GRPO框架中引入主题奖励以衡量生成摘要与源文档的主题对齐度，有效改进了多文档摘要的内容选择，并在Multi-News等数据集上持续优于强基线。
2025-09-11 cs.CL
RadTimeline: Timeline Summarization for Longitudinal Radiological Lung Findings
本文提出RadTimeline时间线摘要任务，通过生成时间线来总结纵向放射学报告，提升疾病进展识别效率。实验表明，分组名称生成对发现分组至关重要，最佳配置在召回率和分组性能上接近人工标注。
2026-03-24 cs.CL
Large Language Models with Temporal Reasoning for Longitudinal Clinical Summarization and Prediction
University of Colorado Anschutz Medical Campus（科罗拉多大学安舒茨医学校园）；University of Colorado Boulder（科罗拉多大学波德分校）；Northeastern University（东北大学）
该研究针对大语言模型处理长时序多模态临床病程轨迹能力不足的问题，系统评估了开源LLM、RAG变体及CoT提示在长上下文临床总结与预测任务的表现，发现长上下文窗口、RAG均无法完全解决时序推理与罕见病预测难题，填补了相关研究空白。
2025-09-04 cs.CL
Enhancing News Summarization with ELearnFit through Efficient In-Context Learning and Efficient Fine-Tuning
AllianceBernstein（AllianceBernstein（ AllianceBernstein 是一家全球投资管理公司，中文可译为“ AllianceBernstein 公司”，保留原名更准确））；University of California, Berkeley（加利福尼亚大学伯克利分校）
本文提出ELearnFit模型，结合高效上下文学习与参数高效微调，通过增加提示示例、使用简单模板及微调LLMs首层等方法优化XSum新闻摘要性能，并揭示了提示与微调在有限标注样本下的权衡。
2024-05-04 cs.CL
Benchmarking LLMs on the Semantic Overlap Summarization Task
Research Center Trustworth Data Science and Security, Technical University of Dortmund（多特蒙德技术大学信任数据科学与安全研究中心）；School of Computing, Wichita State University（威斯康星州立大学计算机学院）；Department of Computer Science, NC State University（北卡罗来纳州立大学计算机科学系）
本研究对主流大语言模型在语义重叠摘要任务上进行基准测试，引入隐私政策配对数据集，使用TELeR提示法生成并评估大量摘要，并分析模型性能与自动评估可靠性。
2025-08-07 cs.CL
PIAST: Rapid Prompting with In-context Augmentation for Scarce Training data
Heinrich Heine Universität Düsseldorf（海因里希·海涅大学杜塞尔多夫）
PIAST通过生成少量示例快速构建提示，利用蒙特卡洛沙普利估计优化示例效用，实现在有限计算资源下提升文本简化、GSM8K和分类任务的性能。
2026-04-07 cs.CL
CARPAS: Towards Content-Aware Refinement of Provided Aspects for Summarization in Large Language Models
National Yang Ming Chiao Tung University（国家阳明交通大学）
本文提出CARPAS任务，构建三个数据集，引入两阶段框架优化LLMs的方面摘要生成，解决过度生成问题，提升了各数据集的性能并获得LLMs合规性的关键见解。
2026-09-03 cs.CL
Discourse-Aware Policy Analysis with Argumentation: A Hybrid LLM-Symbolic Framework for Disaster Governance
New Mexico State University（新墨西哥州立大学）；Sun Yat-Sen University（中山大学）
研究灾害治理中政策文件推理隐含问题，提出混合大语言模型-符号框架Apaf，通过分类论点、生成框架介导关系子类型进行关键话语分析，发布新数据集，论证图准确、可解释且跨辖区稳定。
2026-07-16 cs.AI cs.CL
Query-OPT: Optimizing Inference of Large Language Models via Multi-Query Instructions in Meeting Summarization
Dialpad Inc.（Dialpad公司）
本文研究在会议摘要任务中将同一上下文的多个查询合并为单个提示，以减少LLM推理调用成本，并通过对比多种主流LLMs验证了多查询提示在优化推理成本方面的有效性。
2024-10-20 cs.CL
Continual Learning Using Only Large Language Model Prompting
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Salesforce AI Research（Salesforce AI研究院）
提出CLOB持续学习范式，将大语言模型视为黑盒，仅通过提示进行增量学习，并设计基于增量摘要的CIS技术克服输入长度限制，实验表明其大幅优于基线。
2024-12-20 cs.AI cs.CL
Which is better? Exploring Prompting Strategy For LLM-based Metrics
Korea University（高丽大学）
针对传统自然语言生成评估指标与人类评估偏差大的问题，研究系统分析了开源大语言模型作为评估指标的三类方法，通过多组实验得出有效提示策略与相关能力洞见。
2023-11-07 cs.CL
On Positional Bias of Faithfulness for Long-form Summarization
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Salesforce AI Research（Salesforce人工智能研究）
本文研究长文本摘要中LLM的位置偏差，发现忠实性呈U形趋势，并验证提示技术可有效引导注意力以缓解该偏差。
2025-07-06 cs.CL
Enhancing the Preference Extractor in Multi-turn Dialogues: From Annotating Disasters to Accurate Preference Extraction
Huawei Technologies Co., Ltd.（华为技术有限公司）；Huawei Noah’s Ark Lab（华为诺亚实验室）
针对多轮对话偏好提取中标注困难与错误传播问题，提出IterChat框架，通过分解为单轮提取并利用GPT4生成数据，提升性能与标注效率。
2025-08-03 cs.CL
IKDSumm: Incorporating Key-phrases into BERT for extractive Disaster Tweet Summarization
Indian Institute of Technology Patna（印度理工学院巴特那分校）；University of Tartu（塔尔图大学）
本文提出灾难推文摘要框架IKDSumm，通过利用灾难领域本体知识自动提取关键短语并融入BERT，在无人工干预下提升摘要质量，在12个数据集上ROUGE-N F1分数较8种先进方法提升约2-79%。
2023-05-19 cs.CL cs.SI
Error Analysis Prompting Enables Human-Like Translation Evaluation in Large Language Models
Southeast University（东南大学）；Nanjing University（南京大学）；The University of Sydney（悉尼大学）；Shenzhen Research Institute（深圳研究院）；Microsoft（微软公司）；Nanyang Technological University（南洋理工大学）
针对LLMs在机器翻译片段级评估表现不佳的问题，提出结合思维链与错误分析的EAPrompt方法，模拟MQM框架实现可解释的系统级与片段级评估，在WMT22任务上验证了其有效性。
2024-06-05 cs.CL
EventSum: A Large-Scale Event-Centric Summarization Dataset for Chinese Multi-News Documents
National University of Defense Technology（国防科技大学）；Tsinghua University（清华大学）
本文提出事件中心多文档摘要任务，构建首个大规模中文多新闻摘要数据集 EventSum（含 5,100 个事件、57,984 篇文档），并设计多种召回率指标，实验表明该任务对现有长上下文大语言模型仍具挑战性。
2025-01-03 cs.CL
IDAS: Intent Discovery with Abstractive Summarization
Sinch Chatlayer；Ghent University（根特大学）
IDAS利用大语言模型基于原型话语生成抽象摘要式标签，再通过冻结编码器聚类以发现潜在意图，在无监督和半监督场景下均优于现有方法。
2023-05-31 cs.CL
ADSumm: Annotated Ground-truth Summary Datasets for Disaster Tweet Summarization
Indian Institute of Technology Patna（印度理工学院巴特那分校）；University of Tartu（塔尔图大学）
针对灾害推文监督摘要缺乏训练与评估数据的问题，本文构建 ADSumm，为八国来源中的八类自然灾害和人为灾害事件提供带标注真实摘要、类别/相关性标签及关键短语，并使 ROUGE-N F1 提升 8%–28%。
2024-05-10 cs.CL cs.SI
ASCRIBE: Atomic and Significance-Based Reasoning for Thai Clinical SOAP Note Generation
Looloo Health（卢卢健康）；Kasetsart University（泰国农业大学）；Mahidol University（玛希隆大学）
提出ASCRIBE框架，通过为对话中原子事实赋予临床显著性等级提升泰语SOAP笔记生成的完整性与可靠性，并发布首个泰语临床基准ThaiClinicBench及合成语料，显著优于现有提示方法。
2026-10-02 cs.CL
sui-1: Grounded and Verifiable Long-Form Summarization
ellamind
sui-1通过生成带引用的摘要，解决了大型语言模型摘要不可验证的问题，展示了任务特定训练在引用支持摘要中的优越性。
2026-01-13 cs.AI cs.CL
A Lightweight LLM Framework for Disaster Humanitarian Information Classification
Department of Civil, Architectural & Environment Engineering, Sungkyunkwan University（苏州市立大学土木、建筑与环境工程系）；School of Geography, University of Leeds（利兹大学地理学院）
本文提出轻量级LLM框架，通过参数高效微调实现灾难推文的人道主义信息分类和事件类型识别，展示LoRA和QLoRA在资源受限环境下的高效性能。
2026-01-21 cs.AI cs.CL cs.LG
Mitigating Semantic Drift: Evaluating LLMs' Efficacy in Psychotherapy through MI Dialogue Summarization
Research Institute CODE University of the Bundeswehr（CODE研究机构 陆军大学）；Department of Psychology Barkatullah University（心理学系 Barkatullah大学）
本文通过MI对话摘要评估LLMs在心理治疗中的有效性，揭示其在复杂心理构念理解中的能力及缓解语义漂移的最佳实践。
2025-11-28 cs.CL cs.LG
UMB@PerAnsSumm 2025: Enhancing Perspective-Aware Summarization with Prompt Optimization and Supervised Fine-Tuning
Department of Computer Science, University of Massachusetts Boston（计算机科学系，马萨诸塞大学波士顿分校）
UMB@PerAnsSumm 2025通过提示优化和监督微调提升视角感知摘要质量，结合关键词和引导信息优化摘要生成过程。
2025-03-14 cs.AI cs.CL
FRIDA to the Rescue! Analyzing Synthetic Data Effectiveness in Object-Based Common Sense Reasoning for Disaster Response
University of Maryland, College Park（马里兰大学学院市分校）；Army Research Lab（陆军研究实验室）；Oak Ridge Associated Universities（橡树岭关联大学）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
针对救灾场景机器人难以部署大模型的问题，提出FRIDA流水线，通过领域专家与语言学家协作制作少样本提示生成合成数据微调小模型，消融实验表明仅用物体物理状态和功能数据训练的模型效果更优，可少数据注入物理常识。
2025-09-03 cs.AI cs.CL
Princeton University（普林斯顿大学）；Amazon AWS AI（亚马逊AWS人工智能部门）
Large pretrained language models (PLMs) are often domain- or task-adapted via fine-tuning or prompting. Finetuning requires modifying all of the parameters and having enough data to avoid overfitting while prompting requires no training and few examples but limits performance. Instead, we prepare PLMs for data- and parameter-efficient adaptation by learning to learn the difference between general and adapted PLMs. This difference is expressed in terms of model weights and sublayer structure through our proposed dynamic low-rank reparameterization and learned architecture controller. Experiment…
2022-07-07 cs.CL
A Dual-Prompting for Interpretable Mental Health Language Models
Sungkyunkwan University（成均馆大学）；University of South Florida（南佛罗里达大学）；Chung-Ang University（中央大学）
本文提出双重提示方法，结合专家身份、自杀词典和心理健康专用LLM进行证据提取，并用一致性评估器生成摘要，以提升心理健康LLM的可解释性并辅助临床评估。
2024-02-20 cs.AI cs.CL
Principled Content Selection to Generate Diverse and Personalized Multi-Document Summaries
New York University（纽约大学）；Adobe Research（Adobe研究院）
本研究针对LLMs在多文档摘要中因“中间丢失”现象导致的源覆盖不足问题，提出一种三步原则性内容选择方法，通过提取关键点、利用DPP选择多样化内容并重写，显著提升了DiverseSumm基准上的源覆盖率，并支持基于用户意图的个性化摘要生成。
2025-05-28 cs.CL
Patient-Centered Summarization Framework for AI Clinical Summarization: A Mixed-Methods Design
Mayo Clinic（梅奥诊所）；University Hospitals Plymouth NHS Trust（普利茅斯大学医院NHS信托）；University of Plymouth（普利茅斯大学）；University of Edinburgh（爱丁堡大学）
本文提出以患者为中心的临床摘要（PCS）框架，通过混合方法制定标注指南并评估五个开源LLMs在零样本和少样本提示下的生成效果，发现模型在完整性和流畅性上接近专家，但在正确性和患者中心度上仍有不足。
2025-10-31 cs.CL
Large Language Models for Token-Efficient and Semantic-Preserving Opinion Summarization
University of Calabria（卡拉布里亚大学）
研究如何在大语言模型进行观点摘要时保留语义并减少令牌使用，结合多维分类与分层抽样策略选择观点子集，定制提示生成摘要，实验证明该方法能降本增效，优于传统和标准大语言模型摘要基线。
2026-07-14 cs.AI cs.CL cs.LG
Theme-Explanation Structure for Table Summarization using Large Language Models: A Case Study on Korean Tabular Data
Sungkyunkwan University（成均馆大学）；Pohang University of Science and Technology（釜山科学技术大学）
本文提出Tabular-TX流水线，通过多步推理与记者角色提示生成主题-解释结构的表格摘要，无需微调即可高效处理韩语行政表格，提升可读性并适用于低资源场景。
2025-07-09 cs.AI cs.CL
Guiding Large Language Models via Directional Stimulus Prompting
University of California Santa Barbara（加州大学圣巴巴拉分校）；Microsoft（微软）；Microsoft Research（微软研究院）
本文提出方向性刺激提示框架，通过小型策略模型生成实例特定提示来引导黑盒LLM输出，在摘要、对话和推理任务上以极少标注数据显著提升性能。
2023-10-09 cs.CL
Disaster Informatics after the COVID-19 Pandemic: Bibliometric and Topic Analysis based on Large-scale Academic Literature
Department of Information Science, University of North Texas（信息科学系，北卡罗来纳州立大学）；Department of Data Science, University of North Texas（数据科学系，北卡罗来纳州立大学）
本文利用大规模语料库、预训练语言模型和生成式AI，对2020—2022年灾害信息学文献进行文献计量与主题分析，揭示合作网络、主题演变及COVID-19对研究重点的影响。
2025-06-28 cs.AI cs.CL cs.DL
On Conditional and Compositional Language Model Differentiable Prompting
Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；Polytechnique Montréal（蒙特利尔理工学院）；Amazon Alexa（亚马逊Alexa）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出提示产生式系统PRopS，将任务指令或输入元数据转换为连续提示，通过模块化神经规则实现组合迁移与少样本学习，在组合泛化、可控摘要和多语言翻译上以更少可训练参数超越其他PLM适应方法。
2023-07-04 cs.CL cs.LG
StrucSum: Graph-Structured Reasoning for Long Document Extractive Summarization with LLMs
ALOHA Lab, University of Hawaii at Manoa（夏威夷大学曼纳亚分校ALOHA实验室）；University of Hawaii at Hilo（夏威夷大学希洛分校）
StrucSum通过图结构推理提升基于LLM的长文档提取式摘要质量，有效增强文档结构建模与关键信息识别能力。
2026-01-21 cs.CL
Venn Diagram Prompting : Accelerating Comprehension with Scaffolding Effect
Palo Alto Networks（帕洛阿尔托网络公司）
本文提出维恩图提示技术，通过单次LLM调用替代多步骤策略，消除位置偏差并提升多文档问答一致性，在四个基准数据集上达到或超过精心设计的指令提示性能。
2024-06-08 cs.AI cs.CL cs.LG
From Data to Insights: Exploring Program-of-Thoughts Prompting for Chart Summarization
Adelaide University（阿德莱德大学）
本文提出一种零样本学习方法，通过Python程序作为中介，利用程序化思维策略驱动轻量级视觉语言模型进行图表摘要，并引入图表到字典的辅助任务以提高灵活性和性能。
2026-05-25 cs.CL
Are LLMs Good Zero-Shot Fallacy Classifiers?
Nanyang Technological University（南洋理工大学）；Interdisciplinary Graduate Programme, Nanyang Technological University（南洋理工大学跨学科研究生项目）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）
本文研究利用大型语言模型进行零样本谬误分类，提出单轮和多轮提示方案，实验表明LLMs在OOD场景和部分开放域任务中可超越全样本基线，多轮提示对小型LLMs改进尤为显著。
2024-10-19 cs.CL
CAST: Achieving Stable LLM-based Text Analysis for Data Analytics
Nanjing University（南京大学）；Tsinghua University（清华大学）；Peking University（北京大学）；Microsoft Research（微软研究院）
CAST通过算法提示和先思考后发言提升大语言模型在表格数据分析中的输出稳定性，实验表明其在多个基准上表现最佳，稳定性提升达16.2%。
2026-04-22 cs.AI cs.CL
PORTRAIT: a hybrid aPproach tO cReate extractive ground-TRuth summAry for dIsaster evenT
University of Tartu（塔尔图大学）；Indian Institute of Technology Patna（印度理工学院巴特那分校）
针对灾害事件抽取式真实摘要生成依赖人工且方差大的问题，提出半自动化混合方法PORTRAIT，在减少人力时间的同时保证摘要质量，并发布5起灾害事件的真实摘要及基准评估。
2023-05-19 cs.CL cs.SI
BooookScore: A systematic exploration of book-length summarization in the era of LLMs
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Allen Institute for AI（艾伦人工智能研究所）；Princeton University（普林斯顿大学）
针对书籍长度摘要评估难题，研究两种LLM摘要工作流的连贯性，提出自动指标BooookScore，系统分析关键参数影响并对比不同模型表现。
2024-04-13 cs.AI cs.CL cs.LG
