Evaluating Small Language Models for News Summarization: Implications and Factors Influencing Performance
Shandong University(山东大学);National University of Singapore(新加坡国立大学);HKUST(GZ)(香港科技大学(广州));HKUST(香港科技大学)
针对资源受限环境下LLMs应用受限的问题,本文评估19个SLMs在2000条新闻样本上的摘要表现,发现部分SLMs性能接近70B LLMs且摘要更简洁,揭示提示词复杂度和指令微调对其性能的影响,为高效摘要方案提供参考。
2025-02-11 cs.AI cs.CL
Evaluating the Evaluator: Summarization Metrics and LLM-Judges beyond English
HiTZ Center, University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU)HiTZ中心);University of Alicante (UA)(阿利坎特大学(UA));GOI Institute, Basque Summer University (UEU)(巴斯克夏季大学(UEU)GOI研究所)
该研究针对英语外语言开展摘要元评估,构建多语言数据集BASSE并测试自动摘要指标与LLM评判模型,发现专有评判LLM与人类评判相关性最高,开源评判LLM表现较差。
2026-09-03 cs.AI cs.CL
Evaluating Large Language Models for Multilingual Abstractive Summarization: A Comprehensive Study of English and Bengali
Islamic University of Technology(伊斯兰科技大学)
本文通过对8种LLM在英语和孟加拉语XL-Sum测试集的零样本基准测试,发现多语言摘要生成存在跨语言差异,单一评估指标不可靠,需为低资源语言构建综合评估框架。
2026-10-15 cs.AI cs.CL
Evaluating the Factual Consistency of Large Language Models Through News Summarization
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出事实不一致基准FIB,通过比较LLM对新闻摘要的评分衡量其事实一致性,并评估23个模型,发现逐字出现的不一致摘要会误导LLM。
2023-12-02 cs.CL
TofuEval: Evaluating Hallucinations of LLMs on Topic-Focused Dialogue Summarization
AWS AI Labs(亚马逊云科技人工智能实验室);Korea Advanced Institute of Science & Technology(韩国科学技术院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出主题聚焦对话摘要评估基准TofuEval,通过人工标注和错误分类分析揭示现有LLM在对话摘要中幻觉严重且作为评估器表现不佳,而非LLM指标更优。
2024-03-31 cs.AI cs.CL
CREAM: Comparison-Based Reference-Free ELO-Ranked Automatic Evaluation for Meeting Summarization
JPMorgan Chase & Co.(摩根大通公司);Columbia University(哥伦比亚大学)
针对现有自动评估方法在会议摘要等复杂任务上效果不佳的问题,本文提出无参考评估框架CREAM,结合思维链与关键事实对齐评估摘要质量,并通过ELO排名实现不同模型或提示配置的鲁棒比较。
2024-09-17 cs.CL
Modeling Motivated Reasoning in Law: Evaluating Strategic Role Conditioning in LLM Summarization
ETH Zurich(苏黎世联邦理工学院);University of Zurich(苏黎世大学);Max Planck Institute for Research on Collective Goods(集体利益研究所)
本研究通过评估框架发现,LLM在摘要司法判决时即使有平衡指令,仍会按法律角色(如法官、检察官)选择性包含信息,凸显了角色感知评估的必要性。
2025-10-08 cs.CL cs.CY
Evaluating GPT-3.5's Awareness and Summarization Abilities for European Constitutional Texts with Shared Topics
University of Calabria(卡拉布里亚大学)
该研究针对欧洲宪法中公民权利与义务这类跨国家的共同主题,提出将生成式摘要应用于多来源宪法文本的新场景,验证了GPT-3.5可生成信息丰富、连贯忠实的相关摘要。
2024-01-25 cs.AI cs.CL cs.CY
Evaluating Factual Consistency of Summaries with Large Language Models
City University of Hong Kong(香港城市大学);Hong Kong University of Science and Technology(香港科技大学)
本研究通过直接提示大型语言模型来评估摘要的事实一致性,系统比较了多种模型和提示方法,实验证明该方法在多个设置下均优于现有最佳系统,准确率最高提升12.2个百分点。
2023-10-12 cs.CL
A Systematic Survey of Text Summarization: From Statistical Methods to Large Language Models
University of Hawaii, Manoa(夏威夷大学马诺阿分校);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University of California, Davis(加州大学戴维斯分校)
本文系统综述文本摘要从统计方法、深度学习、PLM 微调到 LLM 时代的演进,梳理数据集、指标、方法、基准与评估,并指出开放挑战和未来方向。
2024-06-17 cs.CL
ReFEree: Reference-Free and Fine-Grained Method for Evaluating Factual Consistency in Real-World Code Summarization
本文提出ReFEree,一种无需参考的细粒度方法,用于评估现实世界代码总结中的事实一致性。通过定义特定于代码总结的事实不一致标准,并在段落层面进行评估,最终获得细粒度评分。
2026-04-12 cs.AI cs.CL cs.PL
ACLSum: A New Dataset for Aspect-based Summarization of Scientific Publications
University of Mannheim(曼海姆大学);Mannheim University of Applied Sciences(曼海姆应用技术大学)
针对现有摘要数据集多为半自动生成、质量欠佳的问题,研究者发布由领域专家构建的ACLSum多方面科学摘要数据集,实验验证端到端基于方面的摘要方法在学术领域整体更优。
2024-03-08 cs.CL
REFLEX: Reference-Free Evaluation of Log Summarization via Large Language Model Judgment
Portland State University(波特兰州立大学)
REFLEX通过大语言模型评估日志摘要质量,无需参考摘要或人工标注,提供稳定且细粒度的评估结果,优于传统指标。
2026-04-20 cs.AI cs.CL cs.LG
Evaluating LLMs' Assessment of Mixed-Context Hallucination Through the Lens of Summarization
King’s College London(伦敦国王学院);Cambridge University(剑桥大学);The Alan Turing Institute(阿兰·图灵研究所)
本研究以摘要为任务,评估LLMs检测混合上下文幻觉的能力,发现其内在知识会引入偏差,导致事实性幻觉检测遇瓶颈,根本挑战在于平衡内在知识与外部上下文。
2025-03-03 cs.AI cs.CL cs.CY
Large Language Models with Temporal Reasoning for Longitudinal Clinical Summarization and Prediction
University of Colorado Anschutz Medical Campus(科罗拉多大学安舒茨医学校园);University of Colorado Boulder(科罗拉多大学波德分校);Northeastern University(东北大学)
该研究针对大语言模型处理长时序多模态临床病程轨迹能力不足的问题,系统评估了开源LLM、RAG变体及CoT提示在长上下文临床总结与预测任务的表现,发现长上下文窗口、RAG均无法完全解决时序推理与罕见病预测难题,填补了相关研究空白。
2025-09-04 cs.CL
Calibrating Model-Based Evaluation Metrics for Summarization
Duke University(杜克大学)
本文提出无需参考摘要、人工标注或昂贵模型指标的通用框架,通过组等距回归分箱(GIRB)校准预测结果,提升摘要质量评估的可靠性。
2026-04-19 cs.CL
Zero-Shot Strategies for Length-Controllable Summarization
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学);KIT Campus Transfer GmbH(KIT校园转让有限公司)
针对大型语言模型在零样本场景下精确长度控制的困难,本研究通过评估LLaMA 3的长度控制能力提出长度近似等组合方法,在无需微调或架构变更的情况下大幅提升长度合规性并维持摘要质量。
2025-02-11 cs.CL
Code Summarization Beyond Function Level
Innopolis University(因诺波利斯大学);AIRI;Research Center of the Artificial Intelligence Institute(人工智能研究所研究中心)
本研究探索超越函数级别的代码摘要,利用类和仓库上下文,通过微调CodeT5+及结合少样本学习和RAG的LLM,显著提升了摘要质量,并发布了相关基准和资源。
2025-02-23 cs.AI cs.CL
References Matter: Investigating the Impact of Reference Set Variation on Summarization Evaluation
MaiNLP, LMU Munich(LMU慕尼黑人工智能实验室);Munich Center for Machine Learning (MCML), Germany(慕尼黑机器学习中心);Department of Linguistics, University of Pittsburgh, USA(匹兹堡大学语言学系);NLP Group, Department of Information and Computing Sciences, Utrecht University, Netherlands(乌得勒支大学信息与计算科学系自然语言处理组)
本研究系统调查了参考集变化对摘要评估指标的影响,发现ROUGE等流行指标存在显著不稳定性,且与LLM输出的人类判断相关性微弱,建议将参考集变化纳入评估以增强一致性。
2025-09-16 cs.CL
Mitigating Semantic Drift: Evaluating LLMs' Efficacy in Psychotherapy through MI Dialogue Summarization
Research Institute CODE University of the Bundeswehr(CODE研究机构 陆军大学);Department of Psychology Barkatullah University(心理学系 Barkatullah大学)
本文通过MI对话摘要评估LLMs在心理治疗中的有效性,揭示其在复杂心理构念理解中的能力及缓解语义漂移的最佳实践。
2025-11-28 cs.CL cs.LG
Little Giants: Exploring the Potential of Small LLMs as Evaluation Metrics in Summarization in the Eval4NLP 2023 Shared Task
Dataminr Inc.(Dataminr公司)
本文研究在 Eval4NLP 2023 共享任务中,通过组合标准提示、标注者指令提示和思维链提示,并融合零样本与单样本学习,证明小型开源模型 orca_mini_v3_7B 在摘要与机器翻译质量评估中具有竞争力。
2023-11-01 cs.CL
What Are They Talking About? A Benchmark of Knowledge-Grounded Discussion Summarization
State Key Laboratory of Complex & Critical Software Environment(复杂与关键软件环境国家重点实验室);Beihang University(北京航空航天大学);State Key Laboratory of Multimodal Artificial Intelligence Systems(多模态人工智能系统国家重点实验室);Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);ByteDance Inc.(字节跳动公司)
本文提出知识基础的讨论摘要任务及首个基准,通过背景摘要和澄清引用的观点摘要解决讨论中隐式引用问题,并评估12个大语言模型,发现该任务仍具挑战性。
2025-11-06 cs.CL
Evaluating Large Language Models on Financial Report Summarization: An Empirical Study
IRUCA Co.,LTD(IRUCA公司);Waseda University(早稻田大学)
本研究对比评估了GLM-4、Mistral-NeMo和LLaMA3.1在生成自动化财务报告中的表现,提出整合定量与定性分析的创新评估框架,并公开了相关数据集。
2024-11-11 cs.AI cs.CL
FABLES: Evaluating faithfulness and content selection in book-length summarization
UMass Amherst(马萨诸塞大学阿默斯特分校);Adobe(奥多比公司);Allen Institute for AI(艾伦人工智能研究所);Princeton(普林斯顿大学)
本文通过构建FABLES数据集首次对书籍长度摘要进行大规模人工评估,发现Claude-3-Opus忠实性最优,并揭示现有LLM评分器无法有效检测不忠实声明及内容选择中的系统性偏差。
2024-09-30 cs.AI cs.CL
AgentEHR: Advancing Autonomous Clinical Decision-Making via Retrospective Summarization
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
AgentEHR通过RetroSum框架提升自主临床决策制定,减少交互错误并提升性能
2026-01-20 cs.CL
Multi-Dimensional Evaluation of Text Summarization with In-Context Learning
Carnegie Mellon University(卡内基梅隆大学);Instituto Superior Técnico(高等技术学院);Facebook AI Research(Facebook人工智能研究)
本文研究大型语言模型作为多维评估器的有效性,通过上下文学习免除对大型训练数据集的需求,实验表明该方法在文本摘要任务中具有竞争力,并在相关性和事实一致性等维度上达到最先进水平。
2023-06-01 cs.CL
Evaluating book summaries from internal knowledge in Large Language Models: a cross-model and semantic consistency approach
本研究评估LLM仅凭内部知识生成书本摘要的能力,采用跨模型LLM评判和ROUGE/BERTScore指标,发现模型间存在风格偏好和内容表示差异,揭示了内部知识摘要的优缺点。
2025-03-27 cs.CL
Agent-as-Judge for Factual Summarization of Long Narratives
IPAI, Seoul National University(IPAI,首尔国立大学);Seoul National University(首尔国立大学);Hyundai Card(现代卡)
针对长叙事摘要中传统指标及 LLM-as-a-Judge 难以评估事实一致性的问题,本文提出 NarrativeFactScore,利用人物知识图谱评估并指导摘要修正,在多个基准上取得更优表现。
2025-09-29 cs.CL
Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation
Yale University(耶鲁大学);Salesforce AI(Salesforce人工智能研究院);Carnegie Mellon University(卡内基梅隆大学)
本文提出ACU细粒度人类评估协议并构建含22,000条标注的RoSE基准,系统比较评估协议与50种自动指标,揭示LLM可能过拟合非稳健人类评估。
2023-06-06 cs.CL
LLMs as Architects and Critics for Multi-Source Opinion Summarization
Computer Science and Engineering, IIT Bombay, India(计算机科学与工程系,印度班加罗尔理工学院);Flipkart, India(印度Flipkart)
针对多源观点摘要(M-OS)研究空白与评估数据集缺失问题,提出M-OS-EVAL基准数据集,探索LLMs在该任务中的应用,实验显示其提升用户参与度且与人类判断对齐性优于先前方法。
2025-07-07 cs.CL
GRAD-SUM: Leveraging Gradient Summarization for Optimal Prompt Engineering
Galileo Technologies(伽利略科技公司)
GRAD-SUM提出基于梯度摘要的自动提示工程方法,整合用户任务描述与评估标准,通过新颖的梯度摘要模块泛化反馈,在多个基准上优于现有方法。
2024-07-12 cs.AI cs.CL
Evaluating the Efficacy of Summarization Evaluation across Languages
The University of Melbourne(墨尔本大学)
虽然为英语开发的自动摘要评估方法通常应用于其他语言,但这是首次尝试系统地量化其泛语言功效。我们采用八种不同语言的摘要语料库,并手动注释生成的摘要,以获得焦点(精确度)和覆盖率(召回率)。在此基础上,我们评估了19个摘要评估指标,发现在BERTScore中使用多语言BERT在所有语言中表现良好,高于英语。
2021-06-02 cs.CL
Evaluating Large Language Models for Structured Science Summarization in the Open Research Knowledge Graph
L3S Research Center(L3S研究中心);Leibniz Information Centre for Science and Technology(莱布尼茨科技信息中心);University of Mannheim(曼海姆大学)
本文通过四个视角系统评估GPT-3.5、Llama 2和Mistral在ORKG结构化科学摘要任务中的表现,发现LLMs具有推荐系统潜力,但仍需微调以更好对齐科学任务并模仿人类专业知识。
2024-05-03 cs.AI cs.CL cs.IT
Towards Multi-dimensional Evaluation of LLM Summarization across Domains and Languages
Korea Advanced Institute of Science and Technology(韩国先进科学研究院);AWS AI Labs(AWS人工智能实验室)
针对现有摘要评估基准缺领域标准、偏英语、标注难的问题,研究提出多领域多语言的MSumBench评估基准,采用多智能体辩论优化标注,评估8个模型后发现跨领域语言的性能差异,并揭示大模型自评摘要的系统性偏差。
2025-05-31 cs.AI cs.CL
Applicability of Large Language Models and Generative Models for Legal Case Judgement Summarization
IIT Kharagpur(印度理工学院卡哈拉格普尔分校);IISER Kolkata(印度科学教育与研究学院加尔各答分校)
本文评估了抽象式摘要模型、大型语言模型及抽取式方法在法律判决摘要中的表现,发现生成模型虽指标更优但存在幻觉,需人机协作提升可靠性。
2024-07-20 cs.AI cs.CL
ED-FAITH: Evaluating Dialogue Summarization on Faithfulness
Meta AI
摘要摘要模型通常会生成不忠实于输入的内容,因此突出了评估所生成摘要的忠实性的重要性。大部分忠实度指标只在新闻领域进行评估,它们是否可以转移到其他摘要任务中?在这项工作中,我们首先提出了一个系统的研究的忠实度指标的对话摘要。我们在对话数据集上评估了常见的忠诚度指标,并观察到大多数指标与人类判断的相关性很差,尽管在新闻数据集上表现良好。鉴于这些发现,为了提高现有指标在对话摘要上的性能,我们首先对域内数据集进行微调,然后对负样本进行不似然训练,并表明它们可以成功地提高对话数据的指标性能。受T0语言模型强大的zero-shot性能的启发,我们进一步提出了T0-Score --一种新的忠实性评估指标,它在多个领域的基线指标上显示出一致的改进。
2022-11-15 cs.CL
Efficiency and Effectiveness of LLM-Based Summarization of Evidence in Crowdsourced Fact-Checking
Department of Computer Science, University of Udine(乌迪大学计算机科学系);Department of Computer Science, University of Copenhagen(哥本哈根大学计算机科学系)
本研究通过A/B测试对比了完整网页与LLM生成的摘要作为证据在众包事实核查中的表现,发现摘要证据在保持相当准确率的同时显著提升了效率、降低了成本并提高了内部一致性。
2025-05-01 cs.CL cs.HC cs.IR
Not too long do read: Evaluating LLM-generated extreme scientific summaries
Department of Data Science(数据科学系);City University of Hong Kong(香港城市大学)
本文提出BiomedTLDR数据集,评估LLM生成科学摘要的性能,发现LLM更倾向于提取而非抽象,且在词汇和修辞结构上更接近原文。
2025-12-29 cs.AI cs.CL
FIZZ: Factual Inconsistency Detection by Zoom-in Summary and Zoom-out Document
Chung-Ang University(中央大学);Adobe Research(奥多比研究院)
本文提出基于细粒度原子事实分解与自适应粒度扩展对齐的 FIZZ 指标,以提升抽象式摘要事实不一致检测的效果与可解释性,实验显示其显著优于现有系统。
2024-10-02 cs.CL
Evaluate Summarization in Fine-Granularity: Auto Evaluation with LLM
DeepScribe Inc.(DeepScribe公司)
本文提出 SumAutoEval 方法,通过细粒度多维度指标自动评估摘要质量,提升客观性、可解释性及与人类判断的相关性。
2024-12-27 cs.AI cs.CL
PlainQAFact: Retrieval-augmented Factual Consistency Evaluation Metric for Biomedical Plain Language Summarization
School of Information Sciences, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校信息科学学院)
本文提出PlainQAFact,一种针对生物医学平白语言摘要中详尽解释的事实一致性评估指标,通过检索增强的问答方法,有效评估源简化和详尽解释句子的事实一致性。
2026-03-19 cs.CL
Analyzing and Evaluating Faithfulness in Dialogue Summarization
National University of Singapore(新加坡国立大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Kriston AI(Kriston AI(科思顿人工智能))
摘要的抽象性使其容易出现事实性错误。摘要的事实正确性在实际应用之前具有最高优先级。为了提高文本摘要的忠实度,人们做了很多努力。然而,目前还缺乏对对话摘要系统的系统研究。在这项工作中,我们首先对对话摘要的忠实性进行细粒度的人工分析,并观察到超过35%的生成摘要与源对话忠实地不一致。此外,我们提出了一种新的模型级的忠诚度评估方法。它检查了生成模型,其中包含由基于规则的转换创建的多项选择题。实验结果表明,我们的评估模式是一个强大的代理的事实正确性的摘要模型。人类注释的忠实性样本和评估工具包的发布,以促进未来的研究对忠实的对话摘要。
2022-10-21 cs.CL
Evaluating Interactive Summarization: an Expansion-Based Framework
Bar-Ilan University(巴伊兰大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Peres Academic Center(佩雷斯学术中心)
允许用户与多文档摘要器交互是改进和定制摘要结果的一个有前途的方向。在以前的工作中已经提出了不同的想法,交互式摘要,但这些解决方案是高度分歧和不可比拟的。在本文中,我们开发了一个端到端的评估框架,扩展为基础的交互式摘要,它认为沿着一个交互式会话的信息积累。我们的框架包括一个程序,收集真实的用户会话和评估措施,依赖于标准,但适应于反映互动。我们所有的解决方案都打算作为基准公开发布,以便比较交互式摘要的未来发展。我们展示了我们的框架的使用,通过评估和比较基线实现,我们为此目的,这将作为我们的基准的一部分。我们对这些系统的广泛实验和分析激励了我们的设计选择,并支持我们框架的可行性。
2020-09-17 cs.CL
SummEval: Re-evaluating Summarization Evaluation
Yale University(耶鲁大学);Salesforce Research(Salesforce研究院)
缺乏全面的最新研究的文本摘要的评价指标和缺乏共识的评价协议继续抑制进展。我们从五个维度来解决摘要评价方法存在的不足:1)我们使用神经摘要模型输出以及专家和众包人类注释,以全面和一致的方式重新评估14个自动评估指标,2)我们使用上述自动评估指标对23个最近的摘要模型进行了一致的基准测试,3)我们汇集了由在CNN/DailyMail新闻数据集上训练的模型生成的最大摘要集合,并以统一格式共享,4)我们实现并共享了一个工具包,该工具包提供了可扩展和统一的API,用于在广泛的自动度量中评估摘要模型,5)我们收集并分享了最大和最多样化的模型类型,收集了由专家评委和众包工作者注释的CNN/每日邮报数据集上模型生成摘要的人类判断。我们希望这项工作将有助于促进一个更完整的文本摘要评估协议,以及在开发更好地与人类判断相关的评估指标的研究。
2021-02-01 cs.CL
Evaluating the Factuality of Zero-shot Summarizers Across Varied Domains
Northeastern University(东北大学);Carnegie Mellon University(卡内基梅隆大学)
本研究评估零样本摘要器在生物医学和法律等专业领域的事实性,通过专家标注错误并分析预训练语料领域普遍性的影响,发布标注数据集以促进事实准确摘要研究。
2024-02-05 cs.AI cs.CL cs.LG
A Dataset for Evaluating LLM-based Evaluation Functions for Research Question Extraction Task
Japan Advanced Institute of Science and Technology(日本先进科学技术学院);National Institute of Advanced Industrial Science and Technology(日本国立先进工业科学技术研究所);OMRON SINIC X Corporation(欧姆龙SINIC X公司)
本研究针对专业文档研究问题提取任务的评估缺口,构建了含机器学习论文、GPT-4提取的RQ及多维度人工标注的新数据集,测试发现现有LLM评估函数与人工评估相关性不足,为该任务的评估函数研发提供基础。
2024-09-10 cs.AI cs.CL cs.LG
Left, Right, or Center? Evaluating LLM Framing in News Classification and Generation
Ludwig-Maximilians-Universität München(慕尼黑大学)
研究评估了LLM在新闻分类和生成中的框架倾向,发现存在系统性的中间框架倾向,Grok 4表现最意识形态,Claude Sonnet 4.5和Llama 3.1在商业和开放权重模型中表现最佳。
2026-01-09 cs.CL
Prompt Compression in Diffusion Large Language Models: Evaluating LLMLingua-2 on LLaDA
University of Toronto(多伦多大学);King Mongkut’s University of Technology Thonburi(泰国科技理工学院)
本文研究了提示压缩在扩散大型语言模型中的有效性,通过在LLDA上评估LLMLingua-2,发现提示压缩在数学推理任务中效果不佳,而摘要任务相对稳健,表明为扩散模型设计的提示压缩方法并不适用于所有场景。
2026-07-14 cs.AI cs.CL
EventSum: A Large-Scale Event-Centric Summarization Dataset for Chinese Multi-News Documents
National University of Defense Technology(国防科技大学);Tsinghua University(清华大学)
本文提出事件中心多文档摘要任务,构建首个大规模中文多新闻摘要数据集 EventSum(含 5,100 个事件、57,984 篇文档),并设计多种召回率指标,实验表明该任务对现有长上下文大语言模型仍具挑战性。
2025-01-03 cs.CL
Can Structural Cues Save LLMs? Evaluating Language Models in Massive Document Streams
Boston University(波士顿大学);Korea University(韩国大学)
本文提出StreamBench基准,通过主题聚类、时序问答和摘要任务评估语言模型在混合多事件的文档流中的表现,发现结构线索能提升聚类和时序QA性能,但时序推理仍是挑战。
2026-06-02 cs.CL
Optimizing the role of human evaluation in LLM-based spoken document summarization systems
Cisco Systems(思科系统公司)
本文针对基于 LLM 的口语文档摘要评估难题,借鉴社会科学方法提出面向生成式 AI 内容的人在回路评估范式、标准与最佳实践,并通过两个企业案例验证其实施。
2024-10-23 cs.AI cs.CL cs.SD
Evaluating Character Understanding of Large Language Models via Character Profiling from Fictional Works
School of Data Science, Fudan University(复旦大学数据科学学院);Shanghai Key Laboratory of Data Science, School of Computer Science, Fudan University(复旦大学计算机科学技术学院上海市数据科学重点实验室)
针对现有大语言模型人物理解能力评估方法不够细致的问题,本研究提出通过虚构作品人物画像任务开展评估,构建了专家标注的CroSS数据集,经多模型实验验证了大语言模型的人物理解能力,并开源了相关资源。
2024-10-08 cs.CL
Towards Better Evaluation of Instruction-Following: A Case-Study in Summarization
Google Research(谷歌研究院)
针对LLMs指令遵循评估方法正确性研究不足的问题,本文构建了含300个文档-指令对、900个答案的真实数据集riSum进行元评估,并提出新的基于LLM的无参考评估方法,其表现媲美高成本有参考指标。
2023-10-20 cs.AI cs.CL cs.LG
Walking a Tightrope -- Evaluating Large Language Models in High-Risk Domains
NEC Laboratories Europe(NEC欧洲实验室);NEC Europe Ltd(NEC欧洲有限公司)
本研究在法律和医疗高风险领域评估指令微调LLMs的事实准确性与安全性,发现其存在局限性,强调需提升模型能力、完善领域指标并采用以人为中心的方法以符合社会义务与法规。
2023-11-25 cs.CL