MedFactEval and MedAgentBrief: A Framework and Workflow for Generating and Evaluating Factual Clinical Summaries
Center for Biomedical Informatics Research, Stanford University(生物医学信息学研究所在斯坦福大学);Department of Biomedical Data Science, Stanford University(生物医学数据科学系,斯坦福大学);Stanford Health Care(斯坦福健康中心);Department of Anesthesiology and Pain Medicine, Stanford Medicine(麻醉与疼痛医学系,斯坦福医学院);Department of Radiology, Stanford University(放射科,斯坦福大学);Stanford Clinical Excellence Research Center, Stanford University(斯坦福临床卓越研究中心,斯坦福大学);Department of Medicine, Stanford University(医学系,斯坦福大学)
针对LLM临床文本事实性评估与生成难题,提出MedFactEval评估框架和MedAgentBrief生成工作流,经七医生金标准验证,LLM评审团一致性达81%,优于单个专家。
2025-09-07 cs.CL
Not too long do read: Evaluating LLM-generated extreme scientific summaries
Department of Data Science(数据科学系);City University of Hong Kong(香港城市大学)
本文提出BiomedTLDR数据集,评估LLM生成科学摘要的性能,发现LLM更倾向于提取而非抽象,且在词汇和修辞结构上更接近原文。
2025-12-29 cs.AI cs.CL
Supporting Humans in Evaluating AI Summaries of Legal Depositions
University of New Hampshire(新罕布什尔大学)
本研究提出了一种基于 nugget 的方法,帮助法律专业人士评估和改进AI生成的法律证词摘要。
2026-01-21 cs.CL cs.IR
SportsMetrics: Blending Text and Numerical Data to Understand Information Fusion in LLMs
University of Central Florida(中佛罗里达大学);Tencent AI Lab(腾讯AI实验室);Emory University(埃默里大学)
本文提出 SportsMetrics 基准,通过四项基于逐回合 NBA、NFL 比赛描述及对抗性场景的任务,评估 LLM 融合文本与数值数据并进行复杂推理的能力。
2024-06-16 cs.AI cs.CL
Evaluating Text Summaries Generated by Large Language Models Using OpenAI's GPT
University of Colorado - Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校);University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);University of Kansas(堪萨斯大学);DataCrunch Lab, LLC(DataCrunch实验室有限责任公司);University of Florida(佛罗里达大学)
本文将 GPT 作为独立评估者评估六个 transformer 模型生成的摘要,并与 ROUGE、LSA 等传统指标比较,验证其在相关性和连贯性评估上的互补价值。
2024-05-07 cs.AI cs.CL cs.LG
Evaluating the Factuality of Zero-shot Summarizers Across Varied Domains
Northeastern University(东北大学);Carnegie Mellon University(卡内基梅隆大学)
本研究评估零样本摘要器在生物医学和法律等专业领域的事实性,通过专家标注错误并分析预训练语料领域普遍性的影响,发布标注数据集以促进事实准确摘要研究。
2024-02-05 cs.AI cs.CL cs.LG
Faithful by Design: Evaluating and Improving LLM-Generated Clinical Trial Summaries for Multi-Stakeholder Audiences
University of Texas at Austin(德克萨斯大学奥斯汀分校)
研究针对大语言模型生成的临床试验摘要的忠实性问题,引入基准评估框架,用特定数据库试验、提示模板和注释模式评估,对比多个模型的基线测量,开发知识图谱增强检索系统,结果显示该系统改进显著,且不同模型改进途径有别。
2026-07-14 cs.AI cs.CL
ReFEree: Reference-Free and Fine-Grained Method for Evaluating Factual Consistency in Real-World Code Summarization
本文提出ReFEree,一种无需参考的细粒度方法,用于评估现实世界代码总结中的事实一致性。通过定义特定于代码总结的事实不一致标准,并在段落层面进行评估,最终获得细粒度评分。
2026-04-12 cs.AI cs.CL cs.PL
Left, Right, or Center? Evaluating LLM Framing in News Classification and Generation
Ludwig-Maximilians-Universität München(慕尼黑大学)
研究评估了LLM在新闻分类和生成中的框架倾向,发现存在系统性的中间框架倾向,Grok 4表现最意识形态,Claude Sonnet 4.5和Llama 3.1在商业和开放权重模型中表现最佳。
2026-01-09 cs.CL
TrueTeacher: Learning Factual Consistency Evaluation with Large Language Models
Technion - Israel Institute of Technology(以色列理工学院);Google Research(谷歌研究院)
本文提出TrueTeacher方法,利用大型语言模型标注多样化的模型生成摘要来生成合成数据,以学习事实一致性评估,在TRUE基准上显著优于现有模型和LLM教师,并发布了140万示例的大规模数据集。
2023-10-18 cs.CL
Simulating Meaning, Nevermore! Introducing ICR: A Semiotic-Hermeneutic Metric for Evaluating Meaning in LLM Text Summaries
University of Hawai‘i(夏威夷大学);Private Corporation(私营公司);Amazon GenAI(亚马逊生成人工智能)
本文提出ICR度量标准,用于评估LLM生成文本摘要中的意义,通过归纳内容分析和反思主题分析,超越词法相似性度量,评估语义准确性和意义一致性。
2026-03-06 cs.AI cs.CL
Multi-round, Chain-of-thought Post-editing for Unfaithful Summaries
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Amazon Web Services(亚马逊网络服务)
本研究探索了使用大型语言模型进行新闻摘要的忠实性评估与后编辑,通过思维链提示和多轮编辑策略,有效纠正事实不一致,提升摘要忠实性。
2025-01-20 cs.CL
SPORTU: A Comprehensive Sports Understanding Benchmark for Multimodal Large Language Models
Rice University(莱斯大学);University of California, Irvine(加州大学欧文分校);George Mason University(乔治梅森大学);University of California, Santa Barbara(加州大学圣巴巴拉分校);Stanford University(斯坦福大学)
提出 SPORTU 多模态体育理解基准,通过文本 QA 与视频 QA 系统评估 LLM/MLLM 的多层次体育规则、策略和事件推理能力。
2025-03-14 cs.CL cs.CV
Abstracts or full text? Evaluating input scope and computational efficiency in biomedical lay summarization
Özyeğin University(厄齐耶金大学);Galatasaray University(加拉塔萨雷大学)
本研究对比生物医学通俗摘要中基于摘要与全文的生成效果,发现基于摘要的方法整体表现更优,且运行速度是全文方法的4.70至5.31倍,可在保证质量的同时降低计算成本。
2026-10-16 cs.CL
Evaluating AI Meeting Summaries with a Reusable Cross-Domain Pipeline
Cisco Systems, Inc.(思科系统公司)
本文提出一个可重用的跨领域管道,用于评估AI会议摘要,通过结构化真实数据构建、固定候选生成、基于声明评分等方法,在114次会议上验证了不同模型的性能,发现gpt-5.1在保留性上表现更优。
2026-05-13 cs.AI cs.CL
Calibrating Model-Based Evaluation Metrics for Summarization
Duke University(杜克大学)
本文提出无需参考摘要、人工标注或昂贵模型指标的通用框架,通过组等距回归分箱(GIRB)校准预测结果,提升摘要质量评估的可靠性。
2026-04-19 cs.CL
Decision-Oriented Text Evaluation
National Institute of Advanced Industrial Science and Technology(国家先进工业科学与技术研究院)
本文提出面向决策的文本评估框架,通过市场摘要与收盘分析测试人类和LLM智能体的交易表现,发现仅靠摘要无法超越随机水平,而丰富评论能显著提升人类-LLM协同决策效果,揭示了传统内部指标的局限。
2025-07-03 cs.CL
Towards objectively evaluating the quality of generated medical summaries
Babylon Health(巴比伦健康公司);University of Aberdeen(阿伯丁大学)
我们提出了一种方法来评估生成的文本的质量,要求评估人员计数的事实,并计算精度,召回率,F分数,和准确性的原始计数。我们相信这种方法会导致一个更客观和更容易重现的评价。我们将其应用于医疗报告摘要的任务,其中测量客观质量和准确性是至关重要的。
2021-04-09 cs.CL
Summarizing, Simplifying, and Synthesizing Medical Evidence Using GPT-3 (with Varying Success)
Northeastern University(东北大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);King’s College London(伦敦国王学院)
本文评估GPT-3在生物医学领域零样本生成摘要的能力,发现其能忠实总结单篇文献,但综合多文档证据时准确性不足。
2023-05-11 cs.CL
EVA-Score: Evaluating Abstractive Long-form Summarization on Informativeness through Extraction and Validation
Shanghai Jiao Tong University(上海交通大学);Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学);Shanghai AI Lab(上海人工智能实验室)
本文提出EVA-Score,通过提取和验证评估抽象长形式摘要的信息性,发现其与人类评价的关联性最高,揭示了LLM在长形式摘要任务中的不足。
2026-01-29 cs.CL
Evaluating Hierarchical Clinical Document Classification Using Reasoning-Based LLMs
College of Science and Engineering, James Cook University(科学与工程学院,詹姆斯库克大学);School of Computing, Macquarie University(计算学院,麦考瑞大学)
本研究基于MIMIC-IV数据集评估11个大语言模型对ICD-10编码的分类能力,发现推理型模型表现更优但F1均低于57%,表明LLMs目前仅能辅助而非替代人工编码。
2025-07-02 cs.AI cs.CL
LLMs as Architects and Critics for Multi-Source Opinion Summarization
Computer Science and Engineering, IIT Bombay, India(计算机科学与工程系,印度班加罗尔理工学院);Flipkart, India(印度Flipkart)
针对多源观点摘要(M-OS)研究空白与评估数据集缺失问题,提出M-OS-EVAL基准数据集,探索LLMs在该任务中的应用,实验显示其提升用户参与度且与人类判断对齐性优于先前方法。
2025-07-07 cs.CL
CricBench: A Multilingual Benchmark for Evaluating LLMs in Cricket Analytics
BITS Pilani, Pilani Campus, India(印度比拉理工学院皮拉尼校区);KIIT Bhubaneswar, India(印度KIIT布巴内斯瓦尔)
本文提出CricBench,一个评估LLM在板球数据分析中SQL生成能力的多语言基准,包含四种板球格式数据,涵盖四种语言,评估七种模型,发现模型在不同格式上的表现差异显著,且存在语法正确性与语义正确性之间的差距。
2026-04-11 cs.AI cs.CL
Reading Subtext: Evaluating Large Language Models on Short Story Summarization with Writers
Columbia University(哥伦比亚大学)
该研究与作家合作构建未公开的短篇小说测试集,结合叙事理论定量定性评估GPT-4等三款大模型的摘要能力,发现超半数摘要存忠实性错误,且自动评分与作家评分相关性差。
2024-07-11 cs.CL
Attribute Structuring Improves LLM-Based Evaluation of Clinical Text Summaries
Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学);Microsoft Health and Life Sciences(微软健康与生命科学部门)
本文提出属性结构化框架,将临床文本摘要评估分解为简单任务,提升LLM评估与人工标注一致性,并支持高效审计。
2024-12-14 cs.AI cs.CL
Integration of LLM Quality Assurance into an NLG System
AX Semantics
本文提出将LLM用于NLG系统生成文本的语法和拼写纠正质量保证组件,并在三种语言的体育新闻文本上验证了其能提供可接受的纠正效果。
2025-01-27 cs.CL
CREAM: Comparison-Based Reference-Free ELO-Ranked Automatic Evaluation for Meeting Summarization
JPMorgan Chase & Co.(摩根大通公司);Columbia University(哥伦比亚大学)
针对现有自动评估方法在会议摘要等复杂任务上效果不佳的问题,本文提出无参考评估框架CREAM,结合思维链与关键事实对齐评估摘要质量,并通过ELO排名实现不同模型或提示配置的鲁棒比较。
2024-09-17 cs.CL
Question-Answering Approach to Evaluating Legal Summaries
University of Pittsburgh(匹兹堡大学)
针对传统法律摘要评估指标忽略论证结构的问题,提出基于GPT-4的问答式评估框架,经检验其评分与人工评分相关,可有效衡量法律摘要质量。
2023-12-18 cs.CL
Generating Zero-shot Abstractive Explanations for Rumour Verification
University of Warwick(华威大学);Mohammed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);The Alan Turing Institute(阿兰·图灵研究所);Queen Mary University of London(伦敦大学玛丽皇后学院)
本文将谣言验证任务重构为生成自由文本解释,提出基于GNN的零样本方法,结合事后可解释性评分与意见引导式摘要生成解释,并利用LLM评估,证明抽象式摘要比仅用高排名帖子更具信息量且更贴合预测真实性。
2024-02-23 cs.CL
Are LLM-generated plain language summaries truly understandable? A large-scale crowdsourced evaluation
School of Information Sciences, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校信息科学学院);Department of Radiology and Biomedical Imaging, University of California, San Francisco(加州大学旧金山分校放射科与生物医学成像系);Eller College of Management, University of Arizona(亚利桑那大学埃勒管理学院);Biomedical Informatics and Medical Education, University of Washington(华盛顿大学生物医学信息学与医学教育)
本文通过 150 人众包实验结合主观评分与客观理解测试,发现 LLM 生成的医学 PLS 虽主观上接近人工摘要,却显著不利于读者理解,且自动指标与人类判断不一致。
2025-05-15 cs.CL
One Prompt To Rule Them All: LLMs for Opinion Summary Evaluation
Flipkart(Flipkart公司)
本文首次在观点摘要评估领域研究大语言模型作为无参考评估器,发布SUMMEVAL-OP数据集,并提出Op-I-Prompt提示方法,实现与人类判断0.70的平均Spearman相关性,优于所有先前方法。
2024-06-09 cs.CL
Agent-as-Judge for Factual Summarization of Long Narratives
IPAI, Seoul National University(IPAI,首尔国立大学);Seoul National University(首尔国立大学);Hyundai Card(现代卡)
针对长叙事摘要中传统指标及 LLM-as-a-Judge 难以评估事实一致性的问题,本文提出 NarrativeFactScore,利用人物知识图谱评估并指导摘要修正,在多个基准上取得更优表现。
2025-09-29 cs.CL
TofuEval: Evaluating Hallucinations of LLMs on Topic-Focused Dialogue Summarization
AWS AI Labs(亚马逊云科技人工智能实验室);Korea Advanced Institute of Science & Technology(韩国科学技术院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出主题聚焦对话摘要评估基准TofuEval,通过人工标注和错误分类分析揭示现有LLM在对话摘要中幻觉严重且作为评估器表现不佳,而非LLM指标更优。
2024-03-31 cs.AI cs.CL
FABLES: Evaluating faithfulness and content selection in book-length summarization
UMass Amherst(马萨诸塞大学阿默斯特分校);Adobe(奥多比公司);Allen Institute for AI(艾伦人工智能研究所);Princeton(普林斯顿大学)
本文通过构建FABLES数据集首次对书籍长度摘要进行大规模人工评估,发现Claude-3-Opus忠实性最优,并揭示现有LLM评分器无法有效检测不忠实声明及内容选择中的系统性偏差。
2024-09-30 cs.AI cs.CL
REFLEX: Reference-Free Evaluation of Log Summarization via Large Language Model Judgment
Portland State University(波特兰州立大学)
REFLEX通过大语言模型评估日志摘要质量,无需参考摘要或人工标注,提供稳定且细粒度的评估结果,优于传统指标。
2026-04-20 cs.AI cs.CL cs.LG
Investigating Crowdsourcing Protocols for Evaluating the Factual Consistency of Summaries
Yale University(耶鲁大学);Columbia University(哥伦比亚大学);Facebook AI(脸书人工智能)
当前应用于摘要的预训练模型容易出现事实不一致,要么歪曲源文本,要么引入无关信息。因此,在我们开发改进的模型时,比较摘要的事实一致性是必要的。然而,事实一致性的最佳人类评估设置尚未标准化。为了解决这个问题,我们使用基于评级的李克特量表和基于排名的最佳-最差缩放协议,对来自CNN-每日邮报和XSum数据集的100篇文章进行了众包评估,以确定最可靠的评估框架。我们发现,基于排名的协议提供了一个更可靠的衡量汇总质量的数据集,而李克特评级的可靠性取决于目标数据集和评估设计。我们的众包模板和摘要评估将公开提供,以促进未来对摘要中事实一致性的研究。
2022-07-09 cs.CL
Podcast Summary Assessment: A Resource for Evaluating Summary Assessment Methods
University of Cambridge(剑桥大学)
自动摘要评估对于机器生成和人工生成的摘要都很有用。在给定文档的情况下自动评估摘要文本使得能够例如开发摘要生成系统和检测不适当的摘要。摘要评估可以以多种模式运行:对摘要生成系统进行排名;对特定文档的摘要进行排名;以及在绝对尺度上估计文档-摘要对的质量。用于摘要评估的具有注释的现有数据集通常基于新闻摘要数据集,诸如CNN/DailyMail或XSum。在这项工作中,我们描述了一个新的数据集,播客摘要评估语料库,一个由人类专家在TREC 2020上评估的播客摘要集合。与现有的摘要评估数据相比,该数据集具有两个独特的方面:(i)长输入,基于语音播客的文档;以及(ii)有机会检测播客语料库中不适当的参考摘要。首先,我们研究现有的评估方法,包括无模型和基于模型的方法,并为这个长输入摘要评估数据集提供基准结果。其次,为了过滤参考摘要-文档配对进行训练,我们应用摘要评估进行数据选择。这两个方面的实验结果提供了有趣的见解总结评估和生成任务。播客摘要评估数据可用。
2022-08-28 cs.CL
PSentScore: Evaluating Sentiment Polarity in Dialogue Summarization
Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院);LIG(信息与信号处理实验室)
本文提出PSentScore度量指标,用于评估对话摘要中情感内容的保留程度,发现现有先进摘要模型情感保留不足,并证明通过精心选择训练集可在轻微牺牲内容指标的情况下改善情感保留。
2024-05-03 cs.CL
RISE: Leveraging Retrieval Techniques for Summarization Evaluation
Google Research(谷歌研究院);Google Deepmind(谷歌DeepMind)
本文提出RISE,一种基于双编码器检索技术的无参考摘要评估方法,在SummEval基准上与人类评估的相关性更高,并具备数据效率和跨语言泛化能力。
2023-05-22 cs.CL
Evaluating GPT-3.5's Awareness and Summarization Abilities for European Constitutional Texts with Shared Topics
University of Calabria(卡拉布里亚大学)
该研究针对欧洲宪法中公民权利与义务这类跨国家的共同主题,提出将生成式摘要应用于多来源宪法文本的新场景,验证了GPT-3.5可生成信息丰富、连贯忠实的相关摘要。
2024-01-25 cs.AI cs.CL cs.CY
Analyzing and Evaluating Faithfulness in Dialogue Summarization
National University of Singapore(新加坡国立大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Kriston AI(Kriston AI(科思顿人工智能))
摘要的抽象性使其容易出现事实性错误。摘要的事实正确性在实际应用之前具有最高优先级。为了提高文本摘要的忠实度,人们做了很多努力。然而,目前还缺乏对对话摘要系统的系统研究。在这项工作中,我们首先对对话摘要的忠实性进行细粒度的人工分析,并观察到超过35%的生成摘要与源对话忠实地不一致。此外,我们提出了一种新的模型级的忠诚度评估方法。它检查了生成模型,其中包含由基于规则的转换创建的多项选择题。实验结果表明,我们的评估模式是一个强大的代理的事实正确性的摘要模型。人类注释的忠实性样本和评估工具包的发布,以促进未来的研究对忠实的对话摘要。
2022-10-21 cs.CL
Cheap Ways of Extracting Clinical Markers from Texts
Faculty of Mathematics and Computer Science(数学与计算机科学学院);University of Bucharest(布加勒斯特大学)
本文介绍UniBuc Archaeology团队在CLPsych 2024任务中,用GOML流程提取高亮和LLM生成摘要两种方法,从文本中提取临床标记,评估LLM与资源高效方法的对比。
2024-03-17 cs.CL cs.LG
Shared Task on Evaluating Accuracy in Natural Language Generation
University of Aberdeen(阿伯丁大学)
我们提出了一个共同的任务方法和算法,用于评估生成的文本的准确性。参与者将测量NLG系统从篮球框得分数据中生成的篮球比赛摘要的准确性。
2020-11-06 cs.CL
Evaluating the Evaluator: Summarization Metrics and LLM-Judges beyond English
HiTZ Center, University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU)HiTZ中心);University of Alicante (UA)(阿利坎特大学(UA));GOI Institute, Basque Summer University (UEU)(巴斯克夏季大学(UEU)GOI研究所)
该研究针对英语外语言开展摘要元评估,构建多语言数据集BASSE并测试自动摘要指标与LLM评判模型,发现专有评判LLM与人类评判相关性最高,开源评判LLM表现较差。
2026-09-03 cs.AI cs.CL
Modeling Motivated Reasoning in Law: Evaluating Strategic Role Conditioning in LLM Summarization
ETH Zurich(苏黎世联邦理工学院);University of Zurich(苏黎世大学);Max Planck Institute for Research on Collective Goods(集体利益研究所)
本研究通过评估框架发现,LLM在摘要司法判决时即使有平衡指令,仍会按法律角色(如法官、检察官)选择性包含信息,凸显了角色感知评估的必要性。
2025-10-08 cs.CL cs.CY
Evaluating the Tradeoff Between Abstractiveness and Factuality in Abstractive Summarization
Amazon(亚马逊公司);SliceX AI(SliceX人工智能公司)
针对抽象式摘要中抽象性提升常损害事实性的问题,本文通过人类评估分析二者权衡,发布两个判断数据集并提出抽象性调整的事实性指标与基线。
2023-04-24 cs.CL
GUMsley: Evaluating Entity Salience in Summarization for 12 English Genres
Georgetown University(乔治城大学)
该研究提出首个覆盖12种英语体裁、含多类标注的实体显著性数据集GUMsley,确立严格显著性定义,发现现有SOTA摘要模型与零样本LLM捕捉显著实体表现不佳,而引入显著实体可提升摘要质量并缓解实体幻觉。
2024-01-31 cs.CL
LIDS: LLM Summary Inference Under the Layered Lens
Department of Mathematics, University of Southern California(数学系,南加州大学);Data Sciences and Operations Department, Marshall School of Business, University of Southern California(数据科学与运营系,马歇尔商学院,南加州大学)
LIDS是一种基于BERT-SVD方向度量和SOFARI的LLM摘要推断方法,通过可解释的关键字分析实现摘要准确性的评估,并通过实证研究验证其在大规模文本缩减中的有效性。
2026-02-18 cs.CL cs.LG stat.ME
Evaluating the Evaluators: Are readability metrics good measures of readability?
Johns Hopkins University(约翰霍普金斯大学)
本文评估8种传统可读性指标,发现其与人类判断相关性差,而语言模型更优(最佳Pearson相关系数0.56),并为简明语言摘要评估提供最佳实践建议。
2025-08-26 cs.CL
AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出AMRFact框架,通过将摘要解析为AMR图并注入受控错误生成高质量负样本,结合NegFilter数据选择模块,在AggreFact-SOTA基准上显著提升了抽象式摘要事实一致性评估的性能。
2024-10-03 cs.CL
Comparing Methods for Extractive Summarization of Call Centre Dialogue
Connex One(Connex One公司)
本文提供了一些文本摘要技术的评估结果的目的,生产呼叫摘要的联络中心解决方案。我们特别关注提取汇总方法,因为它们不需要任何标记的数据,并且在生产中非常快速和容易实现。我们实验比较几个这样的方法,使用它们来产生呼叫的摘要,并客观地(使用ROUGE-L)和主观地(通过聚合几个注释者的判断)评估这些摘要。我们发现TopicSum和Lead-N优于其他总结方法,而BERTSum在主观和客观评价中的得分相对较低。结果表明,即使是像Lead-N这样简单的基于统计学的方法,也能产生有意义和有用的呼叫中心对话摘要。
2022-09-06 cs.AI cs.CL
EHRNoteQA: An LLM Benchmark for Real-World Clinical Practice Using Discharge Summaries
KAIST(韩国科学技术院);NAVER(NAVER公司);Ewha Womans University College of Medicine(梨花女子大学医学院);Seoul National University Bundang Hospital(首尔大学盆唐医院)
针对现有基准无法反映真实临床查询的问题,提出基于MIMIC-IV的EHRNoteQA基准,含962个问答对,覆盖多小结和八主题,评估27个LLM,与临床专家评估高度相关。
2024-11-11 cs.CL
Evaluating the Factual Consistency of Abstractive Text Summarization
Salesforce Research(赛富时研究院)
目前用于评估摘要算法的指标并不考虑摘要是否与源文档事实上一致。我们提出了一个弱监督,基于模型的方法来验证事实的一致性和识别源文件和生成的摘要之间的冲突。训练数据是通过对源文档的句子应用一系列基于规则的转换来生成的。事实一致性模型然后被联合训练用于三个任务:1)识别句子在变换后是否保持事实一致,2)在源文档中提取跨度以支持一致性预测,3)在摘要句子中提取不一致的跨度(如果存在的话)。将此模型转换为由几个最先进的模型生成的摘要表明,这种高度可扩展的方法大大优于以前的模型,包括使用标准数据集进行自然语言推理和事实检查的强监督训练的模型。此外,人类的评价表明,辅助跨度提取任务提供了有用的帮助,在验证事实的一致性的过程中。
2019-10-28 cs.CL
Generating (Factual?) Narrative Summaries of RCTs: Experiments with Neural Multi-Document Summarization
Northeastern University(东北大学);King’s College London(伦敦国王学院)
我们考虑的问题,自动生成一个叙述性的生物医学证据摘要,从多个试验报告。我们评估了现代神经模型对Cochrane协作成员先前进行的系统综述中的相关文章摘要进行抽象总结,使用综述摘要的作者结论部分作为我们的目标。我们招募医学专业人士来评估生成的摘要,我们发现,现代摘要系统产生一贯流畅和相关的概要,但它们并不总是事实。我们提出了新的方法,利用特定领域的模型来通知摘要,例如,通过明确划分传达关键发现的输入片段,并强调大型和高质量试验的报告。我们发现,这些策略适度地提高了所生成的摘要的事实准确性。最后,我们提出了一种新的方法,自动评估的真实性生成的叙事证据合成模型,推断报告的结果的方向性。
2020-12-22 cs.CL