FFCI: A Framework for Interpretable Automatic Evaluation of Summarization
The University of Melbourne(墨尔本大学)
在本文中,我们提出了FFCI,细粒度的摘要评估,包括四个要素的框架:忠实度(与源的事实一致性程度),重点(精度的摘要内容相对于参考),覆盖率(回忆的摘要内容相对于参考),和跨篇连贯性(相邻句子之间的文件流畅性)。我们构建了一个新的数据集的焦点,覆盖范围和跨语言连贯性,并开发自动方法来评估FFCI的四个维度的基础上交叉比较的评估指标和基于模型的评估方法,包括问答(QA)的方法,语义文本相似性(STS),下一句预测(NSP),和来自19个预先训练的语言模型的分数。然后,我们将开发的指标应用于评估两个数据集上的各种摘要模型,并得出了一些令人惊讶的发现。
2022-02-28 cs.CL
Learning Fine-Grained Knowledge about Contingent Relations between Everyday Events
University of California Santa Cruz(加州大学圣克鲁兹分校)
社交媒体上的大部分用户生成内容都是由普通人讲述他们日常生活的故事提供的。我们开发并测试了一种新的方法,用于从这些关于日常事件之间的偶然(因果和条件)关系的故事中学习细粒度的常识知识。这种类型的知识对于文本和故事理解、信息抽取、问答和文本摘要是有用的。我们测试和比较不同的方法学习权变关系,并比较从主题排序的故事集合与一般领域的故事。我们的实验表明,使用特定主题的数据集可以学习有关事件的更细粒度的知识,并导致基线的显着改进。Amazon Mechanical Turk上的一项评估显示,我们从主题分类故事中了解到的事件之间的关系中,有82%被判断为偶然的。
2017-08-30 cs.AI cs.CL
Analyzing LLM Behavior in Dialogue Summarization: Unveiling Circumstantial Hallucination Trends
Northeastern University(东北大学);Abridge AI
该研究基准测试了GPT-4和Alpaca-13B在对话摘要中的忠实度,提出“情境推论”错误分类法,并引入两种基于提示的细粒度错误检测方法,优于现有指标。
2024-06-05 cs.AI cs.CL
A Large-Scale Multi-Dimensional Empirical Study of LLMs for Conversation Summarization
CCSE, Beihang University(北京航空航天大学CCSE);MAIS, CASIA(中国科学院自动化研究所MAIS);Fanyu AI Laboratory(帆禹AI实验室)
提出OmniCSEval基准,包含1800个跨六场景的对话,评估28个LLM在对话摘要中的完整性、简洁性和忠实性,揭示推理能力与模型规模的影响。
2026-08-04 cs.CL
From Attribution to Abstention: Training-Free Attention-Based Auditing for Clinical Summarization
University of California, Santa Barbara(加州大学圣芭芭拉分校);Oracle Health AI
本文提出ClinTrace框架,通过解码器注意力权重提取临床有用信号,实现无训练的注意力基于审计,提升临床摘要的透明性和可靠性,显著优于基线方法。
2026-04-18 cs.AI cs.CL
APPSI-139: A Parallel Corpus of English Application Privacy Policy Summarization and Interpretation
Tianjin University(天津大学);Zhejiang University(浙江大学);North University of China(北方工业大学);Institute of Science Tokyo(东京科学研究所);The Hong Kong Polytechnic University(香港理工大学);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新技术区(滨江)区块链与数据安全研究院)
本文提出APPSI-139平行语料库,包含139个隐私政策及15,692个改写语料,结合TCSI-pp-V2框架提升摘要与解释的可读性与可靠性,优于GPT-4o等大模型。
2026-04-30 cs.AI cs.CL
Summ^N: A Multi-Stage Summarization Framework for Long Input Dialogues and Documents
Penn State University(宾夕法尼亚州立大学);Yale University(耶鲁大学);Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
文本摘要可以帮助读者从文档、新闻、采访和会议中捕捉突出的信息。然而,大多数最先进的预训练语言模型(LM)无法有效地处理长文本的许多摘要任务。在本文中,我们提出了Summ $^N$,这是一个简单,灵活,有效的多阶段框架,用于输入文本,这些文本长于典型的预训练LM的最大上下文长度。Summ $^N$首先对数据样本进行分割,并在多个阶段中生成一个粗略的摘要,然后在此基础上生成最终的细粒度摘要。我们的框架可以通过调整阶段的数量来处理任意长度的输入文本,同时保持LM输入大小固定。此外,它可以处理单源文档和对话,它可以使用在不同的骨干抽象摘要模型。据我们所知,Summ $^N$是第一个用于长输入摘要的多级拆分然后汇总框架。我们的实验表明,Summ $^N$通过提高三个长会议摘要数据集AMI,ICSI和QMSum,来自SummScreen的两个长电视连续剧数据集和长文档摘要数据集GovReport的ROUGE分数,优于以前的最先进的方法。我们的数据和代码可在https://github.com/psunlpgroup/Summ-N上获得。
2022-04-13 cs.CL
LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback
University of California Santa Barbara(加州大学圣巴巴拉分校);Google(谷歌);Carnegie Mellon University(卡内基梅隆大学)
本文提出推理时优化方法 LLMRefine,利用学习到的细粒度反馈模型定位缺陷,并通过模拟退火引导 LLM 迭代改进输出,在翻译、长问答和摘要任务上均显著超过基线。
2024-10-25 cs.CL
Element-aware Summarization with Large Language Models: Expert-aligned Evaluation and Chain-of-Thought Method
Shanghai Jiao Tong University(上海交通大学)
针对新闻摘要数据集噪声问题,构建专家对齐的Element-aware测试集,并提出SumCoT技术引导LLMs逐步生成摘要,在ROUGE-L上显著优于现有方法。
2023-05-22 cs.CL
FIZZ: Factual Inconsistency Detection by Zoom-in Summary and Zoom-out Document
Chung-Ang University(中央大学);Adobe Research(奥多比研究院)
本文提出基于细粒度原子事实分解与自适应粒度扩展对齐的 FIZZ 指标,以提升抽象式摘要事实不一致检测的效果与可解释性,实验显示其显著优于现有系统。
2024-10-02 cs.CL
Hallucination Diversity-Aware Active Learning for Text Summarization
Shanghai Jiao Tong University(上海交通大学);University of Michigan(密歇根大学);Adobe Research(奥多比研究院)
本文提出首个缓解LLM幻觉的主动学习框架HADAS,通过从语义框架、话语和内容可验证性度量细粒度幻觉并选择多样化样本标注,在三个数据集上验证了其高效减轻文本摘要幻觉的效果。
2024-04-02 cs.AI cs.CL cs.LG
FLRC: Fine-grained Low-Rank Compressor for Efficient LLM Inference
National Yang Ming Chiao Tung University;Macronix International Co., Ltd.;Cornell University
提出FLRC细粒度低秩压缩器,逐层优化秩分配并采用渐进式低秩解码,在摘要任务上ROUGE-L最高提升17%,实现高效且稳健的LLM推理。
2025-10-10 cs.AI cs.CL
LVSum: A Benchmark for Timestamp-Aware Long Video Summarization
Apple(苹果公司)
本文提出LVSum基准测试,用于评估长视频摘要中时间对齐的性能,通过引入新的评估指标揭示现有MLLM在时间理解上的系统性差距。
2026-07-20 cs.AI cs.CV cs.LG
CCSBench: Evaluating Compositional Controllability in LLMs for Scientific Document Summarization
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学);Sea AI Lab(Sea AI实验室)
CCSBench是首个科学文档组合可控摘要基准,评估LLMs同时控制长度与实证焦点等多属性的能力,发现其在平衡隐性属性上存在显著局限。
2025-08-04 cs.CL
What Are They Talking About? A Benchmark of Knowledge-Grounded Discussion Summarization
State Key Laboratory of Complex & Critical Software Environment(复杂与关键软件环境国家重点实验室);Beihang University(北京航空航天大学);State Key Laboratory of Multimodal Artificial Intelligence Systems(多模态人工智能系统国家重点实验室);Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);ByteDance Inc.(字节跳动公司)
本文提出知识基础的讨论摘要任务及首个基准,通过背景摘要和澄清引用的观点摘要解决讨论中隐式引用问题,并评估12个大语言模型,发现该任务仍具挑战性。
2025-11-06 cs.CL
TracSum: A New Benchmark for Aspect-Based Summarization with Sentence-Level Traceability in Medical Domain
University of Duisburg-Essen(杜伊斯堡-埃森大学);Institute for AI in Medicine (IKIM)(医学人工智能研究所);University Hospital Essen(埃森大学医院)
TracSum提出了一种面向医学领域的可追溯摘要基准,通过句子级引用提高摘要准确性,并展示了基于Track-Then-Sum的基线方法及实验结果。
2025-08-19 cs.CL
SUMFORU: An LLM-Based Review Summarization Framework for Personalized Purchase Decision Support
SUMFORU通过可调节的多元对齐方法,实现个性化购买决策支持,结合高质量数据管道和两阶段对齐流程,提升摘要的一致性、基础性和偏好对齐性能。
2025-12-12 cs.CL
Attributable by Construction: Claim-Anchored Provenance for Multi-Document Summarization
UBS AG(瑞银集团)
提出CAMS框架,通过提取原子主张、聚类、选择并重写为摘要,实现细粒度、多源可追溯的归因,显著提升忠实度和引用精度。
2026-09-14 cs.AI cs.CL
CARPAS: Towards Content-Aware Refinement of Provided Aspects for Summarization in Large Language Models
National Yang Ming Chiao Tung University(国家阳明交通大学)
本文提出CARPAS任务,构建三个数据集,引入两阶段框架优化LLMs的方面摘要生成,解决过度生成问题,提升了各数据集的性能并获得LLMs合规性的关键见解。
2026-09-03 cs.CL
QAPyramid: Fine-grained Evaluation of Content Selection for Text Summarization
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Bar-Ilan University(巴伊兰大学)
针对Pyramid评估协议子单元定义和粒度缺乏系统性的问题,提出QAPyramid,利用QA-SRL框架将参考摘要分解为细粒度QA对,实现更系统、细粒度的内容选择评估,并保持高标注者间一致性。
2025-10-07 cs.AI cs.CL
Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation
Yale University(耶鲁大学);Salesforce AI(Salesforce人工智能研究院);Carnegie Mellon University(卡内基梅隆大学)
本文提出ACU细粒度人类评估协议并构建含22,000条标注的RoSE基准,系统比较评估协议与50种自动指标,揭示LLM可能过拟合非稳健人类评估。
2023-06-06 cs.CL
Evaluation of LLMs in Medical Text Summarization: The Role of Vocabulary Adaptation in High OOV Settings
Indian Institute of Technology Kharagpur(印度理工学院克哈格布尔分校)
本文评估了LLMs在医学文本摘要中的表现,发现词汇适应能有效缓解高OOV数据点带来的性能下降问题,并通过实验验证了词汇适应对医疗领域定制化的重要性。
2025-05-27 cs.CL
On the Benefits of Fine-Grained Loss Truncation: A Case Study on Factuality in Summarization
Yale University(耶鲁大学);Allen Institute for AI(艾伦人工智能研究所)
针对文本摘要模型的幻觉问题,研究发现现有Loss Truncation方法因假设局限效果有限,提出基于实体词级NLL的细粒度损失与数据清洗策略,有效减少部分数据集上的幻觉。
2024-03-09 cs.AI cs.CL
WebCiteS: Attributed Query-Focused Summarization on Chinese Web Search Results with Citations
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Tencent(腾讯);University of Science and Technology of China(中国科学技术大学)
本文提出中文数据集WebCiteS(含7000条带引用标注),定义查询聚焦摘要任务,并开发细粒度指标自动区分基础性错误与引用错误,评估显示LLM引用来源仍具挑战。
2024-05-29 cs.CL
Integrate the Essence and Eliminate the Dross: Fine-Grained Self-Consistency for Free-Form Language Generation
School of Computer Science, Beijing Institute of Technology(北京理工大学计算机学院);Xiaohongshu Inc(小红书科技有限公司)
本文针对自洽性难以聚合自由形式生成答案的问题,提出 FSC,通过提取并融合候选样本的片段级共性,并结合候选过滤与合并策略,显著提升多类任务表现。
2024-07-02 cs.AI cs.CL
GenerationPrograms: Fine-grained Attribution with Executable Programs
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Bar-Ilan University(巴伊兰大学)
针对大语言模型文本生成归因能力不足、可解释性有限的问题,提出模块化生成框架GenerationPrograms,将生成拆分为程序规划与执行两阶段,显著提升多任务下的细粒度归因质量,还可作为事后归因方法并支持模块级优化。
2025-06-17 cs.AI cs.CL
Annotating and Detecting Fine-grained Factual Errors for Dialogue Summarization
School of Computing and Information Systems(计算与信息系统学院);The University of Melbourne(墨尔本大学)
本文提出首个细粒度对话摘要事实错误标注数据集DIASUMFACT,将错误检测建模为句子级多标签分类,并提出无监督模型ENDERANKER,在性能与SOTA相当的同时资源需求更低。
2023-05-26 cs.AI cs.CL
Fine-grained Verification via Diagnostic Reasoning Supervision for Aspect Sentiment Triplet Extraction
The Hong Kong Polytechnic University(香港理工大学);Lingnan University(岭南大学);Education University of Hong Kong(香港教育大学)
提出FiVeD框架,通过诊断推理监督进行细粒度验证,利用质量评分和错误分类等辅助任务提升ASTE三元组抽取的可靠性。
2026-05-29 cs.AI cs.CL
Interpretable Automatic Fine-grained Inconsistency Detection in Text Summarization
University of Macau(澳门大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对现有文本摘要事实一致性评估仅提供二元预测的局限,提出细粒度不一致性检测任务及可解释模型FineGrainFact,利用语义角色标注提取语义框架以预测错误类型并修正摘要,实验证明其优于强基线。
2023-05-23 cs.CL
Spot the BlindSpots: Systematic Identification and Quantification of Fine-Grained LLM Biases in Contact Center Summaries
本文提出BlindSpot框架,通过15个运营偏见维度和两个量化指标,系统识别并量化联络中心摘要中LLM的细粒度偏见,并在2500条真实通话记录及20个LLM上验证了偏见的系统性存在。
2025-08-18 cs.AI cs.CL
Parallel Context Compaction for Long-Horizon LLM Agent Serving
The Pennsylvania State University(宾夕法尼亚州立大学)
针对长视界LLM智能体对话历史超出上下文窗口的问题,提出并行压缩方法,通过细粒度控制摘要体积和提示工程,在HotpotQA和LoCoMo基准上相比顺序基线降低端到端耗时并提升压缩吞吐量。
2026-05-22 cs.AI
A Lightweight Constrained Generation Alternative for Query-focused Summarization
University of Utah(犹他大学);Dataminr, Inc.(Dataminr公司)
本文提出基于NLD的轻量级约束生成QFS方法,利用梯度归因构建词汇约束并直接调整词汇似然,无需额外参数或微调,在两个公开集合上接近最先进性能。
2023-04-23 cs.CL cs.IR
Fine-grained and Explainable Factuality Evaluation for Multimodal Summarization
本文提出两种细粒度且可解释的评估框架,用于评估多模态摘要模型的事实性,适用于不同应用场景,并通过实验验证了其有效性。
2025-11-27 cs.CL
PlainQAFact: Retrieval-augmented Factual Consistency Evaluation Metric for Biomedical Plain Language Summarization
School of Information Sciences, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校信息科学学院)
本文提出PlainQAFact,一种针对生物医学平白语言摘要中详尽解释的事实一致性评估指标,通过检索增强的问答方法,有效评估源简化和详尽解释句子的事实一致性。
2026-03-19 cs.CL
Annotating and Modeling Fine-grained Factuality in Summarization
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
最近的预训练抽象摘要系统已经开始实现可靠的性能,但在实践中使用它们的主要障碍是它们倾向于输出不忠实于输入并且包含事实错误的摘要。虽然已经探索了一些用于评估真实性的注释数据集和统计模型,但没有明确说明哪些错误最重要,也没有明确说明当前技术的成功和失败之处。我们探索了合成和人工标记的数据源,用于训练模型,以识别总结中的事实错误,并在单词,依赖关系和重复级别上研究真实性。我们的观察有三个方面。首先,表现出的事实错误在不同的数据集上有很大的不同,而常用的简单合成错误训练集并不能反映像XSum这样的抽象数据集上的错误。第二,具有细粒度注释的人工标记数据提供比分级注释或合成数据更有效的训练信号。最后,我们证明了我们的最佳真实性检测模型可以通过识别训练数据中的非事实标记来训练更真实的XSum摘要模型。
2021-04-09 cs.CL
Evaluating Large Language Models for Structured Science Summarization in the Open Research Knowledge Graph
L3S Research Center(L3S研究中心);Leibniz Information Centre for Science and Technology(莱布尼茨科技信息中心);University of Mannheim(曼海姆大学)
本文通过四个视角系统评估GPT-3.5、Llama 2和Mistral在ORKG结构化科学摘要任务中的表现,发现LLMs具有推荐系统潜力,但仍需微调以更好对齐科学任务并模仿人类专业知识。
2024-05-03 cs.AI cs.CL cs.IT
Reference Matters: Benchmarking Factual Error Correction for Dialogue Summarization with Fine-grained Evaluation Framework
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Center for Data Science, Peking University(北京大学数据科学中心);The MOE Key Laboratory of Computational Linguistics, Peking University(北京大学计算语言学教育部重点实验室);Huawei Cloud(华为云)
本文构建含4000条目的对话摘要事实错误纠正数据集,并提出基于参考纠正的细粒度评估框架FERRANTI,以基准测试并揭示现有方法在不同错误类别上的性能差异。
2023-06-08 cs.CL
BooookScore: A systematic exploration of book-length summarization in the era of LLMs
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Allen Institute for AI(艾伦人工智能研究所);Princeton University(普林斯顿大学)
针对书籍长度摘要评估难题,研究两种LLM摘要工作流的连贯性,提出自动指标BooookScore,系统分析关键参数影响并对比不同模型表现。
2024-04-13 cs.AI cs.CL cs.LG
AraHalluEval: A Fine-grained Hallucination Evaluation Framework for Arabic LLMs
Information and Computer Science Department, King Fahd University of Petroleum and Minerals(信息与计算机科学系,国王法赫德石油和矿物大学);SDAIA-KFUPM Joint Research Center for Artificial Intelligence(SDAIA-KFUPM人工智能联合研究中心)
本文提出AraHalluEval,首个针对阿拉伯语LLM的细粒度幻觉评估框架,在生成式问答和摘要任务上评估12个模型,发现事实性幻觉更普遍,且阿拉伯语模型Allam表现优于多语言模型。
2025-09-09 cs.CL
MMAPS: End-to-End Multi-Grained Multi-Modal Attribute-Aware Product Summarization
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China(多媒体可信感知与高效计算教育部重点实验室);Xiamen University(厦门大学);School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院)
针对现有多模态产品摘要方法存在的非端到端、缺少多粒度多模态及多模态属性建模的问题,提出端到端的MMAPS方法,通过多粒度多模态任务引导学习、双模态属性建模生成高质量摘要,在大规模中文电商数据集上多项指标优于SOTA方法。
2024-03-08 cs.CL cs.MM
Fine-Grained Opinion Summarization with Minimal Supervision
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
意见摘要旨在通过从多个文档中提取意见来分析目标。大多数现有的工作方法的任务,在半监督的方式,由于难以获得高质量的注释从成千上万的文件。其中,一些使用方面和情感分析作为识别意见的代理。在这项工作中,我们提出了一个新的框架,FineSum,它在三个方面推进了这一前沿:(1)最小的监督,只有方面的名称和一些方面/情感关键字是可用的;(2)细粒度的意见分析,其中情感分析钻到子方面的水平;和(3)基于短语的总结,其中意见是总结在短语的形式。FineSum自动从原始语料库中识别意见短语,将其分类为不同的方面和情感,并在每个方面/情感下构建多个细粒度的意见聚类。每个聚类由语义连贯的短语组成,表达对某些子方面或特征的统一意见(例如,在“食物”方面对“汉堡”有积极的感觉。一个面向观点的球形词嵌入空间被训练来为短语分类器提供弱监督,并且使用从短语分类器生成的方面感知的上下文化嵌入来执行短语聚类。基准测试的自动评估和定量的人工评估都验证了该方法的有效性。
2021-10-17 cs.CL
SCOPE: A Generative Approach for LLM Prompt Compression
University of Florida(佛罗里达大学);University of Hawaii - Manoa(夏威夷大学-曼诺亚)
针对LLM输入过长导致的高成本、延迟及超上下文限制问题,提出无需训练的SCOPE框架,通过分块重写实现提示压缩,在多数设置及高压缩率下均优于现有基线。
2026-08-24 cs.AI cs.CL
CSDS: A Fine-Grained Chinese Dataset for Customer Service Dialogue Summarization
National Laboratory of Pattern Recognition, Institute of Automation, CAS(中国科学院自动化研究所模式识别国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Fanyu AI Laboratory, Zhongke Fanyu Technology Co., Ltd(中科凡语科技有限公司凡语AI实验室)
对话摘要是近年来备受关注的话题。特别是在客户服务领域,代理人可以使用对话摘要,以帮助提高他们的工作,通过快速了解客户的问题和服务的进展。这些应用程序要求摘要包含单个发言者的观点,并具有清晰的主题流结构,而现有数据集中都没有。因此,在本文中,我们介绍了一个新的中国数据集的客户服务对话摘要(CSDS)。CSDS在两个方面对摘要进行了改进:(1)除了对整个对话进行全面总结外,还提供了面向角色的摘要,以获取不同发言者的观点。(2)所有的摘要都分别总结了每个主题,从而包含了对话的主题层次结构。我们将CSDS中的任务定义为生成给定对话的总体摘要和不同的面向角色的摘要。其次,我们比较了CSDS上的各种摘要方法,实验结果表明,现有的方法容易产生冗余和不连贯的摘要。此外,当分析面向角色的摘要和主题结构的性能时,性能变得更差。希望本研究能为汉语对话摘要的进一步研究提供参考。
2021-09-06 cs.CL
M-DocSum: Do LVLMs Genuinely Comprehend Interleaved Image-Text in Document Summarization?
BUPT(北京邮电大学);StepFun(阶跃星辰);Waseda University(早稻田大学)
本文提出多模态文档摘要基准 M-DocSum-Bench 及评估方法 M-DocEval,并训练基线模型 M-DocSum-7B,验证 LVLMs 在交错图文摘要任务中的能力,该模型性能优于 GPT-4o 等更大模型。
2025-03-27 cs.AI cs.CV cs.LG
Halluverse-M^3: A multitask multilingual benchmark for hallucination in LLMs
Texas A&M University(德克萨斯农工大学);University of Maryland, Baltimore(马里兰大学巴尔的摩分校);Hamad Bin Khalifa University(哈马德·本·卡尔法大学)
Halluverse-M^3是一个多语言多任务基准测试,用于评估大型语言模型中的幻觉检测性能,涵盖四种语言和两种生成任务,揭示了不同任务和语言下的幻觉检测挑战。
2026-02-06 cs.AI cs.CL
ContextPilot: Teaching Agents for Proactive Context Management via Fine-grained RL
Tsinghua University(清华大学);Tencent(腾讯);Shanghai AI Lab(上海人工智能实验室)
本研究针对现有主动上下文管理方法的局限,提出ContextPilot框架,通过扩充工具集并设计细粒度RL方法,在长程智能体任务中实现更紧凑上下文下的更优性能,优于现有基线。
2026-08-31 cs.CL
FRACTAL: Fine-Grained Scoring from Aggregate Text Labels
Google Research India(谷歌印度研究院);Google DeepMind(谷歌DeepMind)
本文提出 FRACTAL,结合 MIL、LLP 与句子先验,将回复级聚合标签解聚为句子级伪标签并训练评分模型,在多任务上达到接近细粒度人工标注训练模型的效果。
2024-04-07 cs.CL
Revisiting Metric Reliability for Fine-grained Evaluation of Machine Translation and Summarization in Indian Languages
Sharif University of Technology(谢里夫理工学院);Vellore Institute of Technology(韦洛雷理工学院);IIT Kharagpur(印度理工学院达卡分校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对印度语言评估不足的问题,提出ITEM基准,系统评估29种自动度量与人工判断的对齐,发现基于LLM的评估器表现最佳,并揭示了异常值影响、任务差异及扰动鲁棒性等关键发现。
2026-06-09 cs.CL
Unsupervised Topic Modeling Approaches to Decision Summarization in Spoken Meetings
Cornell University(康奈尔大学)
我们提出了一个令牌级的决策摘要框架,利用潜在的主题结构的话语,以确定“值得总结”的话。实验结果表明,细粒度的主题模型能够更好地识别决策过程的要点,它在话语级而不是文档级发现主题。此外,我们提出的令牌级摘要方法,这是能够消除话语内的冗余,优于现有的话语排名为基础的摘要方法。最后,还调查上下文信息以向摘要添加额外的相关信息。
2016-06-24 cs.CL
Uncovering Factor Level Preferences to Improve Human-Model Alignment
KAIST(韩国科学技术院);University of California, Santa Barbara(加州大学圣塔芭芭拉分校);Georgia Institute of Technology(佐治亚理工学院)
针对现有大语言模型对齐评估粗粒度、缺乏可解释性的问题,提出PROFILE框架开展因子层面偏好对齐分析,发现模型生成与判别任务的对齐差距,可用于提升人机对齐效果。
2025-11-15 cs.AI cs.CL
A Hybrid Supervised-LLM Pipeline for Actionable Suggestion Mining in Unstructured Customer Reviews
Department of Computer Science & Information Systems, Birla Institute of Technology and Science, Pilani, India(印度比拉理工学院计算机科学与信息系统系);Birdeye Inc.(Birdeye公司)
本文提出一种混合监督-大语言模型管道,用于从无结构客户评论中精准提取可操作建议,通过结合RoBERTa分类器和指令调优的LLM,提升提取准确性和聚类一致性,同时揭示领域适应与部署挑战。
2026-01-27 cs.AI cs.CL
MMViR: A Multi-Modal and Multi-Granularity Representation for Long-range Video Understanding
IFM Lab, University of California, Davis(加州大学戴维斯分校信息融合实验室);ALOHA Lab, University of Hawaii at Mānoa(夏威夷大学马诺阿分校ALOHA实验室)
MMViR通过多模态和多粒度表示提升长视频理解,实现更高效的检索和更优的性能表现。
2026-01-09 cs.CL cs.CV
Contamination Means Overestimation? A Fine-Grained Empirical Study in Code Intelligence
Shandong University(山东大学);Institute of Software, Chinese Academy of sciences(中国科学院软件研究所);City University of Hong Kong(香港城市大学);Columbia University(哥伦比亚大学);Peking University(北京大学)
本文重新审视了数据污染对代码智能模型的影响,发现不同模型在不同污染场景下的表现差异显著,挑战了污染必然导致性能高估的传统观点。
2026-08-11 cs.AI cs.SE
Towards a Holistic and Automated Evaluation Framework for Multi-Level Comprehension of LLMs in Book-Length Contexts
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出HAMLET框架,通过三级关键事实层级和查询聚焦摘要自动评估大语言模型在书籍长度上下文中的多层次理解能力,揭示模型在细粒度理解和位置效应上的不足。
2025-08-27 cs.AI cs.CL