Holistic Audit Dataset Generation for LLM Unlearning via Knowledge Graph Traversal and Redundancy Removal
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Singapore Management University(新加坡管理大学)
提出HANKER框架,利用知识图谱遍历与冗余消除自动生成全面审计数据集,在MUSE基准上生成超18万案例,并揭示冗余导致遗忘指标虚高,强调系统去重的重要性。
2025-02-26 cs.AI cs.CL cs.LG
To Know is to Construct: Schema-Constrained Generation for Agent Memory
UnionPay(中国银联)
本文提出SCG-MEM架构,通过模式约束生成实现记忆检索,避免结构幻觉并提升多跳推理能力,实验显示其在LoCoMo基准上表现优异。
2026-04-22 cs.CL
Towards a Holistic Evaluation of LLMs on Factual Knowledge Recall
North Carolina State University(北卡罗来纳州立大学);AWS AI Labs(亚马逊云科技人工智能实验室)
本研究构建了 FACT-BENCH 基准全面评估 LLMs 的事实知识召回能力,发现指令微调会损害召回、模型扩展有益但 GPT-4 仍存差距,且反事实示例会导致性能退化,而在已知知识上微调效果最佳。
2024-04-24 cs.AI cs.CL cs.LG
Demystifying Scientific Problem-Solving in LLMs by Probing Knowledge and Reasoning
Department of Computer Science, Yale University;Department of Molecular \& Cellular Biology, Harvard University;Allen Institute for AI;Department of Computer Science, Northwestern University
本文提出SciReas基准和KRUX探针框架,系统评估LLMs在科学推理中的知识与推理角色,发现知识检索是主要瓶颈,外部上下文知识和推理增强均能提升性能。
2026-05-28 cs.CL
Can Knowledge Editing Really Correct Hallucinations?
Emory University(埃默里大学);Illinois Institute of Technology(伊利诺伊理工大学);Cisco Research(思科研究院)
本文提出HalluEditBench基准,通过构建涵盖9领域26主题超6000幻觉的大规模数据集,从有效性、泛化性等五维度全面评估知识编辑方法纠正LLMs幻觉的真实能力,揭示其潜力与局限。
2025-03-03 cs.CL
On Epistemic Diversity in Large Language Models
Ruhr University Bochum(波鸿鲁尔大学);University of Duisburg-Essen(杜伊斯堡-埃森大学)
该研究针对大型语言模型(LLMs)的评估问题,借鉴哲学认识论概念提出认知多样性评估维度,构建初步框架并发现前沿LLMs存在认知狭隘性,建议评估需纳入该维度。
2026-09-07 cs.CL
MÖVE: A Holistic LLM Benchmark for the German Public Sector
Innovations Department, Bundesdruckerei GmbH(德国联邦印钞公司创新部)
提出MÖVE基准,从性能和治理两个维度评估39个LLM在德国公共部门的应用,发现无单一模型全面领先,模型大小非质量可靠指标。
2026-06-12 cs.CL
EduGuardBench: A Holistic Benchmark for Evaluating the Pedagogical Fidelity and Adversarial Safety of LLMs as Simulated Teachers
本文提出EduGuardBench基准,从角色扮演保真度和对抗安全性两方面评估LLM作为模拟教师的能力,发现模型性能两极分化、中等规模模型更脆弱,并揭示最安全模型能将有害请求转化为可教时刻的教育转化效应。
2025-11-10 cs.CL
Holistic Sentence Embeddings for Better Out-of-Distribution Detection
Peking University(北京大学)
检测分发外(OOD)实例对于NLP模型的安全部署具有重要意义。在最近基于预训练语言模型(PLM)的文本OOD检测工作中,基于距离的方法表现出优越的性能。然而,他们估计样本距离得分在最后一层CLS嵌入空间,因此没有充分利用语言信息的PLM。为了解决这个问题,我们建议通过导出更全面的句子嵌入来提高OOD检测。在观察到令牌平均和层组合有助于提高OOD检测的基础上,我们提出了一种简单的嵌入方法,称为平均,平均所有的令牌表示从每个中间层的句子嵌入,并显着超过了国家的最先进的一套全面的基准测试的9.33% FAR95保证金。此外,我们的分析表明,它确实有助于保存一般的语言知识,微调PLM和大大有利于检测背景变化。简单而有效的嵌入方法可以应用于微调PLM,可以忽略不计的额外成本,在OOD检测中提供免费的增益。我们的代码可在https://github.com/lancopku/Avg-Avg上获得。
2022-10-14 cs.AI cs.CL
Xolver: Multi-Agent Reasoning with Holistic Experience Learning Just Like an Olympiad Team
American International University-Bangladesh(美国国际大学-孟加拉国);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Cornell University(康奈尔大学);Qatar Computing Research Institute(卡塔尔计算研究所)
针对大语言模型孤立推理、缺乏经验积累的问题,提出无需训练的多智能体推理框架Xolver,通过整合多模态经验记忆实现经验感知推理,在多个推理基准上取得SOTA结果。
2025-06-17 cs.AI cs.CL
HEMM: Holistic Evaluation of Multimodal Foundation Models
Carnegie Mellon University(卡内基梅隆大学)
本文提出HEMM框架,从基本技能、信息流和现实用例三个维度系统评估多模态基础模型,通过30个任务实验揭示数据与模型规模、多模态对齐及指令微调对性能的影响,为未来研究提供可操作见解。
2024-07-03 cs.AI cs.CL cs.CV
Persuasion Dynamics in LLMs: Investigating Robustness and Adaptability in Knowledge and Safety with DuET-PD
Singapore University of Technology and Design (SUTD)(新加坡科技设计大学);Institute for Infocomm Research (I2R), A*STAR, Singapore(信息通信研究院)
针对LLMs在说服对话中易受误导且难接受纠正的问题,提出DuET-PD框架评估并引入整体DPO训练,显著提升模型鲁棒性与适应性。
2025-09-09 cs.CL cs.CY
Epistemic Alignment: A Mediating Framework for User-LLM Knowledge Delivery
University of Washington(华盛顿大学)
本文提出Epistemic Alignment Framework,基于认识论提出十个知识传递挑战,作为用户需求与系统能力的中介,分析发现现有模型提供商缺乏指定和验证认知偏好的机制,为开发者提供指导并改善用户信息传递。
2025-04-01 cs.AI cs.CL cs.HC
A Dual-Axis Taxonomy of Knowledge Editing for LLMs: From Mechanisms to Functions
Department of Electrical and Computer Engineering(电气与计算机工程系)
本综述提出了一种基于功能的知识编辑分类法,结合机制与知识类型双轴,系统评估现有方法的优势与局限,并探讨未来研究方向。
2025-08-12 cs.AI cs.CL
Bayesian Epistemology with Weighted Authority: A Formal Architecture for Truth-Promoting Autonomous Scientific Reasoning
Department of Computer Science University of Exeter(计算机科学系埃克塞特大学)
针对科学文献爆炸超越认知处理能力的问题,提出加权权威贝叶斯认识论(BEWA)架构,通过贝叶斯推断、矛盾处理等机制,实现促进真理的机器科学推理。
2025-06-19 cs.AI cs.CL cs.DB
Towards a Holistic Understanding of Mathematical Questions with Contrastive Pre-training
University of Science and Technology of China(中国科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室);iFLYTEK Co., Ltd.(科大讯飞股份有限公司)
有效地理解数学问题是一项重要的任务,它可以使许多应用受益,例如难度估计。由于人类注释的缺乏,研究人员已经引起了对设计用于问题表示的预训练模型的极大关注(例如,标签困难)。然而,与一般的自由格式文本(例如,用户评论),数学问题通常设计有明确的目的和数学逻辑,并且通常包括更复杂的内容,例如公式,以及相关的数学知识(例如,函数)。因此,整体表示数学问题的问题仍然没有得到充分的探索。为此,在本文中,我们提出了一种新的数学问题表征的对比预训练方法,即QuesCo,它试图使具有更相似目的的问题更接近。具体来说,我们首先设计了两个层次的问题增强,包括内容级和结构级,产生字面上不同的问题对相似的目的。然后,为了充分利用知识概念的层次信息,我们提出了一个知识层次感知的排名策略(KHAR),排名问题之间的相似性在细粒度的方式。接下来,我们采用排名对比学习任务,以优化我们的模型的基础上增强和排名的问题。我们在两个真实世界的数学数据集上进行了广泛的实验。实验结果证明了该模型的有效性。
2023-01-18 cs.CL
Demystifying deep search: a holistic evaluation with hint-free multi-hop questions and factorised metrics
Singapore University of Technology and Design(新加坡科技设计大学);Nanyang Technological University(南洋理工大学);Tongyi Lab, Alibaba Group(阿里云实验室)
本文提出WebDetective基准测试,通过无提示多跳问题和因子化指标,揭示深度搜索中模型在知识利用和拒绝行为上的系统性弱点,并开发EvidenceLoop工作流程以改进自主推理能力。
2025-12-10 cs.CL
Navigating the Grey Area: How Expressions of Uncertainty and Overconfidence Affect Language Models
Stanford University(斯坦福大学)
本研究探讨语言模型对输入中确定性、不确定性等认识标记的敏感性,发现高确定性表达反而降低准确率,且模型行为可能源于模仿而非真实认识状态。
2023-11-13 cs.AI cs.CL
NLP for Climate Policy: Creating a Knowledge Platform for Holistic and Effective Climate Action
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
气候变化是我们这个时代的一个紧迫问题,联合国可持续发展目标(SDG)13要求全球采取气候行动。2015年,世界各国领导人在巴黎签署了一项协议,承诺采取自愿行动减少碳排放。然而,全球范围内,特别是发达国家和发展中国家之间,气候行动的规模、规模和进程各不相同。因此,从议会到社交媒体,关于气候变化的辩论和讨论从政策设计和执行所必需的广泛来源收集数据。缺点是,我们目前还没有机制来汇集来自结构化和非结构化数据源的全球分散的知识。本文主要讨论了如何将NLP技术应用于气候政策研究,并为整个社会做出贡献。特别是,我们通过四种方法来实现NLP和气候政策研究的共生。第一个是使用自动内容分析处理与气候政策有关的主要议题。在第二种方法中,我们调查了主要行动者对气候政策的叙述的意见(情绪)。第三种技术探讨气候行为者对支持或反对气候取向的信念。最后,我们讨论了发展气候知识图谱。本专题文件还认为,建立一个知识平台将有助于制定整体气候政策和有效的气候行动。这样一个知识平台将整合来自政府、企业、民间社会和科学界等不同社会部门的政策行为者的各种意见。研究成果将为有效的气候行动增加价值,因为政策制定者可以通过在一个综合平台上观察不同的公众意见来做出明智的决定。
2021-05-12 cs.AI cs.CL
How Auditory Knowledge in LLM Backbones Shapes Audio Language Models: A Holistic Evaluation
National Taiwan University, Taiwan(国立台湾大学);NVIDIA;Academia Sinica, Taiwan(台湾“学术院”)
研究比较不同LLM在文本仅和音频基础设置下的表现,揭示听觉知识在不同家族间差异显著,文本结果与音频性能强相关。
2026-03-19 cs.CL cs.SD eess.AS
Towards Holistic Evaluation of Large Audio-Language Models: A Comprehensive Survey
National Taiwan University(台湾大学);NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)(国立清华大学人工智能研究中心(NTU AI-CoRE))
本文针对大音频-语言模型的评估进行全面调查,提出系统化的分类体系,从四个维度探讨其性能,揭示挑战与未来方向,为领域提供指导。
2026-04-26 cs.AI cs.CL cs.SD