Evaluating Sparse Autoencoders on Targeted Concept Erasure Tasks
Anthropic
针对稀疏自编码器(SAEs)缺乏高质量性能指标的问题,提出基于SHIFT的自动化评估方法(用LLM替代人类标注者)和目标探针扰动(TPP)指标,应用于开源模型后可有效区分SAE训练超参数与架构。
2024-11-28 cs.CL cs.LG
When In-Distribution Gains Fail: Evaluating Weak-to-Strong Reward Models under Preference Shift
National University of Singapore(国立新加坡大学);VinUniversity(文大学);Nanyang Technological University(南洋理工大学)
研究弱到强偏好学习在零样本分布转移下的表现,发现弱监督微调会导致强模型偏向源域特征,提出表示锚定正则化方法以改善跨分布迁移。
2026-10-01 cs.CL cs.LG
Evaluating and Improving the Robustness of Speech Command Recognition Models to Noise and Distribution Shifts
本研究探究音频语音命令识别模型中分布内与分布外准确率的关联,通过基准测试不同神经架构,用公平性与鲁棒性指标量化噪声影响,发现噪声感知训练可在部分配置下提升模型鲁棒性。
2025-07-30 cs.LG
Beyond the Training Distribution: Evaluating Predictions Under Distribution Shift and Selection Bias
Department of Statistics, University of California, Berkeley(加州大学伯克利分校统计学系)
针对协变量偏移和选择性标签共存时的模型评估问题,提出双机器学习程序估计目标风险,并通过eICU数据验证其准确性优于单独处理任一种偏差的方法。
2026-06-15 cs.LG stat.ME stat.ML
Can You Trust Your Model's Uncertainty? Evaluating Predictive Uncertainty Under Dataset Shift
Google Research(谷歌研究院);DeepMind
包括深度学习在内的现代机器学习方法在监督学习任务的预测准确性方面取得了巨大成功,但在对其预测{ \em不确定性}给出有用的估计方面可能仍然不足。量化不确定性在现实世界中尤其重要,因为现实世界中的输入分布通常会由于样本偏差和非平稳性等多种因素而偏离训练分布。在这种情况下,经过良好校准的不确定性估计传达了关于模型输出何时应该(或不应该)可信的信息。文献中已经提出了许多概率深度学习方法,包括贝叶斯和非贝叶斯方法,用于量化预测不确定性,但据我们所知,以前还没有对这些方法在数据集偏移下进行严格的大规模实证比较。我们提出了一个大规模的基准现有国家的最先进的方法分类问题,并调查数据集的准确性和校准的影响。我们发现,传统的事后校准确实达不到要求,因为其他几个以前的方法。然而,一些边缘化模型的方法在广泛的任务中给出了令人惊讶的强大结果。
2019-12-17 cs.LG stat.ML
ViewSpatial-Bench: Evaluating Multi-perspective Spatial Localization in Vision-Language Models
Zhejiang University(浙江大学);University of Electronic Science and Technology of China(电子科技大学);The Chinese University of Hong Kong(香港中文大学)
本文提出 ViewSpatial-Bench 多视角空间定位基准,揭示 VLM 从人类视角推理的不足,并通过多视角空间数据微调实现 46.24% 的整体性能提升。
2025-09-30 cs.AI cs.CL cs.CV
Evaluating Latent Space Robustness and Uncertainty of EEG-ML Models under Realistic Distribution Shifts
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Mayo Clinic(梅奥诊所)
最近生物医学中大数据集的可用性激发了多种医疗保健应用的表示学习方法的发展。尽管在预测性能方面取得了进展,但当暴露于真实世界数据时,此类方法的临床实用性受到限制。本研究开发了模型诊断措施,以在部署前检测潜在的陷阱,而无需假设访问外部数据。具体而言,我们专注于通过数据变换对电生理信号(EEG)中的现实数据偏移进行建模,并通过分析a)模型的潜在空间和b)这些变换下的预测不确定性来扩展传统的基于任务的评估。我们使用公开的大规模临床EEG对多个EEG特征编码器和两个临床相关的下游任务进行实验。在这个实验环境中,我们的研究结果表明,潜在的空间完整性和模型的不确定性的措施下提出的数据转移可能有助于预测部署过程中的性能下降。
2022-10-14 cs.LG eess.SP
Evaluating Computational Pathology Foundation Models for Prostate Cancer Grading under Distribution Shifts
Department of Medical Epidemiology and Biostatistics, Karolinska Institutet(卡罗林斯卡研究所医学流行病学与生物统计学系);Department of Engineering Science, University of Oxford(牛津大学工程科学系)
本文评估了计算病理学基础模型在前列腺癌分级中的鲁棒性,发现跨机构转移时性能显著下降,表明大规模预训练不足以保证下游泛化能力。
2026-04-28 cs.CV cs.LG eess.IV
CAPability: A Comprehensive Visual Caption Benchmark for Evaluating Both Correctness and Thoroughness
University of Science and Technology of China(中国科学技术大学);Tongyi Lab, Alibaba Group(阿里云实验室)
CAPability是一个全面的视觉描述基准,通过12个维度评估描述的正确性和全面性,利用人类标注数据和启发式指标提升多模态模型的描述能力分析。
2025-11-26 cs.CL cs.CV cs.LG
A Fine-Grained Analysis on Distribution Shift
DeepMind
对分布偏移的鲁棒性对于在现实世界中部署机器学习模型至关重要。尽管有这种必要性,但在定义导致这些变化的潜在机制和评估算法在多个不同分布偏移中的鲁棒性方面的工作很少。为此,我们引入了一个框架,使细粒度的分析各种分布偏移。我们通过评估19种不同的方法,对当前最先进的方法进行了全面分析,这些方法分为五类,包括合成数据集和真实数据集。总的来说,我们训练了超过85 K的模型。我们的实验框架可以很容易地扩展到包括新的方法,变化和数据集。我们发现,不像以前的工作~ \citep{Gulrajani20},在标准的ERM基线上已经取得了进展,特别是,预训练和增强(学习或启发式)在许多情况下提供了很大的收益。然而,最好的方法在不同的数据集和偏移上并不一致。
2021-11-25 cs.CV cs.LG
Beyond Random Splits: Evaluating Drug-Target Affinity Models Under Chemically and Biologically Motivated Distribution Shifts Copy
Georgia Institute of Technology(佐治亚理工学院)
本研究通过化学和生物学分布偏移评估药物-靶点亲和力模型,发现架构选择依赖于外推形式,而非仅平均误差,建议基准匹配部署场景。
2026-10-05 cs.LG
Evaluating how LLM annotations represent diverse views on contentious topics
School of Information University of Michigan(信息学院密歇根大学);Department of Computer Science American University(计算机科学系美国大学)
该研究针对生成式大语言模型在主观争议性标注任务中的观点偏差问题,通过四个数据集的四项任务实验发现,LLM未因人口统计特征与标注者系统性分歧,但同数据集同类别下多个LLM偏差方向一致,且题目难度更能预测人机标注一致性,为公平性评估提供了新方向。
2025-06-16 cs.AI cs.CL cs.CY
Edit at your own risk: evaluating the robustness of edited models to distribution shifts
Pacific Northwest National Laboratory(太平洋西北国家实验室);University of Washington(华盛顿大学)
本文研究模型编辑在分布偏移下的鲁棒性,发现编辑会降低总体鲁棒性且退化程度因算法和层而异,并提出利用权重空间插值平衡准确率与鲁棒性的 1-LI 算法。
2023-07-17 cs.LG
GamiBench: Evaluating Spatial Reasoning and 2D-to-3D Planning Capabilities of MLLMs with Origami Folding Tasks
GamiBench通过折纸任务评估多模态大语言模型的空间推理和2D到3D规划能力,引入新指标并揭示模型在复杂折叠任务中的不足。
2025-12-22 cs.AI
CALRK-Bench: Evaluating Context-Aware Legal Reasoning in Korean Law
KAIST AI(韩国科学技术院人工智能学院);Law School, Ajou University(亚洲大学法学院);Department of Artificial Intelligence, Ajou University(亚洲大学人工智能系)
本文提出CALRK-Bench,一个基于韩国法律体系的情境感知法律推理基准,评估模型对法律规范时效性、案件法律信息充分性及法律判断变化原因的理解能力,实验表明大语言模型在这些任务上表现不佳。
2026-03-27 cs.AI cs.CL
MiniAppBench: Evaluating the Shift from Text to Interactive HTML Responses in LLM-Powered Assistants
Shanghai Jiao Tong University, Shanghai, China(上海交通大学);Carnegie Mellon University, Pittsburgh, PA, USA(卡内基梅隆大学)
本文提出MiniAppBench,首个评估原理驱动交互应用生成能力的基准,通过10M+生成数据提炼500个任务,结合MiniAppEval框架评估意图、静态和动态维度,揭示LLM在生成高质量交互应用上的不足。
2026-05-08 cs.AI
Criterion-Conditional In-Context Learning: Evaluating Criterion-Shift Adaptation in Vision-Language Models
Megvii Technology Inc., Beijing, China(美科科技有限公司,北京,中国)
研究提出标准条件上下文学习(CC-ICL)新设置,模型需从上下文推断潜在标准并据此调整预测。为此提出两个评估指标,构建CC-Bench基准。实验发现多数模型有边界偏差,简单多标准训练可改善。
2026-09-01 cs.AI cs.CV
CC-Mediation: Evaluating Large Language Models for Cross-Cultural Conflict Mediation
Hanyang University(汉阳大学);Singapore University of Technology and Design(新加坡科技设计大学);Singapore Management University(新加坡管理大学)
本研究提出跨文化调解基准CC-Mediation及两个DMIS相关评估指标,发现当前大型语言模型在跨文化冲突调解的介入时机与策略上存在局限。
2026-09-07 cs.AI cs.CL
IndicDetect: Evaluating Cross-Lingual LLM-Generated Text Detection for Hindi, Telugu, and Tamil
University of Macau(澳门大学);SRH University(SRH大学);Populus Group(波普勒斯集团)
本研究提出针对印地语、泰卢固语和泰米尔语的基准IndicDetect,评估AI生成文本检测器在分布偏移等现实场景下的鲁棒性,发现现有检测器鲁棒性不足,为相关检测任务奠定基础。
2026-10-19 cs.AI cs.CL
Evaluating Uncertainty in Deep Gaussian Processes
Bernoulli Institute, University of Groningen(伯努利研究所,格罗宁根大学)
本研究评估深度高斯过程和深度西格玛点过程在回归与分类任务中的校准和鲁棒性,发现深度集成在分布偏移下更稳健,而深度GP方法虽分布内校准良好但脆弱。
2025-04-24 cs.LG stat.ML
SCOP: Evaluating the Comprehension Process of Large Language Models from a Cognitive View
Sichuan University(四川大学);Engineering Research Center of Machine Learning and Industry Intelligence, Ministry of Education(教育部机器学习与工业智能工程研究中心);School of Statistics and Data Science, AAIS, Nankai University(南开大学统计与数据科学学院)
本研究提出认知视角的LLM理解过程评估框架SCOP,定义五项理解必备技能并构建测试数据,分析发现LLMs难达专家级理解、存在过程缺陷却答对的不可靠问题,建议聚焦理解过程优化模型训练。
2025-06-05 cs.CL
When Meaning Stays the Same, but Models Drift: Evaluating Quality of Service under Token-Level Behavioral Instability in LLMs
Electrical and Computer Engineering, Vanderbilt University(维珍尼亚大学电气与计算机工程系);Radiology and Radiological Sciences, Vanderbilt University(维珍尼亚大学放射学与放射科学系)
该研究针对大语言模型在语义等价但令牌级实现不同的提示下的行为漂移问题,提出PBSS诊断框架,在十项受限任务中发现模型特有的响应偏移规律,揭示了令牌化与解码对训练后服务质量稳定性的影响。
2025-06-11 cs.CL
Evaluating Multi-Dimensional Generalization of Large Language Models in Temporal Extraction Tasks
University of North Texas(北德克萨斯大学);Carnegie Mellon University(卡内基梅隆大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);New York University(纽约大学)
本研究系统评估了多种大型语言模型在时间与事件表达抽取任务中跨四个维度的泛化能力,发现基础任务性能通常预示更好泛化但在显著分布变化下减弱,归纳提示表现最一致,而规模、架构及演绎和溯因提示策略的收益不均,表明泛化无法从单一维度可靠预测。
2026-10-05 cs.CL
Evaluating Large Language Model Biases in Persona-Steered Generation
Carnegie Mellon University(卡内基梅隆大学)
本文研究了人格引导生成中的LLM偏见,发现LLM对不一致人格的可引导性降低,RLHF微调模型虽提升可引导性但降低了观点多样性,强调了开放式文本生成评估的重要性。
2024-05-30 cs.CL
REM: Evaluating LLM Embodied Spatial Reasoning through Multi-Frame Trajectories
Department of Computer Science(计算机科学系);Carnegie Mellon University(卡内基梅隆大学)
REM通过多帧轨迹评估大语言模型的空间推理能力,揭示其在复杂空间任务中的不足,推动更 robust 的空间表示研究。
2025-11-30 cs.AI cs.CV cs.LG
When Benchmarks Lie: Evaluating Malicious Prompt Classifiers Under True Distribution Shift
Zenity
研究通过LODO评估揭示了现有方法在真实分布偏移下的局限性,并展示了SAE特征在提升分类器解释性方面的潜力。
2026-07-21 cs.LG
Measuring Distribution Shift in User Prompts and Its Effects on LLM Performance
Department of Computer Science(计算机科学系)
研究用户提示分布转移对部署LLM性能的影响,通过大规模评估发现提示行为的适度变化会导致LLM性能显著下降,强调了数据驱动监控的重要性。
2026-04-19 cs.CL
Evaluating Out-of-Distribution Robustness in Graph-Based Android Malware Classification: A New Principled Benchmark
Vanderbilt University(范德比大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本研究提出一个新的基准测试套件,用于评估图基Android恶意软件分类在分布偏移下的泛化能力,并通过语义增强框架提升检测鲁棒性。
2026-09-18 cs.CR cs.LG
Can Prompt Probe Pretrained Language Models? Understanding the Invisible Risks from a Causal View
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
基于语义的探测已被广泛用于评估预训练语言模型(PLM)的能力。不幸的是,最近的研究发现这样的评价可能是不准确的,不一致的和不可靠的。此外,缺乏对其内部工作原理的理解,加上其广泛的适用性,有可能导致在现实世界的应用中评估和应用PLM的不可预见的风险。为了发现、理解和量化风险,本文从因果角度研究了基于提示的探测,强调了可能导致有偏见的结果和结论的三个关键偏见,并建议通过因果干预进行去偏见。本文为设计无偏数据集、更好的探测框架和更可靠的预训练语言模型评估提供了有价值的见解。此外,我们的结论也表明,我们需要重新思考识别更好的预训练语言模型的标准。我们在https://github.com/c-box/causalEval上公开发布了源代码和数据。
2022-03-23 cs.CL
Evaluating and Understanding Model Editing for Medical Vision Language Models
EECS, University of Michigan(密歇根大学电子工程与计算机科学系)
针对现有多模态编辑基准不适配临床需求的问题,提出临床基准M3Bench,测试多类编辑方法的性能短板,为医学VLM部署后安全适配提供支撑。
2026-07-07 cs.AI
Test-Time Training with Self-Supervision for Generalization under Distribution Shifts
University of California, Berkeley(加州大学伯克利分校);University of California, San Diego(加州大学圣地亚哥分校)
在本文中,我们提出了测试时训练,一种通用的方法,用于提高预测模型的性能时,训练和测试数据来自不同的分布。我们将单个未标记的测试样本转化为自监督学习问题,在进行预测之前更新模型参数。这也自然延伸到在线流中的数据。我们简单的方法导致不同的图像分类基准的改进,旨在评估分布偏移的鲁棒性。
2020-07-01 cs.CV cs.LG stat.ML
Factuality Beyond Coherence: Evaluating LLM Watermarking Methods for Medical Texts
University of Central Florida(中央佛罗里达大学)
本文针对医学文本中 LLM 水印可能损害事实性的问题,提出联合评估事实性与连贯性的医学专用流程及事实性加权分数(FWS),并揭示现有水印方法会因熵偏移显著损害医学事实性,呼吁开发领域感知的水印方法。
2025-09-20 cs.CL cs.CR
Evaluating Bayesian deep learning for radio galaxy classification
Jodrell Bank Centre for Astrophysics(焦德雷尔班克天体物理中心);Department of Physics & Astronomy(物理与天文学院);University of Manchester(曼彻斯特大学);The Alan Turing Institute(阿兰·图灵研究所)
针对射电星系分类,评估不同贝叶斯神经网络在预测性能、不确定性校准和分布偏移检测上的表现。
2024-05-28 astro-ph.IM cs.LG
Who Owns That? Evaluating Ownership Intuitions in Large Language Models
College of AI, Tsinghua University(清华大学人工智能学院);Department of Psychological and Cognitive Sciences, Tsinghua University(清华大学心理与认知科学系);Faculty of Psychology, Beijing Normal University(北京师范大学心理学部)
本研究提出COAT任务,比较24种LLM与108名人类的所有权判断,发现模型判断更同质、分配更均匀且情境敏感性不同,未能充分捕捉人类判断的多样性与情境依赖性。
2026-10-01 cs.AI
SHIFT15M: Fashion-specific dataset for set-to-set matching with several distribution shifts
ZOZO Research(ZOZO研究院)
本文讨论了集对集匹配问题,它涉及到基于某些标准匹配两个不同的项目集,特别是在高维项目的情况下,如图像。虽然神经网络已经被应用于解决这个问题,但大多数基于机器学习的方法都假设训练数据和测试数据遵循相同的分布,这在现实世界中并不总是正确的。为了解决这一限制,我们引入了SHIFT 15 M,这是一个数据集,当数据分布在训练和测试之间发生变化时,可用于评估集对集匹配模型。我们进行基准实验,证明性能下降的幼稚方法由于分布偏移。此外,我们还提供了以简单的方式处理SHIFT 15 M数据集的软件,该软件的URL将在本文发表后提供。我们相信,建议的SHIFT 15 M数据集提供了一个宝贵的资源,评估集到集匹配模型下的分布偏移。
2023-03-08 cs.CV cs.LG
Why do classifier accuracies show linear trends under distribution shift?
Massachusetts Institute of Technology(麻省理工学院)
最近对深度学习泛化的研究发现了一个令人困惑的趋势:模型在一个数据分布上的准确度近似于另一个分布上的准确度的线性函数。我们解释了这种趋势下的一个直观的假设模型相似性,这是在以前的工作经验验证。更准确地说,我们假设两个模型在预测中一致的概率高于我们仅从其准确性水平推断的概率。然后,我们表明,一个线性趋势时,必须发生在两个分布评估模型,除非分布偏移的大小是大的。这项工作强调了理解模型相似性的价值,这可能会对分类模型的泛化和鲁棒性产生影响。
2021-02-22 cs.LG stat.ML
The Vibe Shift in Software Engineering: Evaluating AI-Led Conversational Programming for Performance, Cognition, and Responsible Adoption
Bukidnon State University(布基农州立大学)
本研究评估AI主导的对话式编程(Vibe Coding),发现其提升开发效率27%但降低代码质量,并提出负责任采用的三支柱框架。
2026-09-10 cs.AI cs.ET cs.SE
Evaluating Predictive Uncertainty under Distributional Shift on Dialogue Dataset
KAIST(韩国科学技术院)
在开放域对话中,预测不确定性主要在域转移设置中进行评估,以应对分布外的输入。然而,在现实世界的对话中,分配转移输入可能比分配外输入更广泛。为了评估这一点,我们首先提出了两种方法,未知词(UW)和上下文不足(IC),通过对话数据集的腐败实现逐渐的分布变化。然后,我们调查的准确性和校准的分布变化的影响。我们的实验表明,现有的不确定性估计方法的性能不断下降,加强移位。结果表明,所提出的方法可能是有用的,用于评估校准的对话系统下的分布转移。
2021-09-01 cs.CL
DIVERS-Bench: Evaluating Language Identification Across Domain Shifts and Code-Switching
Mila - Quebec AI Institute & McGill University(魁北克AI研究所与麦吉尔大学)
本文提出DIVERS-BENCH评估框架和DIVERS-CS语码转换基准,揭示现有语言识别模型在领域偏移和混合语言场景下性能显著下降的问题。
2025-09-22 cs.AI cs.CL cs.LG
Evaluating Lottery Tickets Under Distributional Shifts
The University of Texas at Austin(得克萨斯大学奥斯汀分校);Facebook Assistant
彩票假说表明,大型的、过度参数化的神经网络由小的、稀疏的子网络组成,这些子网络可以单独训练,以达到类似(或更好)的测试精度。然而,所得到的稀疏子网络的初始化和推广最近被称为问题。我们的工作重点是评估稀疏子网络的初始化下的分布移位。具体来说,我们调查在何种程度上在源域中获得的稀疏子网络可以重新训练隔离在一个不同的目标域。此外,我们研究了不同的初始化策略在传输时的效果。我们的实验表明,通过彩票训练获得的稀疏子网络不会简单地过拟合到特定的域,而是反映了可以在多个域中利用的深度神经网络的归纳偏差。
2019-10-28 cs.CL cs.LG
Still a Pain in the Neck: Evaluating Text Representations on Lexical Composition
Bar-Ilan University(巴伊兰大学)
构建有意义的短语表示是具有挑战性的,因为短语含义不仅仅是其组成含义的总和。词汇合成可以改变组成词的意义,引入隐含信息。我们测试了广泛的文本表示,以解决这些问题的能力。我们发现,正如预期的那样,语境化的词表征比静态的词嵌入表现更好,更多的是在检测意义转移比在恢复隐含信息,其中他们的表现仍然是远离人类。我们的评估套件,包括5个任务相关的词汇组成的影响,可以为未来的研究,旨在改善这种表征。
2019-05-19 cs.CL
A Multidimensional Framework for Evaluating Lexical Semantic Change with Social Science Applications
Melbourne School of Psychological Sciences(墨尔本心理学院)
本文提出一个整合情感、广度与强度的三维计算框架,用于系统评估词汇语义变化,并通过对心理健康相关语料的示例分析,揭示病理化、污名化和概念蠕变等社会议题中的语义演变模式。
2024-06-10 cs.CL
Seeing from Another Perspective: Evaluating Multi-View Understanding in MLLMs
UC Berkeley(加州大学伯克利分校);TranscEngram;NYU(纽约大学);University of Oxford(牛津大学);UC Davis(加州大学戴维斯分校);HKU(香港大学)
针对MLLMs在多视角几何一致性和跨视角对应上的不足,提出包含2100多个QA对的All-Angles Bench基准,通过六项任务全面评估27个模型,发现当前模型在部分遮挡对应和相机位姿估计上远不及人类水平。
2025-04-27 cs.CL cs.CV