CultureForest: Understanding and Evaluating Cultural Norm Grounded Reasoning in LLMs
Harbin Institute of Technology（哈尔滨工业大学）；The University of Hong Kong（香港大学）；Harvard University（哈佛大学）
为弥补现有研究仅将文化智能视为知识获取问题而忽视实际场景应用的不足，提出CultureForest基准，通过基于原子规范的推理任务评估模型，发现顶级模型在开放式生成中性能大幅下降，并揭示推理能力瓶颈。
2026-06-01 cs.CL
MentalBench: A DSM-Grounded Benchmark for Evaluating Psychiatric Diagnostic Capability of Large Language Models
KAIST（韩国科学技术院）；Sungkyunkwan University（成均馆大学）；Dongguk University Medical Center（东国大学医学院）；Seoultech（首尔技术大学）；Samsung Medical Center（三星医疗中心）
本文提出 MentalBench，一个用于评估大语言模型在不同临床模糊程度下能否做出 DSM 基础的 psychiatric 诊断决策的基准。该基准基于 psychiatrist 构建并验证的知识图谱，生成了 24,750 个合成临床案例，以系统地变化信息完整性和诊断复杂性，从而实现 DSM 基础的评估。实验表明，尽管最先进的 LLM 在噪声自由查询上表现良好，但它们在区分具有重叠症状的诊断时难以校准其信心。
2026-05-18 cs.CL
CoMMET: A Psychologically Grounded Benchmark for Evaluating Theory of Mind in Multimodal LLMs
Agency for Science, Technology and Research (A*STAR)（科技研究局）；Nanyang Technological University（南洋理工大学）；Hong Kong University of Science and Technology (Guangzhou), China（香港科技大学（广州），中国）
本文提出CoMMET多模态基准数据集，用于评估大型语言模型在多轮对话中的理论思维能力，通过扩展心理状态评估和引入多轮测试，分析模型优劣势并指明未来改进方向。
2026-09-02 cs.CL
CC-Mediation: Evaluating Large Language Models for Cross-Cultural Conflict Mediation
Hanyang University（汉阳大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Singapore Management University（新加坡管理大学）
本研究提出跨文化调解基准CC-Mediation及两个DMIS相关评估指标，发现当前大型语言模型在跨文化冲突调解的介入时机与策略上存在局限。
2026-09-07 cs.AI cs.CL
Pancasila-Dilemmas: Evaluating Large Language Models on Indonesian Human Value Dilemmas Grounded in Pancasila
Universitas Universal（印尼环球大学）；Beijing Language and Culture University（北京语言大学）；Tianjin University（天津大学）；School of Artificial Intelligence, Tianjin University（天津大学人工智能学院）；School of Computer Science and Technology, Tianjin University（天津大学计算机科学与技术学院）
研究基于印尼新闻构建潘查希拉困境数据集，含1834个按潘查希拉五价值观分类的问题，用于评估大语言模型价值对齐。通过母语人士校对及公民回答，评估50个模型，发现各模型在宗教和团结困境案例中表现差，凸显印尼价值观捕捉差距。
2026-10-27 cs.CL
VIVID: A Culturally Grounded Benchmark Exposing the Figurative Language Gap in Vietnamese NLP
研究团队构建了首个越南文化比喻语言基准VIVID，评估发现越南专用NLP模型远弱于多语言系统，顶尖模型得分不足满分50%，少样本提示未必提升性能，VIVID为相关研究提供关键工具。
2026-08-05 cs.CL cs.LG
MindEval2: Clinically Grounded Patients and Rubrics for Evaluating Language Models in Mental Health Support
Sword Health；NVIDIA（英伟达）；Instituto Superior Técnico（高等技术学院）；Yale University（耶鲁大学）
针对现有心理健康支持AI评估方法的缺陷，研究人员推出含MHQR评分标准与MindSim模拟工具的MindEval2框架，评估18款模型后发现指导校准仍是其主要问题。
2026-10-16 cs.CL
AI4Fire: Evaluating Large Language Models on Wildfire Tasks
University of Southern California（南加州大学）；Arizona State University（亚利桑那州立大学）；University of Nevada, Las Vegas（内华达大学拉斯维加斯分校）；University of Maine（缅因大学）
AI4Fire项目评估LLMs在野火任务上的表现，发现接地可提升部分任务准确率，简单规则难超越，公开发布存在风险，已发布相关资源。
2026-10-14 cs.CL cs.LG
FinProBench: Evaluating Financial AI Agents with Role-Grounded Rubrics Derived from Professional Deliverables
该研究推出FinProBench金融AI智能体基准及RGRC角色基准构建流程，实验显示RGRC在角色专业化角色评估上优于仅提示方法，角色级复用基准可大幅减少工作量。
2026-08-06 cs.AI cs.CL
Evaluating and Improving Evidence-Grounded Fact-Checking in LLMs via Multi-Round Evidence Ablation
University of Sheffield（谢菲尔德大学）
本文提出FAE评估框架与REAL训练方法，发现LLM事实核查过度依赖参数知识，通过反事实证据监督训练增强其证据依赖能力，在四个数据集上优于标准微调模型。
2026-09-09 cs.AI cs.CL cs.IR
L3Cube-IndicQuest v2: A Large-Scale Multilingual Benchmark for Evaluating Factual Knowledge of Large Language Models Across Indic Languages
Pune Institute of Computer Technology（浦那计算机技术学院）；L3Cube Labs（L3Cube实验室）；Indian Institute of Technology Madras（马德拉斯印度理工学院）
本研究构建了面向印度诸语言的大规模多语言问答基准L3Cube-IndicQuest v2，评估6种LLM的事实知识，发现前沿商业模型表现突出，开放权重模型Gemma4 31B优于Sarvam 30B。
2026-08-18 cs.CL cs.LG
AgenticAI-DialogGen: Topic-Guided Conversation Generation for Fine-Tuning and Evaluating Short- and Long-Term Memories of LLMs
School of Computing, Macquarie University（麦考瑞大学计算机学院）
本文提出AgenticAI-DialogGen框架，通过生成基于角色和主题的对话来微调和评估LLM的短期和长期记忆，引入了TopicGuidedChat数据集以提升对话质量和模型性能。
2026-04-14 cs.CL cs.IR
StakeBench: Evaluating Language Understanding Grounded in Market Commitment
University of Bristol（布里斯托大学）
提出StakeBench框架，通过将市场评论与可验证的交易记录关联，从市场行为中自动生成监督信号，评估语言模型对市场承诺的理解能力。
2026-05-25 cs.AI cs.CL q-fin.GN
PACEShop: Evaluating Personalized, Actionable, Compositional, and Evidence-grounded Shopping Assistants
Amazon（亚马逊）；Northeastern University（东北大学）；Expedia（亿客行）
针对现有购物助手评估基准未覆盖结构化回复联合评估目标的问题，提出 PACE 评估框架，构建含 22625 条记录的 PACEShop 基准数据集和 PACEJudge 协议，验证任务匹配输出契约对评估的重要性。
2026-08-28 cs.AI cs.CL
Evidence-Grounded Subspecialty Reasoning: Evaluating a Curated Clinical Intelligence Layer on the 2025 Endocrinology Board-Style Examination
January AI；Stanford University（斯坦福大学）
本文提出基于证据的专科推理系统Mirror，在内分泌学考试中超越了现有LLM，展现出高准确率和证据可追溯性。
2026-02-17 cs.AI cs.CL
RW-Post: Auditable Evidence-Grounded Multimodal Fact-Checking in the Wild
School of Computing (SoC), National University of Singapore (NUS)（新加坡国立大学计算机学院（SoC））；National University of Singapore (NUS)（新加坡国立大学）；Department of Electrical and Computer Engineering (ECE), National University of Singapore (NUS)（新加坡国立大学电子与计算机工程系（ECE））
RW-Post提出一种可审计的多模态事实核查基准，通过人类事实核查文章提取证据，支持不同场景下的可控评估，提升视觉 grounding 和证据利用能力。
2026-05-12 cs.AI cs.CL
Measuring Cultural Alignment Beyond the Average: A Framework for Evaluating Maternal-Health LLM Interactions in Indian Contexts
Indraprastha Institute of Information Technology Delhi（因德拉普拉斯塔信息技术学院德里分校）
本研究针对印度北部语境提出MH-INDIC框架评估孕产妇健康LLM交互，发现现有LLM的文化差异感知弱于人类，且人类基础提示可提升对话的文化适配性与个体对齐度。
2026-10-09 cs.CL
Sycophancy under Pressure: Evaluating and Mitigating Sycophantic Bias via Adversarial Dialogues in Scientific QA
本文针对科学问答中LLMs的谄媚偏差问题，提出统一评估框架和Pressure-Tune后训练方法，通过对抗性对话与思维链推理增强模型抗谄媚能力，实验证明其有效且不损害准确性。
2025-08-19 cs.CL
Diagnostic Foundation for Evaluating LLMs' Research Integrity as Co-Scientists
本研究推出IntegrityBench基准评估LLM作为合作科学家的研究完整性，发现前沿模型在峰值压力下约三分之一的完整性关键决策失败，存在助长不当行为和侵蚀AI辅助研究信任的风险。
2026-08-14 cs.AI cs.CL
Where Norms and References Collide: Evaluating LLMs on Normative Reasoning
本文提出SNIC测试平台，评估大语言模型在基于规范的参照解析任务中的能力，发现现有模型在处理隐含或冲突规范时存在显著不足。
2026-02-03 cs.AI cs.CL cs.LG
What Breaks Under Pruning in Smart Homes, and When? Evaluating LLM Degradation Across Architectures and Task Complexity
Alexa Home AI, Amazon.com（亚马逊 Alexa 家庭人工智能）；University of Washington（华盛顿大学）
本研究系统评估剪枝对智能家居工具调用LLM的影响，发现密集模型安全剪枝区域窄且易急剧退化，MoE模型更鲁棒，并揭示剪枝先损害上下文特异性后损害意图，强调需超越总体准确率评估剪枝效果。
2026-09-16 cs.CL
SCENE: Evaluating Explainable AI Techniques Using Soft Counterfactuals
The University of Chicago（芝加哥大学）
针对现有XAI方法不稳定易误导的问题，提出基于LLM零样本生成软反事实的SCENE评估方法，用两项指标评估文本分类任务中模型无关XAI方法的效果，为不同架构下XAI技术的优劣提供参考。
2024-08-16 cs.AI cs.CL
JANUS: Evaluating Goal-Conditioned Distortion in Factually Grounded LLM Communication
The University of Manchester（曼彻斯特大学）；Archimedes/Athena RC（阿基米德/雅典研究中心）
提出JANUS基准，通过固定事实池对比中性/目标导向条件，测量LLM在事实输出中的选择性扭曲，揭示模型缺乏防误导通信的鲁棒性。
2026-10-30 cs.AI cs.CL
Towards Robust ESG Analysis Against Greenwashing Risks: Aspect-Action Analysis with Cross-Category Generalization
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
本文提出A3CG数据集，通过方面-行动关联与跨类别泛化提升ESG分析对漂绿风险的鲁棒性，并实验揭示现有模型局限。
2025-06-05 cs.AI cs.CL
CRAB-Bench: Evaluating LLM Agents under Complex Task Dependencies and Human-aligned User Simulation
Carnegie Mellon University（卡内基梅隆大学）
提出CRAB-Bench和RUSE框架，通过约束图生成复杂任务依赖和基于人类行为研究的用户模拟，评估LLM智能体在真实服务场景中的表现，发现最佳模型仅达61%通过率，用户模拟导致性能下降高达57%。
2026-06-01 cs.CL
SkillCoach: Self-Evolving Rubrics for Evaluating and Enhancing Agentic Skill-Use
HKUST(GZ)（香港科技大学（广州））
提出SkillCoach框架，通过自演化过程评分准则从技能选择、遵循、组合和反思四维度评估智能体轨迹，并利用演化准则筛选高质量训练数据，提升技能使用能力。
2026-07-03 cs.AI cs.CL
Can LLMs Express Personality Across Cultures? Introducing CulturalPersonas for Evaluating Trait Alignment
Department of Computer Science, University of Southern California（计算机科学系，南加州大学）
本文提出CulturalPersonas基准，含3000个跨六国场景问题，评估LLM个性表达，使Wasserstein距离降低超20%，促进文化对齐。
2025-10-13 cs.CL
Improving Scientific Hypothesis Generation with Knowledge Grounded Large Language Models
University of Virginia（弗吉尼亚大学）
本研究提出KG-CoI系统，利用知识图谱外部结构化知识增强LLM假设生成，通过思想链推理和幻觉检测模块，提高假设准确性并减少推理链中的幻觉。
2024-11-04 cs.AI cs.CL
Two-Level Meta-Rubrics for Evaluating Open-Ended Generation: GAMUT, a Benchmark for Factual Completeness
研究如何评估开放式生成内容的事实完整性，提出两级元评分标准框架并实例化为Gamut基准，构建基于真实图像的问题及评分标准，评估多个模型，发现其具挑战性、区分性且对法官选择鲁棒。
2026-08-06 cs.CL
Improving General Role-Playing Agents via Psychology-Grounded Reasoning and Role-Aware Policy Optimization
Zhejiang University（浙江大学）；Tencent Youtu Lab（腾讯优图实验室）
提出Psy-CoT框架，将角色推理分解为三步，并结合RAPO算法通过互信息加权梯度，提升角色扮演的忠实度和泛化能力。
2026-06-26 cs.CL
Skill Following: Evaluating Actual Skill Use in Retrieval-Enabled LLM Agents
Soongsil University（崇实大学）
该研究针对支持检索的LLM智能体，提出RAE指标衡量实际技能使用，发现聚合评估存在悖论，部分模型全局检索有提升但实际检索任务性能受损，RAE可准确评估工具使用的真实效果。
2026-09-02 cs.CL
Evaluating LLM-Generated Versus Human-Authored Responses in Role-Play Dialogues
Utrecht University（乌得勒支大学）
本研究通过人类评估和LLM-as-a-judge方法，发现LLM在多轮角色扮演对话中回应质量随时间下降，而人类回应逐步提升，并提出了验证的混合评估框架。
2025-10-08 cs.AI cs.CL
Building Legal Reward Models for Grounding and Abstention
University of Oxford（牛津大学）；Devoteam
本研究提出将法律问答数据转化为上下文偏好数据，构建LegalRewardBench基准，发现长度平衡增强和跨辖区迁移能显著提升法律RAG中奖励模型的锚定评估性能。
2026-09-15 cs.AI cs.CL
Evaluating Spatial Understanding of Large Language Models
Yale University（耶鲁大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
该研究设计自然语言导航任务，评估GPT-3.5-turbo、GPT-4、Llama2等大语言模型对多种空间结构的表征与推理能力，发现其性能随结构类型差异显著，错误兼具空间与非空间因素，证实LLM隐式掌握部分空间结构但仍有改进空间。
2024-04-13 cs.AI cs.CL
Evaluating the Correctness of Inference Patterns Used by LLMs for Judgment
Shanghai Jiao Tong University（上海交通大学）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Zhejiang University（浙江大学）；Beijing Institute for General Artificial Intelligence（北京一般人工智能研究所）
本研究针对大语言模型输出看似正确但推理模式可能有误的问题，提出基于输入短语相互作用量化及配套指标的推理模式正确性评估方法，在法律LLM案例中验证了该问题的普遍存在。
2025-05-20 cs.AI cs.CL cs.CV
UAQFact: Evaluating Factual Knowledge Utilization of LLMs on Unanswerable Questions
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；OPPO AI Center（OPPO人工智能中心）
本文提出双语数据集UAQFact及两个新任务，评估LLM在不可回答问题上利用内外部事实知识的能力，发现即使提供知识LLM仍面临挑战且无法充分利用外部知识。
2025-05-29 cs.CL
Toward Reliable Scientific Hypothesis Generation: Evaluating Truthfulness and Hallucination in Large Language Models
University of Virginia（弗吉尼亚大学）
本文提出TruthHypo基准与基于知识的幻觉检测器KnowHD，用于评估并筛选LLM生成的真实科学假设，实验与人工评估验证了其有效性。
2025-06-08 cs.AI cs.CL
SmartSalesBench: A Resistance-Aware Multi-Turn Benchmark for Evaluating LLM Sales Agents
SmartSalesBench是首个针对LLM销售智能体的多轮对话基准，以抗拒性买家角色为评估对象，含多类配置与实验，采用RAG生成，设三类评估指标，结合自动与人工评估验证有效性。
2026-10-12 cs.AI cs.CL
Are We Really Measuring Forgetting? Pitfalls in Evaluating Machine Unlearning for Multimodal LLMs
Texas A&M University（得克萨斯农工大学）；National Taiwan University（台湾大学）；Columbia University（哥伦比亚大学）
本研究指出多模态大语言模型机器遗忘评估存在三类陷阱，推出GEMMU基准并重新评估代表性方法，发现泛化差距，为多模态机器遗忘评估提供指导。
2026-10-20 cs.CL
MS-Exam-Gen: An Automatic Benchmark Construction Toolkit for Evaluating LLMs on Multiple Sclerosis-MRI Imaging Knowledge
New York University Abu Dhabi (NYUAD)（纽约大学阿布扎比分校）
MS-Exam-Gen提出一个可复现框架，从66个来源构建含3,058个多选题的MS-MRI知识基准，通过自动审计评估12个LLM，准确率范围46.9%-89.7%，支持项目级和主题级评估。
2026-10-14 cs.AI cs.CL
MedSEBA: Synthesizing Evidence-Based Answers Grounded in Evolving Medical Literature
Technical University of Munich Department of Computer Science（慕尼黑技术大学计算机科学系）
针对在线医疗信息难辨真伪、医学研究演进难追踪的问题，提出MedSEBA系统，依托PubMed动态检索可信研究，用大模型生成可溯源的循证答案，还能展示研究共识演变，经用户研究验证获专家与普通用户认可。
2025-08-30 cs.AI cs.CL cs.IR
KGHaluBench: A Knowledge Graph-Based Hallucination Benchmark for Evaluating the Breadth and Depth of LLM Knowledge
School of Computing, Newcastle University（计算学院，新castle大学）；Sage Ai, Sage Group PLC（Sage Ai，Sage集团）
KGHaluBench通过基于知识图谱的基准测试，评估大语言模型在知识广度和深度上的表现，提供更全面的真相评估方法。
2026-02-23 cs.CL
An Expert-grounded benchmark of General Purpose LLMs in LCA
PRé Sustainability B.V.（PRé可持续性公司）；Amazon（亚马逊）
本研究首次构建专家基准，评估11个通用大语言模型在22项生命周期评价任务中的表现，发现37%的响应存在不准确信息，幻觉引用率最高达40%，开放权重模型表现不逊于封闭模型，警示在LCA中需谨慎使用LLMs。
2025-10-22 cs.CL
ADORE: Iterative Query Expansion with Retrieval-Grounded Relevance Feedback
University of Waterloo（滑铁卢大学）；Mila – Quebec AI Institute（魁北克人工智能研究所）；University of Toronto（多伦多大学）；University of California, Berkeley（加州大学伯克利分校）
提出ADORE框架，通过迭代生成伪段落、检索语料库并评估相关性，利用检索反馈指导查询扩展，显著提升检索性能。
2026-06-15 cs.CL cs.IR
Towards Reliable Long-Context Reasoning: Detecting Unanswerable Questions via FactGuard
Tencent YouTu Lab（腾讯优图实验室）
FactGuard提出基于多智能体协作的数据增强方法，自动生成可回答与不可回答问题并构建25,220条长上下文基准，实验表明主流LLM准确率仅61.79%，显著降低人工标注成本。
2026-10-16 cs.AI cs.CL
NC-Bench: An LLM Benchmark for Evaluating Conversational Competence
Independent Researcher（独立研究者）；IBM Research（IBM研究院）
NC-Bench提出了一种评估大型语言模型对话能力的基准，通过三种不同集合测试模型在不同对话任务中的表现，发现模型在基础回答任务表现较好，但在复杂多轮请求上面临挑战。
2026-09-29 cs.AI cs.CL
AGORA: An Archive-Grounded Benchmark for Agentic Workplace Document Reasoning
Fudan University（复旦大学）；Zhejiang University（浙江大学）；Shanghai Qiji Zhifeng Co., Ltd.（上海奇绩智峰有限公司）
提出AGORA基准，包含362个问题、8个领域共9664份真实文档（3.72亿词元），要求智能体在超大档案中主动搜索稀疏证据并推理答案，最强模型准确率仅59.4%。
2026-10-20 cs.CL
BengaliFig: A Low-Resource Challenge for Figurative and Culturally Grounded Reasoning in Bengali
BengaliFig通过孟加拉语隐喻和文化相关推理的低资源挑战，评估LLM在文化特定推理中的表现，并推动包容性NLP评估。
2025-11-26 cs.AI cs.CL
Grounded Misunderstandings in Asymmetric Dialogue: A Perspectivist Annotation Scheme for MapTask
本文提出一种视角主义标注方案，用于分析MapTask中对话参与者对参照表达的 grounded 解释差异，揭示理解如何演变并修复，评估LLM对视角依赖性 grounding 的建模能力。
2026-03-16 cs.AI cs.CL
Looking Complete Is Not Being Grounded: Evaluating LLM Sitreps Against Human-Authored Situation Reports
LexisNexis（律商联讯）
该研究构建含15个信息槽的人道主义态势报告评估架构，对比人类与大语言模型生成报告，发现机器报告表现未显著优于人类，且现有评估指标存在局限性。
2026-10-14 cs.CL cs.CY cs.SI
MeetingToM: Evaluating Multimodal LLMs on Theory-of-Mind Reasoning in Multi-Party Meetings
College of AI, Tsinghua University（清华大学人工智能学院）；Department of Biostatistics and Bioinformatics, Duke University（杜克大学生物统计学与生物信息学系）
研究多方会议中多模态大语言模型的心理理论推理，引入MeetingToM基准，分层评估不同粒度社会行为推理，提供评估协议并分析模型，揭示其在整合线索、推断态度及区分共识方面的局限，为推进多模态模型的会议心理理论推理提供试验台。
2026-07-22 cs.CL cs.CV
A Citation-Grounded Benchmark for Trustworthy Earnings Call Transcript Analysis with Large Language Models
American Express（美国运通）；Singapore Decision Science Center of Excellence, American Express（美国运通新加坡决策科学卓越中心）；Global Decision Science, American Express（美国运通全球决策科学部）
针对财报电话会议记录分析，提出无需专家标注的数值证据评估方法和自动化数据集构建流程，构建ECTs-100基准，发现LLMs在引用性上表现良好但正确性受限。
2026-10-02 cs.AI cs.CL
DiagChain: A Diagnostic Benchmark for Evaluating LLM Agents on Evidence-Grounded Attack Chain Reconstruction
Tsinghua University（清华大学）；CRRC Corporation Limited（中国中车股份有限公司）
研究针对LLM智能体攻击链重构基准的不足，提出DiagChain基准与ECRAG方法，经6种LLM评估发现模型在证据整合与排序环节存在瓶颈，为网络安全智能体改进提供了诊断依据。
2026-08-05 cs.AI cs.CR
Evaluating the Evaluators: Trust in Adversarial Robustness Tests
DIBRIS - Department of Informatics, Bioengineering, Robotics and Systems Engineering, University of Genoa（热那亚大学信息学、生物工程、机器人与系统工程系）；Department of Environmental Sciences, Informatics and Statistics, Ca' Foscari University of Venice（威尼斯卡弗里大学环境科学、信息学与统计学系）
本文提出AttackBench基准框架，在标准化可复现条件下基于新的最优性指标评估并排名基于梯度的对抗攻击，以解决现有鲁棒性测试评估不一致、不可靠并导致虚假安全感的问题。
2025-07-04 cs.AI cs.CR cs.CV
