Ebisu: Benchmarking Large Language Models in Japanese Finance
Ebisu通过两个专家标注任务评估日本金融语言理解,揭示了现有LLMs在处理隐含承诺和嵌套金融术语时的局限性。
2026-02-01 cs.CL
Benchmarking the Benchmarks: Testing the Predictive Validity of Commonsense Benchmarks
该研究评估了23种模型在多类常识基准、对照任务及下游推理任务上的表现,发现常识基准仅对少数下游任务有一致预测性,修改基准未提升预测能力,其仅提供任务相关的下游常识能力证据。
2026-08-05 cs.CL
ClimateCause: Complex and Implicit Causal Structures in Climate Reports
Department of Computer Science, KU Leuven, Belgium(比利时库勒芬大学计算机科学系);Department of Electronics and Information Systems, Ghent University, Belgium(比利时根特大学电子与信息系统系);Institute of Argumentation, Linguistics, and Semiotics (IALS), Università della Svizzera italiana, Switzerland(瑞士意大利大学论证、语言学与象征学研究所)
本文提出ClimateCause数据集,通过专家标注揭示气候报告中的高阶因果结构,包括隐含和嵌套因果关系,用于提升因果推理和可读性量化。
2026-04-16 cs.AI cs.CL
GroupMemBench: Benchmarking LLM Agent Memory in Multi-Party Conversations
UC Santa Barbara(加州大学圣芭芭拉分校);Microsoft(微软)
本文提出GroupMemBench,用于评估多方对话中LLM代理的记忆能力,揭示现有记忆系统在群体动态、信念跟踪和语言适应方面的不足。
2026-05-16 cs.CL
Benchmarking Gaslighting Attacks Against Speech Large Language Models
Singapore Management University(新加坡管理学院);Tongyi Speech Lab(通义语音实验室);Dalian University of Technology(大连理工大学)
提出五种气灯攻击策略(愤怒、认知干扰、讽刺、隐晦、专业否定),在5个语音和多模态大语言模型上测试,发现平均准确率下降24.3%,揭示语音模型的行为脆弱性。
2026-05-22 cs.CL
Benchmarking Educational LLMs with Analytics: A Case Study on Gender Bias in Feedback
University College London, UCL Knowledge Lab(伦敦大学学院,UCL知识实验室);Carnegie Mellon University(卡内基梅隆大学)
本文通过600篇真实学生作文,利用嵌入式基准框架检测LLM在形成性反馈中的偏见,发现隐性性别提示比显性提示更易引发语义偏移,揭示了LLM在反馈中持续存在的性别偏见。
2026-04-01 cs.AI cs.CL cs.CY
Rethinking Role-Playing Evaluation: Anonymous Benchmarking and a Systematic Study of Personality Effects
National Taiwan University(国立台湾大学);Academia Sinica(中央研究院)
本文提出匿名基准测试方法,揭示角色扮演能力与角色识别的关联,通过性格增强方法提升匿名场景下的角色扮演性能。
2026-06-29 cs.AI cs.CL
ImplicitAVE: An Open-Source Dataset and Multimodal LLMs Benchmark for Implicit Attribute Value Extraction
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Carnegie Mellon University(卡内基梅隆大学)
针对现有AVE数据集忽略隐式属性值、缺乏图像且不公开的问题,提出ImplicitAVE多模态数据集,并基准测试多种MLLMs,发现隐式提取仍具挑战性。
2024-07-19 cs.AI cs.CL cs.CV
MedicalBench: Evaluating Large Language Models Toward Improved Medical Concept Extraction
Optum AI
本文提出MedicalBench,一个用于评估大型语言模型在医疗概念提取中的表现的基准,重点在于隐含概念的提取和证据 grounding,通过多阶段流程构建数据集并定义两种互补的评估任务,揭示了隐含概念提取的挑战。
2026-10-22 cs.CL
Benchmarking Egocentric Clinical Intent Understanding Capability for Medical Multimodal Large Language Models
Shenzhen University(深圳大学);Stanford University(斯坦福大学);City University of Hong Kong(香港城市大学)
本文提出MedGaze-Bench,首个评估医疗多模态大语言模型视点临床意图理解能力的基准测试,通过三维意图框架和陷阱QA机制,揭示现有模型在手术、急救和诊断任务中对意图理解的不足。
2026-01-11 cs.AI cs.CL cs.CV
Behavior2Value: Benchmarking and Empowering LLMs for Consumer Value Measurement from E-commerce Behaviors
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
本文提出行为到价值(B2V)任务及首个基准B2V-Bench,并构建B2V-Verifier模型,从电商行为轨迹中识别消费者价值观,多标签分类性能提升34%。
2026-09-17 cs.CL cs.LG
Before the Arrest: Benchmarking LLMs on Criminal Profiling from Incomplete Evidence
University of Macau(澳门大学)
针对逮捕前从证据不完整推断嫌疑人特征的挑战,提出PIJ基准(含2500起凶杀案),评估9个LLM,发现隐式推理任务性能下降且存在偏见,表明该问题仍是开放挑战。
2026-09-18 cs.CL cs.CY
Benchmarking Frontier LLMs on Arabic Cultural and Sociolinguistic Knowledge: A Cross-Evaluation Framework with Human SME Ground Truth
Perle AI
提出一个交叉评估框架,通过人类专家标注的103个提示-评分标准对,评估前沿LLM在埃及和伊拉克阿拉伯语文化与社会语言学知识上的表现,发现GPT-5.4是最可靠的自动评判者,文化任务比语言任务更难评分,且模型在埃及提示上表现优于伊拉克提示。
2026-07-02 cs.CL
EComAgentBench: Benchmarking Shopping Agents on Long-Horizon Tasks with Distributed Hidden Intent
Shopee
提出EComAgentBench基准,包含662个基于真实亚马逊产品的任务,要求代理在100次工具调用内从可见查询、工具门控配置文件和脚本化澄清中挖掘隐藏意图,验证候选产品并提交最终选择,通过类型化源标签评分归因失败。
2026-09-03 cs.AI cs.CL
Flames: Benchmarking Value Alignment of LLMs in Chinese
Fudan University(复旦大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出中文价值对齐基准Flames,结合无害性原则与和谐等中国道德维度设计对抗性提示,评估17个主流大模型并开发轻量级评分器,揭示了现有模型在安全与公平维度的缺陷。
2024-05-22 cs.AI cs.CL
Benchmarking LLM Tool-Use in the Wild
Tencent(腾讯)
本文提出WildToolBench基准测试,通过评估57个LLM在真实用户行为下的表现,揭示LLM在工具使用中的鲁棒性不足,强调需重新考虑LLM、用户与工具之间的交互。
2026-02-13 cs.AI cs.CL cs.HC
STOP! Benchmarking Large Language Models with Sensitivity Testing on Offensive Progressions
Brock University(布鲁克大学)
本文提出STOP数据集,通过450个逐步升级的冒犯性递进序列评估LLMs的偏见检测能力,发现现有模型表现不一致,且基于人类判断对齐模型能显著提升其在敏感任务上的表现。
2025-02-03 cs.AI cs.CL cs.CY
LiveClawBench: Benchmarking LLM Agents on Complex, Real-World Assistant Tasks
Samsung Research(三星研究院);HKUST (Guangzhou)(香港科技大学(广州));Peking University(北京大学);City University of Hong Kong(香港城市大学)
本文提出LiveClawBench基准,通过三轴复杂性框架评估LLM代理在真实世界助理任务中的表现,涵盖环境复杂性、认知需求和运行时适应性,为未来扩展提供基础。
2026-06-29 cs.AI cs.CL cs.LG
Benchmarking LLMs for Pairwise Causal Discovery in Biomedical and Multi-Domain Contexts
本文评估了13个开源LLM在生物医学和多领域背景下进行成对因果发现的能力,发现现有模型在处理复杂因果关系时表现不佳,提出了统一的评估框架并公开数据以促进研究。
2026-01-21 cs.AI cs.CL
CUE-Mem: Benchmarking Long-Term User Memory via Implicit Cues in Multimodal Conversations
CUE-Mem是一个多模态基准,通过隐式线索评估长期用户记忆,包含2674个问题和四个任务,发现保留细微线索是主要瓶颈,并测试了文本化与原生多模态访问的效果。
2026-09-29 cs.AI cs.CL
Keep It InMind: Benchmarking the Implicit-Association Blind Spot in Agent Memory
University of Science and Technology of China(中国科学技术大学);Metastone Technology(元石科技)
研究智能体记忆中的隐式关联盲点问题,引入InMind基准测试,通过配对控制区分三种解释,实验发现将记忆置于上下文时主干回答间接查询比例高,检索相同记忆时其他系统召回率低,诊断探针可缩小差距,指出路由是关键问题。
2026-07-28 cs.CL
HiBench: Benchmarking LLMs Capability on Hierarchical Structure Reasoning
The Hong Kong Polytechnic University(香港理工大学)
本文提出首个层次结构推理基准框架HiBench,包含6个场景、30个任务及39,519个查询,通过5个能力维度评估20个LLM,发现其在复杂和隐式层次结构上的不足,并构建指令数据集使Llama-3.1-8B和Qwen2.5-7B性能平均提升88.84%和31.38%。
2025-03-02 cs.AI cs.CL
Workspace-Bench 1.0: Benchmarking AI Agents on Workspace Tasks with Large-Scale File Dependencies
本文提出Workspace-Bench 1.0,通过构建包含5个工人配置、74种文件类型和20,476个文件的现实工作空间,评估AI代理在处理大规模文件依赖任务中的能力,发现当前代理在工作空间学习中表现远低于人类水平。
2026-05-14 cs.AI cs.CL cs.DB
ImpliRet: Benchmarking the Implicit Fact Retrieval Challenge
Center for Information and Language Processing, LMU Munich(信息与语言处理中心,慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
提出ImpliRet基准,将推理负担转向文档侧,评估检索器在隐式事实上的表现,最佳nDCG@10仅14.91%,长上下文模型亦受限。
2025-09-24 cs.AI cs.CL
XCR-Bench: Benchmarking Cross-Cultural Reasoning in LLMs via Culture-Specific Items and Hall's Triad
Department of Computer Science, National Centre for Text Mining, The University of Manchester(计算机科学系,国家文本挖掘中心,曼彻斯特大学);ELLIS Manchester(曼彻斯特ELLIS);School of Computing, Queen’s University, Ontario, Canada(计算学院,加拿大皇后大学);Computer Science, University of Illinois Chicago(计算机科学,伊利诺伊大学芝加哥分校);ELLIS Institute Finland(芬兰ELLIS研究所);University of Turku(图尔库大学);Department of Computer Science and Artificial Intelligence, Umm Al-Qura University, Makkah, Saudi Arabia(计算机科学与人工智能系,乌姆·阿勒·卡拉大学,麦加,沙特阿拉伯)
提出XCR-Bench基准,包含4.1k平行句和1098个文化特定项目,结合Newmark框架与霍尔三元组评估LLM跨文化推理,发现模型在深层文化层面表现显著下降,且存在区域和民族宗教偏见。
2026-06-06 cs.AI cs.CL cs.CY
Moderating Harm: Benchmarking Large Language Models for Cyberbullying Detection in YouTube Comments
Faculty of Engineering(工程学院);International Balkan University(国际巴尔干大学)
本文在 5,080 条多语言 YouTube 评论上基准测试 GPT-4.1、Gemini 1.5 Pro 和 Claude 3 Opus 的欺凌检测能力,发现各模型在精确率与召回率上各有优劣且均难以处理讽刺和混合语言俚语,并提出结合互补模型与上下文信息的审核流程。
2025-06-01 cs.AI cs.CL
GAPMAP: Mapping Scientific Knowledge Gaps in Biomedical Literature Using Large Language Models
University of Colorado, Anschutz(科罗拉多大学安舒茨分校);University of Chicago(芝加哥大学)
本研究提出GAPMAP框架及TABI推理方案,拓展了生物医学文献隐式知识空白推断任务,在近1500篇文献上验证了大语言模型识别两类空白的能力,可为研究规划与资助决策提供支持。
2025-10-29 cs.AI cs.CL cs.LG
Large Language Models' Internal Perception of Symbolic Music
本文通过让LLM从文本提示生成MIDI数据集并训练神经网络进行分类与旋律补全,揭示LLM能隐式编码基本音乐结构,同时指出其因缺乏显式音乐语境而存在局限。
2025-07-17 cs.AI cs.CL cs.LG
Persona2Web: Benchmarking Personalized Web Agents for Contextual Reasoning with User History
Department of Artificial Intelligence, Yonsei University, Seoul, Republic of Korea(人工智能系,延世大学,首尔,大韩民国)
提出Persona2Web基准,通过澄清-个性化原则评估Web智能体在真实开放网络中利用用户历史解决模糊查询的个性化能力,并引入推理感知评估框架。
2026-05-27 cs.AI cs.CL
No One Model Catches Every Harm: Benchmarking Content Moderation Across Safety Scenarios
Oracle AI(甲骨文人工智能)
该研究测试53个模型在11个数据集的四类安全场景下的表现,发现前沿模型在部分场景落后于专用模型,实际对话安全未解决,挑战规模即安全的假设并提供模型选择框架。
2026-08-25 cs.CL
H2HTalk: Evaluating Large Language Models as Emotional Companion
CCSE, Beihang University, Beijing, China(计算机科学与电子学院,北航,北京,中国);SCST, Beihang University, Beijing, China(软件学院,北航,北京,中国);Shenzhen Intelligent Strong Technology Co.,Ltd.(深圳智能强科技有限公司)
本文提出H2HTalk基准,通过4,650个场景和SAP安全依恋模块系统评估50个LLM作为情感伴侣的共情互动与个性发展能力,发现长时程规划与记忆保持仍是主要挑战。
2025-07-04 cs.AI cs.CL
On the Stability of Prompt Ranking in Large Language Model Evaluation
University of Amsterdam(阿姆斯特丹大学);Northeastern University(东北大学);University of California San Diego(加州大学圣迭戈分校);Duke University(杜克大学)
研究提示排序在常见评估变化下的稳定性,发现顶级提示常变导致选择不可靠,提出基于置信下限的稳定性感知选择策略以提高鲁棒性。
2026-06-24 cs.AI cs.CL
Enabling Conversational Behavior Reasoning Capabilities in Full-Duplex Speech
Zhejiang University(浙江大学);University of California, Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种基于图的思维框架,通过建模对话行为的因果推断,实现全双工语音交互中的行为推理与可解释性。
2025-12-25 cs.AI cs.CL
WavBench: Benchmarking Reasoning, Colloquialism, and Paralinguistics for End-to-End Spoken Dialogue Models
Xiamen University(厦门大学);Zhejiang University(浙江大学);CUHK-Shenzhen(香港中文大学(深圳))
WavBench通过三重框架评估语音对话模型的推理、口语化和副语言能力,推动真实场景下的对话模型发展。
2026-02-13 cs.CL
AgentSense: Benchmarking Social Intelligence of Language Agents through Interactive Scenarios
Fudan University(复旦大学);ByteDance(字节跳动)
AgentSense 基于拟剧理论构建 1,225 个交互式社会场景,通过多轮交互和 ERG 目标分析评估 LLM 智能体的社会智能,揭示其在复杂目标与私有信息推理上的不足。
2024-11-23 cs.CL cs.CY
A Multi-Level Benchmark for Causal Language Understanding in Social Media Discourse
Department of Computer Science, Virginia Tech, USA(计算机科学系,弗吉尼亚理工大学)
本文提出 CausalTalk 数据集,基于五年 Reddit 公共卫生帖子构建多层次因果标注,覆盖分类、跨度抽取和要点生成任务,以支持社交媒体非正式文本中的因果推理研究。
2025-09-20 cs.CL
MemeBridge: A Dataset for Benchmarking and Mitigating the Bidirectional Cultural Gap in Meme Interpretation
Texas A&M University(德克萨斯农工大学);Purdue University(普渡大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
该研究构建了针对美国起源梗图的双向文化数据集MemeBridge,用于测试跨文化理解,发现LLM跨文化理解能力不足,用MemeBridge微调可提升模型性能。
2026-09-02 cs.CL cs.HC
MemeCULT-1K: Benchmarking South Asian Cultural Context and Humor Understanding of Multimodal Models
Islamic University of Technology(伊斯兰科技大学);South East University(东南大学);Vector Institute(矢量研究所);University of British Columbia(不列颠哥伦比亚大学);York University(约克大学)
本研究推出包含南亚多语言梗图的MemeCULT-1K基准,评估13种视觉-语言模型的梗图理解能力,发现补充文化语境可提升模型表现,同时揭示不同模型的错误类型差异,凸显文化知识整合的必要性。
2026-09-03 cs.CL cs.CV
CSyMR: Benchmarking Compositional Music Information Retrieval in Symbolic Music Reasoning
University of California, San Diego(加州大学圣地亚哥分校)
CSyMR-Bench通过工具增强的检索和推理框架,在符号音乐推理中实现组合音乐信息检索的准确率提升。
2026-02-27 cs.AI cs.CL cs.LG
Do LLM Decoders Listen Fairly? Benchmarking How Language Model Priors Shape Bias in Speech Recognition
The Ohio State University(俄亥俄州立大学);Air Force Research Laboratory(空军研究实验室)
研究评估九种模型在不同人口特征上的语音识别性能,发现LLM解码器在种族偏见上表现更公平,但Whisper在印度口音语音上出现病理学幻觉,且音频压缩对口音公平性影响更大。
2026-04-23 cs.AI cs.CL cs.SD