A New Dataset for End-to-End Sign Language Translation: The Greek Elementary School Dataset
Cyprus University of Technology(塞浦路斯理工大学);AI Cyprus Ethical Novelties Ltd(塞浦路斯人工智能伦理创新有限公司)
针对现有手语翻译数据集资源有限、现实价值不足的问题,本文构建了含29653对样本的希腊小学手语数据集,覆盖多学科内容,实验验证其可推动端到端手语翻译研究。
2023-10-07 cs.CL cs.CV cs.LG
Generating Elementary Integrable Expressions
Coventry University(考文垂大学);Maplesoft(Maplesoft公司)
针对符号积分领域机器学习训练数据不足、现有生成方法有缺陷易致模型偏差的问题,本文提出用Risch算法生成初等可积表达式数据集,可缓解早期方法的部分缺陷。
2023-06-27 cs.LG cs.SC
Do Large Language Model Benchmarks Test Reliability?
MIT(麻省理工学院)
本文揭示现有LLM基准测试因标签错误而难以衡量可靠性,提出铂金基准测试概念并修订15个流行基准,发现前沿模型在简单任务上仍存在系统性失败。
2025-02-05 cs.CL cs.LG
Evaluating the Elementary Multilingual Capabilities of Large Language Models with MultiQ
University of Oxford(牛津大学);Stanford University(斯坦福大学);Bocconi University(博科尼大学);University of Hamburg(汉堡大学)
本文提出MultiQ基准(27.4k问题、137种语言),评估开源LLM超出预期用途的基础多语言能力,发现模型在部分语言上能忠实且准确作答,但差异大且存在长尾失效,分词差异可能是影响因素。
2024-07-18 cs.AI cs.CL
CMMaTH: A Chinese Multi-modal Math Skill Evaluation Benchmark for Foundation Models
Institute of Automation of Chinese Academy of Sciences(中国科学院自动化研究所);Tomorrow Advancing Life(泰德时代集团)
针对中文K12多模态数学评估缺乏的问题,提出包含23k道题的最大中文多模态数学基准CMMaTH,并配套开源评估工具GradeGPT。
2024-06-28 cs.AI cs.CL
U-MATH: A University-Level Benchmark for Evaluating Mathematical Skills in LLMs
Toloka AI;Gradarius;Stevens Institute of Technology(史蒂文斯理工学院)
U-MATH是一个大学级数学能力评估基准,包含1100个开放性问题,用于评估LLM在多模态推理和解决方案判断方面的性能。
2026-01-30 cs.AI cs.CL
A Careful Examination of Large Language Model Performance on Grade School Arithmetic
Scale
针对大语言模型数学推理能力可能因数据集污染被高估的问题,构建与GSM8k可比的GSM1k基准,发现部分模型存在过拟合(准确率降8%),但前沿模型过拟合弱且所有模型均能泛化到新问题。
2024-11-22 cs.AI cs.CL cs.LG
SciBench: Evaluating College-Level Scientific Problem-Solving Abilities of Large Language Models
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);California Institute of Technology(加州理工学院);University of Washington(华盛顿大学)
SciBench通过构建大学级数学、化学和物理科学问题基准,系统评估并揭示了当前LLM在复杂科学推理上的不足,为改进推理能力提供方向。
2024-06-28 cs.AI cs.CL cs.LG
FineMath: A Fine-Grained Mathematical Evaluation Benchmark for Chinese Large Language Models
Tianjin University(天津大学);China University of Geosciences(中国地质大学);The University of Queensland(昆士兰大学)
本文提出 FineMath 细粒度中文数学评估基准,覆盖小学数学 17 类应用题并按推理步骤人工标注难度,实验揭示中文 LLM 数学推理仍有明显提升空间。
2024-09-06 cs.AI cs.CL
OmniSpatial: Towards Comprehensive Spatial Reasoning Benchmark for Vision Language Models
Tsinghua University(清华大学);Xian Jiaotong University(西安交通大学);Shanghai Jiao Tong University(上海交通大学);Galbot;Peking University(北京大学);Shanghai Qi Zhi Institute(上海启智研究院)
OmniSpatial是一个基于认知心理学的综合性空间推理基准,通过动态推理、复杂空间逻辑等四个类别,评估视觉语言模型在空间推理上的能力与局限。
2026-02-28 cs.AI cs.CL cs.CV
Measuring Vision-Language STEM Skills of Neural Models
School of Computer Science, Peking University(北京大学计算机学院);Washington University in St. Louis(圣路易斯华盛顿大学)
本文提出一个涵盖448项技能和107万道题的多模态STEM测试基准,发现CLIP和GPT-3.5等先进模型仅掌握少量低年级技能,性能远低于小学生,呼吁算法创新。
2024-05-22 cs.AI cs.CL cs.LG
VisScience: An Extensive Benchmark for Evaluating K12 Educational Multi-modal Scientific Reasoning
Tsinghua University(清华大学);Beihang University(北京航空航天大学)
本文构建含3000道K12数学、物理、化学题的VisScience基准,评测25个MLLM,发现闭源模型整体领先但科学推理能力仍有限。
2024-12-02 cs.AI cs.CL
Ineq-Comp: Benchmarking Human-Intuitive Compositional Reasoning in Automated Theorem Proving on Inequalities
Princeton Language and Intelligence(普林斯顿语言与智能);Princeton University(普林斯顿大学);Peking University(北京大学);Tsinghua University(清华大学);Amazon(亚马逊)
本文提出 Ineq-Comp 不等式组合推理基准,通过变量复制、代数重写和多步组合测试 LLM 证明器,发现主流模型即使获得子证明仍存在显著组合推理缺陷。
2025-10-20 cs.AI cs.CL cs.LG
FEANEL: A Benchmark for Fine-Grained Error Analysis in K-12 English Writing
Squirrel Ai Learning;Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学)
FEANEL基准旨在评估LLMs在K-12英语写作中细粒度错误分析的能力,通过1000篇学生作文和自定义分类体系,揭示当前模型在教育反馈方面的不足。
2025-11-28 cs.CL
Benchmarking Large Language Models for Persian: A Preliminary Study Focusing on ChatGPT
University of British Columbia(不列颠哥伦比亚大学);University of Tehran(德黑兰大学);Tehran Institute for Advanced Studies(德黑兰高等研究院);Khatam University(哈塔姆大学)
本文首次系统评测大语言模型在波斯语任务上的表现,发现GPT-4等模型在推理和常识任务中占优但在特定任务上不及微调小模型,并揭示了翻译成英语可提升性能的潜力。
2024-04-03 cs.CL cs.LG
SciAgentGym: Benchmarking Multi-Step Scientific Tool-use in LLM Agents
Fudan NLP Group(复旦大学自然语言处理组)
为解决当前基准忽视代理在科学工作流中编排工具能力的问题,提出包含1780个领域特定工具的可扩展交互环境SciAgentGym和分层评估套件SciAgentBench,并设计数据合成方法SciForge,通过微调使SciAgent-8B超越更大模型,展示科学工具使用能力的跨领域正迁移。
2026-05-30 cs.CL
Distinguishing cause from effect using observational data: methods and benchmarks
University of Amsterdam(阿姆斯特丹大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zürich(苏黎世联邦理工学院)
从纯粹的观测数据中发现因果关系是科学中的一个基本问题。这种因果发现问题的最基本形式是,在给定两个变量X、Y的联合观测值的情况下,决定是X导致Y,还是Y导致X。一个例子是决定是否海拔导致温度,反之亦然,只有联合测量两个变量。即使在没有混杂、没有反馈回路和没有选择偏差的简化假设下,这样的双变量因果发现问题也是具有挑战性的。然而,近年来提出了解决这些问题的若干办法。我们回顾了两个家庭这样的方法:加性噪声方法(ANM)和信息几何因果推理(IGCI)。我们提出了基准因果关系对,其中包括从来自各个领域的37个数据集中选择的100个不同因果关系对的数据(例如,气象学、生物学、医学、工程学、经济学等)并激励我们关于所有对的“地面真相”因果方向的决定。我们评估了几种二元因果发现方法在这些真实世界的基准数据和人工模拟数据上的性能。我们对真实世界数据的实证结果表明,某些方法确实能够仅使用纯粹的观察数据区分因果关系,尽管需要更多的基准数据才能获得统计上显著的结论。总体上表现最好的方法之一是最初由Hoyer等人(2009)提出的加性噪声方法,该方法在真实世界基准上获得了63 ± 10%的准确度和0.74 ± 0.05的AUC。作为这项工作的主要理论贡献,我们证明了该方法的一致性。
2015-12-24 cs.AI cs.LG stat.ML
MultihopSpatial: Multi-hop Compositional Spatial Reasoning Benchmark for Vision-Language Model
Electronics and Telecommunications Research Institute, South Korea(韩国电信研究院);Korea Advanced Institute of Science and Technology, South Korea(韩国科学技术院);Sungkyunkwan University, South Korea(成均馆大学);DeepAuto, South Korea(DeepAuto)
本文提出MultihopSpatial基准,针对多跳组合空间推理问题,引入Acc@50IoU指标,并通过大规模训练集提升视觉语言模型的空间推理能力。
2026-09-07 cs.AI cs.CV
PARROT: Persuasion and Agreement Robustness Rating of Output Truth -- A Sycophancy Robustness Benchmark for LLMs
PARROT提出了一种评估大语言模型在权威压力下鲁棒性的基准,发现先进模型表现稳健,而旧模型易出现知识崩溃,强调需将抗过度拟合压力作为安全部署的关键目标。
2025-12-01 cs.AI cs.CE cs.CL
Bridging the Reasoning Gap in Vietnamese with Small Language Models via Test-Time Scaling
Computer Science and Engineering(计算机科学与工程);Information Science Faculty(信息科学系);Faculty of Information(信息学院);Faculty of Advanced Technologies and Engineering(先进技术和工程学院);VNU Vietnam(越南VNU);Japan University(日本大学);JAIST;VNU University of Engineering and Technology(VNU工程大学);VNU Vietnam Japan University(越南日本大学);Hanoi, Vietnam(越南河内);Ishikawa, Japan(日本石川)
本文研究了在越南小学数学中通过测试时间扩展策略提升小语言模型推理能力,提出Vi-S1K和Vi-Elementary-Bench基准,发现SFT显著提升解释质量,证明简化测试时间扩展优于复杂代理流程。
2026-04-20 cs.AI cs.CL
LEGO-Puzzles: How Good Are MLLMs at Multi-Step Spatial Reasoning?
Shanghai AI Laboratory(上海人工智能实验室);Tongji University(同济大学);Tsinghua University(清华大学)
该研究推出多步骤空间推理基准LEGO-Puzzles,评估29个顶尖MLLMs,发现其在基础空间推理、多步骤规划任务上远逊于人类,凸显其空间推理能力存在关键局限。
2026-08-11 cs.AI
Correlations between Word Vector Sets
纯粹基于词嵌入的相似性度量在无监督语义文本相似性(STS)任务上与更复杂的深度学习和专家工程系统竞争。与常用的几何方法相比,我们将单个词嵌入视为例如来自标量随机变量的300个观察。使用这种模式,我们首先说明,来自基本池操作和经典的相关系数的相似性产生优秀的结果标准STS基准测试,优于许多最近提出的方法,同时要快得多,微不足道的实现。接下来,我们演示如何完全避免池化操作,并通过再生核希尔伯特空间之间的相关算子直接比较词嵌入的集合。就像余弦相似性是用来比较个别的词向量,我们介绍了一个新的应用程序的中心内核对齐(CKA)作为一个自然的概括平方余弦相似性的词向量集。同样,CKA也很容易实现,并具有很强的经验结果。
2019-10-07 cs.CL cs.LG
An Improved Traditional Chinese Evaluation Suite for Foundation Model
iKala AI Lab(iKala AI实验室);National Yang Ming Chiao Tung University(国立阳明交通大学)
本研究提出规模更大、学科分布更均衡的繁体中文理解基准TMMLU+,测试多款大语言模型后发现繁体模型落后于简体模型、模型平均得分低于人类,且仅生育率分数与基准结果强相关,助力繁体中文大模型研发。
2024-07-11 cs.CL
DeepMath-Creative: A Benchmark for Evaluating Mathematical Creativity of Large Language Models
School of Mathematical Sciences, Tongji University(同济大学数学科学学院)
本文提出数学创造力评估标准与DeepMath-Creative基准,系统评测主流LLM,发现最强模型仅在基础构造题上达70%,复杂开放题表现薄弱。
2025-05-13 cs.AI
ArchSIBench: Benchmarking the Architectural Spatial Intelligence of Vision-Language Models
School of Architecture, Tsinghua University(清华大学建筑学院)
本文提出ArchSIBench,一个基于建筑学、认知科学和心理学视角的建筑空间智能评估基准,通过17个细粒度子任务和3000个问题-答案对,评估多种VLMs在建筑空间感知、推理、导航、转换和配置方面的性能,发现大多数模型在空间转换和配置推理上仍与有建筑训练的人类评估者存在差距。
2026-05-20 cs.AI cs.CV
CoVEBench: Can Video Editing Models Handle Complex Instructions?
Nanjing University(南京大学);Kuaishou Technology(快手科技)
提出CoVEBench基准,包含416个源视频和626条多点编辑指令,通过MLLM评估指令遵循度和保真度,揭示当前模型在组合编辑中常遗漏编辑或破坏保留约束。
2026-06-11 cs.AI cs.CV
AMVICC: A Novel Benchmark for Cross-Modal Failure Mode Profiling for VLMs and IGMs
Centennial High School, Frisco, Texas, USA(Centennial High School, Texas, USA);Lebanon Trail High School, Frisco, Texas, USA(Lebanon Trail High School, Texas, USA);West Windsor-Plainsboro High School, Princeton Junction, New Jersey, USA(West Windsor-Plainsboro High School, New Jersey, USA);Algoverse AI Research, Palo Alto, California, USA(Algoververse AI Research, California, USA)
提出AMVICC基准,通过图像到文本和文本到图像任务系统比较多模态大模型和图像生成模型的视觉推理失败模式,发现故障模式在模型和模态间共享,但存在特定于模型和模态的失败。
2026-06-25 cs.AI cs.CV
Numeracy in Large Language Models: Fundamental Limitations and Paths to Improvement
University of Chinese Academy of Sciences(中国科学院大学)
本研究针对LLMs在基础数值任务中的不可靠性,提出数值基础框架(NGF)并结合三大基准评估前沿模型,给出改进数值能力的部署建议与研究方向。
2026-08-14 cs.AI
WavLLM: Towards Robust and Adaptive Speech Large Language Model
Microsoft Research Asia(微软亚洲研究院)
提出WavLLM,通过双编码器解耦语音信息、提示感知LoRA适配器及两阶段课程学习,在多语音任务及高考听力上达到SOTA,展现强泛化能力。
2024-09-21 cs.AI cs.CL cs.SD
Why are NLP Models Fumbling at Elementary Math? A Survey of Deep Learning based Word Problem Solvers
L3S Research Center(L3S研究中心);IBM Research(IBM研究院);Queen’s University(女王大学);University of Örebro(厄勒布鲁大学)
从过去十年的后半期开始,人们对开发自动解决数学应用题(MWP)的算法越来越感兴趣。这是一个具有挑战性和独特的任务,需要融合表面水平的文本模式识别与数学推理。尽管进行了广泛的研究,但我们距离建立小学数学应用题的鲁棒表示和一般任务的有效解决方案仍然很远。在本文中,我们批判性地研究了各种模型,已开发的解决字的问题,他们的优点和缺点和未来的挑战。在过去的两年里,许多深度学习模型在基准数据集上记录了相互竞争的结果,这使得对文献的关键性和概念性分析在这个时候非常有用。我们退后一步,分析为什么,尽管在学术兴趣丰富,主要使用的实验和数据集设计仍然是一个绊脚石。从分析文献的角度,我们也努力为未来的数学应用题研究提供一个路线图。
2022-05-31 cs.AI cs.CL
Do Large Language Models Truly Grasp Addition? A Rule-Focused Diagnostic Using Two-Integer Arithmetic
Zhejiang University(浙江大学);School of Engineering, Westlake University(西湖大学工程学院)
本文通过双整数加法的交换律、符号表示不变性和操作数长度扩展一致性诊断12个LLMs,发现其高准确率源于模式匹配而非规则归纳,为模型架构和训练创新提供了新方向。
2025-09-17 cs.CL
AudioBERT: Audio Knowledge Augmented Language Model
POSTECH(浦项科技大学);HJ AILAB(HJ人工智能实验室);Inha University(仁荷大学)
针对纯文本预训练语言模型听觉知识匮乏的问题,提出基于检索的AudioBERT方法,通过检测提示听觉知识跨度、注入音频知识并结合低秩适配增强BERT,在自建AuditoryBench基准上取得优异性能。
2025-01-16 cs.AI cs.CL cs.SD
MammothModa: Multi-Modal Large Language Model
ByteDance(字节跳动)
MammothModa通过集成视觉注意力专家、视觉合并模块和高质量双语数据集,在多个视觉语言基准上超越LLaVA等最先进模型,实现高性能多模态理解。
2024-06-26 cs.AI cs.CV
QEDBENCH: Quantifying the Alignment Gap in Automated Evaluation of University-Level Mathematical Proofs
研究大语言模型自动评估的可靠性,引入QEDBench基准,通过对比特定课程评分标准与专家常识标准,测量与人类专家的对齐情况,揭示部分前沿评估器偏差及离散领域推理差距,还发布该基准用于评估改进AI裁判。
2026-07-07 cs.LG
Intelligence Analysis of Language Models
本研究测试了大型语言模型在 ARC 数据集上的抽象推理能力,发现即使采用 Zero-shot 和 Chain-of-Thought 技术,模型在非语言领域仍表现不佳,且为首个关注开源模型在此背景下能力的研究。
2024-07-20 cs.AI
A Controllable Examination for Long-Context Language Models
University of Edinburgh(爱丁堡大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Nanjing University(南京大学);Alibaba Group(阿里巴巴集团);University of Amsterdam(阿姆斯特丹大学)
本文提出 LongBioBench,以人工生成传记构建连贯且可控的长上下文评测环境,覆盖理解、推理与可信性维度,并通过 18 个模型揭示现有合成基准的设计缺陷。
2025-10-19 cs.CL
ELI-Why: Evaluating the Pedagogical Utility of Language Model Explanations
University of Southern California(南加州大学);Stanford University(斯坦福大学)
该研究提出包含1.34万个“为什么”问题的ELI-Why基准,通过两项人类研究和自动化评估发现,语言模型生成的教育解释在年级适配度、用户信息需求匹配度上均显著低于人类策划内容,教学效用有限。
2025-06-17 cs.CL cs.HC