ALARB: An Arabic Legal Argument Reasoning Benchmark
机构 * King Abdullah University of Science and Technology（卡塔尔国王阿卜杜勒阿齐兹科学与技术大学） ； THIQAH
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI
Comments Accepted paper at ArabicNLP 2025
AI 大模型
大模型推理能力
大模型数学、逻辑、规划、多步推理和测试时计算能力。
1. 推理评测 17 篇
TASER: Translation Assessment via Systematic Evaluation and Reasoning
机构 * University of California, Berkeley（加州大学伯克利分校） ； Apple Inc.（苹果公司）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI
EH-Benchmark Ophthalmic Hallucination Benchmark and Agent-Driven Top-Down Traceable Reasoning Workflow
机构 * Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)（高性能计算研究所，科技研究局（A*STAR）） ； Centre for Innovation and Precision Eye Health（创新与精准眼健康中心） ； Department of Ophthalmology, NUHS Tower Block, Level 7, 1E Kent Ridge Road, Singapore, 119228（眼科部，NUHS塔楼7层，1E Kent Ridge Road，新加坡，119228） ； Singapore Eye Research Institute, Singapore National Eye Centre, 20 College Road, Singapore, 169856（新加坡眼研究 institute，新加坡国家眼科中心，20 College Road，新加坡，169856）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI
Comments 9 figures, 5 tables. submit/6621751
Advancing Automated Ethical Profiling in SE: a Zero-Shot Evaluation of LLM Reasoning
机构 * University of L'Aquila（拉奎拉大学） ； Gran Sasso Science Institute（格兰萨索科学研究所）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI
Comments Accepted at ASE 2025
HalluGuard: Evidence-Grounded Small Reasoning Models to Mitigate Hallucinations in Retrieval-Augmented Generation
机构 * Banque de Luxembourg（卢森堡银行） ； Center for Data Science in Humanities, Chosun University（人文数据科学中心，全州大学） ； ATILF, University of Lorraine–CNRS（ATILF，洛林大学–CNRS） ； SnT, University of Luxembourg（SnT，卢森堡大学）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL
MAVUL: Multi-Agent Vulnerability Detection via Contextual Reasoning and Interactive Refinement
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI
Comments Accepted by The 7th IEEE International Conference on Trust, Privacy and Security in Intelligent Systems, and Applications (IEEE TPS 2025)
AuditAgent: Expert-Guided Multi-Agent Reasoning for Cross-Document Fraudulent Evidence Discovery
机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Shenzhen University（深圳大学） ； Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究所） ； Peking University（北京大学） ； Southern University of Science and Technology（南方科技大学）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI
Reasoning Scaffolding: Distilling the Flow of Thought from LLMs
机构 * The Chinese University of Hong Kong（香港中文大学） ； HUAWEI Noah’s Ark Lab（华为诺亚实验室） ； Southeast University（东南大学） ； HUAWEI Hong Kong Research Center（华为香港研究中心）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI
ImageDoctor: Diagnosing Text-to-Image Generation via Grounded Image Reasoning
机构 * Johns Hopkins University（约翰霍普金斯大学） ； AMD（AMD公司）
专题命中 推理评测 ：reasoning(title,abstract)
MathSticks: A Benchmark for Visual Symbolic Compositional Reasoning with Matchstick Puzzles
机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Peking University（北京大学） ； The University of Sydney（悉尼大学） ； Beihang University（北航大学）
专题命中 推理评测 ：reasoning(title,abstract)
Analyzing Dialectical Biases in LLMs for Knowledge and Reasoning Benchmarks
机构 * Department of Information Science, Cornell University（康奈尔大学信息科学系） ； Apple（苹果公司） ； Cornell Tech（康奈尔科技）
专题命中 推理评测 ：reasoning(title)；分类 cs.CL
Comments EMNLP Findings 2025, 12 pages, 11 tables, 3 figures
Self-Evolving Multi-Agent Simulations for Realistic Clinical Interactions
机构 * Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed人工智能大学）
专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL
Comments 14 page, 4 figures, 61 references, presented in MICCAI (Oral)
OIG-Bench: A Multi-Agent Annotated Benchmark for Multimodal One-Image Guides Understanding
机构 * School of Computer Science and Engineering, Sun Yat-sen University, China（中山大学计算机科学与工程学院） ； Interactive Entertainment Group, Tencent Inc, China（腾讯互动娱乐集团） ； Key Laboratory of Machine Intelligence and Advanced Computing (MOE), China（机器智能与先进计算重点实验室）
专题命中 推理评测 ：reasoning(abstract)；logical reasoning(abstract)
Automated Structured Radiology Report Generation with Rich Clinical Context
机构 * VUNO Inc.（VUNO公司） ； KAIST（韩国科学技术院） ； POSTECH（POSTECH大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG
Comments 34 pages, 30 figures, preprint
CORTEX: Collaborative LLM Agents for High-Stakes Alert Triage
机构 * George Mason University（乔治·马歇尔大学） ； Fluency Security（流畅安全）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL
TAMA: Tool-Augmented Multimodal Agent for Procedural Activity Understanding
机构 * Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所） ； National Institute of Advanced Industrial Science and Technology (AIST)（国家先进工业科学与技术研究院）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL
Comments 21 pages. Code: https://github.com/kimihiroh/tama
AgenticIQA: An Agentic Framework for Adaptive and Interpretable Image Quality Assessment
机构 * Nanyang Technological University（南洋理工大学） ； Nanjing University of Information Science and Technology（南京信息工程大学） ； Zhejiang University（浙江大学） ； South China Normal University（华南师范大学） ； Alibaba DAMO Academy（阿里巴巴达摩院） ； City University of Hong Kong（香港城市大学）
专题命中 推理评测 ：planning(abstract)
