arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

大模型推理能力

大模型数学、逻辑、规划、多步推理和测试时计算能力。

共收录 10530 信号源:cs.CL, cs.AI, cs.LG

1. 推理评测 10530 篇

2603.28128 2026-05-26 cs.LG cs.CR 57%

ORACAL: A Robust and Explainable Multimodal Framework for Smart Contract Vulnerability Detection with Causal Graph Enrichment

ORACAL: 一种基于因果图增强的鲁棒且可解释的智能合约漏洞检测多模态框架

Tran Duong Minh Dai, Triet Huynh Minh Le, M. Ali Babar, Van-Hau Pham, Phan The Duy

机构 * Information Security Lab, University of Information Technology(信息安全部,信息科技大学) Vietnam National University(越南国家大学) School of Computer Science and Information Technology, Adelaide University(计算机科学与信息技术学院,阿德莱德大学)

专题命中 推理评测 :reasoning(abstract);分类 cs.LG

AI总结 提出ORACAL异构多模态图学习框架,集成控制流图、数据流图和调用图,通过RAG和LLM增强关键子图,并采用因果注意力机制和PGExplainer实现鲁棒且可解释的智能合约漏洞检测。

Comments 21 pages, version 2

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.20334 2026-05-26 cs.SE cs.AI 57%

Procedural Refinement by LLM-driven Algorithmic Debugging for ARC-AGI-2

基于LLM驱动的算法调试的程序化精炼用于ARC-AGI-2

Yu-Ning Qiu, Lin-Feng Zou, Jiong-Da Wang, Xue-Rong Yuan, Wang-Zhou Dai

机构 * Nanjing University(南京大学)

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 提出一种神经符号精炼方法ABPR,结合LLM与Prolog元解释器,通过证明树推导进行语义重检,在ARC-AGI-2上实现高通过率,并扩展到RAVEN风格推理任务。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.09130 2026-05-26 cs.LG 57%

UniComp: A Unified Evaluation of Large Language Model Compression via Pruning, Quantization and Distillation

UniComp: 通过剪枝、量化和蒸馏对大型语言模型压缩的统一评估

Jonathan von Rad, Yong Cao, Andreas Geiger

机构 * University College London(伦敦大学学院) University of Tübingen(图宾根大学) Tübingen AI Center(图宾根人工智能中心)

专题命中 推理评测 :reasoning(abstract);分类 cs.LG

AI总结 提出UniComp框架,统一评估剪枝、量化和知识蒸馏三种压缩方法,从性能、可靠性和效率三个维度在40个数据集上分析,发现知识偏差、性能与可靠性解耦以及任务特定校准可提升推理性能。

Comments 18 pages, 5 figures, 18 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.21463 2026-05-26 cs.SD cs.AI 57%

Unifying Speech Editing Detection and Content Localization via Prior-Enhanced Audio LLMs

通过先验增强的音频大语言模型统一语音编辑检测与内容定位

Jun Xue, Yi Chai, Yanzhen Ren, Jinshen He, Zhiqiang Tang, Zhuolin Yi, Yihuan Huang, Yuankun Xie, Yujie Chen

机构 * Key Laboratory of Aerospace Information Security(航空信息安全与可信计算重点实验室) School of Cyber Science and Engineering(网络安全工程学院) Wuhan University(武汉大学) Independent Researcher(独立研究员) School of Computer Science and Technology(计算机科学与技术学院) Anhui University(安徽大学) Communication University of China(中国通信大学) Beihang University(北京航空航天大学)

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 提出基于音频大语言模型的统一框架,通过生成式方法联合处理语音编辑检测和内容定位,并引入先验增强策略和声学一致性损失以提升性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.12194 2026-05-26 cs.AI cs.CV 57%

Teaching large language models to reason like expert diagnosticians

教会大型语言模型像专家诊断医生一样推理

Thomas A. Buckley, Riccardo Conci, Peter G. Brodeur, Jason Gusdorf, Sourik Beltrán, Bita Behrouzi, Byron Crowe, Jacob Dockterman, Muzzammil Muhammad, Sarah Ohnigian, Andrew Sanchez, James A. Diao, Aashna P. Shah, Daniel Restrepo, Eric S. Rosenberg, Andrew S. Lea, Emily Glanton, Kimberly LeBlanc, Undiagnosed Diseases Network, Marinka Zitnik, Scott H. Podolsky, Zahir Kanjee, Raja-Elie E. Abdulnour, Jacob M. Koshy, Adam Rodman, Arjun K. Manrai

机构 * Department of Biomedical Informatics, Harvard Medical School(哈佛医学院生物医学信息学系) Department of Medicine, Beth Israel Deaconess Medical Center(贝塞斯达医院内科部) The Mongan Institute, Massachusetts General Hospital(麻省总医院蒙根研究所) Division of Gastroenterology, Brigham and Women’s Hospital(布里洛妇女医院胃肠病科) Department of Medicine, Brigham and Women’s Hospital(布里洛妇女医院内科部) Department of Medicine, Massachusetts General Hospital(麻省总医院内科部) Department of Pathology, Massachusetts General Hospital(麻省总医院病理学部) Department of Health Humanities and Bioethics, University of Rochester School of Medicine and Dentistry(罗切斯特大学医学院和牙科学院健康人文与生物伦理学部) Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University(哈佛大学凯普纳人工智能研究所) Center for the History of Medicine, Countway Library of Medicine, Harvard Medical School(哈佛医学院医学史中心,考特维图书馆) Department of Global Health and Social Medicine, Harvard Medical School(哈佛医学院全球健康与社会医学部) Division of Pulmonary and Critical Care Medicine, Brigham and Women’s Hospital(布里洛妇女医院呼吸科和重症医学科)

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 提出 Dr. CaBot 代理 AI 系统,通过生成基于初始病例描述的幻灯片演示来模拟专家诊断推理,并在 NEJM CPC 和 NIH 未诊断疾病网络病例上取得优于前沿模型的表现,同时发布 CPC-Bench 基准以促进临床 AI 发展。

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.08652 2026-05-26 cs.AI 57%

Prompt-and-Check: Using Large Language Models to Evaluate Communication Protocol Compliance in Simulation-Based Training

Prompt-and-Check:使用大型语言模型评估基于模拟训练中的通信协议合规性

Vishakha Lall, Yisi Liu

机构 * Centre of Excellence in Maritime Safety(海上安全卓越中心) Singapore Polytechnic(新加坡理工学院) Singapore(新加坡)

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 提出Prompt-and-Check方法,利用开源大语言模型通过上下文丰富的提示评估模拟训练中通信协议的合规性,并在海事领域案例中验证其有效性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2502.08047 2026-05-26 cs.AI cs.MA 57%

WorldGUI: An Interactive Benchmark for Desktop GUI Automation from Any Starting Point

WorldGUI: 一个从任意起点进行桌面GUI自动化的交互式基准测试

Henry Hengyuan Zhao, Kaiming Yang, Wendi Yu, Difei Gao, Mike Zheng Shou

机构 * Show Lab, National University of Singapore(新加坡国立大学Show实验室)

专题命中 推理评测 :planning(abstract);分类 cs.AI

AI总结 提出WorldGUI基准测试,覆盖10个桌面和Web应用,在多种系统构建的初始状态下评估GUI代理的规划鲁棒性,并引入WorldGUI-Agent框架通过三阶段批评提升动态环境下的可靠性。

Comments Technique Report

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.24267 2026-05-26 cs.CL 57%

DRInQ: Evaluating Conversational Implicature with Controlled Context Variation

DRInQ: 通过受控上下文变化评估会话含义

Hirona Jacqueline Arai, Xiang Ren

机构 * University of Southern California(南加州大学)

专题命中 推理评测 :reasoning(abstract);分类 cs.CL

AI总结 提出DRInQ基准,通过半自动化管道生成系统变化的问答上下文实例,评估大语言模型在会话含义中的语用推理能力,发现模型在生成与推理之间存在不对称性。

Comments To be presented at ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.24117 2026-05-26 cs.AI 57%

SkillEvolBench: Benchmarking the Evolution from Episodic Experience to Procedural Skills

SkillEvolBench:从情景经验到程序性技能的演化基准测试

Yingtie Lei, Zhongwei Wan, Jiankun Zhang, Samiul Alam, Zixuan Zhong, Peizhou Huang, Xin Wang, Jingxuan Zhang, Donghao Zhou, Yunta Hsieh, Zhihao Dou, Hui Shen, Yan Xu, Dimitrios Dimitriadis, Tuo Zhang, Mi Zhang

机构 * The Ohio State University(俄亥俄州立大学) The University of Chicago(芝加哥大学) University College London(伦敦大学学院) University of Michigan(密歇根大学) The Chinese University of Hong Kong(香港中文大学) Case Western Reserve University(凯斯西储大学) Amazon(亚马逊)

专题命中 推理评测 :verifier(abstract);分类 cs.AI

AI总结 提出SkillEvolBench基准,通过六个真实环境中的180个任务,评估大语言模型代理能否将情景经验提炼为可复用的程序性技能,发现当前代理难以形成稳健的技能,且原始轨迹复用优于蒸馏技能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.24006 2026-05-26 cs.DC cs.LG 57%

A Tabular Schedule Abstraction for Communication-Aware Evaluation of Pipeline-Parallel LLM Training

一种用于通信感知评估流水线并行LLM训练的表格调度抽象

Daniel Barley, Jonathan Leis, Benjamin Klenk, Holger Fröning

机构 * Hardware and Artificial Intelligence (HAWAII) Lab, Heidelberg University, Heidelberg, Germany(海德堡大学硬件与人工智能实验室) NVIDIA Corporation, Santa Clara, CA, USA(英伟达公司)

专题命中 推理评测 :reasoning(abstract);分类 cs.LG

AI总结 本文提出一种表格调度抽象和统一的多抽象方法,通过公式推理、理想化调度表和通信感知执行模拟,比较了GPipe、1F1B、Chimera和Hanayo等流水线调度方案,发现通信会抵消气泡分析的结构优势,调度排名依赖于执行环境。

Comments Accepted at the 25th IEEE International Symposium on Parallel and Distributed Computing (ISPDC 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.23970 2026-05-26 cs.CL 57%

Faithful or Fabricated? A Causal Framework for Rationalization Bias in LLM Judges

忠实还是捏造?LLM 评判中合理化偏差的因果框架

Riya Tapwal, Abhishek Kumar, Carsten Maple

机构 * School of Computing and Electrical Engineering(计算与电子工程学院) Indian Institute of Technology (IIT) Mandi(印度理工学院(IIT)曼迪) London U.K.(伦敦英国) Warwick Manufacturing Group U.K.(沃里克制造集团英国)

专题命中 推理评测 :chain-of-thought(abstract);分类 cs.CL

AI总结 提出因果框架研究 LLM 评判者对非证据线索的依赖,通过线索干预和锚定度量揭示其合理化偏差,并验证证据锁定策略的有效性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.23949 2026-05-26 cs.MA cs.AI 57%

SODE: Analyzing Social Dynamics in LLM Agents

SODE:分析LLM智能体中的社会动态

Inseo Jung, Yoonseok Oh, Kyungryul Back, Jinkyu Kim, Jungbeom Lee

机构 * Department of Computer Science, Korea University(韩国大学计算机科学系)

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 提出SODE框架,通过直接互惠、间接互惠和群体动态三个进化维度评估LLM智能体的社会行为,发现指令调优模型存在被动顺从问题,推理模型则因短视优化破坏长期合作,并展示长期框架可激发推理模型的互惠能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.23917 2026-05-26 cs.CL 57%

Multi-Persona Debate System for Automated Scientific Hypothesis Generation

用于自动科学假设生成的多角色辩论系统

Jaeha Oh, Byungchan Kim, Ju Li, Yang Jeong Park, Jin-Sung Park

机构 * Department of Materials Science & Engineering, Ajou University(材料科学与工程系,阿乔大学) Department of Energy Systems Research, Ajou University(能源系统研究系,阿乔大学) Department of Nuclear Science and Engineering, Massachusetts Institute of Technology(核科学与工程系,麻省理工学院) Department of Materials Science and Engineering, Massachusetts Institute of Technology(材料科学与工程系,麻省理工学院) Department of Materials Science and Engineering, Ulsan National Institute of Science and Technology(材料科学与工程系,乌山国家科学与技术研究院) Graduate School of Artificial Intelligence, Ulsan National Institute of Science and Technology(人工智能研究生院,乌山国家科学与技术研究院)

专题命中 推理评测 :reasoning(abstract);分类 cs.CL

AI总结 提出多角色辩论系统(MPDS),结合文献检索、长上下文大语言模型推理、语料驱动角色归纳和结构化多智能体辩论,自动生成科学假设,在电池材料研究中验证其有效性。

Comments 31 pages with 7 main figures, 4 supplementary figures and 1 supplementary table

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.13608 2026-05-26 cs.LG 57%

Is GPT-4o mini Blinded by its Own Safety Filters? Exposing the Multimodal-to-Unimodal Bottleneck in Hate Speech Detection

GPT-4o mini 是否被自身的安全过滤器蒙蔽?揭示多模态到单模态瓶颈在仇恨言论检测中的作用

Niruthiha Selvanayagam, Ted Kurti

专题命中 推理评测 :reasoning(abstract);分类 cs.LG

AI总结 本文通过 Hateful Memes Challenge 数据集系统分析 GPT-4o mini 在多模态仇恨言论检测中的安全架构,发现并实验验证了“单模态瓶颈”缺陷,即上下文无关的安全过滤器会优先阻断多模态推理,导致误报。

Comments This paper reports preliminary findings from a small-scale study whose sample size is insufficient to support the stated conclusions. The authors are withdrawing it to conduct a more comprehensive evaluation

详情

展开后加载摘要…

URL PDF HTML 收藏
2407.05682 2026-05-26 cs.CL 57%

Retrieved In-Context Principles from Previous Mistakes

从先前错误中检索的上下文原则

Hao Sun, Yong Jiang, Bo Wang, Yingyan Hou, Yan Zhang, Pengjun Xie, Fei Huang

机构 * Peking University(北京大学) Beijing Institute of Technology(北京理工大学) Alibaba Group(阿里巴巴集团) Chinese Academy of Sciences(中国科学院)

专题命中 推理评测 :reasoning(abstract);分类 cs.CL

AI总结 提出检索式上下文原则(RICP)框架,通过教师模型分析学生模型错误生成原则,聚类错误以增强覆盖,检索相关错误生成问题级原则,提升定制化,无需推理时干预,在七个推理基准上提升多种提示策略性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.23885 2026-05-25 cs.CL 57%

Multilingual Knowledge Transfer under Data Constraints via Lexical Interventions

数据约束下的多语言知识迁移:通过词汇干预

Anastasiia Sedova, Natalie Schluter, Skyler Seto, Maartje ter Hoeve

机构 * Apple(苹果公司)

专题命中 推理评测 :reasoning(abstract);分类 cs.CL

AI总结 提出LINK方法,利用双语词汇对预训练数据中的高资源语言部分进行词汇替换,无需额外模型训练或大量平行数据,即可有效提升低资源语言的知识迁移效果。

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.19858 2026-05-25 cs.CL 57%

Benchmarking Gaslighting Attacks Against Speech Large Language Models

针对语音大语言模型的气灯攻击基准测试

Jinyang Wu, Bin Zhu, Xiandong Zou, Qiquan Zhang, Xu Fang, Pan Zhou

机构 * Singapore Management University(新加坡管理学院) Tongyi Speech Lab(通义语音实验室) Dalian University of Technology(大连理工大学)

专题命中 推理评测 :reasoning(abstract);分类 cs.CL

AI总结 提出五种气灯攻击策略(愤怒、认知干扰、讽刺、隐晦、专业否定),在5个语音和多模态大语言模型上测试,发现平均准确率下降24.3%,揭示语音模型的行为脆弱性。

Comments 5 pages, 2 figures, 3 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.23420 2026-05-25 cs.CL 57%

Naturalistic measure of social norms alignment

社会规范一致性的自然主义度量

Yevhen Kostiuk, Kenneth Enevoldsen, Peter Bjerregaard Vahlstrup, Márton Kardos, Kristoffer Nielbo

机构 * Aarhus University(奥胡斯大学)

专题命中 推理评测 :reasoning(abstract);分类 cs.CL

AI总结 提出通过解决方案匹配在自然主义自由形式设置中测量社会规范一致性的框架,并引入陈述一致性和显式一致性两个指标,基于丹麦语社会困境数据集评估LLM与人类的一致性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.23067 2026-05-25 cs.CL 57%

What Training Data Teaches RL Memory Agents: An Empirical Study of Curriculum Effects in Memory-Augmented QA

训练数据教会RL记忆体代理什么:记忆增强问答中课程效应的实证研究

Xinjie He, Zhiyuan Lin, Su Liu, Jialun Wu, Qiyang Xie, Weikai Zhou, Shuai Xiao

机构 * Columbia University(哥伦比亚大学) Independent Researcher(独立研究者) Johns Hopkins University(约翰霍普金斯大学) Northeastern University(东北大学)

专题命中 推理评测 :reasoning(abstract);分类 cs.CL

AI总结 通过控制实验,研究训练课程(领域内、混合、领域外)对强化学习记忆体代理在记忆增强问答中的技能获取和专业化影响,发现课程组成作为专业化的细粒度杠杆,混合课程在整体F1上最优,而窄领域外课程可转移特定技能(如时间推理),并报告了将GRPO适配到单GPU环境的实用经验。

Comments 14 pages, 2 figures, 11 tables. Code, checkpoints, and evaluation artifacts available at https://github.com/EvaxHe/rl-memory-curriculum

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.15482 2026-05-25 cs.CL 57%

FINESSE-Bench: A Hierarchical Benchmark Suite for Financial Domain Knowledge and Technical Analysis in Large Language Models

FINESSE-Bench:面向大语言模型金融领域知识与技术分析的分层基准套件

Dmitry Stanishevskii, Nini Kamkia, Alexey Khoroshilov, Dmitry Zmitrovich, Denis Kokosinskii, Zhirayr Hayrapetyan, Andrei Kalmykov

机构 * Lime FinTech(Lime金融科技)

专题命中 推理评测 :reasoning(abstract);分类 cs.CL

AI总结 提出FINESSE-Bench,包含8个专业基准和3993个问题,通过分层设计(如CFA级别、CMT级别等)系统评估大语言模型从基础到专家级的金融能力,并引入基于LLM评判的自动评分方案。

Comments 21 pages, 10 tables, 2 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.18788 2026-05-25 cs.CL 57%

BURMESE-SAN: Burmese NLP Benchmark for Evaluating Large Language Models

BURMESE-SAN: 评估大语言模型的缅甸语NLP基准

Thura Aung, Jann Railey Montalan, Jian Gang Ngui, Peerat Limkonchotiwat

专题命中 推理评测 :reasoning(abstract);分类 cs.CL

AI总结 提出首个全面评估大语言模型在缅甸语上理解、推理和生成能力的基准BURMESE-SAN,包含七个子任务,并通过母语者驱动构建确保语言自然性和文化真实性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.22414 2026-05-22 cs.CV cs.AI 57%

Towards Clinically Interpretable Ophthalmic VQA via Spatially-Grounded Lesion Evidence

迈向具有空间定位病变证据的临床可解释性眼科VQA

Xingyue Wang, Bo Liu, Meng Wang, Zhixuan Zhang, Chengcheng Zhu, Huazhu Fu, Jiang Liu

机构 * Department of Computer Science and Engineering, Southern University of Science and Technology(南方科技大学计算机科学与工程系) The Hong Kong Polytechnic University(香港理工大学) National University of Singapore(新加坡国立大学) University of Washington(华盛顿大学) Institute of High Performance Computing, Agency for Science, Technology and Research(科技研究局高性能计算研究所)

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 本文提出FundusGround基准,通过空间定位病变证据提升眼科VQA的临床可解释性,通过三阶段流程收集标注病变的视网膜影像,并评估多种视觉语言模型在答案准确性和病变层面推理上的表现。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.04111 2026-05-22 cs.SE cs.AI cs.HC 57%

CentaurEval: Benchmarking Human-in-the-Loop Value in Agentic Coding

CentaurEval: 评估人机协同在编程中的价值

Hanjun Luo, Chiming Ni, Jiaheng Wen, Zhimu Huang, Yiran Wang, Bingduo Liao, Sylvia Chung, Yingbin Jin, Xinfeng Li, Wenyuan Xu, XiaoFeng Wang, Hanan Salam

机构 * New York University Abu Dhabi(纽约大学阿布扎克校区) Nanyang Technological University(南洋理工大学) University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) Harvard University(哈佛大学) Zhejiang University(浙江大学) University of Electronic Science and Technology of China(电子科技大学) Beijing University of Technology(北京理工大学) The Hong Kong Polytechnic University(香港理工大学)

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 本文提出CentaurEval基准测试,用于评估人机协同在编程中的价值。该基准测试通过协作必要问题模板,结合人类推理和AI效率,展示了人机协作在编程任务中的显著优势。

Comments Accepted by ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.13910 2026-05-22 cs.CL 57%

RAGCap-Bench: Benchmarking Capabilities of LLMs in Agentic Retrieval Augmented Generation Systems

RAGCap-Bench: 评估代理检索增强生成系统中LLM能力的基准测试

Jingru Lin, Chen Zhang, Stephen Y. Liu, Haizhou Li

机构 * National University of Singapore(新加坡国立大学) The Chinese University of Hong Kong(香港中文大学)

专题命中 推理评测 :reasoning(abstract);分类 cs.CL

AI总结 本文提出RAGCap-Bench,用于评估代理检索增强生成系统中中间任务的细粒度能力,通过分析现有系统输出识别常见任务和核心能力,设计针对性评估问题,实验表明增强中间能力的模型能获得更好的整体性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.21807 2026-05-22 cs.CL 57%

When Cases Get Rare: A Retrieval Benchmark for Off-Guideline Clinical Question Answering

当案例变得稀少时:一个用于偏离指南临床问答的检索基准

Doeun Lee, Muge Zhang, Yi Yu, Ashish Manne, Stephen Koesters, Frank Wen, Brady Buchanan, Lynda Villagomez, Oluwatoba Moninuola, James Lim, Kathryn Tobin, Andrew Srisuwananukorn, Ping Zhang, Sachin Kumar

机构 * The Ohio State University(俄亥俄州立大学) The Ohio State University Wexner Medical Center(俄亥俄州立大学韦克斯纳医学中心) University of Chicago Medical Center(芝加哥大学医学中心)

专题命中 推理评测 :reasoning(abstract);分类 cs.CL

AI总结 本文提出OGCaReBench基准,用于评估医疗问答中超越常规指南的开放性推理能力,通过检索医学文献提升模型在真实世界医疗场景中的表现。

Comments 34 pages, 20 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.21773 2026-05-22 cs.CR cs.LG 57%

HIDBench: Benchmarking Large Language Models for Host-Based Intrusion Detection

HIDBench: 用于基于主机入侵检测的大型语言模型评估

Danyu Sun, Jinghuai Zhang, Yuan Tian, Zhou Li

机构 * University of California, Irvine(加州大学洛杉矶分校) University of California, Los Angeles(加州大学洛杉矶分校)

专题命中 推理评测 :reasoning(abstract);分类 cs.LG

AI总结 本文提出HIDBench基准测试,用于评估大型语言模型在支持基于主机的入侵检测系统(HIDS)中的能力,揭示了LLM在复杂系统日志数据中的性能差异和敏感性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.21758 2026-05-22 cs.AI 57%

A Causal Argumentation Method for Explainability of Machine Learning Models

一种用于机器学习模型可解释性的因果论辩方法

Henry Salgado, Meagan R. Kendall, Martine Ceberio

机构 * Department of Computer Science, The University of Texas at El Paso, El Paso, TX, USA(计算机科学系,德克萨斯理工大学埃尔帕索分校) Department of Engineering Education and Leadership, The University of Texas at El Paso, El Paso, TX, USA(工程教育与领导力系,德克萨斯理工大学埃尔帕索分校)

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 本文提出一种结合因果推理和论辩推理的方法,用于解释机器学习模型为何做出特定预测,通过因果发现方法识别变量间的因果关系,并将其转化为双极论辩框架来表示特征间的支持与反对交互,最终通过半稳定语义确定解释性特征扩展。

Comments To be published in The 4th World Conference on eXplainable Artificial Intelligence

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.21545 2026-05-22 cs.SE cs.AI 57%

RefusalBench: Why Refusal Rate Misranks Frontier LLMs on Biological Research Prompts

RefusalBench: 为什么拒绝率错误排名前沿大语言模型在生物研究提示中的表现

Lukas Weidener, Marko Brkić, Mihailo Jovanović, Emre Ulgac, Aakaash Meduri

机构 * Applied Scientific Intelligence, Inc.(应用科学智能公司)

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 本文提出RefusalBench,通过141个提示的47组匹配三元组,评估前沿大语言模型在生物研究提示中的拒绝行为,发现拒绝率错误排名安全校准,揭示了模型在不同风险层级下的表现差异。

Comments 34 pages, 4 figures, 12 tables (10 in main text, 2 in supplementary). Code and data: https://github.com/AppliedScientific/refusalbench

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.17998 2026-05-22 cs.SE cs.AI 57%

Verify-Gated Completion as Admission Control in a Governed Multi-Agent Runtime: A Bounded Architecture Case Study

验证门控完成作为受控多智能体运行时的准入控制:一个有界架构案例研究

Hai-Duong Nguyen, Xuan-The Tran

机构 * Vietnam Maritime University(越南海防大学)

专题命中 推理评测 :verifier(abstract);分类 cs.AI

AI总结 本文研究了验证门控完成作为受控多智能体运行时的准入控制机制,通过一个有界参考实现,探讨了可审计的验证门控完成所能支持的信息,并分析了其在不同场景下的表现和限制。

Comments 39 pages, 2 figures, 17 tables. Preprint

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.02604 2026-05-22 cs.LG 57%

Heterogeneous Agent Collaborative Reinforcement Learning

异质智能体协作强化学习

Zhixia Zhang, Zixuan Huang, Gongxun Li, Huaiyang Wang, Chengyi Yuan, Xin Xia, Deqing Wang, Fuzhen Zhuang, Shuai Ma, Ning Ding, Yaodong Yang, Jianxin Li, Yikun Ban

机构 * Beihang University(北航) Bytedance China(字节跳动中国) Tsinghua University(清华大学) Peking University(北京大学) Apple(苹果公司)

专题命中 推理评测 :reasoning(abstract);分类 cs.LG

AI总结 本文提出了一种新的强化学习从可验证奖励(RLVR)问题HACRL,通过异质智能体共享验证的轨迹实现协同优化,解决了孤立多智能体在线优化的效率问题,并提出HACPO算法以最大化样本利用率和跨智能体知识转移。

详情

展开后加载摘要…

URL PDF HTML 收藏