AI 大模型
大模型数学、逻辑、规划、多步推理和测试时计算能力。
MedExpMem：适应经验记忆用于鉴别诊断
机构 * The Chinese University of Hong Kong（香港中文大学） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG
AI总结 提出MedExpMem经验记忆框架，通过存储和利用诊断失败中的判别经验，增强医学视觉语言模型的鉴别诊断能力，在放射学基准上最高提升7.0%准确率。
Comments MICCAI 2026 Early Accept. Submission Version
衡量跨模态协同：VLM可解释性的一个基准
机构 * University of Luxembourg（卢森堡大学） ； Luxembourg Institute of Health (LIH)（卢森堡健康研究院）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出Synergistic Faithfulness作为衡量VLM跨模态协同的指标，解决了传统单模态评估方法在评估VLM可解释性时的不足，通过引入Shapley交互指数，实现了对多模态协同的准确评估，同时提升了计算效率。
TextSeal: 一种用于溯源与蒸馏保护的本地化大语言模型水印
机构 * FAIR, Meta Superintelligence Labs（FAIR，Meta超智能实验室）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG
AI总结 本文提出TextSeal，一种先进的大语言模型水印技术，通过Gumbel-max采样引入双密钥生成以恢复输出多样性，并结合熵加权评分和多区域定位提升检测性能。该方法支持推测解码和多令牌预测等服务优化，不增加推理开销。在检测强度上严格优于基线方法SynthID-text，并对稀释具有鲁棒性，即使在混合的人类/AI文档中也能保持自信的本地化检测。理论上该方案无失真，经推理基准评估证实其保持下游性能；同时通过多语言人工评估（6000次A/B对比，5种语言）显示无明显质量差异。除了用于溯源检测外，TextSeal还具有'放射性'特性：其水印信号通过模型蒸馏传递，可检测未经授权的使用。
MoralityGym：用于评估序列决策代理中分层道德对齐的基准
机构 * University of the Witwatersrand（威特沃特斯兰大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出MoralityGym基准，通过将道德规范表示为有序的规范约束，评估序列决策代理中分层道德对齐的挑战，展示了98个伦理困境问题，并通过心理学和哲学的见解改进了伦理决策方法。
Comments Accepted at AAMAS 2026
Journal ref Proc of the 25th International Conference on Autonomous Agents and Multiagent Systems AAMAS 2026, Paphos, Cyprus, May 25 to 29, 2026, IFAAMAS
AutoRubric-T2I: 一种用于文本到图像对齐的鲁棒基于规则的奖励模型
机构 * University of California, Los Angeles（加州大学洛杉矶分校）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出AutoRubric-T2I，一种首个用于文本到图像生成的规则学习框架，通过自动合成和选择显式规则来指导视觉语言模型（VLM）法官。该方法通过合成偏好对的推理轨迹生成候选规则，并利用VLM法官在每种规则下对配对图像进行评分，产生配对规则评分差异用于偏好学习。通过ℓ1正则化逻辑回归精简器去除噪声和冗余规则，从而在少量标注偏好数据下生成高质量、可解释的奖励信号，并在多个图像奖励基准测试中优于现有奖励模型基线。
Comments 27 pages
通过语义层面奖励校准大型语言模型
机构 * Department of Computer Science and Engineering, University of California San Diego, La Jolla, California, USA（加州大学圣地亚哥分校计算机科学与工程系，拉贾尔，加利福尼亚州，美国） ； Halıcıoğlu Data Science Institute, University of California San Diego, La Jolla, California, USA（加州大学圣地亚哥分校Halıcıoğlu数据科学研究所，拉贾尔，加利福尼亚州，美国） ； Department of Statistics, Stanford University, Stanford, California, USA（斯坦福大学统计学系，斯坦福，加利福尼亚州，美国）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG
AI总结 本文提出了一种新的校准框架CSR，通过在语义空间中直接校准语言模型，避免了传统方法中因词汇化置信度导致的不一致问题，实验显示CSR在多个数据集上均能有效降低ECE并提高AUROC。
FT-Dojo: 向自主LLM微调迈进的语言代理
机构 * Peking University（北京大学） ； Nanjing University（南京大学） ； Microsoft Research Asia（微软亚洲研究院） ； The University of Chicago（芝加哥大学）
专题命中 推理评测 ：planning(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出FT-Dojo交互式基准环境，用于研究自主LLM微调，通过标准化任务接口、共享数据仓库、沙盒执行环境和反馈协议，开发了FT-Agent框架，实现了结构化迭代规划和多级反馈分析，实验显示FT-Agent在13个任务中表现优异，且展示了代理在故障恢复和长期规划中的能力。
Comments 26 pages, 6 figures, 11 tables
代理记忆的解剖结构：评估和系统限制的分类与实证分析
机构 * University of Texas at Dallas（德克萨斯大学达拉斯分校） ； University of California Davis（加州大学戴维斯分校） ； Texas A&M University（德克萨斯农工大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI
AI总结 本文通过分类和实证分析，探讨了代理记忆系统的架构和系统限制，揭示了现有系统在基准饱和效应、指标有效性、模型依赖性和内存维护开销等方面的问题，并提出了更可靠的评估方法和可扩展的系统设计方向。
END：早期噪声丢弃以实现高效有效的上下文去噪
机构 * Amazon（亚马逊）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出END方法，通过在早期层对输入序列进行分割和线性探针，有效识别并丢弃噪声部分，从而提升LLM在不同任务上的性能和效率，同时加深了对LLM内部上下文推理机制的理解。
进化编码代理进化什么？
机构 * Zuse Institute Berlin（柏林Zuse研究所） ； Technical University of Berlin（柏林技术大学） ； Hong Kong Baptist University（香港 Baptist大学） ； RIKEN Center for Advanced Intelligence Project（RIKEN高级智能项目中心）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG
AI总结 本文研究了进化编码代理在数学发现和算法设计中通过任务特定反馈生成、修改和选择代码的过程，通过EvoTrace数据集和EvoReplay方法分析了进化过程中的机制，发现大部分得分提升来自少数几种编辑类型，并发现存在确定性的循环模式。
Comments 28 pages, 12 figures, 12 tables
LP-Eval: 用于衡量法律命题生成质量的评估标准和数据集
机构 * University of Copenhagen（哥本哈根大学） ； Umeå University（乌梅拉大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出LP-Eval，一种与法律专家共同设计的三步评估标准，用于评估法律命题的质量，通过专家标注的100个LLM生成的法律命题数据集，展示了LLM生成的命题质量较高，但专家评估发现基于经典案例的命题质量更高，同时发现基于评估标准的LLM判断更接近专家评估，但缺乏对细粒度区别的敏感性。
MINTEval: 评估长时间跨度智能体系统中的多目标干扰下的记忆
机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出MINTEval基准，用于评估智能体在长时间跨度和多目标干扰下的记忆表现，通过长连接上下文、多领域和多类型问题来测试记忆增强代理的鲁棒性和泛化能力。
Comments Equal contribution; order decided by a coin flip. Code and data: https://github.com/amy-hyunji/MINTEval
通过国际象棋解构大型语言模型中的泛化与记忆
机构 * Technical University of Munich（慕尼黑技术大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI
AI总结 本文通过国际象棋测试环境，研究大型语言模型中泛化与记忆能力的区别，发现模型在相关先验知识稀疏时性能显著下降，表明系统泛化能力有限，需超越规模的机制来实现鲁棒性。
WARC-Bench：基于网络存档的GUI子任务执行基准
机构 * Uniphore
专题命中 推理评测 ：planning(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出WARC-Bench，一个基于网络存档的GUI子任务执行基准，通过438个任务评估多模态AI代理在子任务上的能力，实验表明SFT和RLVR方法在提升子任务执行效果上取得显著成果。
通过代理指标预测大语言模型的下游性能
机构 * Mila – Quebec AI Institute & McGill University（魁北克AI研究院与麦吉尔大学） ； CIFAR AI Chair（CIFAR人工智能主席） ； ServiceNow Research Periodic Labs（ServiceNow研究周期实验室）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG
AI总结 本文提出通过聚合候选模型的下一个token分布中的token级统计信息（如熵、top-k准确率和专家token排名）来构建代理指标，以更准确地预测大语言模型的下游性能，优于传统的损失和计算量基线方法。
Comments Preprint. 31 pages
STT-Arena：一种更现实的工具使用环境，包含时空动态
机构 * Hong Kong Institute of AI for Science, City University of Hong Kong（香港人工智能科学研究院，香港城市大学） ； Department of Data Science, City University of Hong Kong（数据科学系，香港城市大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Li Auto Inc.（李汽有限公司） ； Independent Researcher（独立研究者）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出STT-Arena基准测试，旨在评估大型语言模型在面对时空动态变化时的适应性规划能力，发现现有模型在处理此类动态问题时存在显著不足，并提出改进方法STT-Agent-4B以提升性能。
Comments Work in progress
OSWorld-Human: 评估计算机使用代理的效率基准
机构 * OpenAI ； Anthropic ； Google DeepMind（谷歌DeepMind） ； ByteDance（字节跳动） ； Agent S2 ； GTA1 ； Lei ； Jedi
专题命中 推理评测 ：planning(abstract)；分类 cs.AI、cs.LG
AI总结 本文研究了计算机使用代理在OSWorld基准上的时间性能，发现大模型调用导致高延迟，并构建了包含人类轨迹的OSWorld Human数据集，评估发现最佳代理仍需更多步骤。
SocialMemBench: AI记忆系统是否准备好应对社交群体环境？
机构 * Independent Researcher（独立研究者）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出SocialMemBench，一个针对多党社交群体的AI记忆系统评估基准，通过人类验证的合成社交网络，测试记忆系统在处理共享历史、群体规范和成员退出等复杂社交场景中的能力。
验证你的权威：在多标签先例处理分类上对LLM进行基准测试
机构 * Department of Information Science and Technology（信息科学与技术系） ； College of Emergency Preparedness, Homeland Security, and Cybersecurity（应急准备、国土安全与网络安全学院） ； University at Albany, SUNY（萨利纳大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出了一种新的评估框架，通过专家标注的数据集对现代大语言模型进行基准测试，引入了平均严重性误差指标，以更准确地衡量分类错误的实践影响。
Comments Accepted for publication at the Natural Legal Language Processing Workshop (NLLP) 2025, co-located with EMNLP
泛化还是记忆？国际象棋训练语言模型的脆弱性测试
机构 * School of Computing and Augmented Intelligence（计算与增强智能学院）
专题命中 推理评测 ：verifier(abstract)；分类 cs.CL、cs.AI
AI总结 本文研究了国际象棋训练语言模型是泛化还是记忆，通过测试发现其高性能主要源于模式匹配，并展示了LLM-Modulo框架在提升国际象棋谜题解决性能上的效果，证明了与外部验证器结合的通用LLM比直接训练合成数据更灵活。
Comments 14 pages, 2 figures, 4 tables, 3 equations
QQJ: 量化定性判断以实现可扩展且与人类对齐的生成AI评估
机构 * AI Lab, Arioobarzan Engineering Team（艾伊罗巴赞工程团队人工智能实验室） ； Department of Computer Engineering and Information Technology（计算机工程与信息科技系） ； Department of Informatics, Bioengineering, Robotics and Systems Engineering（信息学、生物工程、机器人与系统工程系） ； University of Genoa（热那亚大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出QQJ框架，通过专家设计的多维评分标准和高质量标注集校准大语言模型评估器，实现与人类判断一致的可扩展评估方法，验证了结构化定性判断在大规模应用中的有效性。
ADR：一种用于企业代理AI安全的代理检测系统
机构 * Uber
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出ADR系统，一种大规模、经过生产验证的企业框架，用于安全地管理通过模型上下文协议（MCP）运行的AI代理。该系统解决了三个关键问题：观测有限、鲁棒性不足和检测成本高，并通过三个组件实现了这些目标：ADR传感器、ADR探索器和ADR检测器。
Comments Accepted at MLSys 2026 (Industry Track)
迈向低资源语言LLM鲁棒多语言适应
机构 * Department of Automation, Tsinghua University, Beijing, China（清华大学自动化系） ； Alibaba International Digital Commerce Group, Beijing, China（阿里巴巴国际数字 commerce 集团） ； School of Software, Tsinghua University, Beijing, China（清华大学软件学院）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出LiRA框架，通过轻量级微调实现低资源语言LLM的鲁棒多语言适应，结合Arca和LaSR组件提升跨语言语义一致性与表示稳定性。
Comments Accepted by ICML 2026
PluRule：一种用于社交媒体上多元社区调节的基准测试
机构 * Observatory on Social Media, Indiana University, USA（社交媒体观察站，印第安纳大学，美国） ； Center Synergy of Systems, TUD Dresden University of Technology, Germany（系统协同中心，德累斯顿技术大学，德国）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI
AI总结 研究探讨了AI模型在调节社交媒体上多元社区中的挑战，提出PluRule基准测试以检测13371条规则违规情况，发现即使使用最先进的视觉语言模型，也难以有效识别违规行为。
Comments Accepted to ACL 2026 Main Conference
LLMs能否像消费者一样思考？通过ConsumerSimBench进行大众级反应重建的基准测试
机构 * Shanghai Jiao Tong University（上海交通大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出ConsumerSimBench基准，通过1553个真实中国社交媒体话题和23122个原子化、规则审核过的标准，评估LLM在模拟消费者反应方面的能力，揭示了前沿模型在预测高语境中文消费者讨论中实际关心内容方面的不足。
SKG-Eval: 通过增量语义知识图谱进行多轮对话的有状态评估
机构 * Maulana Abul Kalam Azad University of Technology（Maulana Abul Kalam Azad 工业技术大学） ； National Institute of Technology Durgapur（Durgapur 国家理工大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出SKG-Eval框架，通过增量语义知识图谱模型，解决多轮对话评估中长距离不一致问题，提供可解释的评估信号和可复现的评分结果。
Comments 36 Pages, 6 Figures
CoCoReviewBench：面向AI审稿人完整性和正确性的基准测试
机构 * Institute of Computing and Intelligence, Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学深圳研究院） ； Zhongguancun Academy, Beijing, China（中关村学院） ； Faculty of Computing, Harbin Institute of Technology, Harbin, China（哈尔滨工业大学计算机学院） ； Department of Computer Science and Engineering, Southern University of Science and Technology, Shenzhen, China（南方科技大学计算机科学与工程系） ； NLP²CT Lab, Department of Computer and Information Science, University of Macau, China（澳门大学自然语言处理实验室）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出CoCoReviewBench，通过构建领域特定的基准子集和专家注释，提升AI审稿人评估的完整性和正确性，分析显示AI审稿人仍存在正确性不足和幻觉问题，强调推理模型的优越性。
Comments Accepted by ICML 2026
DevBench：一个现实的、面向开发者的代码生成模型基准测试
机构 * California Institute of Technology（加州理工学院） ； Microsoft（微软公司）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG
AI总结 DevBench通过真实开发者数据和生成模型合成，构建了包含六种编程语言和任务的1800个实例，评估大语言模型在代码补全任务中的表现，揭示模型在语法精度、语义推理和实用价值上的差异。
帮助陷入困境的客户：一个基于LLM的代理，能够对话、探测和分流
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出一个基于LLM的AI分流代理，通过多轮对话和提问提高客户问题分类准确性，提升银行客户服务效率。
LEAP：LLM在迭代科学设计中的轨迹级评估
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出LEAPBench框架，通过轨迹级评估方法揭示LLM在迭代科学设计中的学习效率，发现传统基于结果的评估方法存在偏差，轨迹指标能更准确反映效率提升。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈