AI 大模型
大语言模型、预训练、指令微调、后训练和语言模型应用。
OpenRTAG：数据质量退化下鲁棒文本属性图学习的综合基准
专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI
AI总结 针对现实中TAGs存在质量问题影响学习的情况，提出OpenRTAG基准，将质量问题分类，支持多数据集和任务的标准化评估，能系统评估场景与模型，比较多种模型，研究基线情况及复合场景下模型行为，为理解TAG学习鲁棒性提供平台。
Comments 9 pages, 10 figures, 3 tables
PertReason：用于细胞状态条件下扰动效应机制推理的知识基础基准和框架
机构 * Texas A&M University（德克萨斯农工大学）
专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.LG
AI总结 研究针对科学领域机器学习评估难题，引入PertReason基准和框架套件，通过PertReasonQA测试模型，结合多数据与知识图谱，发现现有模型预测与推理差距，提出PertReasonLM，为科学系统中忠实推理失败提供诊断框架。
Comments Preprint; 31 pages; Dongkwan Kim and Yiming Gao contributed equally to this work
危险还是异常？评估用于理解危险和差异的视觉语言模型
机构 * Interactive Robotics and Language Lab, University of Maryland Baltimore County（马里兰大学巴尔的摩县分校交互式机器人与语言实验室） ； DEVCOM Army Research Laboratory（陆军研究实验室）
专题命中 评测与基准 ：language model(abstract)；prompting(abstract)；分类 cs.AI
AI总结 研究针对现代安全关键系统中VLM的评估问题，通过明确区分危险和异常，在两个数据集及多种提示策略下评估多个先进VLM，发现其常误判，明确区分能提供更具信息性评估并揭示失败模式。
Comments 8 pages, accepted to RO-MAN 2026
通过证据链评估进行校准的选择性事实核查
机构 * Zhejiang University（浙江大学）
专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 针对大语言模型事实核查的可靠性问题，提出证据链评估框架ECE，通过网络搜索等收集证据并返回结构化裁决。在ECE - Bench上有较好表现，虽总体校准指标未超最强基线，但实现了选择性预测权衡，弃权可处理弱证据。
SAGA：用于时间基准生成的合成智能体图架构
机构 * University of Memphis（密苏里大学）
专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI
AI总结 针对时间图基准稀缺问题，SAGA系统通过四阶段管道生成大规模语义丰富的时间图，其架构解耦结构与语义，能实现结构真实性、语义丰富性和自动异常标注，在单个H100 GPU上高效生成大量带受控异常的时间边。
基于数据优先本体的显式世界模型：DaoQL多模态存储验证与反事实推理评估
机构 * School of Mathematics and Statistics, Chongqing University（重庆大学数学与统计学院） ； Guangzhou Polytechnic Normal University（广州技术师范大学）
专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 研究大型语言模型隐式编码世界模型的风险，提出数据优先本体并构建DaoQL多模态数据库。通过形式化显式世界模型，对比隐式模型优势。实验展示系统性能，如在反事实实验中DaoQL+GPT-4o可组合反事实可分解性大幅提升。
Comments 20 pages, 2 figures. Code: https://github.com/zhanbolee/DaoQL-Edu
感知通用人工智能：可信度取决于维度完整性，而非能力
机构 * University of Bucharest（布加勒斯特大学）
专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 研究探讨大语言模型在对话中缺乏思维存在感的问题，提出可信度取决于维度完整性的假设，定义了时间、真相、熵和爱四个维度及相关行为立场，识别出行为层，还陈述了可证伪预测，为感知通用人工智能提供概念框架。
Comments 12 pages, 1 figure, 3 tables
行动之前：在前瞻性假设发现任务上对大语言模型进行基准测试
机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； Alibaba Group（阿里巴巴集团）
专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 研究旨在评估大语言模型在开放式结论前阶段的发现能力，引入前瞻性假设发现任务及评估框架HypoArena，提出回顾性上下文回归构建基准数据，实验揭示模型能力分层及效应，结果支持将其作为评估大语言模型制定调查方向的独特目标。
IMBench：直观机器人操作的基准测试
专题命中 评测与基准 ：language model(abstract)；foundation model(abstract)；分类 cs.AI
AI总结 IMBench旨在评估直观机器人操作这一综合能力，其任务含物理结构推断与动作序列生成。通过35个任务等进行实验，发现视觉语言模型和视觉 - 语言 - 动作模型的不足，为评估和发展物理智能提供基准。
Comments Accepted to SemRob Workshop, RSS 2026. Project Website: https://imbench.org/
MGDT：具有关系自适应专家混合的MLLM引导扩散变压器用于多模态知识图谱补全
机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Zhejiang University（浙江大学） ； University of Science and Technology of China（中国科学技术大学） ； Communication University of China（中国传媒大学）
专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 研究多模态知识图谱补全问题，提出MGDT框架，先通过RASR-MoE模块选路径、抑干扰，再用MLLM对齐表示，最后KGDT去噪生成，实验证明该框架在三个基准数据集上性能优于基线。
Comments 8pages, 6 figures
试验中的评分标准：通过合成成对证据从单个查询中演化评分标准
机构 * School of Computing, National University of Singapore（新加坡国立大学计算学院） ； Xiaohongshu Inc.（小红书公司） ； School of Cyber Science and Technology, Zhejiang University（浙江大学网络空间安全学院） ； School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院） ； School of Statistics and Data Science, Shanghai University of Finance and Economics（上海财经大学统计与数据科学学院） ； Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 研究针对构建可靠特定查询评分标准难的问题，提出“试验中的评分标准”框架，仅从查询演化评分标准集，靠合成响应对获取监督并验证，实验证明该框架有效，平均准确率最佳且在多数评估集领先。
ChronoQG：迈向用于时态知识图谱问题生成的具有时态表现力和跳数限制的基准
机构 * Nankai University（南开大学） ； Peking University（北京大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Shanghai University of Finance and Economics（上海财经大学）
专题命中 评测与基准 ：LLM(abstract)；prompting(abstract)；分类 cs.LG
AI总结 研究时态知识图谱问题生成，提出ChronoQG框架，通过整合多种方法构建有时态表现力和跳数限制的基准数据集，评估多种设置下的相关方法，揭示静态KGQG与TKGQG差距，为时态忠实问题生成提供测试平台。
Comments Preprint
通过反事实估计加速A/B测试：通过策略重叠降低方差
专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.LG
AI总结 研究在线控制实验中A/B测试方差大成本高问题，提出利用策略重叠加速实验的新协议，将随机处理分配机制视为元策略，用Δ-离策略估计方法获无偏估计，理论和实证证明该方法可提升效率，有望用于多种系统评估。
人工智能生成的反馈效果如何？对20000多篇外语作文草稿的内在和外在评估
机构 * Tohoku University（东北大学） ； RIKEN（理化学研究所） ； ALTA Institute, Computer Laboratory, University of Cambridge（剑桥大学ALTA研究所，计算机实验室） ； CNRS, LIS, Aix-Marseille University（法国国家科学研究中心，艾克斯-马赛大学语言信息处理实验室） ； MBZUAI（Mohamed bin Zayed大学人工智能学院）
专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 研究外语写作中人工智能生成的书面纠正性反馈效果，通过大学外语班级近2000名学生的超20000篇草稿，从教师内在评估和学生外在反馈两角度评估，发现传统专家评估与学生反馈一致性低，强调以学习者为中心评估框架的重要性。
Comments Pre-review version of DOI https://doi.org/10.1007/978-3-032-29788-4_35, presented at AIED 2026 Late Breaking Results. Readers are encouraged to refer to the published version
Journal ref AIED CCIS 3031 (2026) 247-253
Chat2Scenic：一种基于迭代检索增强生成的自动驾驶场景生成框架
机构 * Technical University of Munich（慕尼黑工业大学） ； Munich Institute of Robotics and Machine Intelligence (MIRMI)（慕尼黑机器人与机器智能研究所） ； University College London（伦敦大学学院）
专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 研究自动驾驶场景生成难题，提出Chat2Scenic这一基于迭代检索增强生成的框架，通过聊天机器人界面及RAG技术生成DSL场景脚本，构建开放基准，评估结果显示其性能优于现有方法。
Comments Accepted at 2026 IEEE International Conference on Intelligent Robots and Systems (IROS)
在无穷小非组合草图中学习
机构 * Adobe Research（Adobe研究院） ； University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.LG
AI总结 研究如何通过LINCS框架修复机器学习中非组合性问题，将问题指定为草图，利用切提升和INC自函子，把机器学习表述为寻找余代数不动点，证明特定条件下最终INC余代数存在，正进行多场景实验评估。
根因分析在实际遥测数据上能走多远？
专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI
AI总结 研究生产微服务故障根因分析难题，提出结构化多智能体RCA管道，性能超现有方法。引入反向推理智能体和自动规则挖掘管道，发现故障证据多，瓶颈在智能体推理能力，模型推理和领域知识是主要限制，进步需模型改进。
SemaDiff：使用生成的代码和测试识别语义变化的提交
机构 * SnT, University of Luxembourg（卢森堡大学SnT分校） ； RIADI, ENSI, University of Manouba（突尼斯曼努巴大学RIADI与ENSI分校） ； Concordia University（康科德大学）
专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 研究软件仓库挖掘中区分语义保留与变化提交的问题，提出SemaDiff方法，通过行为分析、生成额外调用方法及依赖类等，实现对提交的语义判断，实验表明该方法能较准确地区分，语义变化提交检测精度高。
IQA-T1：基于工具的图像质量评估视觉证据推理
机构 * School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机科学学院） ； The Hong Kong University of Science and Technology（香港科技大学）
专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 针对开放世界图像质量评估难题，提出IQA-T1框架，通过自主调用工具生成视觉证据增强多模态大语言模型推理，构建Q-Tool数据集，实验表明该框架性能最佳且评估可解释、基于证据。
Comments Accepted by ECCV 2026
高级数学基准测试：用于高级数学证明生成与验证的基准测试套件
机构 * Shanghai AI Laboratory（上海人工智能实验室） ； MMLab, The Chinese University of Hong Kong（香港中文大学多媒体实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Great Bay University（大湾区大学）
专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 介绍用于评估高级数学推理能力的AdvancedMathBench基准测试套件，含ProverBench证明生成基准及自动验证管道，还有VerifierBench。实验显示前沿模型在证明生成与验证上表现不佳，该套件对模型提升高级数学证明能力有挑战。
GEIS：用于长篇文章生成的智能体技能生成-评估-改进循环
机构 * Speech Processing and Machine Intelligence (SPMI) Lab, Tsinghua University, China（清华大学语音处理与机器智能实验室） ； TasiTech Co., Ltd., China（泰赛科技有限公司）
专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 针对长篇文章生成难题，提出GEIS循环，通过在Tasi Harness中实现文章写作、证据图像收集等技能，经核心写作、成对评估及改进技能，在20个主题实验中提升了PDF质量得分，证明可将其转变为可改进循环。
AMT-X：基于清单门控评估的阶段结构化多轮红队测试
机构 * Vulcan Research, AIFT（Vulcan研究，AIFT）
专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 研究针对大语言模型安全评估问题，提出AMT-X框架，将攻击设为多阶段状态机，用多角色评审团取代单评判评分，在六个前沿受害者模型和七个审核子类别测试中，不同门控下攻击成功率有显著差异，揭示了部分与完全可操作危害的差距。
Comments A reference implementation is available at https://github.com/VulcanLab/amt-x
NextFund：用于智能投资组合管理的统一绩效跟踪平台
机构 * Paradoox AI Research（帕拉多克斯人工智能研究）
专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 研究基于大语言模型智能体参与投资组合管理的评估问题，提出NextFund平台，通过时间一致的市场准入等实现智能体行为可观察，能跨市场比较模型等，在多地股票上展示其可实现更公平基准测试和可行诊断的作用。
大语言模型会编造法律引用吗？关于沙特数据保护法和通用数据保护条例的双语基准测试
机构 * IT Department, King Abdulaziz University, Jeddah, Saudi Arabia（国王阿卜杜勒阿齐兹大学信息科技系）
专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 研究大语言模型对法律引用的编造情况，通过120个双语问题的基准测试评估三个模型，发现对GDPR和沙特PDPL存在管辖权差距，编造与法律管辖权有关，模型置信度无法保障，提出用逐字验证保障合规筛选。
Comments 5 pages, 3 tables. Benchmark data and model outputs to be released. Also archived at Zenodo: 10.5281/zenodo.21320218
modelDNA：从采样权重指纹进行校准谱系验证和合并分解
专题命中 评测与基准 ：language model(abstract)；foundation model(abstract)；分类 cs.LG
AI总结 研究开放权重语言模型谱系验证问题，提出modelDNA工具，通过HTTP读取指纹识别模型，与参考数据库比较并返回判定类别，实现高AUROC和零误报，还能进行合并分解，恢复混合权重，公开相关数据可离线重现。
Comments Code: https://github.com/AwaisAdilKhokhar/modelDNA . Data: https://huggingface.co/datasets/AwaisAdilKhokhar/modeldna-atlas . Live scanner: https://huggingface.co/spaces/AwaisAdilKhokhar/modelDNA . DOI: 10.5281/zenodo.21305586
GitHub 上 MCP 实现的大规模数据集
机构 * Oakland University（奥克兰大学） ； University of North Carolina Wilmington（北卡罗来纳州温斯洛普大学）
专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 该研究针对模型上下文协议（MCP）在开源开发中的应用情况，通过混合管道从 GitHub 收集并验证相关数据，构建了大规模数据集，分析得出 Python 和 TypeScript 主导 MCP 开发且混合架构最常见，为 MCP 生态系统研究建立基准并支持相关未来研究。
Journal ref Proceedings of MSR '26: 23rd International Conference on Mining Software Repositories, April 13-14, 2026, Rio de Janeiro, Brazil. ACM, 2026
动态智能体技能：不断演进的技能库的生命周期调查与分类法
机构 * Carnegie Mellon University（卡内基梅隆大学）
专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 研究大型语言模型智能体中技能库随时间的变化，通过分类法、生命周期架构和技能记录模式等工具组织文献，合成证据分级模式，指出相关问题并提出报告标准及开放问题。
Comments Accepted by TMLR (2026.07), OpenReview Link: https://openreview.net/forum?id=cjU3YbcRr8
Journal ref Transactions on Machine Learning Research, 2026
简单提示重构绕过谷歌MedGemma-4B中的安全护栏
机构 * Department of Information Science and Applied Artificial Intelligence, Bar-Ilan University, Ramat Gan, Israel（信息科学与应用人工智能系，巴伊兰大学，拉马特甘，以色列）
专题命中 评测与基准 ：LLM(abstract)；language model(abstract)；分类 cs.AI
AI总结 研究谷歌MedGemma-4B在安全护栏方面的问题，构建全因子基准测试，通过多种攻击方式和法官编码量化其表现，发现重新解释请求的框架能提高攻击成功率，且稳健性受主题主导，呼吁为开放医学模型加强部署时护栏。
PHITSBench：用于使用自然语言生成人工智能辅助的PHITS辐射传输输入的执行评分基准
机构 * MIT（麻省理工学院）
专题命中 评测与基准 ：foundation model(abstract)；prompting(abstract)；分类 cs.AI
AI总结 介绍用于PHITS辐射传输输入生成的PHITSBench基准，涵盖三类任务。评估五种基于GPT - 5.4的配置，无特定知识时模型在编辑和修复任务表现好，Reproduce任务差。知识目录和智能体执行可提升成功率，结果显示建模进展依赖多方面因素。
十年视觉语言人工智能模型中准确性和视觉认知错误的演变
机构 * Psychological & Brain Sciences, University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校心理与脑科学系） ； Department of Computer Science, University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校计算机科学系） ； Department of Electrical and Computer Engineering, University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校电气与计算机工程系）
专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 研究十年间视觉语言模型进展，引入CSB数据集，评估模型在其上及MS-COCO样本中的准确性与视觉认知错误类型，发现MLLM消除简单与复杂场景描述准确性差距，几乎消除多数错误类型，为模型发展提供全面评估。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈