AI 大模型
大语言模型、预训练、指令微调、后训练和语言模型应用。
揭示大型语言模型及其基准测试中的能力差距
机构 * University of Zurich（苏黎世大学）
专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出一种基于稀疏自编码器概念激活的新方法，自动发现模型在细粒度概念上的弱点（模型差距）和基准测试覆盖不平衡（基准差距），并通过内部表示评估和跨基准比较进行验证。
Journal ref ICML 2026
经验更优：用于证据基础健康社区笔记的自进化LLM智能体
机构 * National University of Singapore（国立新加坡大学） ； Yunnan University（云南大学） ； The Ohio State University（俄亥俄州立大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 提出EvoNote框架，通过自进化经验记忆和细粒度信用分配，在健康社区笔记生成中实现证据获取、分析与撰写，显著提升笔记质量并缩短生成时间。
InFerActive: 基于交互式树的安全评估中LLM采样探索
机构 * Seoul National University（首尔国立大学）
专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI
AI总结 提出InFerActive系统，通过广度优先采样构建可导航短语树，提升LLM安全评估中低概率有害输出的覆盖率和效率，相比随机采样减少5倍样本量。
Comments v2: Revised version
使用多片段视频破解多模态大语言模型
机构 * Department of Applied Artificial Intelligence, Sungkyunkwan University（应用人工智能系，成均馆大学） ； Department of Human-Artificial Intelligence Interaction, Sungkyunkwan University（人机交互系，成均馆大学）
专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI
AI总结 提出MCV SafetyBench数据集，通过多片段视频评估多模态大语言模型的安全漏洞，发现视频模态比图像更脆弱，动态和多样化上下文增加攻击成功率，并基于图像模态的鲁棒性提出防御策略。
Comments 27 pages, 20 figures, Accepted to the Main Conference of ACL 2026
揭示大型语言模型在推断非语言回应中的语用意义的局限性
机构 * Department of Software, Yonsei University Mirae Campus（燕山大学软件系） ； Department of Computer Science and Engineering, Korea University（韩国大学计算机科学与工程系）
专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI
AI总结 本研究首次系统评估大型语言模型（LLMs）从纯非语言回应对话中推断语用意义的能力，发现其准确率相比语言回应下降高达60%，并表明上下文学习有助于语用推理。
LLM 能否进行结构性推理？通过数据结构视角进行基准测试
机构 * Stanford University（斯坦福大学）
专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出 DSR-Bench 基准，通过 20 种数据结构、35 种操作和 4140 个问题实例评估 LLM 的结构性推理能力，发现顶级模型在挑战性实例上仅得 0.46/1，且在空间数据、上下文丰富场景及自身代码推理上表现不佳。
Comments Proceedings of the 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026
我们能信任大语言模型在实体解析中的自解释吗？
专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)
AI总结 本研究系统评估了大语言模型在实体解析任务中自解释的可靠性，发现其不稳定且不忠实，并提出混合解释框架Uncerta以平衡解释质量与计算成本。
JenBridge: 跨场景转换的自适应长视频配乐
机构 * Jen Music AI
专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)
AI总结 提出JenBridge框架，通过基于Transformer的生成模型、双文本-视觉条件对齐和LLM代理驱动的自适应过渡机制，实现长视频配乐的高保真生成与场景转换自然连贯。
大语言模型中通过神经元级编辑的可控价值对齐
机构 * National University of Singapore（新加坡国立大学） ； Hefei University of Technology（合肥工业大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； ST Engineering Ltd.（ST工程有限公司）
专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG
AI总结 提出NeVA框架，通过识别稀疏价值相关神经元并进行推理时激活编辑，实现细粒度可控价值对齐，减少价值泄漏并保持通用能力。
调查和缓解大语言模型交互中的危害放大
机构 * Georgia Institute of Technology（佐治亚理工学院）
专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG
AI总结 提出HarmAmp基准和TrajSafe监控器，用于评估和缓解多轮对话中大语言模型对危害的放大效应。
隔离LLM词汇偏差：一种无人工标注的三角化偏好学习阶段度量
机构 * Florida State University（佛罗里达州立大学）
专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI
AI总结 提出一种无需人工标注的三角化偏好偏移分数（Triangulated Preference Shift score），通过对比人类标准、基础模型和指令变体，量化偏好学习阶段引入的词汇偏差。
Comments 7 pages, 2 figures, 1 table
Journal ref The International FLAIRS Conference Proceedings, 39(1) (2026)
多模态大语言模型驱动的视频翻译：面向角色的综述
机构 * School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院）
专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)
AI总结 本文通过面向角色的分类法，系统综述了多模态大语言模型在视频翻译中的应用，将其分为语义推理器、表达执行器和视觉合成器三个功能角色，并总结了数据集、基准和评估指标，指出了端到端视频翻译的挑战与未来方向。
LLM 是否准备好进行神经集成机制建模？一个基准测试与智能体框架
机构 * University of Virginia（弗吉尼亚大学）
专题命中 评测与基准 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 本文提出神经集成机制建模（NIMM）基准测试，评估大语言模型在三个科学领域构建神经集成机制模型的能力，并设计树引导的智能体框架 NIMMGen，通过分支级搜索和原子模型细化显著提升搜索稳定性和解质量。
Comments 25 pages, 8 figures
LLM匿名化对抗智能体重识别
机构 * Khoury College of Computer Sciences（科里学院计算机科学学院） ； Northeastern University（东北大学）
专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL
AI总结 提出AURA框架，通过掩码-重构方法解耦隐私定位与效用保留，并利用对抗性隐私和效用检查，以抵抗基于网络搜索的智能体重识别攻击，同时保留文本的上下文效用。
Comments 32 pages, 7 figures
关于语言模型可重复评估的前线经验教训
机构 * MBZUAI ； IIIT Hyderabad ； EleutherAI ； HiTZ Center - Ixa, UPV/EHU ； Ivy Natal ； University of Michigan ； HubSpot ； LibrAI ； Kensho ； Contextual AI ； Brown University ； New York University ； Amazon ； Yale University ； HKUST ； Sorbonne University ； CMU
专题命中 评测与基准 ：language model(title,summary_cn)；分类 cs.CL
AI总结 本文基于开发Language Model Evaluation Harness框架的三年经验，总结了语言模型评估中面临的方法论挑战、缺乏可重复性和透明度等问题，并提供了改进评估严谨性和信心的建议。
识别LLM中高置信度的社会偏见以构建可信的对话辅导代理
机构 * University of Hawaii at Manoa（夏威夷大学马诺亚分校）
专题命中 评测与基准 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI
AI总结 本研究通过生成对话数据集，评估大型语言模型在辅导场景中检测社会偏见的能力，发现模型在对话上下文中比基准测试更难检测偏见，且对错误判断过度自信，影响推理和反馈。
Comments Accepted for AIED 2026
TimeSage-MT：用于评估智能时间序列推理的多轮基准测试
机构 * University of Oxford（牛津大学） ； VulpiVox Intelligence ； Eindhoven University of Technology（埃因霍温理工大学） ； Griffith University（格里菲斯大学） ； Squirrel Ai Learning ； East China Normal University（华东师范大学）
专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI
AI总结 提出TimeSage-MT多轮基准测试，包含240个任务和2680轮对话，覆盖8个真实领域，用于评估LLM智能体在时间序列推理中的表现，揭示其在决策导向任务中的性能下降及记忆、不确定性处理等缺陷。
IndoBias：印尼语言中大语言模型偏见评估的双轨文化基准
机构 * Mohamed bin Zayed University of Artificial Intelligence（莫扎德大学人工智能大学） ； Universitas Indonesia（印度尼西亚大学） ； Independent Researcher（独立研究员）
专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)
AI总结 提出IndoBias基准，通过深度和广度双轨评估，发现现有LLM在印尼语和三种地方语言中表现出显著偏见，且预训练数据来源和语言多样性影响偏见程度。
POIROT: 在多智能体系统中审讯智能体以进行故障检测
机构 * Center for Automation and Robotics, Spanish National Research Council (CSIC-UPM)（自动化研究中心，西班牙国家科研 council (CSIC-UPM)）
专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 提出POIROT协议，利用多智能体系统自身的智能体作为诊断层进行故障检测，在复杂问题、多智能体和复合故障条件下优于单LLM评估基线。
Comments 44 pages, 6 figures
OmniEEG-Bench: 脑电图基础模型的标准化评估基准
机构 * Department of Biomedical Engineering, Southern University of Science and Technology, Shenzhen, China（南方科技大学生物医学工程系，深圳，中国） ； School of Computer Science and Engineering, The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）计算机科学与工程学院，深圳，中国） ； Omni-Intelligence, Shenzhen, China（奥米智能，深圳，中国） ； Shenzhen Loop Area Institute, Shenzhen, China（深圳环城研究院，深圳，中国）
专题命中 评测与基准 ：foundation model(title,abstract)；LLM(abstract)；pretraining(abstract)；分类 cs.LG
AI总结 针对脑电图基础模型评估碎片化问题，提出统一基准OmniEEG-Bench，涵盖六类任务、54个数据集，并揭示预训练数据多样性和模型大小与性能的缩放律关系。
Comments 28 pages, 13 figures, 8 tables; benchmark of EEG foundation models
公共部门LLM的提示应作为公共资源进行治理
专题命中 评测与基准 ：LLM(title_cn,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)
AI总结 本文提出公共部门部署大型语言模型时使用的提示应作为受治理的制品，而非私有临时输入，并设计了带版本控制、社区维护的提示模板仓库及协商集成方法。
Comments To appear in the Proceedings of the 43rd International Conference on Machine Learning (ICML 2026)
ESBMC：形式化软件验证的演化、集成与未来方向综述
专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)
AI总结 本文综述了ESBMC从研究原型发展为工业级形式化验证平台的过程，涵盖其技术演进、语言支持扩展、与LLM及AI代理的集成，并总结了其获奖、经济影响及未来挑战。
Comments 42 pages
CARTE：法国语言模型知识映射基准
机构 * École Polytechnique, Institut Polytechnique de Paris（巴黎政治学院） ； National Technical University of Athens（雅典国家技术大学） ； Mohamed bin Zayed University of Artificial Intelligence（姆阿扎德人工智能大学）
专题命中 评测与基准 ：language model(title,abstract)；large language model(abstract)；pretraining(abstract)；分类 cs.CL
AI总结 提出CARTE基准，通过2431道多选题评估大语言模型在法国13个大区14个主题领域的细粒度区域知识，并引入CARTE-LV子集聚焦语言变异，实验发现模型在区域和规模上存在性能差异。
IDEAFix: 大语言模型中创造性去固定化提示的评估框架
机构 * McGill University（麦吉尔大学） ； Mila ； Concordia University（康科迪亚大学） ； ÉTS
专题命中 评测与基准 ：prompting(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 提出IDEAFix框架，通过控制任务变体和提示策略系统分析大语言模型在开放式创意生成中的发散思维，发现任务表述和属性选择显著影响性能，简单提示可提升原创性但输出同质化问题依然存在。
TukaBench: 一个基于文化的非洲语言越狱基准
机构 * Mila - Quebec AI Institute（魁北克人工智能研究院） ； McGill University（麦吉尔大学） ； Microsoft AI for Good Research Lab（微软人工智能造福人类研究实验室） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）
专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)
AI总结 针对大型语言模型在非洲低资源语言上的安全评估缺失，提出TUKABENCH基准，通过四种设置（直接翻译、文化适应翻译、人工策划提示、代码切换提示）评估语言、文化背景和提示规避性对模型安全的影响，发现非洲语言提示降低拒绝率，并引入Deflection指标和人工验证以解决模型理解失败和评判可靠性问题。
Comments Under review
PolySpeech-100：面向100多种语言和方言的大规模语音理解基准
机构 * Shenzhen International Graduate School, Tsinghua University（深圳国际研究生院，清华大学） ； Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； JD AI Research（京东人工智能研究院）
专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)
AI总结 为解决现有语音评估基准在资源丰富语言偏向、缺乏语义推理和忽视方言的问题，提出PolySpeech-100基准，通过混合构建管道覆盖110种语言变体，并评估22个模型，发现开源端到端模型在重方言上优于级联系统，而思维链提示在零样本设置下会降低性能。
Comments 19 pages, 13 figures, KDD 2026
用于驾驶员监控系统的视觉语言模型：一个驾驶员活动描述数据集
机构 * Fraunhofer IOSB（弗劳恩霍夫智能系统研究所） ； Technische Hochschule Ingolstadt（图林根工业大学） ； Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)
AI总结 本文通过创建Drive&Act数据集的详细自然语言版本，评估并微调视觉语言模型，以提升对驾驶员细微动作的识别能力，微调后的模型在跨数据集评估中表现更优。
Comments Accepted at IEEE ITSC 2026
心理健康研究中可穿戴运动数据的基础模型
机构 * Dartmouth College（达特茅斯学院） ； National Institute of Diabetes and Digestive and Kidney Diseases（国家糖尿病、消化系统疾病和肾病研究所） ； National Institutes of Health（美国国立卫生研究院） ； Department of Computer Science at Dartmouth College（达特茅斯学院计算机科学系）
专题命中 评测与基准 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG
AI总结 提出预训练体动记录Transformer（PAT），一种基于自监督掩码自编码器预训练的可穿戴运动时间序列基础模型，在心理健康预测任务上优于非基础模型方法，并提供可解释的注意力图。
Comments F. Y. Ruan, A. Zhang, J. Y. Oh, S. Jin and N. C. Jacobson, "A Foundation Model for Wearable Movement Data in Mental Health Research," in IEEE Journal of Biomedical and Health Informatics, doi: 10.1109/JBHI.2026.3694809
SkillPager: 通过语义节点检索实现查询自适应的技能内导航
机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； Sun Yat-sen University（中山大学）
专题命中 评测与基准 ：LLM(summary_cn,abstract)；prompting(abstract)；分类 cs.AI
AI总结 针对基于技能的LLM代理在长过程文档中需要高效检索的问题，提出SkillPager两阶段框架，通过离线解析Markdown技能为类型化语义节点并在线利用MMR进行查询条件节点选择，在保持高上下文充分性的同时显著减少提示令牌。
Comments 20 pages, 6 figures
评估大语言模型中的交互式推理：一个带有可执行游戏的分层基准
机构 * East China Normal University（东华师范大学） ； Ant Group（蚂蚁集团）
专题命中 评测与基准 ：large language model(title)；language model(title)；分类 cs.AI
AI总结 提出一个多轮交互式推理评估框架，将推理视为主动证据获取和信念更新，通过474个可执行游戏基准测试大语言模型在成功率、交互效率、上下文鲁棒性和元认知适应方面的表现。
Comments preprint version, under review
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈