AI 大模型
大语言模型、预训练、指令微调、后训练和语言模型应用。
概念流模型：通过层次瓶颈锚定基于概念的推理
机构 * Fraunhofer Institute for Open Communication Systems（弗劳恩霍夫开放通信系统研究所） ； Freie Universität Berlin（柏林自由大学）
专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 提出概念流模型（CFM），用层次化概念决策树替代扁平瓶颈，通过逐步缩小预测范围减少信息泄露，在保持预测性能的同时提升可解释性。
Journal ref Transaction on Machine Learning Research, 2/2026
从稀疏特征到可信代理：认证基于SAE的可解释性
机构 * Department of Computer Science and Engineering, Indian Institute of Technology Patna（印度理工学院巴特那分校计算机科学与工程系）
专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.LG
AI总结 提出一种后验泛化框架，通过稀疏代理（SAE重建）认证语言模型，推导期望风险上界，并在GPT-2 Small等模型上验证非平凡界，揭示深层更易认证且特征分解区分语义对齐与统计稀疏性。
有理稀疏自编码器
机构 * Lehigh University（里海大学）
专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 提出有理稀疏自编码器（RSAE），用可训练有理函数替代固定编码器激活，通过两阶段流程（初始化+微调）在多种语言模型和基线激活族上提升重构与下游行为指标，不牺牲特征可解释性。
Comments Accepted to the Mechanistic Interpretability Workshop at ICML 2026
CAP：面向患者级监督的PPG通用表示学习
机构 * Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； Peking University（北京大学） ； Independent Researcher（独立研究者） ； Jinling Clinical Medical College College of Artificial Intelligence Nanjing University of Aeronautics and Astronautics（金陵临床医学院人工智能学院南京航空航天大学）
专题命中 知识编辑与模型理解 ：pretraining(abstract)；分类 cs.AI、cs.LG
AI总结 提出CAP方法，通过构建大规模PPG-EHR多模态数据集和跨模态对比对齐，学习患者级临床语义的PPG表示，在四项下游任务中平均提升26.7%，呼吸率预测提升87.6%。
Comments Accepted as an Oral presentation at KDD 2026
改进的基于表示自动编码器的基线
机构 * Adobe Research（Adobe研究院） ； ANU（澳大利亚国立大学） ； New York University（纽约大学）
专题命中 知识编辑与模型理解 ：post-training(abstract)；分类 cs.AI、cs.LG
AI总结 本文研究了基于表示自动编码器（RAE）的设计选择，发现三个见解，简化并改进了RAE。首先，研究了一种通用公式，将表示定义为最后k个编码器层的总和，而不是仅最终层。其次，研究了RAE与表示对齐（REPA）的假设，发现两者具有互补的工作机制。最后，改进了RAE在无分类器指导（CFG）中的表现，通过重新参数化DiT模型输出，实现了无需训练第二个模型的指导效果。RAEv2在ImageNet-256上达到了1.06的gFID，且训练效率显著提高。
一个镜头，多个世界：面向世界模型可解释性的能力类型接口
机构 * New York University（纽约大学） ； Independent Researcher（独立研究者） ； Veermata Jijabai Technological Institute（韦尔玛塔·吉贾拜技术学院） ； Mercity ； University of Southern California（南加州大学） ； Independent Researcher, MIT（麻省理工学院独立研究者） ； Independent Researcher, GITAM（GITAM独立研究者） ； Georgia Institute of Technology（佐治亚理工学院）
专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 提出WorldModelLens，通过能力类型适配器统一不同世界模型（如PlaNet、IRIS、I-JEPA）的可解释性分析，避免重复实现。
Co-GLANCE: 异构机器人团队的不确定性感知主动感知
机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校）
专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 提出Co-GLANCE系统，通过蒸馏视觉语言模型实现实时遮挡分割与机器人分配，结合共形预测与选择性弃权提供统计保证的不确定性量化，驱动主动感知，在真实场景中遮挡分割和分配准确率分别提升25%和36%，推理延迟降低350倍。
Comments Code, videos, and dataset available at https://co-glance.github.io/
当归因补丁说谎时：诊断与二阶修正
机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of California, Santa Cruz（加州大学圣克鲁兹分校）
专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 研究归因补丁（梯度一阶近似）在机制可解释性中的不可靠性，发现主要误差源于下游网络的非线性，并提出可靠性评分、误差界和HVP二阶修正方法。
Comments 30 pages, 12 figures
基于TabTransformer的通用密集足球事件表示
机构 * Institute of Exercise Training and Sport Informatics, German Sport University Cologne（科隆德国体育大学运动训练与体育信息学研究所）
专题命中 知识编辑与模型理解 ：pretraining(abstract)；分类 cs.AI、cs.LG
AI总结 提出基于TabTransformer的模型，通过学习分类特征的嵌入向量，生成密集的足球事件表示，在下游任务中优于基线方法。
Comments 12 pages, 1 figure. Preprint submitted to the 13th Workshop on Machine Learning and Data Mining for Sports Analytics (MLSA 2026)
需要多少反事实？通过电路和因果效应探究VLM幻觉
机构 * University of California, Berkeley（加州大学伯克利分校） ； DeepMind（深度思维）
专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 本文通过定义基于对数概率差异的因果影响度量，并利用电路发现技术，研究视觉语言模型幻觉输出的反事实鲁棒性，推导出检测不稳定所需的最小反事实样本数。
关键位置引导：基于令牌级视觉敏感度引导的LVLMs幻觉缓解
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.LG
AI总结 提出令牌级视觉敏感度引导（TLVS）方法，通过提取令牌级引导向量并自适应调整引导强度，仅在关键解码步骤抑制幻觉，在多个基准上优于现有方法。
相似度-距离-幅度激活函数
机构 * Reexpress AI
专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.LG
AI总结 本文提出SDM激活函数，通过引入相似度和距离意识提升softmax的鲁棒性和可解释性，并通过密集匹配实现基于实例的可解释性。SDM估计器通过数据驱动的CDF分区控制分类准确性，优于现有校准方法。
Comments Accepted to Findings of the Association for Computational Linguistics: ACL 2026. 21 pages, 8 tables, 1 algorithm. arXiv admin note: substantial text overlap with arXiv:2502.20167
SV-Detect: 基于引导向量的AI生成文本检测
机构 * Independent Researcher（独立研究者） ； Queen Mary University of London（伦敦女王学院）
专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI
AI总结 提出从冻结语言模型的隐藏表示中提取引导向量，通过层间投影特征训练轻量分类器，实现跨域、跨模型和编辑攻击下的机器生成文本检测。
预测与重构：自监督语言表示学习的联合目标
机构 * École Nationale Supérieure d’Informatique (ESI)（阿尔及利亚国家信息学院（ESI））
专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI
AI总结 提出一种结合JEPA潜空间预测损失与MLM目标的混合预训练目标，通过可学习标量平衡两者，在GLUE基准上分析表明混合编码器产生更均匀的嵌入和更丰富的谱几何，且语义-词汇平衡更优。
Comments 12 pages, 10 figures, 11 tables. Preprint. Code available at : https://github.com/aymen-000/predict-reconstruct-language-models
利用奖励不确定性在强化学习中诱导多样化行为
机构 * New York University（纽约大学） ； Google DeepMind（谷歌DeepMind）
专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 针对传统强化学习缺乏多样性的问题，提出将奖励函数替换为奖励分布，通过非线性集合目标自然产生可控的多样化行为，并推导出梯度估计器，实验证明其鲁棒性和理论优势。
Comments Core contributors: Anthony GX-Chen, Ankit Anand, Gheorghe Comanici, André Barreto, Mark Rowland
基于BERT和图神经网络的历史知识图谱构建
机构 * Shandong Management University（山东管理大学） ； Maria Curie-Sklodowska University（玛丽·居里-斯洛多夫斯卡大学）
专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出结合BERT和图神经网络的高层架构，从历史文本中提取实体和关系，构建知识图谱，在精度、召回率和F1分数上优于传统方法和深度学习基线。
Comments 9 pages, 4 figures
大型电子模型：一种通用的基态预测器
机构 * Massachusetts Institute of Technology（麻省理工学院） ； Department of Physics（物理系）
专题命中 知识编辑与模型理解 ：foundation model(abstract)；分类 cs.AI、cs.LG
AI总结 提出Large Electron Model，一种基于Fermi Sets架构的神经网络模型，通过在整个哈密顿参数流形上生成变分波函数，准确预测二维谐振势中相互作用电子的基态，并泛化到未见耦合强度和粒子数，为材料发现提供了基于变分原理的基座模型方法。
Comments 8+7 pages, 5+6 figures, 1+1 tables
语义对自监督表示学习的影响
机构 * Department of Computing Science University of Aberdeen（计算科学系大学阿伯丁） ； Department of Physics and Technology UiT The Arctic University of Norway（物理与技术系UiT北极大学）
专题命中 知识编辑与模型理解 ：pretraining(abstract)；分类 cs.AI、cs.LG
AI总结 通过控制实验研究语义正对（不同同类实例）相比增强正对在自监督学习中的效果，发现语义对能提升泛化性能，尤其对比学习受益最大。
Comments 19 pages, 7 figures, 5 tables
表示对齐依赖于线性结构
机构 * Massachusetts Institute of Technology（麻省理工学院）
专题命中 知识编辑与模型理解 ：LLM(abstract_cn)；分类 cs.AI、cs.LG
AI总结 本文通过信号、偏差和噪声的三部分统计框架研究柏拉图表示假说，提出对齐源于对象与属性的线性关系，并通过稀疏自编码器提取线性特征、中心化和归一化减少偏差、以及数据稀缺导致噪声等证据支持该框架。
注意力头的奇异向量与特征对齐
机构 * Department of Computer Science, Boston University, Boston, USA ； Faculty of Computing \& Data Sciences, Boston University, Boston, USA
专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 本文通过理论分析和实验验证，解释了注意力头奇异向量与特征表示对齐的原因和条件，并提出了稀疏注意力分解作为对齐的可检验预测。
Comments To be published in ICML 2026
BioFact-MoE：基于生物学因子分解的混合专家模型用于肝细胞癌的视觉-语言预后建模
机构 * Department of Radiology \& Biomedical Imaging, Department of Biomedical Engineering, Department of Electrical Engineering, Department of Statistics \& Data Science Yale University, New Haven, CT, 06510, USA
专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 提出BioFact-MoE框架，通过生物学监督的混合专家模型显式分解肝脏和肿瘤因子，在肝细胞癌预后预测中提升准确性和生物学可解释性。
Comments Early accepted at MICCAI 2026
Mimir：大规模多语言概念建模
机构 * Department of Computer Science（计算机科学系） ； University of Bari Aldo Moro（巴里阿尔多·莫罗大学）
专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI
AI总结 提出Mimir，一个1.6B参数的大规模概念模型，通过多语言预训练和指令微调实现概念级别的理解与生成，替代传统的token预测范式。
PolySAE: 通过多项式解码建模稀疏自编码器中的特征交互
机构 * The Cyprus Institute（塞浦路斯研究所） ； University of Athens（雅典大学） ； University of Oxford（牛津大学） ； Archimedes AI/Athena Research Center（阿基米德AI/雅典娜研究中心） ； University of Cyprus（塞浦路斯大学）
专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.LG
AI总结 提出PolySAE，在稀疏自编码器解码器中引入高阶项以建模特征交互，通过低秩张量分解在共享投影子空间上捕获成对和三元特征交互，在保持可解释性的同时提升探测F1约8%，并产生与共现频率无关的组合结构。
Comments 43rd International Conference on Machine Learning (ICML 2026); Code: https://github.com/pakoromilas/PolySAE
特征彩票？概念涌现的分岔理论
机构 * MIT（麻省理工学院）
专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 提出一种基于分岔理论的方法，通过损失Hessian驱动的超临界叉形分岔检测表示动力学中的结构涌现，并引入无标签相位坐标β/β_c，在多种设置下验证了四个不同的转变阶段，揭示了特征可解释性的早期可预测性。
移动世界模型如何指导GUI代理？
机构 * Nanyang Technological University（南洋理工大学） ； MiLM Plus, Xiaomi Inc.（小米公司） ； Independent Researchers（独立研究人员） ； Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） ； Wuhan University（武汉大学） ； Xiamen University（厦门大学）
专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI
AI总结 本文通过训练四种模态（增量文本、完整文本、扩散图像、可渲染代码）的世界模型，并评估其在下游任务中的效用，发现可渲染代码重建在分布内保真度高，文本反馈对在线分布外执行更鲁棒，世界模型生成的轨迹可提供迁移经验但无法替代原始分布，且对低熵过度自信的代理，后验自省收益有限。
不看而见：视觉-语言基准测试真的测试视觉吗？
机构 * University of Chicago（芝加哥大学） ； Stony Brook University（石溪大学） ； Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI
AI总结 通过系统性实验发现，视觉-语言模型对细粒度视觉证据的依赖程度低于预期，表明当前基准测试不足以可靠评估其视觉基础能力。
Comments Accepted to GRAIL-V: Grounded Retrieval and Agentic Intelligence for Vision-Language, CVPR 2026 Workshop. accepted version
Jordan-RoPE: 通过复Jordan块实现非半单相对位置编码
机构 * School of Physics, Ningxia University（宁夏大学物理学院）
专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.LG
AI总结 本文提出了一种非半单相对位置编码Jordan-RoPE，通过复旋转特征和Nilpotent响应在同一缺陷Jordan块中实现距离调制的相位基，从而生成振荡-多项式特征，如e^{-γd}cos(ωd)、e^{-γd}sin(ωd)等，并在语言模型中验证了其有效性。
Comments 15 pages, 4 figures, 6 tables; code available at https://github.com/ybzhang-nxu/jordan_rope
为XAI的解释性策略机制
机构 * Institute of Philosophy and Sociology, Polish Academy of Sciences（哲学与社会学院，波兰科学院） ； Institute for Philosophy, Leiden University（哲学研究所，莱顿大学）
专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出了一种基于机制的解释性策略，旨在通过分解、定位和重组来揭示深度学习系统功能组织的机制，从而改进可解释人工智能的理论基础和实践应用。
通过头部随机探测实现快速且轻量的后门检测
机构 * College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics（南京航空航天大学人工智能学院） ； School of Cybersecurity, Northwestern Polytechnical University（西北工业大学网络安全学院） ； Shenzhen Research Institute of Northwestern Polytechnical University（西北工业大学深圳研究院） ； School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）
专题命中 知识编辑与模型理解 ：post-training(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出HTell，一种基于头部随机探测的快速且轻量的数据无关后门检测器，通过分析模型预测头部在随机潜在探测下的响应统计，实现高效准确的后门检测。
VCR：学习不完整可穿戴信号的有效上下文表示
机构 * The Hong Kong University of Science and Technology（香港科学与技术大学）
专题命中 知识编辑与模型理解 ：pretraining(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出VCR框架，通过学习鲁棒于模态缺失的表示，解决可穿戴信号不完整问题，提升在多种健康监测任务中的性能和鲁棒性。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈