AI 大模型
大语言模型、预训练、指令微调、后训练和语言模型应用。
基于值函数的模仿学习中，何时在线交互是有帮助的？表示权衡研究
专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 本文针对基于值函数的模仿学习，提出交互式在线算法OVI，发现专家交互可降低学习者的表示要求，且OVI在多数场景下性能优于现有方法。
PARALLEL：显式约束下语言模型学习的前额叶对齐强化启发式方法
专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI
AI总结 PARALLEL是一种前额叶对齐的强化启发式语言模型学习方法，通过分配样本相关更新强度提升适配效率，在多任务上保留高性能且适配轨迹更稳定，支持高效稳定的部署后流式适配。
Comments 8 pages, 3 figures, and 5 tables
DraftExpert：用于终端设备混合专家推理的扩展感知自推测解码
专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 针对终端设备MoE推理中自推测解码的新瓶颈，提出DraftExpert框架，通过自蒸馏训练轻量级草稿专家，在不同卸载场景下，该框架有效提高了解码吞吐量、草稿接受率和预取命中率。
Comments 9 pages, 6 figures
MXAttention：用于MXFP4注意力的数据无关最优缩放和预归一化量化
机构 * Huawei Technologies Co., Ltd.（华为技术有限公司）
专题命中 效率与部署 ：post-training(abstract)；分类 cs.AI、cs.LG
AI总结 针对基于扩散的视频生成模型中注意力二次成本的瓶颈，提出MXAttention框架，通过引入通用最优缩放和预归一化量化组件，缩小了MXFP4与FP16的成像质量差距，提升了帧级相似度，且性能与强大基线竞争。
测试时覆盖：用于部署感知学习的测试条件数据管理
机构 * NVIDIA（英伟达） ； University of Ottawa（渥太华大学）
专题命中 效率与部署 ：LLM(abstract)；分类 cs.AI、cs.LG
AI总结 研究针对部署的AI系统训练需数据管理的问题，提出TTCov方法，通过构建任务图谱和知识图谱分别表示覆盖与分布，选择预算训练集，应用于自动驾驶时能提升数据质量及性能，实现对新领域的无缝适应。
用于视觉运动策略学习的有序动作令牌
专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 研究针对动作令牌化存在的问题，提出有序动作令牌化（OAT）方法，利用带特定机制的变换器将动作块离散化，满足高压缩率等三个需求，在多种策略和任务中验证，能提升策略性能并增强推理灵活性。
硬决策层：Transformer中确定推理的证据
机构 * University of Southern California（南加州大学） ； Information Sciences Institute（信息科学研究所）
专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI
AI总结 研究基于Transformer的语言模型在多选型问答中做预测的位置与方式，识别出硬决策层，经多模型和数据集验证其在无学习路由策略时一致出现且对微调不变，HDL处准确率显著提升，为Transformer推理提供见解与机会。
HiMe：用于健康洞察的实时自托管个人代理平台与可穿戴设备
机构 * King’s College London（伦敦国王学院） ； The Alan Turing Institute（艾伦·图灵研究所）
专题命中 效率与部署 ：LLM(abstract)；分类 cs.CL、cs.AI
AI总结 针对传统可穿戴健康信号分析的局限，HiMe提出本地可部署、隐私至上的代理平台，遵循数据库为一等组件等原则，能与多种可穿戴设备实时健康数据生态系统兼容，实现个人持续、个性化健康监测以提升幸福感。
编解码器规范：为Transformer KV缓存学习压缩友好型规范
专题命中 效率与部署 ：post-training(abstract)；分类 cs.AI、cs.LG
AI总结 研究针对Transformer KV缓存压缩问题，提出Codec-Gauge方法，通过训练后缓存坐标层学习正交通道变换，结合频率分布目标优化。实验表明该方法能有效降低散度、提升量化质量，确立缓存坐标几何为提高压缩保真度的实用训练后变量。
谱局部敏感哈希：通过Krylov投影局部敏感哈希实现次二次方的提示压缩
机构 * Islamic Azad University（伊斯兰阿扎德大学） ； Iran University of Science and Technology（伊朗科技大学） ； Meta
专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI
AI总结 研究针对长提示推理成本高的问题，提出谱局部敏感哈希方法，通过Krylov子空间方法等近似注意力核算子，应用SimHash分组聚合令牌，实验揭示压缩率相变及不同压缩率下方法优势，自适应后端可兼顾不同情况。
ABOPD：通过策略蒸馏进行抗体CDR设计
专题命中 效率与部署 ：post-training(abstract)；分类 cs.AI、cs.LG
AI总结 研究针对抗体CDR设计，提出基于策略蒸馏的ABOPD框架，利用天然几何结构监督模型去噪轨迹，提升了RAbD CDR-H3生成的结构恢复，降低均方根偏差，优于其他控制方法，为高保真蛋白质设计开辟道路。
TurboVec：通过码本无关量化实现企业RAG成本高效私有检索的案例研究
专题命中 效率与部署 ：LLM(abstract)；分类 cs.AI、cs.LG
AI总结 研究RAG系统向量检索层挑战，介绍基于TurboQuant的TurboVec开源向量索引。通过实验对比，表明TurboQuant在内存和召回率上有优势，TurboVec部署效果好，码本无关设计提升隐私性，不过存在单一数据集评估等局限。
多智能体系统何时发挥作用？信息瓶颈视角
机构 * Texas A&M University（德克萨斯A&M大学） ； Brookhaven National Laboratory（布鲁克海文国家实验室）
专题命中 效率与部署 ：LLM(abstract)；分类 cs.AI、cs.LG
AI总结 研究从信息瓶颈视角探讨多智能体系统（MAS）与单智能体系统（SAS）差异，指出MAS优势在有限中继时因压缩权衡产生，由参数β控制，通过实验验证，解释了有限智能体间通信何时有利有害。
STEC：开放域多跳问答中深度搜索的证据压缩
机构 * National University of Defense Technology（国防科技大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
专题命中 效率与部署 ：LLM(abstract)；分类 cs.CL、cs.AI
AI总结 研究开放域多跳问答中最终答案选择难题，提出STEC证据压缩框架从候选集选答案。通过答案级证据压缩和证据引导的答案验证机制，将选择从原始轨迹比较转为候选级证据比较，实验显示其性能最佳。
用于人工智能原生6G的联合嵌入预测架构：预测表示与开放挑战
机构 * IDCoM, University of Edinburgh（爱丁堡大学IDCoM研究所） ； KTH Royal Institute of Technology（瑞典皇家理工学院） ； SnT, University of Luxembourg（卢森堡大学SnT） ； Department of Electronic Systems, Aalborg University（奥尔堡大学电子系统系） ； School of Computer Science and Informatics, University of Liverpool（利物浦大学计算机科学与信息学院） ； Division of Electronics and Electrical Engineering, Dongguk University（东国大学电子与电气工程系） ； School of Engineering and Physical Sciences, Heriot-Watt University（赫瑞瓦特大学工程与物理科学学院） ； Department of Electrical Engineering, Chalmers University of Technology（查尔姆斯理工大学电气工程系） ； Department of Electrical and Computer Engineering, San Diego State University（圣地亚哥州立大学电气与计算机工程系）
专题命中 效率与部署 ：pretraining(abstract)；分类 cs.AI、cs.LG
AI总结 本文围绕用于6G智能的联合嵌入预测架构（JEPA）展开。介绍其训练机制等，通过波束管理案例说明能提升标签效率与鲁棒性，还指出在多时间尺度预测等方面存在开放挑战。
Comments 14 pages, 4 figures, 3 tables. Tutorial and review on Joint-Embedding Predictive Architecture (JEPA) for AI-native 6G. Submitted to IEEE Communications Magazine
马赫思维-4-闪技术报告
机构 * Li Auto Inc（理想汽车公司）
专题命中 效率与部署 ：post-training(abstract)；分类 cs.CL、cs.LG
AI总结 马赫思维-4-闪是含3B激活参数的35B参数专家混合智能体模型，通过训练后优化及可扩展交互环境提升性能。其流程含三个阶段，在多个基准测试中成绩优异，以低推理成本领先或匹配数倍激活规模模型。
分布转移下可靠长时代理上下文演化的范围验证
机构 * RedMind Research（红芯研究公司） ； National Taiwan University（国立台湾大学）
专题命中 效率与部署 ：LLM(abstract)；分类 cs.CL、cs.AI
AI总结 研究长时代理上下文演化在分布转移下的验证问题，提出图正则化代理上下文演化方法（GRACE），通过维护指令为类型化语义图并在局部验证更新，实验表明该方法显著提升了严格可靠性。
Comments 18 pages, 3 figs
Jet-Long：使用动态双焦点旋转位置编码的高效长上下文扩展
机构 * NVIDIA（英伟达）
专题命中 效率与部署 ：pretraining(abstract)；分类 cs.AI、cs.LG
AI总结 研究针对现代语言模型长上下文应用中零样本上下文扩展问题，提出Jet-Long方法，通过动态双焦点RoPE及相关技术，在推理时开销小，在多种模型和基准测试中表现优异，还能推广到其他架构且超参数弹性强。
Comments added discussion of AdaGroPE and LaMPE (Findings of ACL 2026) with clarified contribution
用于无人机机器人和双手操作的视觉语言动作（VLA）模型综述
机构 * Chef Robotics ； RovifyLab ； IT Application Research Center, Jeonbuk Regional Branch ； Department of Electrical, Computer and Software Engineering（电气与计算机软件工程系）
专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI、cs.LG
AI总结 综述2017 - 2026年183篇文献，围绕视觉语言动作模型在无人机机器人和双手操作方面的应用，涵盖多维度，表明双手VLA相关策略可转移至无人机系统，还确定了两领域的14个研究方向。
Comments 56 pages, 11 figures, 16 tables
动态少步长：统一动态计算与少步长蒸馏以实现高效视频生成
机构 * Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； BlueImage, vivo（蓝城图像，维沃） ； Xian Jiaotong-Liverpool University（西交利物浦大学）
专题命中 效率与部署 ：post-training(abstract)；分类 cs.AI、cs.LG
AI总结 针对视频扩散模型计算成本高问题，提出将动态结构稀疏化融入蒸馏过程的加速框架，联合优化去噪步骤与模型稀疏性，引入相关策略和机制确保训练稳定，开发推理引擎，有效提升效率且保持生成质量。
TriRoute：用于联合自适应注意力、专家和KV缓存分配的统一学习路由
机构 * Ukrainian State University of Science and Technologies（乌克兰国立科技大学）
专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 研究提出TriRoute，通过一个跨轴共享的轻量级控制器联合做出注意力分辨率、专家选择和缓存位宽决策，在拉格朗日预算约束下训练，解决了朴素联合训练的问题，在计算和内存匹配时优于独立方法组合，还保留了尾部情况鲁棒性。
Comments 22 pages, 5 figures, 6 tables; preprint
ELSA3D：用于统一3D理解与生成的弹性语义锚定
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI、cs.LG
AI总结 研究统一3D基础模型文本-3D交互隐式问题，提出ELSA3D模型，通过弹性语义锚定联合构建语言和几何推理，用尺度感知八叉树令牌化器和锚定令牌表示几何，轻量级路由器使计算和推理弹性化，性能领先且减少计算量和延迟。
TurnOPD：使在线策略蒸馏具有转向意识以实现高效的长期智能体训练
机构 * Fudan University（复旦大学） ； Tencent Hunyuan（腾讯文言）
专题命中 效率与部署 ：language agent(abstract)；分类 cs.CL、cs.AI
AI总结 研究针对在线策略蒸馏在长期智能体任务应用不足的问题，提出TurnOPD，通过自适应展开深度预算和渐进式转向归一化损失预算两个策略，在多任务实验中实现更高验证准确率，超越普通OPD，推进了准确率-时间前沿。
对拒绝的忠实性：神经元选择器的因果审计
机构 * Lexsi Labs（Lexsi实验室）
专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.LG
AI总结 针对归因分数识别神经元行的因果有效性未经验证的问题，通过单次神经元行置零的配对审计，验证归因方法在识别冗余行、实现安全拒绝行为上的因果有效性，揭示排序稳定性不能代表因果有效性。
重新思考思维模型的在线策略自蒸馏
机构 * Princeton University（普林斯顿大学） ； Princeton Language and Intelligence（普林斯顿语言与智能实验室）
专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 针对思维模型自蒸馏性能退化问题，研究发现特权上下文在线策略蒸馏会降低长推理轨迹性能，揭示其作用机制，为强思维模型自蒸馏优化提供方向。
RADIO1D：用于压缩视觉建模的弹性表示
机构 * NVIDIA（英伟达）
专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 挑战视觉语言模型需固定基于补丁的2D视觉特征的假设，分析微调视觉编码器，基于发现引入RADIO1D，用多教师知识蒸馏等将图像压缩成1D令牌序列，有强分层总结能力，在多模态基准测试中有优势。
Comments Published as main conference paper at ICML 2026
OrbitQuant: 图像和视频扩散Transformer的数据无关量化
机构 * Cantina Labs（Cantina实验室） ； University of Southern California（南加州大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
专题命中 效率与部署 ：post-training(abstract)；分类 cs.AI、cs.LG
AI总结 提出数据无关量化方法OrbitQuant，通过归一化旋转基和Lloyd-Max码本，无需校准数据即可对扩散Transformer的权重和激活进行低比特量化，在多个模型和模态上达到最优。
复杂文档布局的阅读顺序推断
机构 * School of Computer Science and AI, Tel Aviv University（特拉维夫大学计算机科学与人工智能学院）
专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI
AI总结 提出无训练图框架，通过因果语言模型和BERT NSP信号构建候选转移图，结合最大遗憾推理规则，解决复杂历史手稿中非矩形环绕布局的阅读顺序问题，在Glossa和OmniDocBench数据集上优于XY-cut和LayoutReader。
用英语思考，用韩语回答：多语言工具使用智能体的高效适配
机构 * Cohere ； LG CNS
专题命中 效率与部署 ：pretraining(abstract)；分类 cs.AI、cs.LG
AI总结 提出LuckyStar 111B混合推理模型，通过多语言监督微调、可验证奖励强化学习、语言一致性奖励和4-bit量化，高效适配多语言工具使用智能体，提升数学推理、函数调用和NL2SQL性能。
Transformer作为贝叶斯上下文实验者：平滑自适应的高效ATE估计
机构 * Laboratory for Information and Decision Systems, MIT（麻省理工学院信息与决策系统实验室）
专题命中 效率与部署 ：pretraining(abstract)；分类 cs.AI、cs.LG
AI总结 提出贝叶斯上下文实验者框架，利用Transformer模仿贝叶斯后验Neyman分配策略，通过注意力机制和投影梯度下降实现平滑自适应的平均处理效应高效估计。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈