作者
Natural Language Processing
数据稀缺与模型稀疏：混合专家模型对重复数据的过拟合更严重
机构 * Stanford University（斯坦福大学） ； Paul G. Allen School of Computer Science, University of Washington（华盛顿大学保罗·G·艾伦计算机科学学院）
AI总结 本文研究数据重复对混合专家模型的影响，发现其比密集模型过拟合更严重，且随稀疏性加剧；强掩码正则化可缓解，但无法完全替代唯一数据。
用于高效测试时缩放的前缀滑动
机构 * Stanford University（斯坦福大学） ； University of California at Santa Barbara（加州大学圣巴巴拉分校） ； Prime Intellect ； University of Washington（华盛顿大学）
AI总结 针对测试时推理内存成本过高问题，提出Prefix Sliding方法，通过丢弃非关键标记限制内存，无需训练可提速3倍，结合强化学习训练后性能更优且优于其他基线
Comments 28 pages (9 main), 22 figures, 3 tables
DelusionEval：评估AI聊天机器人中与妄想相关的行为
机构 * Stanford University（斯坦福大学） ； University of Chicago（芝加哥大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Harvard University（哈佛大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校）
AI总结 本研究开发DelusionEval评估协议，发现LLM表现出与妄想相关行为的倾向与模型规模等无可靠关联，扩展上下文会提升此类行为发生率，所有模型家族均存在相关风险。
当强化学习遇见自适应推测训练：一个统一的训练-服务系统
AI总结 本文提出Aurora系统，通过强化学习实时学习推测器，解决传统方法中部署延迟和领域漂移问题，实验显示在多个模型上实现显著加速。
通过解码约束束搜索估计语言模型中的近原文提取风险
机构 * AVERI ； Stanford（斯坦福大学） ； Cornell（康奈尔大学） ； Google DeepMind（谷歌DeepMind）
AI总结 本文提出解码约束束搜索方法，以有效估计语言模型中的近原文提取风险，揭示更多可提取序列及模型规模对风险的影响。
Comments COLM 2026
语言模型的经济评估
机构 * Stanford University（斯坦福大学） ； University of São Paulo（圣保罗大学）
AI总结 研究语言模型在经济价值任务上的表现，通过EconEvals开源套件评估，结合真实用户查询与合成数据，成本低且覆盖度好，还引入暴露度量估计时间节省情况，发现当前模型有潜力但存在使用滞后及隐私等瓶颈，引入基础设施推断其对劳动力市场的影响。
从开放式语言模型中提取记忆中的（受版权保护）书籍
机构 * Stanford University（斯坦福大学） ； Yale University（耶鲁大学） ； Cornell University（康奈尔大学） ； West Virginia University（西弗吉尼亚大学）
AI总结 研究通过测量书籍在语言模型中的记忆程度，发现大多数模型不完整记忆书籍，但部分模型如Llama 3.1 70B能完整记忆某些书籍，对版权案件有重要影响。
Comments COLM 2026
从第一原理出发的可提取记忆
机构 * Yale（耶鲁大学） ； AVERI（AVERI（未提及常见中文名，可直译为“应用价值与伦理研究所”之类，具体需结合实际背景）） ； Stanford（斯坦福大学） ； Google Research（谷歌研究院） ； Google DeepMind（谷歌DeepMind） ； Cornell（康奈尔大学）
AI总结 研究大语言模型可提取记忆的有效性问题，提出通过匹配比较测量训练与非训练序列生成概率来判断记忆，形式化共形测试和普查两种匹配比较方式并揭示问题，完善可提取记忆定义，给出有效声明及现实预算下的生成要求。
FLARE-AI：AI缺陷报告
AI总结 针对AI系统缺陷报告生态碎片化问题，提出开源系统FLARE-AI，通过条件逻辑和早期分类简化报告创建，支持标准化机器可读报告分发，降低报告门槛并提升互操作性。
Comments Accepted to ICML 2026
基于自我报告的LLM代理能够实现通用个体模拟
机构 * Computer Science Department, Stanford University（斯坦福大学计算机科学系） ； Department of Communication Studies, Northwestern University（西北大学传播学系） ； Department of Communication, University of Washington（华盛顿大学传播学系） ； Google DeepMind（谷歌DeepMind） ； Department of Sociology, Stanford University（斯坦福大学社会学系） ； Sciences Po（巴黎政治学院）
AI总结 本文研究了基于自我报告数据的LLM代理在模拟个体行为方面的有效性，通过不同数据源构建代理并验证其在多种任务中的准确性和跨群体公平性。
奇妙预训练优化器及其发现之处 II：超球优化
机构 * Stanford University（斯坦福大学） ； Princeton University（普林斯顿大学） ； Tsinghua University（清华大学）
AI总结 针对Muon等优化器在大模型预训练中增益随规模增大而减弱的问题，提出Hyperball包装器，固定权重矩阵及其更新的Frobenius范数，在1.2B参数模型上实现20-30%的token等效加速，并改善学习率迁移。
Comments Corresponding blog post: https://psychedelic-sunstone-851.notion.site/Fantastic-Pretraining-Optimizers-and-Where-to-Find-Them-2-1-Hyperball-Optimization-2e924306e6f280e7a5ffee00eb40a0dd
同时对角化：非对称、低秩和噪声环境
AI总结 本文扩展了联合对角化算法以处理低秩和非对称矩阵，并改进了这些方法的扰动分析，使联合对角化能应用于新的研究场景。
招聘中的算法同质化
机构 * Stanford University（斯坦福大学） ； Chapman University（查普曼大学） ； Northeastern University（东北大学）
AI总结 研究招聘算法同质化导致相同个体和种族群体被拒绝的问题，通过分析300万求职者的400万份申请数据，发现明显的种族差异和结果同质性。
Comments Published at FAccT 2026. Website: https://algorithmichiring.github.io/
自验证蒸馏：你的语言模型秘密地就是它自己的合成数据管道
机构 * Stanford University（斯坦福大学）
AI总结 提出自验证蒸馏算法，让大语言模型仅用无标注种子问题，通过自生成、自验证和自训练提升推理能力，在数学、科学和编程任务上取得显著提升。
通过AI反馈提升文本到视频生成中动态物体交互
机构 * Google DeepMind（谷歌DeepMind） ； The University of Tokyo（东京大学） ； Stanford University（斯坦福大学）
AI总结 本文研究如何利用反馈提升文本到视频模型中动态物体交互的质量，提出利用视觉语言模型提供针对性反馈，实验表明该方法在视频交互场景质量上有显著提升。
Comments Website: https://sites.google.com/view/aif-dynamic-t2v/
通过扩展合成巨文档实现数据高效的预训练
机构 * Stanford University（斯坦福大学）
AI总结 本文研究如何通过生成更长的合成巨文档提升预训练效果，发现其在降低损失和提升基准准确率方面优于简单重述，数据效率从1.48倍提升至1.80倍。
重放预训练数据提高微调
机构 * Stanford University（斯坦福大学）
AI总结 通过重放预训练数据提升微调效果，提高目标任务性能
将AI代理与网络安全专家在真实世界渗透测试中进行比较
机构 * Stanford University（斯坦福大学） ； Carnegie Mellon University（卡内基梅隆大学）
AI总结 本文比较了AI代理与网络安全专家在真实世界渗透测试中的表现，发现ARTEMIS在技术深度和提交质量上接近最强人类参与者，但在误报率和GUI任务上存在不足。
机器去学习并不如你所想：生成式AI政策与研究的启示
机构 * The GenLaw Center（GenLaw中心） ； Microsoft Research（微软研究院） ； Stanford University（斯坦福大学） ； Google DeepMind（谷歌DeepMind） ； Center for Democracy & Technology（民主与科技中心） ； Princeton（普林斯顿） ； Google（谷歌） ； University of Washington（华盛顿大学） ； University of Michigan（密歇根大学） ； Cornell Tech（康奈尔科技） ； Cornell Law School（康奈尔法学院） ； Cornell University（康奈尔大学） ； Lighthouse ； Stanford Law School（斯坦福法学院） ； UC Berkeley（伯克利大学） ； Independent（独立研究者） ； Northeastern University（东北大学） ； Harvard Business School（哈佛商学院） ； W. Virginia University College of Law（维珍尼亚大学法学院）
AI总结 本文指出机器去学习并非通用解决方案，揭示其在生成式AI政策与研究中的局限性。
Comments NeurIPS 2025 (Oral)
超越单一提取器：重新思考用于LLM预训练的HTML到文本提取
机构 * Apple（苹果公司） ； Stanford（斯坦福大学） ； University of Washington（华盛顿大学）
AI总结 本文提出通过结合多种提取器提升HTML到文本提取的效率与效果，显著提高LLM预训练数据的token产出并改善下游任务性能。
强大的ToRR：表格推理与鲁棒性基准
机构 * IBM Research（IBM研究院） ； Bar-Ilan University（巴伊兰大学） ； Stanford University（斯坦福大学） ； MIT（麻省理工学院）
AI总结 ToRR基准通过评估模型在不同表格格式和提示下的表现，揭示了表格推理任务中模型的鲁棒性问题，强调多格式测试对评估模型能力的重要性。
VLAW: 视觉-语言-动作策略与世界模型的迭代共改进
机构 * Stanford University（斯坦福大学） ； Tsinghua University（清华大学）
AI总结 本文提出通过迭代改进视觉-语言-动作策略与世界模型，提升真实机器人任务的性能和可靠性。
Comments Project Page: https://sites.google.com/view/vlaw-arxiv
Cosmos Policy: 为视觉运动控制和规划微调视频模型
机构 * NVIDIA ； Stanford University（斯坦福大学）
AI总结 Cosmos Policy通过单阶段后训练将预训练视频模型转化为高效机器人策略，实现视觉运动控制与规划的先进性能。
大语言模型的相对扩展定律
机构 * Stanford University（斯坦福大学） ； OpenAthena（开放阿塔纳） ； Georgia Institute of Technology（佐治亚理工学院）
AI总结 本研究提出相对扩展定律，通过分析不同测试分布在规模变化下的性能差异，揭示大语言模型在扩展过程中并非普遍均衡器，强调了鲁棒性挑战的重要性。
对语言模型熵校准的研究
机构 * Stanford University（斯坦福大学）
AI总结 本文研究了语言模型的熵校准问题，发现随着模型规模增大，校准误差缓慢改善，但截断方法会增加对数损失，理论证明在假设可预测文本熵的情况下，可以减少熵而不增加对数损失。
Comments Neurips 2025
RoboReward: 通用视觉-语言奖励模型用于机器人学
AI总结 RoboReward通过构建机器人奖励数据集和基准，训练视觉-语言奖励模型，验证了其在机器人学习中的有效性，并展示了改进策略学习和缩小与人工奖励差距的成果。
从生产语言模型中提取书籍
机构 * Stanford University（斯坦福大学） ； Yale University（耶鲁大学）
AI总结 研究通过两阶段方法测试从生产LLM中提取书籍的可行性，发现部分模型可提取受版权保护文本，但需不同劫持策略，揭示生产LLM存在训练数据泄露风险。
Comments We ran experiments from mid-August to mid-September 2025, notified affected providers shortly after, and now make our findings public after a 90-day disclosure window
2025基础模型透明度指数
机构 * UC Berkeley（伯克利大学） ； Stanford University（斯坦福大学） ； Princeton University（普林斯顿大学） ； Massachusetts Institute of Technology（麻省理工学院）
AI总结 2025基础模型透明度指数评估了基础模型开发者的透明度，发现整体透明度下降，IBM表现突出，而xAI和Midjourney得分极低，揭示了政策干预的必要性。
Comments Website: https://crfm.stanford.edu/fmti/December-2025/index.html
BountyBench: AI代理攻击者和防御者对现实世界网络安全系统的影响
机构 * Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校）
AI总结 BountyBench通过评估AI代理在漏洞检测、利用和修补中的表现，揭示AI在网络安全中的影响。
Comments 113 pages
RoboArena: 分布式现实世界中通用机器人策略的评估
AI总结 RoboArena通过分布式众包评估，实现了对通用机器人策略在现实世界中的可扩展、可靠评估，优于传统集中化方法。
Comments Website: https://robo-arena.github.io/
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈