Elucidating the Design Space of LM Data Attribution
机构 * Northeastern University(东北大学) ; MIT(麻省理工学院)
AI总结 本研究探索LLM数据归因的设计空间,提出可控归因基准CATT,发现用负对数几率梯度替代交叉熵损失梯度并聚合Top词分数可显著提升归因性能,该修正还能推广到FTRACE-TREX。
Comments Project Page: https://catt.baulab.info/
高校专区
机构 * Northeastern University(东北大学) ; MIT(麻省理工学院)
AI总结 本研究探索LLM数据归因的设计空间,提出可控归因基准CATT,发现用负对数几率梯度替代交叉熵损失梯度并聚合Top词分数可显著提升归因性能,该修正还能推广到FTRACE-TREX。
Comments Project Page: https://catt.baulab.info/
机构 * MIT(麻省理工学院) ; Succinct
AI总结 本研究提出回退交互证明(RIPs)模型,用于无需诚实证明者的可扩展监督,其效率高于同类无诚实假设的相对证明,经MNIST实验验证比现有系统更快。
如何循环你的Transformer:循环缩放、专业化与并行推理
机构 * FAIR at Meta ; MIT(麻省理工学院)
AI总结 该研究探讨Transformer循环的权衡,发现全循环Transformer在固定参数预算下质量最优,中间层循环在训练计算受限时更优,添加循环收益会饱和,提出循环专用低秩适配器提升质量,改进并行循环方案恢复性能。
Comments 149 pages with appendix. Prerpint
机构 * Cohere(科here公司) ; UCL AI Centre(伦敦大学学院人工智能中心) ; MIT(麻省理工学院)
AI总结 该研究通过计算匹配实验发现,合成预预训练(PPT)在多数场景下未优于纯自然语言训练,其增益受初始化方案影响,且会被后续自然语言训练遗忘,建议重新思考其在语言模型训练中的使用方式。
机构 * University of Göttingen(哥廷根大学) ; CHI-FRO ; MIT(麻省理工学院) ; ETH Zürich(苏黎世联邦理工学院) ; Cornell University(康奈尔大学) ; Yale University(耶鲁大学) ; McGill University(麦吉尔大学) ; Mila(米拉研究所)
AI总结 该研究用序贯蒙特卡洛引导小语言模型生成适配教学资源的目标语法,使小模型性能超140倍大模型的最优结果,还可通过代码合成扩展到数百种语法技能且无需额外训练数据。
Comments EMNLP 2026
机构 * Massachusetts Institute of Technology(麻省理工学院)
AI总结 针对AI对齐错误监测的少量正例数据挑战,研究发现激活探针在少量正例下可靠,大量负例训练、LLM适度上采样及更大模型可提升正例效率,为监测罕见对齐错误提供方法。
Comments Presented at the Mechanistic Interpretability workshop at NeurIPS 2025
机构 * Northeastern University(东北大学) ; Broad Institute of MIT and Harvard(麻省理工学院与哈佛大学博德研究所) ; Harvard University(哈佛大学) ; Wyss Institute for Biologically Inspired Engineering, Harvard University(哈佛大学怀斯生物启发工程研究所) ; Massachusetts Institute of Technology(麻省理工学院) ; University of California, Berkeley(加州大学伯克利分校) ; University of Toronto(多伦多大学) ; The Ohio State University(俄亥俄州立大学) ; University of Washington(华盛顿大学) ; Howard Hughes Medical Institute(霍华德·休斯医学研究所) ; Yale University(耶鲁大学) ; Microsoft Research New England(微软研究院新英格兰分部) ; Massachusetts General Hospital(麻省总医院) ; Brigham and Women’s Hospital and Dana-Farber Cancer Institute(布莱根妇女医院与丹娜法伯癌症研究院)
AI总结 本研究提出MoLRSI智能体,结合工作流与模型架构优化及跨任务记忆,在抗生素发现和肽-MHC结合剂设计中,其工作流的实验命中率优于专家主导流程,且Claude Science未成功。
Comments 69 pages,8 figures
机构 * Massachusetts Institute of Technology(麻省理工学院)
AI总结 本文针对条件混合下的掩码扩散模型,证明其端到端KL界的极小极大最优样本复杂度,提出高效采样调度,并通过实验验证结果的定性预测。
Comments Accepted at the NeurIPS 2026 Workshop on Diffusion Language Models: Foundations, Efficiency, and Reasoning (DiffuLM). 26 pages, 2 figures, 6 tables
机构 * MIT CSAIL(麻省理工学院计算机科学与人工智能实验室) ; Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所) ; ETH Zürich(苏黎世联邦理工学院) ; Tübingen AI Center(蒂宾根人工智能中心) ; ELLIS Institute Tübingen(欧洲学习与智能系统研究所蒂宾根分所)
AI总结 LinQuant是基于7种功能不变性的低精度递推预填充框架,扩展SSDi8后在多款大模型匹配延迟下提升了困惑度,验证了其实用价值。
Comments 35 pages, 16 figures. Code: https://github.com/ntumm120/LinQuant
机构 * Michigan State University(密歇根州立大学) ; Baidu, Inc.(百度公司) ; Massachusetts Institute of Technology(麻省理工学院)
AI总结 针对长周期任务中智能体验证滞后、信息占比下降及多智能体协作的目标迷失等问题,提出GAD方法,通过执行图与动态依赖管理实现目标感知协作,提升任务完成效果。
AI应何时决策、弃权(不执行)与偏离? deceased donor kidney allocation 中的负责任自动化
机构 * Massachusetts Institute of Technology(麻省理工学院) ; Massachusetts General Hospital(麻省总医院) ; Harvard Medical School(哈佛医学院)
AI总结 本研究针对 deceased donor kidney allocation 场景,构建 Arbitrator 框架,结合可解释模型解决AI决策、弃权(不执行)与偏离的问题,可处理93.5%的器官放置决策,标记高比例待移植肾脏并开展智能体审计。
机构 * Amazon Fulfillment Technologies & Robotics(亚马逊履约技术与机器人部门) ; Massachusetts Institute of Technology(麻省理工学院) ; University of Iowa(爱荷华大学) ; Northeastern University(东北大学)
AI总结 该研究提出元学习图神经网络,利用物体多维度历史信息预测新环境物体运动,在仿真和硬件实验中均优于基线方法,可实现机器人无碰撞导航。
Comments 9 pages, 7 figures
机构 * Massachusetts Institute of Technology(麻省理工学院) ; NVIDIA(英伟达)
AI总结 提出WISD框架,通过构建弱模型(量化/剪枝)利用其与原模型的对比训练,在数学和代码推理任务上提升Qwen系列模型准确率,实现无特权信息的先进自蒸馏效果。
Comments Work in progress. Code is released at https://github.com/jet-ai-projects/WISD
机构 * Massachusetts Institute of Technology(麻省理工学院)
AI总结 本研究提出AtomSteer,一种测试时约束引导框架,可在不重新训练或修改架构的情况下,为FlowMM等预训练原子级生成模型添加化学与晶体学控制,提升多类结构生成任务的约束满足度。
机构 * MIT(麻省理工学院)
AI总结 本文针对多令牌预测(MTP)训练的缺陷,提出KL梯度恢复技巧,实现Soft-MTP,仅需一行代码修改,无额外参数与开销,在各规模下均优于标准MTP,提升了语言模型的性能。
Comments Preprint
机构 * MIT CSAIL(麻省理工学院计算机科学与人工智能实验室) ; Liquid AI ; Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
AI总结 提出ParaTTT算法并行化TTT层的深度非线性记忆,通过分块并行传递实现加速,在匹配误差下评估速度达TTT-MLP的32倍,模型性能优于或媲美Gated DeltaNet、Mamba-2及同规模Transformer。
Comments 34 pages, 7 figures. Project repository: https://github.com/ntumm120/paraTTT
SKiD-SLAM:面向行星任务的资源感知分布式多机器人激光雷达同步定位与建图系统,在模拟场地完成实地部署
机构 * Inha University(仁荷大学) ; Massachusetts Institute of Technology (MIT)(麻省理工学院)
AI总结 本研究提出SKiD-SLAM分布式多机器人激光雷达SLAM系统,适配行星任务的资源约束,经韩国模拟场地实地部署验证,可在250 kbps通信预算下可靠运行。
Comments 31 pages. Published in IEEE Transactions on Field Robotics. Code and field data: https://sparolab.github.io/research/skid_slam/
Journal ref IEEE Transactions on Field Robotics, vol. 3, pp. 813-841, 2026
机构 * Massachusetts Institute of Technology(麻省理工学院) ; University of California, Los Angeles(加利福尼亚大学洛杉矶分校) ; Texas A&M University(德克萨斯农工大学)
AI总结 本研究提出多智能体利用框架VerifiedLab,将人类知识转化为机器可用的主动系统,通过钙钛矿太阳能电池实验验证其可恢复物理趋势、预测器件,为AI协同科学家开辟新路径。
机构 * Massachusetts Institute of Technology(麻省理工学院) ; Preferred Networks ; National University of Singapore(新加坡国立大学)
AI总结 该研究探讨机器学习原子间势不确定性量化中系统大小的影响,发现均值与最大值聚合的不确定性分数大小依赖性不同,不考虑大小的准则存在局限,需开发考虑大小的校准方法以提升大规模原子模拟的OOD检测可靠性。
机构 * The Hong Kong University of Science and Technology(香港科技大学) ; National University of Singapore(新加坡国立大学) ; The Hong Kong Polytechnic University(香港理工大学) ; The University of Tokyo(东京大学) ; Carnegie Mellon University(卡内基梅隆大学) ; University of California, Berkeley(加州大学伯克利分校) ; University of Central Florida(中佛罗里达大学) ; University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校) ; The Chinese University of Hong Kong(香港中文大学) ; University of Chicago(芝加哥大学) ; Princeton University(普林斯顿大学) ; Johns Hopkins University(约翰霍普金斯大学) ; University of Cambridge(剑桥大学) ; University of California, San Diego(加州大学圣迭戈分校) ; The University of Hong Kong(香港大学) ; City University of Hong Kong(香港城市大学) ; University of California, Merced(加州大学默塞德分校) ; Cornell University(康奈尔大学) ; Massachusetts Institute of Technology(麻省理工学院) ; University of Southern California(南加州大学) ; Stanford University(斯坦福大学) ; University of Maryland, College Park(马里兰大学帕克分校) ; Singapore Management University(新加坡管理大学) ; Nanyang Technological University(南洋理工大学) ; University of Oxford(牛津大学) ; University of Edinburgh(爱丁堡大学) ; XGEN Labs(XGEN实验室)
AI总结 本研究提出双重考核方法,在多领域中分别评估多模态智能体与世界模型,通过实验发现二者任务性能不均衡,其对预测耦合成功的价值仍待验证。
机构 * Harvard(哈佛大学) ; Kempner Institute(坎普纳研究所) ; NYU(纽约大学) ; UIUC(伊利诺伊大学厄巴纳-香槟分校) ; NEU(东北大学) ; MIT(麻省理工学院)
AI总结 本文提出多模态文件系统记忆(MFM)架构,通过整合多类型记忆并结合文本检索,提升了长视界具身智能体在Minecraft、CUABench-KiCad等任务中的性能。
机构 * Massachusetts Institute of Technology(麻省理工学院) ; Harvard University(哈佛大学)
AI总结 本文开发了热力学极限自举法,可直接求解分数量子霍尔基态,给出严格的基态能量下界,适用于多种量子霍尔态,还成功求解了ν=1/4和ν=12/5处的热力学基态。
Comments 19 pages, 4 main figures, 1 table, and 5 extended figures
机构 * University of Tübingen(蒂宾根大学) ; Max Planck Institute for Informatics(马克斯·普朗克信息学研究所) ; IBM Research(IBM研究院) ; MIT(麻省理工学院) ; MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室) ; Tübingen AI Center(蒂宾根人工智能中心)
AI总结 该研究针对视频理解基准评估中存在的配置方差、样本无效等问题,构建了Meta-Video基准并建立标准化评估协议,提升评估效率与可靠性。
Delta-Matching:弥合大语言模型原生8位训练的最后差距
机构 * Carnegie Mellon University(卡内基梅隆大学) ; NVIDIA(英伟达) ; Massachusetts Institute of Technology(麻省理工学院)
AI总结 本文提出Delta-Matching方法,通过恢复softmax梯度零行和不变性,解决FP8注意力前向-后向不一致导致的优化误差,实现大语言模型原生8位训练,匹配混合精度性能。
机构 * MIT(麻省理工学院) ; Shenzhen Loop Area Institute(深圳河套学院)
AI总结 提出ACPO算法,通过裁剪重要性采样比率与优势的乘积来稳定梯度估计,在数学推理基准上较PPO和GRPO提升4-6个百分点,并证明其与策略镜像下降中梯度裁剪的关联及收敛性。
耦合校准与学习:在无目标域奖励反馈的LLM蒸馏中缓解教师偏差
机构 * MIT(麻省理工学院) ; UIUC(伊利诺伊大学厄巴纳-香槟分校)
AI总结 提出耦合校准与学习(CCL)算法,通过令牌级分支耦合教师校准与学生更新,仅用源反馈,在理论上证明可消除教师偏差并收敛至最优学生,无需目标域奖励。
机构 * Cornell University(康奈尔大学) ; MIT(麻省理工学院) ; Imperial College London(伦敦帝国学院) ; Goodfire AI
AI总结 该研究揭示大语言模型存在“无知方向”这一几何结构,可用于计算先验加载因子λ,该因子能衡量模型对一元先验的依赖,且具有因果作用,不同规模模型的λ存在差异,为理解模型的不确定性处理机制提供了新视角。
机构 * Harvard University(哈佛大学) ; Massachusetts Institute of Technology(麻省理工学院) ; Robert Bosch LLC Research and Technology Center(罗伯特博世有限责任公司研究与技术中心) ; Initiative for Computational Catalysis, Flatiron Institute(计算催化倡议,平顿研究所)
AI总结 该研究针对传统密度泛函近似的缺陷,提出机器学习结合物理信息描述符的CIDER26SS泛函,解决CO/Pt难题,对分子、固体及过渡金属表面体系预测精度优异且可迁移性强。
机构 * Universidad Nacional Autónoma de México(墨西哥国立自治大学) ; Element Aero ; Bartoszek Engineering ; Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室) ; Massachusetts Institute of Technology(麻省理工学院) ; New Mexico State University(新墨西哥州立大学) ; University of New Mexico(新墨西哥大学) ; University of South Dakota(南达科他大学)
AI总结 本研究基于CCM实验,利用混合切伦科夫-闪烁探测器构建似然比分类器搜寻类轴子粒子,在10⁻³ MeV至10 MeV质量区间未发现显著超出,且灵敏度优于此前CCM120实验。
Comments Published in Physical Review D, Phys. Rev. D 114, 072008
KumbhDoot:面向大规模集会公共服务助手的可扩展、大语言模型(LLM)限定架构
机构 * Cisco(思科) ; MIT(麻省理工学院)
AI总结 针对大壶节这类高风险低连接性的大规模集会,提出KumbhDoot架构,以相似度优先、LLM限定为核心,解决默认LLM助手成本高、易幻觉等问题,适配公共服务场景。