Self-Augmenting Retrieval for Diffusion Language Models
扩散语言模型的自增强检索
机构 * University of California, Berkeley(加州大学伯克利分校) ; Google Research(谷歌研究院)
AI总结 提出SARDI框架,利用扩散语言模型去噪过程中丢弃的低置信度标记作为前瞻信号指导检索,无需训练且与检索器无关,在多跳问答基准上以高达8倍吞吐量超越现有方法。
Comments ICML 2026
大厂专区
扩散语言模型的自增强检索
机构 * University of California, Berkeley(加州大学伯克利分校) ; Google Research(谷歌研究院)
AI总结 提出SARDI框架,利用扩散语言模型去噪过程中丢弃的低置信度标记作为前瞻信号指导检索,无需训练且与检索器无关,在多跳问答基准上以高达8倍吞吐量超越现有方法。
Comments ICML 2026
PC层:通过多项式权重预处理改进大语言模型预训练
机构 * The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)) ; Google LLC(谷歌公司) ; Shenzhen International Center for Industrial and Applied Mathematics(深圳国际工业与应用数学中心) ; Shenzhen Research Institute of Big Data(深圳大数据研究院) ; University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
AI总结 提出一种多项式预条件子权重参数化方法(PC层),通过低阶多项式预条件重塑权重矩阵奇异值谱,确保LLM训练中权重条件稳定,且训练后无推理开销,在Llama-1B预训练中优于标准Transformer。
双重预处理 (DoPr):针对测试时性能而非验证损失的优化
机构 * University of California, Berkeley(加州大学伯克利分校) ; Stanford University(斯坦福大学) ; University of Cambridge(剑桥大学) ; DeepMind(深度Mind) ; Google Research(谷歌研究)
AI总结 提出双重预处理优化范式,通过结合梯度级和激活级预处理,缓解自回归语言建模等场景中训练/验证损失与下游指标不匹配的测试时反馈问题,提升测试时性能而不一定改善验证损失。
Multi-ResNets:约束优化中子空间预条件的多残差网络
机构 * UCLA(加州大学洛杉矶分校) ; University of Oxford(牛津大学) ; Tapestry, Google(谷歌Tapestry) ; Alphabetical ordering, authors contributed equally to this work(作者等量贡献)
AI总结 提出一种分阶段残差神经网络架构MResOpt,通过优先级分解约束满足和阶段感知损失,在预测-补全-校正流水线中实现域知有序约束满足,并在理想无限宽条件下表现为序列高斯过程回归,显著降低高优先级约束违反。
通过测试时重建实现潜在推理的闭环
机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) ; Google(谷歌) ; Florida State University(佛罗里达州立大学)
AI总结 提出ReLAT方法,利用自监督测试时训练通过查询重建损失优化潜在状态,实现潜在推理的闭环,提升数学推理、知识问答和代码生成的性能。
重新审视无监督词汇发现中的词汇评估
机构 * Google Africa PhD Fellowship(谷歌非洲博士 fellowship) ; South African National Research Foundation(南非国家研究基金会)
AI总结 针对无监督词汇发现中常用评估指标(归一化编辑距离)偏向大簇质量且忽略真实类别分布的问题,提出两种新指标:修正的簇内一致性指标和逆分布指标,通过实验证明其与真实分布更相关且更鲁棒。
Comments 6 figures
表示学习实现可扩展的多任务深度强化学习
机构 * Mila – Québec AI Institute(魁北克AI研究所) ; Université de Montréal(蒙特利尔大学) ; McGill University(麦吉尔大学) ; CIFAR AI Chair(CIFAR人工智能 chair) ; Google DeepMind(谷歌DeepMind)
AI总结 本文提出一种结合预测性表示学习与高容量值函数近似的无模型算法MR.Q,在无需规划的情况下,在多任务连续控制任务中超越基于世界模型的方法和多种深度强化学习基线,并显著降低计算开销。
工业化预测驱动推断:用于可靠生成式AI与智能体系统评估的GLIDE库
机构 * University of California, Berkeley(加州大学伯克利分校) ; Google Research(谷歌研究院)
AI总结 提出GLIDE开源库,统一多种预测驱动推断方法,提供无偏估计与有效置信区间,显著降低人工标注成本。
Comments 8 pages, Accepted to the ICML 2026 Workshop on Statistical Frameworks for Uncertainty in Agentic Systems, Seoul, South Korea, 2026
转换而非等价:通过观察等价性基准测试代码库转换
机构 * University of Southern California(南加州大学) ; Google Cloud AI Research(谷歌云人工智能研究) ; University of Notre Dame(圣约翰大学) ; Google Deepmind(谷歌DeepMind)
AI总结 针对代码库转换中智能体过度信任本地验证导致语义违反的问题,提出T2J-Bench基准,通过固定等价契约和三级验证(Spec、Numeric、Behavioral)评估转换质量,发现最佳系统通过率仅26.7-28.9%,且所有系统高估成功率66.6-97.8点。
沉默的思维:通过潜在推理建模全双工语音对话模型中的内部认知
机构 * DeepMind(深度Mind)
AI总结 本文提出了一种名为FLAIR的全双工语音对话模型,通过潜在推理同时进行语音感知和内部思考,以提高对话质量,该方法在多个语音基准测试中取得了竞争性的结果。
Comments Accepted by ICML 2026
评估个人健康记录在个性化健康AI中的效用
机构 * Google Research(谷歌研究)
AI总结 本文研究了利用个人健康记录(PHR)中的临床数据通过大语言模型(LLM)回答用户健康问题的效用,发现提供PHR上下文能显著提高回答的有用性、安全性和个性化水平,并揭示了LLM在理解复杂PHR方面的不足。
Comments 35 pages, 3 figures, 10 tables [bugfix / minor numerical update]
图像生成器是通用视觉学习者
机构 * Google(谷歌)
AI总结 本文研究了图像生成器在视觉理解中的通用学习能力,通过引入Vision Banana模型,展示了图像生成训练如何像语言模型预训练一样,使模型在多种视觉任务中取得最佳性能,证明了图像生成预训练在构建基础视觉模型中的核心作用。
Comments Project Page: http://vision-banana.github.io
CityRAG: 通过空间感知的视频生成进入城市
机构 * Google(谷歌) ; Cornell University(康奈尔大学) ; Stanford University(斯坦福大学)
AI总结 CityRAG通过利用地理注册数据的大型语料库,生成空间一致且可导航的真实环境视频,其核心方法是结合学习的先验知识和时空不一致训练数据,以实现复杂的运动和外观变化。
Comments Project page: cityrag.github.io
利用稀疏传感器网络全面监测空气污染热点
机构 * New York University(纽约大学) ; Google Research(谷歌研究) ; Toyota InfoTechnology Center(丰田信息技术中心) ; Kaiterra Inc(Kaiterra公司) ; University of Warwick(沃里克大学) ; Yale University(耶鲁大学)
AI总结 本文通过结合预测建模和机理方法,利用新增的低成本传感器,发现新德里现有传感器网络之外的189个隐藏热点,并利用空间时间克里金法进行预测,同时开发了高斯烟雾扩散模型以解释热点形成机理,为资源受限环境下的空气污染管理提供了数据驱动和机理结合的解决方案。
在非马尔可夫世界中的有限资源分配:产科与儿童保健的案例
机构 * Harvard University(哈佛大学) ; Google Research(谷歌研究)
AI总结 本文研究了在非马尔可夫环境下如何通过时间序列方法优化资源分配,提出了一种新的时间序列臂排名指数(TARI)策略,以提高产科和儿童保健项目的参与度和依从性。
Comments Proceedings of the 32nd International Joint Conference on Artificial Intelligence (IJCAI 2023)