Towards Pretraining Text Encoders for TabPFN
面向TabPFN的文本编码器预训练
机构 * University of California, Berkeley(加州大学伯克利分校) ; DeepMind(深度思维)
AI总结 提出TabPFN文本适配器,通过轻量级适配器将文本嵌入映射到TabPFN的嵌入空间,避免PCA瓶颈,保留TabPFN数值优势,训练效率更高。
大厂专区
面向TabPFN的文本编码器预训练
机构 * University of California, Berkeley(加州大学伯克利分校) ; DeepMind(深度思维)
AI总结 提出TabPFN文本适配器,通过轻量级适配器将文本嵌入映射到TabPFN的嵌入空间,避免PCA瓶颈,保留TabPFN数值优势,训练效率更高。
网络上的近最优去中心化随机凸优化
机构 * Blavatnik School of Computer Science, Tel Aviv University(塔尔大学比拉维克计算机科学学院) ; Google Research Tel Aviv(谷歌研究以色列特拉维夫)
AI总结 针对去中心化随机光滑凸优化问题,提出一种加速去中心化方法,在总梯度样本预算N下,将可支持的工作节点数提升至M≲√ρ N^{3/4},并证明其最优性。
Comments 12 papers
DSA: 用于快速自回归视频生成的动态步数分配
机构 * University of California, Irvine(加州大学尔湾分校) ; Google(谷歌) ; Google DeepMind(谷歌DeepMind)
AI总结 提出一种置信度引导的自适应计算框架DSA,通过轻量级置信度头动态调整每帧去噪步数,在保持视频质量的同时实现实时自回归视频生成。
Comments CVPR2026, Findings Track
LazyAttention: 高效检索增强生成中的延迟位置编码
机构 * Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校Siebel计算与数据科学学院) ; Google(谷歌) ; Amazon(亚马逊)
AI总结 针对检索增强生成中KV缓存位置编码复用性差的问题,提出LazyAttention机制,通过核化延迟位置编码实现零拷贝、位置无关的KV重用,显著降低首令牌延迟并提升推理吞吐量。
Comments ICML 2026
可微分听觉环路(DAL):用于超个性化助听器的机器学习框架
机构 * Google Research Australia(谷歌澳大利亚研究实验室) ; Macquarie University(麦考瑞大学)
AI总结 提出可微分听觉环路(DAL)框架,通过将CARFAC模型移植到JAX并优化SEANet深度神经网络,以正常听觉神经活动模式为参考补偿听力损失,在神经表征和信号保真度指标上优于传统助听器基线。
POLARIS:引导小模型撰写长篇小说
机构 * University of Maryland(马里兰大学) ; Google(谷歌) ; DeepMind(深Mind)
AI总结 提出POLARIS训练方法,结合LLM裁判奖励和人类参考注入,使9B小模型在长故事写作中达到与27B模型相当的质量,并展现出长度泛化能力。
隐形彩票:微妙线索如何引导LLM代码生成中的算法选择
机构 * University of Washington(华盛顿大学) ; Google Research(谷歌研究院)
AI总结 通过大量控制实验,发现提示中的偶然线索(如上下文词或元数据)会系统性地改变LLM在代码生成中选择的算法族分布,影响性能、安全性和可维护性,而直接命名算法是最可靠的缓解措施。
LEAP:利用智能体框架增强形式化数学的大语言模型
机构 * Google Cloud AI Research(谷歌云人工智能研究) ; Google Cloud(谷歌云) ; Google DeepMind(谷歌DeepMind)
AI总结 提出LEAP智能体框架,通过分解问题、与Lean编译器交互及自我优化,使通用大模型在形式化定理证明上达到最先进性能,并在Putnam竞赛和Lean-IMO-Bench上超越专业系统。
感知-物理悖论:用TC-Bench探究科学对齐
机构 * ETH Zurich(苏黎世联邦理工学院) ; DeepMind ; University of Cambridge(剑桥大学) ; University of Amsterdam(阿姆斯特丹大学) ; University of Toronto(多伦多大学)
AI总结 本文提出科学对齐概念,通过结构同构性构建层次化必要条件,并发布TC-Bench基准数据集,揭示视觉基础模型在极端条件下依赖视觉捷径而非科学推理。
Comments Accepted at ICML 2026
提示级蒸馏:一种非参数化的模型微调替代方案,用于高效推理
机构 * Google Mountain View, California, USA(谷歌山景城,加利福尼亚州,美国)
AI总结 提出提示级蒸馏(PLD),通过从教师模型中提取推理模式并组织为结构化指令注入学生模型的系统提示,无需微调即可提升小模型推理性能,在多个基准上接近前沿水平且延迟极低。
Comments Accepted at ACL 2026 Industry Track
将提示转化为权重
机构 * Google Research(谷歌研究) ; Cambridge University(剑桥大学)
AI总结 本文提出一种将提示信息转化为与token无关的思维向量和思维矩阵的算法,为现有基于向量和矩阵的模型编辑技术提供理论解释,并实现文本输入到可复用权重更新的直接转化。
MesaNet: 通过局部最优测试时训练进行序列建模
机构 * Google(谷歌) ; Paradigms of Intelligence Team(智能范式团队) ; Google DeepMind(谷歌DeepMind) ; MIT CSAIL(麻省理工学院CSAIL)
AI总结 提出一种基于共轭梯度求解器实现局部最优测试时训练的Mesa层,在保持常数推理成本的同时,在语言建模困惑度和下游基准性能上超越现有RNN模型。
Comments Published at ICLR 2026
基于深度强化学习的自适应电力系统紧急控制
机构 * Pacific Northwest National Laboratory(太平洋西北国家实验室) ; Battelle(巴特尔) ; U.S. Department of Energy(美国能源部) ; Deep Science laboratory(深科学实验室) ; Google Brain(谷歌大脑)
AI总结 本文提出了一种基于深度强化学习的自适应电力系统紧急控制方法,通过高维特征提取和非线性泛化能力来应对现代电网中的不确定性与变化,展示了其在发电机动态制动和电压降低负载切除中的优异性能和鲁棒性。
Comments 12 pages
对抗性扰动下的在线控制
机构 * Google AI Princeton(谷歌AI普林斯顿) ; Princeton University(普林斯顿大学) ; University of Washington(华盛顿大学) ; Allen School of Computer Science and Engineering(阿伦计算机科学与工程学院)
AI总结 本文研究了在存在对抗性扰动的线性动态系统中的在线控制问题,提出了一种高效的算法,该算法在几乎紧致的 regret 绑定下实现了接近全知扰动的控制效果,同时扩展了先前工作的两个主要方面:允许动态中的对抗性噪声和一般的凸成本。
一种适用于使用简单傅里叶变换重建信号的通用采样方法
机构 * Tel Aviv University(特拉维夫大学) ; EPFL(瑞士联邦理工学院) ; Microsoft Research(微软研究院) ; Princeton University(普林斯顿大学) ; Google Research(谷歌研究院)
AI总结 本文提出了一种通用采样方法,用于通过少量离散样本重建连续信号,该方法基于信号的傅里叶结构约束,并展示了其在多带信号重建和高斯过程回归等任务中的有效性。
通过控制收缩度量学习可稳定化的动态系统
机构 * Dept. of Aeronautics and Astronautics, Stanford University(航空航天系,斯坦福大学) ; Google Brain Robotics, New York(谷歌大脑机器人,纽约) ; Dept. of Mechanical Engineering, Massachusetts Institute of Technology(机械工程系,麻省理工学院)
AI总结 本文提出了一种新的框架,用于学习可稳定化的非线性动态系统,以实现机器人连续控制任务。核心方法是开发一种基于稳定性的控制理论正则化器,以确保学习到的系统可以配备一个稳健的控制器,能够稳定任何系统生成的开环轨迹。通过利用收缩理论、统计学习和凸优化工具,我们提供了一个通用且可操作的半监督算法来学习可稳定化的动态系统,可以应用于复杂的欠驱动系统。在模拟平面四旋翼系统上验证了所提算法,并观察到与传统回归技术学习的模型相比,使用控制理论正则化模型在轨迹生成和跟踪性能上有显著改进,尤其是在使用少量示范示例时。结果展示了将标准基于模型的强化学习算法与非线性控制理论概念结合的必要性,以提高可靠性。
Comments To appear at WAFR 2018. v2: re-structured Sections 3 & 4 to improve clarity; expanded discussion on limitations & future work in Section 5; added details on training & validation, significantly expanded experiments
打破地平线诅咒:无限地平线离线估计
机构 * The University of Texas at Austin(德克萨斯大学奥斯汀分校) ; Google Brain(谷歌大脑)
AI总结 本文提出了一种新的离线估计方法,通过直接在平稳状态访问分布上应用重要性采样来避免现有估计器中方差爆炸的问题,核心贡献是提出了一种估计两个平稳分布密度比的新方法,并推导了RKHS情况下的闭式解。
Comments 21 pages, 5 figures, NIPS 2018 (spotlight)
基于动态系统的强化学习鲁棒计算:排序问题案例研究
机构 * Google Brain, Mountain View, CA, USA(谷歌大脑,美国加利福尼亚州山景城) ; Sandia National Labs, Albuquerque, NM, USA(桑迪亚国家实验室,美国新墨西哥州阿尔伯克基)
AI总结 本文将计算过程建模为反馈控制问题,利用强化学习解决序列决策问题,通过排序问题案例展示鲁棒计算方法在克服传统编程局限性方面的有效性。
Comments 11 pages, accepted to CDC 2018. Here with additional evaluations
谱滤波用于通用线性动态系统
机构 * Department of Computer Science, Princeton University(普林斯顿大学计算机科学系) ; Google Brain(谷歌大脑) ; Department of Mathematics, Princeton University(普林斯顿大学数学系)
AI总结 本文提出一种多项式时间算法,用于学习无系统识别假设的隐状态线性动态系统,无需假设系统转移矩阵的谱半径。该算法扩展了谱滤波技术,通过新的凸松弛方法高效识别相位。
通过鲁棒优化安全探索以识别线性系统
机构 * Google(谷歌)
AI总结 本文研究如何在未知动态系统中安全识别参数,通过鲁棒优化方法逐步扩展安全动作区域,提升安全探索的样本效率。
带拍卖机制的交通灯控制器:算法与现实数据
机构 * Google, Inc.(谷歌公司)
AI总结 本文提出一种基于拍卖的交通灯控制器,通过微拍卖整合交通传感器信息,提升路容量和平均出行时间,优于现有静态程序灯和长期规划方案。