Multi-Mixer Models: Flexible Sequence Modeling with Shared Representations
多混合器模型:基于共享表示的灵活序列建模
机构 * Carnegie Mellon University(卡内基梅隆大学) ; Google Research(谷歌研究)
AI总结 提出Oryx混合模型,通过序列轴上的灵活切换(注意力与线性递归)实现高效长上下文处理,在1.4B规模下平均语言建模任务提升0.7个百分点。
大厂专区
多混合器模型:基于共享表示的灵活序列建模
机构 * Carnegie Mellon University(卡内基梅隆大学) ; Google Research(谷歌研究)
AI总结 提出Oryx混合模型,通过序列轴上的灵活切换(注意力与线性递归)实现高效长上下文处理,在1.4B规模下平均语言建模任务提升0.7个百分点。
多标签学习中优化广义度量的原则性算法
机构 * Google Research(谷歌研究) ; CIMS(应用数学与计算科学研究所)
AI总结 本文基于H-一致性理论,设计了可分解的代理损失函数,提出MMO算法族,用于优化多标签学习中的广义线性分式度量,并在大规模数据集上验证了其可扩展性和优越性能。
衡量AGI进展:一个认知框架
机构 * Google DeepMind(谷歌DeepMind)
AI总结 本文提出一个基于认知分类学的框架,通过10个关键认知能力评估系统性能,以量化AGI进展。
Comments 32 pages, 2 figures
EgoRelight: 基于自我中心的人体捕捉与光照恢复实现可重光照和逼真化身渲染
机构 * MPI for Informatic, SIC \& VIA Research Center Saarbr \"u cken Germany ; Google Mountain View USA ; Google Z \"u rich Switzerland ; MPI for Informatic \& VIA Research Center Saarbr \"u cken Germany ; MPI for Informatic, SIC \& VIA Research Center ; Google ; MPI for Informatic \& VIA Research Center
AI总结 提出EgoRelight框架,通过头戴显示器上的立体下视相机提取深度图驱动网格化身,并利用神经外观模型分别合成视角相关镜面反射和视角无关漫反射,结合测试时逆渲染恢复HDR环境图,实现从单一HMD进行全身性能捕捉、逼真可重光照外观合成和环境光照估计。
解聚能走多远?面向高效 MoE LLM 服务的 Attention-FFN 解聚设计空间探索
机构 * Georgia Institute of Technology(佐治亚理工学院) ; Intel(英特尔) ; Google(谷歌) ; Google DeepMind(谷歌DeepMind) ; Infravana
AI总结 本文系统探索了从分块预填充、预填充-解码解聚到算子级 Attention-FFN 解聚 (AFD) 的不同解聚层次在 MoE 模型推理中的收益与局限,通过融合设备内核测量与高保真网络仿真的框架,在严格 TTFT/TPOT SLO 下 AFD 可在 DeepSeek-V3.2 上维持约 4k tokens/s 的系统吞吐量,并给出了联合优化吞吐与交互性的具体设计原则。
统一全景几何估计:基于多视角基础模型
机构 * ETH Zürich(苏黎世联邦理工学院) ; Google(谷歌)
AI总结 提出PaGeR框架,利用预训练3D基础模型,从单张全景图像中统一预测尺度不变深度、度量深度、表面法线和天空掩码,实现360度场景重建。
平衡可塑性与稳定性:基于快慢继承特征的方法
机构 * School of Computer Science, McGill University, Montr\'eal, Canada(谷歌DeepMind) ; Mila - Quebec Artificial Intelligence Institute, Montr\'eal, QC, Canada ; CIFAR Learning in Machines ; Google Deepmind ; Montreal Neurological Institute of McGill University, Montr\'eal, Canada
AI总结 针对非平稳环境中深度强化学习面临的稳定性-可塑性困境,提出通过多时间尺度突触巩固继承特征来平衡两者,实验表明在渐变环境下稳定性比可塑性更重要。
Comments Main Paper: 9 pages, 9 figures. Accepted at The International Conference on Machine Learning (ICML) 2026
BlazeEdit: 基于图像到图像扩散模型的移动设备通用图像编辑
机构 * Google(谷歌)
AI总结 提出BlazeEdit,一个仅195M参数的轻量级通用图像编辑扩散模型,通过消除文本条件组件和多任务架构,在移动设备上实现快速、隐私保护的图像编辑。
Comments Accepted to CVPR 2026 EDGE Workshop
从情感到复杂行为:第十届ABAW研讨会与竞赛推进多模态以人为中心的人工智能
机构 * Queen Mary University of London(伦敦皇后玛丽大学) ; Hume AI ; Google Deepmind(谷歌DeepMind) ; Imperial College London(伦敦帝国理工学院) ; Cogitat ; LIVIA ; ILLS ; ETS Montreal(蒙特利尔ETS) ; Concordia University(Concordia大学) ; Xi’an Jiaotong University(西安交通大学)
AI总结 本文介绍了第十届ABAW研讨会与竞赛,通过多模态挑战和论文,推动真实环境下人类情感与行为的建模、分析和理解。
Comments accepted at CVPR 2026
Orbax: 使用JAX进行分布式检查点
机构 * Google, Mountain View, USA(谷歌,美国山景城) ; Google DeepMind, Mountain View, USA(谷歌深Mind,美国山景城) ; Google DeepMind, London, UK(谷歌深Mind,英国伦敦)
AI总结 本文提出Orbax,一个模块化的JAX原生检查点库,通过抽象分布式加速器系统的复杂性并提供灵活的用户友好检查点操作,在保存和加载性能上分别比PyTorch竞品快3.5倍和2倍。
Comments 18 pages, 5 tables, 6 figures
生物启发的自监督学习用于腕戴式加速度计数据
机构 * College of Information and Computer Sciences, University of Massachusetts, Amherst, United States(信息与计算机科学学院,马萨诸塞大学阿默斯特分校) ; Google Health, Seattle, United States(谷歌健康,西雅图,美国) ; Department of Computer Science, University of Maryland, College Park, United States(计算机科学系,马里兰大学学院公园分校) ; Stevens Institute of Technology, Hoboken, United States(史蒂文斯理工学院,霍博肯,美国)
AI总结 提出基于运动子单元理论的令牌化策略,通过掩码重建预训练Transformer编码器,在六个HAR基准上超越现有自监督方法。
Transformer中的涌现类比推理
机构 * The University of Tokyo(东京大学) ; Google Deep Mind(谷歌深Mind)
AI总结 本研究通过范畴论中的函子概念形式化类比推理,设计合成任务探究Transformer中类比推理的涌现机制,发现其依赖于数据特征、优化选择和模型规模,并通过机制分析揭示几何对齐和函子应用两个关键组件。
Comments Accepted to ICML2026 (spotlight)
Alterbute: 编辑图像中物体的内在属性
机构 * Google(谷歌) ; The Hebrew University of Jerusalem(耶路撒冷希伯来大学) ; Reichman University(雷赫曼大学)
AI总结 提出Alterbute方法,通过扩散模型结合松弛训练目标和视觉命名实体,在保持物体身份和场景上下文的同时编辑颜色、纹理、材质和形状等内在属性。
Comments ICML 2026. Project page is available at https://talreiss.github.io/alterbute/
关于混合正则化
机构 * MaLGa - University of Genova, Italy(马尔加-热那亚大学,意大利) ; Google Research - Brain team, Accra(谷歌研究-大脑团队,阿克拉) ; Google Research - Brain team, Berlin(谷歌研究-大脑团队,柏林) ; Google Research - Brain team, Paris(谷歌研究-大脑团队,巴黎)
AI总结 本文通过将混合解释为数据变换与随机扰动的组合,揭示了其正则化效应,并提出了测试时数据变换改进以及标签平滑和Lipschitz常数减小等机制。
Journal ref Journal of Machine Learning Research, 23(325):1-31, 2022