Decentralized Nonconvex Optimization under Heavy-Tailed Noise: Normalization and Optimal Convergence
去中心化非凸优化中的重尾噪声:归一化与最优收敛
AI总结 本文研究了在去中心化设置下,非凸随机优化中的重尾噪声问题,提出GT-NSGDm算法,通过归一化、梯度跟踪和动量技术,实现最优非渐近收敛率。
Comments Accepted to ICLR 2026
期刊&会议
International Conference on Learning Representations · 会议 · Machine Learning
去中心化非凸优化中的重尾噪声:归一化与最优收敛
AI总结 本文研究了在去中心化设置下,非凸随机优化中的重尾噪声问题,提出GT-NSGDm算法,通过归一化、梯度跟踪和动量技术,实现最优非渐近收敛率。
Comments Accepted to ICLR 2026
HAMLET: 将视觉-语言-动作模型转换为历史感知策略
机构 * KAIST(韩国科学技术院) ; UC Berkeley(伯克利大学)
AI总结 本文提出HAMLET框架,通过引入时刻标记和轻量记忆模块,使视觉-语言-动作模型能关注历史上下文,提升长周期任务表现,实验显示在多个基准测试中均取得显著提升。
Comments ICLR 2026. Project page: https://myungkyukoo.github.io/hamlet/
通过小规模偏好优化修剪大推理模型的长推理链
机构 * State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室) ; University of Science and Technology of China(中国科学技术大学) ; Institute of Artificial Intelligence(人工智能研究院) ; Hefei Comprehensive National Science Center(合肥综合性国家科学中心) ; Central China Normal University(中部师范大学) ; Meituan(美团) ; NeoShell
AI总结 本文提出LCPO方法,通过统一的Bradley-Terry损失框架,有效减少大推理模型的输出长度,同时保持推理性能,实验显示在多个基准上平均输出长度减少超过50%。
Comments 26 pages, 8 figures, ICLR'26
AudioX:一种用于任意到音频生成的统一框架
机构 * Hong Kong University of Science and Technology(香港科技大学) ; Independent Researcher(独立研究者)
AI总结 本文提出AudioX框架,整合多种模态条件,通过多模态自适应融合模块提升生成质量,并构建大规模高质量数据集IF-caps,验证了其在文本到音频和文本到音乐生成中的优越性能。
Comments Accepted to ICLR 2026
快速训练准确的物理信息神经网络而无需梯度下降
机构 * Technical University of Munich(慕尼黑技术大学) ; TUM Institute for Advanced Study(TUM高级研究学院) ; Munich Center for Machine Learning(慕尼黑机器学习中心) ; Wageningen University & Research(瓦赫宁根大学与研究中心) ; KTH Royal Institute of Technology(皇家理工学院) ; Munich Data Science Institute(慕尼黑数据科学研究所)
AI总结 本文提出Frozen-PINN,通过空间时间分离原理和随机特征替代梯度下降,解决PINN在准确性和训练速度上的瓶颈,实现高效且因果的PDE求解。
Comments Accepted as an oral presentation (top 1.13% of all submissions) at ICLR 2026 (60 pages)
Journal ref The Fourteenth International Conference on Learning Representations, 2026
Figma2Code: 将多模态设计转换为代码的自动化
AI总结 本文提出Figma2Code任务,通过收集Figma文件元数据与设计图像,构建高质量数据集,评估多种多模态大语言模型,发现专有模型在视觉保真度上表现优异,但布局响应性和代码可维护性有限。
Comments ICLR 2026
SSD-GS:散射与阴影分解用于可重照明的3D高斯点云
机构 * Victoria University of Wellington(惠灵顿维多利亚大学)
AI总结 SSD-GS通过分解反射率成四个组件,提升3D高斯点云在新型光照条件下的重建与真实重照明能力,尤其适用于各向异性金属和透明材料。
Comments Accepted to ICLR 2026. Code available at: https://github.com/irisfreesiri/SSD-GS
二项式梯度基于元学习用于增强元梯度估计
机构 * Department of Electrical and Computer Engineering(电气与计算机工程系) ; University of Minnesota(明尼苏达大学) ; Department of Computer Science(计算机科学系) ; ETH Zürich(苏黎世联邦理工学院)
AI总结 本文提出BinomGBML方法,通过二项式展开提升元梯度估计精度,理论分析显示其误差界优于现有方法且在温和条件下呈超指数衰减,实验验证了方法的有效性。
Comments Accepted as poster at ICLR 2026. Code available at https://github.com/AbrahamJJM/binomgbml
Hessian-Enhanced Token Attribution (HETA): 解释自回归语言模型
机构 * Department of Computer & Information Science & Engineering, University of Florida(佛罗里达大学计算机与信息科学与工程系) ; School of Computer Science, University of Oklahoma(俄克拉荷马大学计算机科学学院) ; Department of Electrical Engineering and Computer Science, United States Military Academy(美国军事学院电子工程与计算机科学系)
AI总结 HETA提出了一种针对解码器-only语言模型的新型解释框架,结合语义过渡向量、Hessian敏感度评分和KL散度,提升上下文感知和因果解释能力,通过基准数据集验证其在生成任务中的优越性。
Comments Accepted at ICLR 2026
正确推理,错误答案:分离LLM中的推理与输出
AI总结 本文提出新型操作测试基准,区分操作逻辑与名称,揭示LLM在深度推理中存在策略与内容两类失败模式,验证名称不决定推理能力。
Comments 9 pages, 4 figures. ICLR 2026 Workshop on Logical Reasoning of LLMs
在像素之间阅读:将文本-图像嵌入对齐与字体攻击成功性联系起来
机构 * Cisco Systems(思科系统)
AI总结 研究了视觉-语言模型中字体提示注入攻击的影响,发现字体大小、文本攻击有效性及嵌入距离对攻击成功率有显著影响,为防御策略提供实证指导。
Comments Accepted at ICLR 2026 Workshop on Agents in the Wild
TRIM:通过多步推理任务中的目标逐步路由进行混合推理
机构 * Carnegie Mellon University(卡内基梅隆大学) ; Amazon(亚马逊)
AI总结 TRIM通过目标逐步路由在多步推理任务中提升推理效率,通过识别错误步骤并分配不同模型处理,实现更高的成本效率。
Comments Accepted at ICLR 2026
指导式迁移学习用于离散扩散模型
机构 * Harvard University(哈佛大学) ; ETH Zürich(苏黎世联邦理工学院)
AI总结 本文提出GTL方法,通过比率引导实现离散扩散模型的迁移学习,解决小数据下模型性能问题,展示在序列数据中效果显著,但存在源分布与目标分布重叠不足时的失效模式。
Comments Accepted at ICLR 2026 ReALM-GEN Workshop 9 pages (main text) + appendix
Journal ref ICLR 2026 ReALM-GEN Workshop
SAQ:面向稳定子的量子纠错解码器
机构 * School of Electrical and Computer Engineering(电气与计算机工程学院)
AI总结 本文提出SAQ解码器,结合Transformer学习与约束感知后处理,实现接近最大似然准确率和线性计算可扩展性,优于现有神经和经典方法。
Comments Accepted to ICLR 2026
SPG:用于遮蔽扩散语言模型的夹心策略梯度
机构 * Meta Superintelligence Labs(Meta超智能实验室) ; MIT(麻省理工学院) ; USC(南加州大学) ; UCLA(加州大学洛杉矶分校)
AI总结 本文提出SPG策略梯度方法,通过同时利用真实对数似然的上下界,解决扩散大语言模型在强化学习中对齐人类偏好或任务奖励的难题,实验显示其在多个任务中表现优异。
Comments ICLR 2026
离散指导匹配:用于离散流匹配的精确指导
机构 * School of Statistics, East China Normal University(华东师范大学统计学院) ; Department of Statistics, University of California, Los Angeles(加州大学洛杉矶分校统计系) ; Department of Industrial and Systems Engineering, University of Minnesota(明尼苏达大学工业与系统工程系) ; School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院)
AI总结 本文提出了一种新的离散数据指导框架,通过推导所需分布的精确转移率,提高采样效率,并展示了其在能量引导模拟和文本到图像生成中的有效性。
Comments Published as a conference paper at ICLR 2026
ProRe:通过推理器-执行器协作的GUI代理前瞻性奖励系统
机构 * NTU(国立新加坡大学) ; Microsoft Research(微软研究院) ; Tsinghua University(清华大学) ; HKUST(香港理工大学)
AI总结 ProRe通过推理器与领域特定评估器协作,提升GUI代理奖励准确性与F1分数,实验显示奖励准确性和F1分数提升达5.3%和19.4%。
Comments 23 pages, 12 figures, ICLR'2026
Journal ref The Fourteenth International Conference on Learning Representations, 2026
利用随机特征快速训练哈密顿图网络
机构 * Technical University of Munich(慕尼黑技术大学) ; Munich Center for Machine Learning(慕尼黑机器学习中心) ; TUM Institute for Advanced Study(技术大学高级研究学院) ; Munich Data Science Institute(慕尼黑数据科学研究所)
AI总结 本文提出利用随机特征构建参数的方法,使哈密顿图网络在训练速度上提升150-600倍,同时保持准确性,适用于大规模物理系统模拟。
Comments Accepted to ICLR 2026
Journal ref In Proceedings of the International Conference on Learning Representations (ICLR), 2026
通过上下文学习理论理解并改进LLMs的连续对抗训练
机构 * Provable Responsible AI and Data Analytics (PRADA) Lab(可证责任AI与数据分析实验室) ; King Abdullah University of Science and Technology(卡布斯大学)
AI总结 本文基于上下文学习理论,首次对LLMs的连续对抗训练进行了理论分析,提出通过引入奇异值正则化项提升对抗训练的鲁棒性与实用性。
Comments The Fourteenth International Conference on Learning Representations (ICLR 2026)
密集关联记忆的算法分析:有限规模保证与对抗鲁棒性
机构 * Independent Researcher(独立研究者)
AI总结 本文通过算法分析,为密集关联记忆的检索动态提供有限规模保证,并证明其在高加载条件下具有对抗鲁棒性,同时展示了容量保证和收敛时间。
Comments 21 pages, 9 figures, Accepted in New Frontiers in Associative Memory workshop at ICLR 2026
时间序列考试代理:大规模创建时间序列推理基准测试
机构 * Technical University of Munich(慕尼黑技术大学) ; Auton Lab, School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机学院自主实验室)
AI总结 本文提出TimeSeriesExamAgent,通过模板灵活性与LLM代理创造力结合,创建涵盖医疗、金融和天气领域的综合性时间序列推理基准测试,验证LLM在时间序列理解上的能力与局限。
Journal ref Proc. Int. Conf. Learn. Representations ICLR (2026)
Turbo-DDCM:快速且灵活的零样本扩散图像压缩
机构 * Technion – Israel Institute of Technology(技术学院—以色列理工学院) ; Flatiron Institute, Simons Foundation(Flatiron研究所,Simons基金会)
AI总结 本文提出Turbo-DDCM,一种快速且高效的零样本扩散图像压缩方法,通过优化噪声向量处理和编码协议,提升压缩效率并保持性能。
Comments ICLR 2026. Code is available at https://amitvaisman.github.io/turbo_ddcm/
点提示:基于视频扩散模型的反事实跟踪
机构 * University of Michigan(密歇根大学) ; Cornell University(康奈尔大学)
AI总结 本文提出利用视频扩散模型进行零样本点跟踪,通过提示模型在视频中标记移动点,实现反事实生成,实验表明其跟踪效果优于传统方法且能克服遮挡。
Comments ICLR 2026. Project link: https://point-prompting.github.io
鲁棒联邦推断
机构 * EPFL(苏黎世联邦理工学院) ; University of Copenhagen(哥本哈根大学) ; Sorbonne Université and Université Paris Cité, CNRS, LPSM(巴黎索邦大学和巴黎cité大学,法国国家科学研究中心,巴黎数学研究所)
AI总结 本文提出鲁棒联邦推断框架,通过结合对抗训练与测试时鲁棒聚合,提升非线性聚合器的鲁棒性,在多个基准测试中准确率提升4.7-22.2%。
Comments Accepted at ICLR 2026
SeedPrints: 指纹甚至能告诉你是哪种种子训练了你的大型语言模型
机构 * National University of Singapore(新加坡国立大学) ; The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
AI总结 本文提出SeedPrints方法,通过随机初始化偏倚实现LLM的内在指纹识别,解决了传统指纹方法在大规模预训练阶段可靠性不足的问题,实现了从初始化到全生命周期的身份验证。
Comments Accepted to ICLR 2026. The code repository linked on OpenReview is outdated; the latest code is available via the final arXiv version
ASGuard:激活-缩放防护:缓解针对性劫持攻击
机构 * Korea University(韩国大学) ; AIGEN Sciences(AIGEN公司)
AI总结 本文提出ASGuard框架,通过电路分析识别与针对性劫持相关的注意力头,训练通道缩放向量重新校准激活,结合预防性微调提升模型拒绝能力,有效降低攻击成功率并保持模型性能。
Comments ICLR 2026, 29 pages, 11 figures
可重复的强化学习与线性函数逼近
机构 * University of Pennsylvania(宾夕法尼亚大学) ; Johns Hopkins University(约翰霍普金斯大学)
AI总结 本文提出可重复的强化学习算法,针对线性函数逼近问题,设计了高效的随机设计回归和协方差估计算法,并在生成模型和片段设置中实现了可证明高效的可重复RL算法,通过实验验证了其对神经策略的一致性影响。
Comments ICLR 2026
通过灵活模型合并导航精度-大小权衡
机构 * EPFL(苏黎世联邦理工学院) ; Carnegie Mellon University(卡内基梅隆大学)
AI总结 本文提出FlexMerge框架,灵活生成不同规模的合并模型,并揭示不同算法在精度与规模权衡中的表现差异,验证了其在视觉和NLP任务中的有效性。
Comments Accepted at ICLR 2026
用于数字行为改变视频中矛盾/犹豫识别的BAH数据集
机构 * LIVIA, Dept. of Systems Engineering, ETS Montreal, Canada(LIVIA系统工程系,蒙特利尔埃克塞特学院,加拿大) ; LIVIA, Dept. of Software and IT Engineering, ETS Montreal, Canada(LIVIA软件与IT工程系,蒙特利尔埃克塞特学院,加拿大) ; Dept. of Health, Kinesiology, & Applied Physiology, Concordia University, Montreal, Canada(健康、运动科学与应用生理学系,康科迪亚大学,蒙特利尔,加拿大) ; Montreal Behavioural Medicine Centre, CIUSSS Nord-de-l’Ile-de-Montréal, Canada(蒙特利尔行为医学中心,北岛-蒙特利尔医疗与社会服务委员会,加拿大)
AI总结 本文提出BAH数据集,用于多模态识别视频中的矛盾/犹豫,包含1427个视频,旨在为机器学习模型提供训练数据,通过专家标注和基准测试展示识别挑战。
Comments 46 pages, 21 figures, ICLR 2026
变分自编码离散扩散与增强的维度相关性建模
机构 * School of Mathematical Sciences, Peking University(北京大学数学科学学院) ; Center for Statistical Science, Peking University(北京大学统计科学中心) ; Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院) ; Huawei Foundation Model Dept(华为基金会模型部门) ; The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
AI总结 本文提出VADD框架,通过潜在变量建模增强离散扩散,提升样本质量,尤其在少量去噪步骤时表现优异。
Comments ICLR 2026 Poster; 24 pages, 13 figures