How the Hessian-Spectrum of Neural Networks Depends on Data
神经网络的海森谱如何依赖于数据
AI总结 研究神经网络海森谱与数据的关系,推导线性网络海森矩阵特征值,发现分类任务中解的锐度与样本类别比例有关,经实验验证预测并分析相关影响,结论适用于更实际学习设置。
Comments 15 pages, 8 figures; Accepted at HiLD@ICML'26
期刊&会议
International Conference on Machine Learning · 会议 · Machine Learning
神经网络的海森谱如何依赖于数据
AI总结 研究神经网络海森谱与数据的关系,推导线性网络海森矩阵特征值,发现分类任务中解的锐度与样本类别比例有关,经实验验证预测并分析相关影响,结论适用于更实际学习设置。
Comments 15 pages, 8 figures; Accepted at HiLD@ICML'26
共生启发的知识蒸馏用于增量目标检测
AI总结 研究增量目标检测问题,提出共生启发的知识蒸馏方法(SIKD),通过空间共生蒸馏和语义共生蒸馏在两个层面利用对象共生,有效解决现有方法不足,实验验证了该方法的有效性和优越性。
Comments 16 pages, 8 figures, Accepted by ICML 2026
局部冗余:一种基于合成记忆的可塑性信息论度量
AI总结 研究神经网络可塑性度量,引入基于通用压缩理论的局部冗余,将其定义为局部模型族最坏情况冗余,证明期望平方梯度范数可作下界,实验表明该度量比现有方法更能预测下游性能并助于预训练检查点选择。
Comments 13 pages, 7 figures. ICML 2026 (Spotlight)
统计优势是否值得付出成本?KANs和MLPs在结构化数据分类中的实证比较
机构 * Institute of Computer Science, University of the Philippines Los Baños(菲律宾大学洛斯巴尼奥斯分校计算机科学研究所) ; Machine Learning and Artificial Intelligence Applications Lab, University of the Philippines Los Baños(菲律宾大学洛斯巴尼奥斯分校机器学习与人工智能应用实验室)
AI总结 该研究对KANs和MLPs在结构化表格分类任务上进行实证比较,在标准化设置下训练并评估性能。结果显示KANs在二元和多类领域统计上更优,但效应量表明其有更高复杂度。结论是KANs适用于高精度应用,MLPs对资源受限环境更合适,未来应扩展分析。
Comments To be presented at the 9th International Conference on Machine Learning and Machine Intelligence (MLMI 2026), Tokyo, Japan
拒绝残差:探测何时能捕捉到对齐造假以及何时不能
机构 * Snowflake AI Research(Snowflake AI 研究所)
AI总结 研究对齐造假中隐藏状态能否揭示输出隐藏内容,对13个模型扫描,发现Qwen3 - 32B和Llama - 3.1 - 8B存在自然造假及不对称拒绝残差,样本检测有模型条件性,还发布五控制测量框架用于对齐造假检测。
Comments Accepted to the Mechanistic Interpretability Workshop at ICML 2026. 12 pages, 4 figures
从神经网络中定向恢复权重空间机制
AI总结 研究提出定向参数分解(tPD)方法,通过引入高秩通用组件,从神经网络中仅识别处理特定感兴趣输入的组件,在玩具模型和Transformer语言模型上验证有效,能以低计算量提取子模型并对记忆序列进行手术式操作。
Comments Accepted at the Mechanistic Interpretability Workshop, ICML 2026
困惑陷阱:专利法何时让人类写作看起来像人工智能
机构 * European Patent Office(欧洲专利局)
AI总结 研究针对专利法下筛选疑似人工智能生成专利文本的难题,在消费级硬件条件下用多种策略进行基准测试,发现现有检测器误报率高,问题是结构性的,提出七特征语言复杂性逻辑回归方法,提升了准确率。
Journal ref Proceedings of the ICML 2026 Workshop on AI4Law
长度偏差下的准确率和归一化准确率:分析、指南及贝叶斯替代方法
AI总结 多项选择基准测试存在长度偏差,常见归一化方法常过度校正。本文分析评分规则,引入贝叶斯准确率,它能消除线性长度效应,可直接替代似然评估,无需额外前向传递,在多场景下长度偏差更低。
Comments Accepted at ICML 2026
基于证据的可验证智能推理:通过工具验证内核证明消除经验推理中语言模型幻觉的途径
AI总结 研究旨在消除语言模型经验推理中的幻觉,提出基于Lean 4的EG-VAR工具调用架构,通过工具验证公理等生成可验证声明,经实验在数值推理等测试中表现良好,定位为高风险经验声明的技术治理接口,可审计相关条件并转化错误为审计目标。
Comments Accepted at the ICML 2026 TAIGR workshop. System name: EG-VAR
FlowPET:用于低计数PET重建的物理信息辛流匹配
机构 * Centre for Smart Health, The Hong Kong Polytechnic University, Hong Kong, China(智能健康研究中心,香港理工大学,中国香港) ; Department of Nuclear Medicine, Sun Yat-sen University Cancer Center, Guangzhou, China(核医学部,中山大学肿瘤中心,中国广州) ; Research Center for Medical AI, Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences, Shenzhen, China(医学人工智能研究中心,深圳先进技术研究院,中国科学院,中国深圳)
AI总结 研究针对低计数PET重建难题,提出FlowPET框架,通过可分离哈密顿系统参数化后验动力学,引入共轭边界条件,经辛流匹配训练和辛蛙跳积分器推理,实验证明其在指标上超基线,能更好恢复低对比度病变。
Comments ICML 2026
流形上束值统计量的精确集中界
机构 * Indian Statistical Institute(印度统计研究所) ; VSB Technical University of Ostrava(俄斯特拉发技术大学)
AI总结 研究流形上束值统计量,通过希尔伯特空间不等式推导集中界,分离偏差与方差,给出精确公式,建立稳健估计器,经实验验证理论预测。
Comments Accepted in ICML 2026
当推理对法律起草造成阻碍时:专利权利要求生成中的语言表达瓶颈
AI总结 研究专利权利要求生成中CoT提示是否有益,提出特定任务CoT方法并评估。结果显示推理增强提示可提升权利要求质量,且隐式CoT优于显式CoT,显式CoT会引入信息瓶颈,为法律任务和CoT应用提供新见解。
Comments Accepted to AI for Law Workshop @ ICML 2026
ANCHOR:针对现实世界危害的CLI代理自动对齐审计
机构 * Anthropic(Anthropic公司)
AI总结 研究自主CLI代理在现实世界危害中的风险,提出ANCHOR自动审计框架,通过基于黑暗人格数据微调的审计代理模拟恶意用户,测试CLI代理,发现当前对齐技术不足,强调针对此类恶意用户进行安全评估的必要。
Comments Accepted at ICML 2026. 19 pages, 14 figures, 5 tables
Journal ref International Conference on Machine Learning, 2026
GRATE:基于门控旋转注意力的归纳式知识图谱基础模型的时间扩展
AI总结 研究如何将知识图谱基础模型的归纳迁移能力扩展到时间知识图谱,提出GRATE方法,通过门控旋转注意力编码时间,集成到NBFNet模型中,构建新基准套件测试,单个联合预训练的GRATE检查点在多数设置下优于静态基础模型。
Comments Accepted at the ICML 2026 Workshop on Graph Foundation Models: A New Era for Graph Machine Learning. 17 pages, 4 figures
超越欧几里得裁剪:通过黎曼等距策略优化克服大语言模型强化学习中的探索崩溃
AI总结 研究大语言模型强化学习中PPO-Clip的探索崩溃问题,提出黎曼等距策略优化(RIPO)方法,通过保证黎曼流形上等距策略更新平衡探索与利用,在七个竞争级基准上显著超越现有算法。
Comments ICML 2026
GAE:通过强化优化实现科学发现的图增强进化
AI总结 针对大语言模型引导的进化程序搜索的瓶颈,提出GAE框架,通过图神经网络、强化学习优化的元控制器和在线微调循环解决问题,在复杂非线性振荡器系统符号回归任务中有效发现物理方程,性能达最优。
Comments ICML 2026, AI for Science Workshop
使用语言模型进行全球并购套利预测
AI总结 研究使用语言模型预测并购套利结果,结合专家指导上下文工程与基于事后推理痕迹的微调,在超400笔跨国大交易的样本外数据集上性能最佳,证明该方法在专业长上下文金融工作流中成功,相关因素起关键作用。
Comments Accepted to ICML 2026
通过图谱对齐的时空令牌化实现宽场钙成像的跨主体建模
机构 * ShanechiLab(沙内奇实验室)
AI总结 研究针对宽场钙成像建模受限问题,提出多主体模型WiCAT,利用自监督预训练,引入图谱对齐的时空令牌化方案,能跨主体、任务和数据集迁移,实现零样本行为解码及遗漏脑区重建,优于基线模型。
Comments Published at the 43rd International Conference on Machine Learning (ICML) 2026. Code available at: https://github.com/ShanechiLab/WiCAT
Journal ref ICML 2026
将潜在思维链推理解释为动力系统
机构 * San Jose State University(圣何塞州立大学) ; Worcester Polytechnic Institute(伍斯特理工学院) ; George Mason University(乔治梅森大学) ; Algoverse AI Research(Algoverse人工智能研究公司)
AI总结 研究针对CODI和COCONUT等潜在推理方法的可解释性问题,将潜在令牌序列建模为表示空间轨迹,用动力系统分析表征推理演变,揭示潜在思维链的动力学特性,提升其可解释性并为改进推理性能提供见解。
Comments 15 pages, ICML 2026 FoGen Workshop
立场:每个真实数据都是人为构建,而非客观真理
AI总结 探讨机器学习中真实数据集非客观真理而是人为构建,主张提高‘情境可靠性’,关注其构建能提升透明度、问责制等,利于阐明模型优缺点及更好运用数据集与模型。
Comments 13 pages, 1 figure. To be published in Proceedings of the 43 rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026
通过置信度校准和增量推理实现特定任务的多模态问答代理,用于QANTA 2026
机构 * Department of Computer Science ; Engineering, Chittagong University of Engineering \& Technology, Chattogram, Bangladesh
AI总结 针对QANTA 2026共享挑战,开发特定任务双代理架构,抢答代理用带置信度校准的模型及数值推理策略,加分代理用多种推理整合信息,强调仅托管环境下的高效推理与校准,系统取得高分,证明轻量级策略在资源受限问答中性能强。
Comments 10 pages, 1 figure. Accepted at the EMM-QA 2026 Workshop, ICML 2026 (Non-Archival). Rank #1 overall system in the QANTA 2026 Challenge
Mosaic:运行时高效的多智能体实体规划
AI总结 研究基于LLM的多智能体实体规划执行延迟高问题,提出Mosaic框架,通过智能体中心语义内存和整数线性规划应对挑战,在多基准测试中执行更快、调用更少、步数更少且成功率更高,证明相关因素对多智能体规划的重要性。
Comments Accepted to ICML 2026
深度神经网络中统计上不可检测的后门
机构 * University of Ottawa(渥太华大学) ; Bocconi University(博科尼大学) ; Massachusetts Institute of Technology(麻省理工学院)
AI总结 研究对抗模型训练者在深度前馈神经网络中植入统计上不可检测的后门,此后门可提供基于不变性的对抗样本,揭示了模型训练者与使用者间的权力不对称,且无后门时多项式时间内无法生成此类样本。
Comments ICML 2026
时间序列的终端降维及其应用
机构 * TU Dortmund(图宾根大学) ; EPFL(苏黎世联邦理工学院) ; CNRS & Université Paris Cité, IRIF(国家科学研究中心及巴黎cité大学,IRIF) ; Aarhus University(奥胡斯大学)
AI总结 研究针对时间序列聚类等复杂结构降维问题,将终端嵌入推广到仿射线段,利用保线终端嵌入结合约翰逊 - 林登施特劳斯嵌入获得无维核心集,实验表明其在时间序列降维上表现良好且有独特优势。
Comments ICML 2026
通过测试时提示自适应增强视觉语言模型的鲁棒性
机构 * University of Science(科学大学) ; National University of Singapore(新加坡国立大学) ; The Hong Kong University of Science(香港科学大学)
AI总结 研究针对对抗扰动下视觉语言模型性能下降问题,提出RITA框架,通过最优传输实现分布级对齐,引入动态缓存积累线索,提升了模型对抗鲁棒性且不损干净准确率。
Comments ICML 2026 regular
ReGen:用于高效波形扩散模型的分层多提示表示生成
机构 * Department of Artificial Intelligence, Ajou University, Suwon, Korea(人工智能系,全州大学) ; KT Corp., Seoul, Korea(KT公司)
AI总结 研究针对扩散训练中中间表示正则化问题,提出ReGen框架联合估计向量场,引入GFM提高泛化能力。在波形扩散模型及文本到语音模型上验证,提升了波形生成质量、语音清晰度等,实现高效训练与采样。
Comments Accepted to ICML 2026
L-MAD:法律推理中多智能体辩论结构的系统评估
机构 * Japan Advanced Institute of Science(日本先进科学研究院) ; VNU University of Engineering(越南工程大学)
AI总结 研究在法律领域探索多智能体辩论(MAD)框架有效性,引入L-MAD框架评估不同结构和方法,通过分配专家角色提升效果,分析辩论规模发现权衡,明确了在法律推理中部署协作多智能体系统的边界与安全边际。
Comments Outstanding paper in the AI4Law Workshop at ICML 2026
从成对比较中进行最优的前\(k\)项识别
AI总结 研究从成对比较中进行固定置信度前\(k\)项识别的主动学习问题,刻画下界结构为鞍点问题并开发渐近最优算法,构造自适应比较分配算法并证明其渐近最优,最小化比较预期数量。
Comments accepted for ICML 2026
过度思考:放大推理权重以提取学习到的秘密
AI总结 研究针对语言模型黑盒审计可能遗漏隐藏信息的问题,提出“过度思考”方法,通过特定模型构建及新策略放大推理,经实验证明该方法能更频繁揭示隐藏信息,不同秘密浮现方式有别。
Comments Accepted at ICML 2026. 9 pages, 6 figures
对比顺序学习:序数回归的通用框架
AI总结 该研究提出对比顺序学习框架ConOrd,整合对比学习与顺序学习优势,通过引入基于秩差的对比顺序损失解决相关局限,在面部年龄估计等序数回归任务实验中达最优性能且泛化性好。
Comments Accepted to ICML 2026