arXivDaily arXiv每日学术速递 周一至周五更新

期刊&会议

International Conference on Machine Learning · 会议 · Machine Learning

2026-06-01 至 2026-06-01 共收录 158
2601.22787 2026-06-01 cs.LG

Float8@2bits: Entropy Coding Enables Data-Free Model Compression

Float8@2bits: 熵编码实现无数据模型压缩

Patrick Putzky, Martin Genzel, Mattes Mollenhauer, Sebastian Schulze, Thomas Wollmann, Stefan Dietzel

机构 * Merantix Momentum GmbH

AI总结 提出EntQuant框架,通过熵编码解耦数值精度与存储成本,在无需数据和微调的情况下实现2比特极端压缩,10分钟内压缩70B参数模型并保持性能。

Comments ICML 2026. Code available at https://github.com/merantix-momentum/entquant

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.01318 2026-06-01 cs.LG cs.AI

Unlearning's Blind Spots: Over-Unlearning and Prototypical Relearning Attack

机器遗忘的盲点:过度遗忘与原型重学习攻击

SeungBum Ha, Saerom Park, Sung Whan Yoon

机构 * Graduate School of Artificial Intelligence, Ulsan National Institute of Science and Technology (UNIST), Ulsan, South Korea(人工智能研究生院,乌山国立科学与技术研究所(UNIST),乌山,韩国) Department of Industrial Engineering, UNIST, Ulsan, South Korea(工业工程系,UNIST,乌山,韩国) Department of Electrical Engineering, UNIST, Ulsan, South Korea(电气工程系,UNIST,乌山,韩国)

AI总结 针对类别级机器遗忘,提出过度遗忘度量OU@epsilon并揭示原型重学习攻击,通过Spotter方法结合掩码知识蒸馏和类内分散损失来缓解这两个盲点。

Comments 9 pages, ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.22296 2026-06-01 cs.LG cs.AI

ParalESN: Enabling parallel information processing in Reservoir Computing

ParalESN:在储层计算中实现并行信息处理

Matteo Pinna, Giacomo Lagomarsini, Andrea Ceni, Claudio Gallicchio

机构 * Department of Computer Science, University of Pisa, Pisa, Italy(意大利比萨大学计算机科学系)

AI总结 提出ParalESN,利用复数域对角线性递归实现储层计算的并行化,在保持回声状态属性和普适性保证的同时,大幅提升计算效率。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.24319 2026-06-01 cs.CL cs.AI

Dual Mechanisms of Value Expression: Intrinsic vs. Prompted Values in Large Language Models

价值表达的双重机制:大型语言模型中的内在价值与提示价值

Jongwook Han, Jongwon Lim, Injin Kong, Yohan Jo

机构 * Graduate School of Data Science, Seoul National University(数据科学研究生院,首尔国立大学)

AI总结 本文通过价值向量和价值神经元分析,揭示大型语言模型中内在价值表达与提示价值表达在机制上部分共享核心组件,但各自拥有独特功能,内在机制促进多样性,提示机制增强指令遵从。

Comments Accepted at ICML 2026. Project page: https://holi-lab.github.io/ValueMechanism/

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.20784 2026-06-01 cs.CL cs.AI

Towards Atoms of Large Language Models

迈向大型语言模型的原子

Chenhui Hu, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao

机构 * The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China(认知与决策智能复杂系统重点实验室,自动化研究所,中国科学院,北京,中国) School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China(人工智能学院,中国科学院大学,北京,中国)

AI总结 本文提出原子理论,通过原子内积(AIP)定义、评估和识别大型语言模型的基本表示单元(原子),并证明在阈值激活稀疏自编码器(TSAE)下原子可识别,实验发现神经元和特征不满足理想原子标准,而通过匹配TSAE容量与数据规模可识别出近乎完美的原子。

Comments To be published in ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.17595 2026-06-01 cs.LG cs.CL

NeUQI: Near-Optimal Uniform Quantization Parameter Initialization for Low-Bit LLMs

NeUQI: 低比特大语言模型的近最优均匀量化参数初始化

Li Lin, Xinyu Hu, Xiaojun Wan

机构 * Wangxuan Institute of Computer Technology, Peking University, China(北京大学王轩计算机技术研究院)

AI总结 针对低比特大语言模型均匀量化中参数初始化依赖Min-Max公式的局限,提出NeUQI方法,通过推导零点实现仅优化缩放因子,从而高效获得近最优初始化,在LLaMA和Qwen系列上优于现有方法,且结合轻量蒸馏可超越资源密集的PV-tuning。

Comments accepted by ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.22068 2026-06-01 cs.LG

Quantifying the Uncertainty of Foundation Models with Singular Value Ensembles

用奇异值集合量化基础模型的不确定性

Mehmet Ozgur Turkoglu, Dominik J. Mühlematter, Alexander Becker, Konrad Schindler, Helge Aasen

机构 * ETH Zürich, Photogrammetry \& Remote Sensing

AI总结 提出奇异值集成(SVE)方法,通过冻结奇异向量并仅训练每个成员的奇异值,以极小的参数开销实现隐式集成,从而有效量化基础模型的不确定性。

Comments Accepted at ICML 2026 (camera-ready version)

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.02970 2026-06-01 cs.LG math.OC

Delayed Momentum Aggregation: Communication-efficient Byzantine-robust Federated Learning with Partial Participation

延迟动量聚合:部分参与下通信高效的拜占庭鲁棒联邦学习

Kaoru Otsuka, Yuki Takezawa, Makoto Yamada

机构 * Okinawa Institute of Science and Technology, Japan(冲绳科学技术大学院大学,日本) Toyota Motor Corporation, Japan(丰田汽车公司,日本)

AI总结 针对部分参与场景下拜占庭客户端可能占多数的问题,提出延迟动量聚合原则,通过聚合未采样客户端的缓存动量和采样客户端的即时动量,确保拜占庭客户端在服务器视角中保持少数,并实例化为DeMoA优化器,理论分析和实验验证其鲁棒性和高效性。

Comments camera-ready version for ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.21645 2026-06-01 cs.LG math.CT math.RT

Identifiable Equivariant Networks are Layerwise Equivariant

可识别的等变网络是逐层等变的

Vahid Shahverdi, Giovanni Luca Marchetti, Georg Bökman, Kathlén Kohn

机构 * Department of Mathematics, KTH Royal Institute of Technology, Stockholm, Sweden(瑞典皇家理工学院数学系) University of Amsterdam, The Netherlands(荷兰阿姆斯特丹大学)

AI总结 本文证明,在适当可识别性条件下,端到端等变网络的参数选择可使每一层在潜在空间上等变,从而从数学上解释了训练中权重等变结构的涌现。

Comments Accepted at ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.19966 2026-06-01 cond-mat.mtrl-sci cs.LG physics.chem-ph physics.comp-ph

Global Plane Waves From Local Gaussians: Periodic Charge Densities in a Blink

从局部高斯到全局平面波:眨眼间的周期电荷密度

Jonas Elsborg, Felix Ærtebjerg, Luca Thiede, Alán Aspuru-Guzik, Tejs Vegge, Arghya Bhowmik

机构 * Technical University of Denmark(技术大学) University of Toronto(多伦多大学) CAPeX Pioneer Center for Accelerating P2X Materials Discovery(CAPeX先锋中心) Canadian Institute for Advanced Research (CIFAR)(加拿大高级研究 institute) Vector Institute for Artificial Intelligence(人工智能研究所)

AI总结 提出ELECTRAFI模型,利用实空间各向异性高斯的解析傅里叶变换和泊松求和公式,通过单次逆FFT快速重建周期电荷密度,在保持高精度的同时速度提升高达633倍。

Comments ICML 2026, 29 pages including appendix, 11 Figures, 7 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.19448 2026-06-01 cs.LG cs.CR

From Internal Diagnosis to External Auditing: A VLM-Driven Paradigm for Data-Free Online Backdoor Defense

从内部诊断到外部审计:一种VLM驱动的数据自由在线后门防御范式

Binyan Xu, Fan Yang, Xilin Dai, Di Tang, Kehuan Zhang

机构 * The Chinese University of Hong Kong, Hong Kong(香港中文大学) Sun Yat-sen University, China(中山大学) Zhejiang University, China(浙江大学)

AI总结 提出一种从内部诊断到外部语义审计的范式转变,利用通用视觉语言模型(VLM)作为外部语义门控,通过PRISM框架(原型精炼与统计监控检查)实现数据自由的在线后门防御,在17个数据集和11种攻击类型上达到最先进性能。

Comments 25 pages, 10 figures, 19 tables. To appear in the Proceedings of the 43 rd International Conference on Machine Learning (ICML '26)

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.19220 2026-06-01 cs.LG

Accelerated Multiple Wasserstein Gradient Flows for Multi-objective Distributional Optimization

加速多Wasserstein梯度流用于多目标分布优化

Dai Hai Nguyen, Duc Dung Nguyen, Atsuyoshi Nakamura, Hiroshi Mamitsuka

机构 * Graduate School of Information Science and Technology, Hokkaido University, Japan(信息科学与技术研究生学校,北海道大学,日本) Bioinformatics Center, Kyoto University, Japan(生物信息学中心,京都大学,日本) Institute of Information Technology, Vietnam Academy of Science and Technology, Vietnam(信息技术研究所,越南科学与技术学院,越南)

AI总结 提出加速多Wasserstein梯度下降算法(A-MWGraD),通过Nesterov加速实现多目标分布优化,在测地凸和强测地凸目标下分别达到O(1/t^2)和O(e^{-√βt})收敛率,优于MWGraD的O(1/t)。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.05115 2026-06-01 cs.AI cs.CL cs.PL

SAC-Opt: Semantic Anchors for Iterative Correction in Optimization Modeling

SAC-Opt:优化建模中用于迭代修正的语义锚点

Yansen Zhang, Qingcan Kang, Yujie Chen, Yufei Wang, Xiongwei Han, Tao Zhong, Mingxuan Yuan, Chen Ma

机构 * Department of Computer Science, City University of Hong Kong, Hong Kong SAR, China(香港城市大学计算机科学系) Huawei Noah's Ark Lab, Hong Kong SAR, China(华为诺亚实验室(香港)) Huawei's Supply Chain Management Department, Shenzhen, China(华为供应链管理部(深圳))

AI总结 提出SAC-Opt框架,通过语义锚点对齐和选择性修正,在无需额外训练的情况下提升大语言模型生成优化建模代码的语义忠实度,平均建模准确率提升7.7%。

Comments ICML 2026 accepted

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.01075 2026-06-01 cs.LG cs.AI cs.CV

Flow Equivariant World Models: Memory for Partially Observed Dynamic Environments

流等变世界模型:部分观测动态环境的记忆

Hansen Jin Lillemark, Benhao Huang, Fangneng Zhan, Yilun Du, Thomas Anderson Keller

机构 * Kempner Institute, Harvard University(哈佛大学 Kempner 研究所) ML, Carnegie Mellon University(卡内基梅隆大学 ML 研究所) SEAS, Harvard University(哈佛大学 SEAS 研究所)

AI总结 提出流等变世界建模框架,利用时间参数化对称性在潜在记忆中实现长时程稳定准确的动力学预测,解决部分观测问题。

Comments Accepted at ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.23626 2026-06-01 cs.AI cs.LG

Regret-Based Federated Causal Discovery with Unknown Interventions

基于遗憾的联邦因果发现与未知干预

Federico Baldo, Charles K. Assaad

机构 * Sorbonne Université(索邦大学) INSERM(国家健康与医学研究院) Institut Pierre Louis d’Epidémiologie et de Santé Publique(流行病学与公共卫生研究所)

AI总结 提出I-PERI算法,通过恢复客户端图并集的CPDAG并利用跨客户端干预引起的结构差异定向额外边,得到更紧的Φ-马尔可夫等价类,解决联邦环境下未知客户端级干预的因果发现问题。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2507.12453 2026-06-01 cs.LG

Cost-aware Stopping for Bayesian Optimization

成本感知的贝叶斯优化停止规则

Qian Xie, Linda Cai, Alexander Terenin, Peter I. Frazier, Ziv Scully

机构 * Cornell University, Ithaca, New York, USA(康奈尔大学) University of California, Berkeley, Berkeley, California, USA(加州大学伯克利分校)

AI总结 针对贝叶斯优化中成本感知的停止问题,提出一种基于理论连接成本感知采集函数的停止规则,并证明其能保证期望成本调整简单遗憾的界。

Comments Accepted by ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.16187 2026-06-01 cs.SE cs.LG

MatchFixAgent: Language-Agnostic Autonomous Repository-Level Code Translation Validation and Repair

MatchFixAgent: 语言无关的自主仓库级代码翻译验证与修复

Ali Reza Ibrahimzada, Brandon Paulsen, Reyhaneh Jabbarvand, Joey Dodds, Daniel Kroening

机构 * Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign, Urbana, IL, USA(伊利诺伊大学厄巴纳-香槟分校Siebel计算与数据科学学院) Amazon, Arlington, VA, USA(亚马逊公司,阿灵顿,弗吉尼亚州,美国) University of Oxford, Oxford, UK(牛津大学,牛津,英国)

AI总结 提出基于大语言模型的多智能体框架MatchFixAgent,实现语言无关的仓库级代码翻译等价性验证与修复,在验证覆盖率和修复成功率上显著优于现有方法。

Comments Published in ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.11561 2026-06-01 cs.LG

View Space: Learning Representation across Arbitrary Graphs

视图空间:跨任意图的学习表示

Dooho Lee, Myeong Kong, Minho Jeong, Jaemin Yoo

机构 * School of Electrical Engineering, KAIST, Daejeon, Republic of Korea(韩国釜山科学技术院电子工程学院) Department of Computer Science and Engineering, Seoul National University, Seoul, Republic of Korea(首尔国立大学计算机科学与工程系)

AI总结 本文提出视图空间概念,通过图视图变换(GVT)实现跨任意图的归纳节点表示学习,并在节点分类任务中显著优于现有方法。

Comments Accepted to ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.00919 2026-06-01 stat.ML cs.LG

Outcome-Aware Spectral Feature Learning for Instrumental Variable Regression

面向工具变量回归的结果感知谱特征学习

Dimitri Meunier, Jakub Wornbard, Vladimir R. Kostic, Antoine Moulin, Alek Fröhlich, Karim Lounici, Massimiliano Pontil, Arthur Gretton

机构 * Gatsby Computational Neuroscience Unit, University College London(Gatsby计算神经科学单位,伦敦大学学院) Faculty of Science, University of Novi Sad(科学学院,诺维萨德大学) AI Centre, University College London(人工智能中心,伦敦大学学院) DIBRIS, University of Genoa(DIBRIS,热那亚大学)

AI总结 针对存在隐藏混杂因素的非参数工具变量回归问题,提出一种通过最小化基于增广算子的对比损失来学习结果感知谱特征的方法,以缓解谱错位导致的因果函数表示不足问题。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.18069 2026-06-01 cs.LG eess.SP

Ubiquity of Emergent Hebbian Dynamics in Regularized Learning

正则化学习中涌现的赫布动力学的普遍性

David Koplow, Tomaso Poggio, Liu Ziyin

机构 * Massachusetts Institute of Technology(麻省理工学院) Center for Brains, Minds and Machines(大脑、心智与机器中心) NTT Research(NTT研究)

AI总结 本文发现L2权重衰减在近稳态条件下普遍驱动学习信号与赫布方向对齐,且随机噪声可诱导反赫布对齐,这为区分真正的赫布计算与涌现的赫布特征提供了实验动机。

Comments ICML 2026 Camera Ready

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.00349 2026-06-01 cs.AI

Debate with Images: Detecting Deceptive Behaviors in Multimodal Large Language Models

图像辩论:检测多模态大语言模型中的欺骗行为

Sitong Fang, Shiyi Hou, Kaile Wang, Boyuan Chen, Donghai Hong, Jiayi Zhou, Josef Dai, Yaodong Yang, Jiaming Ji

机构 * Institute of Artificial Intelligence, Peking University(北京大学人工智能研究院)

AI总结 本文提出 MM-DeceptionBench 基准和基于图像辩论的多智能体监控框架,系统揭示并量化多模态大语言模型中的欺骗风险,有效提升欺骗行为检测能力。

Comments 39 pages, 16 figures, camera ready version for ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.21379 2026-06-01 cs.CV cs.AI

SAEmnesia: Erasing Concepts in Diffusion Models with Supervised Sparse Autoencoders

SAEmnesia:基于监督稀疏自编码器的扩散模型概念擦除

Enrico Cassano, Riccardo Renzulli, Marco Nurisso, Mirko Zaffaroni, Alan Perotti, Marco Grangetto

机构 * University of Turin, Italy(意大利都灵大学) Intesa Sanpaolo AI Research, Italy(意大利Intesa Sanpaolo人工智能研究院)

AI总结 提出监督稀疏自编码器框架SAEmnesia,通过强制一对一概念-神经元映射实现特征集中化,从而高效、精准地擦除扩散模型中的概念。

Comments Accepted at ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.19433 2026-06-01 cs.RO cs.AI cs.CV

Mixture of Horizons in Action Chunking

动作分块中的视野混合

Dong Jing, Gang Wang, Jiaqi Liu, Weiliang Tang, Zelong Sun, Yunchao Yao, Zhenyu Wei, Yunhui Liu, Zhiwu Lu, Mingyu Ding

机构 * Renmin University of China(中国人民大学) University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校) The Chinese University of Hong Kong(香港中文大学)

AI总结 针对视觉-语言-动作模型中动作分块长度(视野)的权衡问题,提出混合视野策略,通过并行处理不同视野的动作片段并融合输出,同时提升长期预见与短期精度,实现性能与泛化性的改进。

Comments Accepted at ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.22067 2026-06-01 cs.CV

Capturing Gaze Shifts for Guidance: Cross-Modal Fusion Enhancement for VLM Hallucination Mitigation

捕捉注视转移以引导:跨模态融合增强用于VLM幻觉缓解

Zheng Qi, Chao Shang, Evangelia Spiliopoulou, Nikolaos Pappas

机构 * AWS AI Labs(AWS人工智能实验室)

AI总结 提出GIFT方法,通过预计算视觉显著性图并跟踪注视转移,在解码时增强对显著视觉信息和用户查询的注意力,以缓解视觉语言模型中的幻觉问题。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.04393 2026-06-01 cs.AI

Post-Training LLMs as Better Decision-Making Agents: A Regret-Minimization Approach

将LLM后训练为更好的决策智能体:一种遗憾最小化方法

Chanwoo Park, Ziyang Chen, Asuman Ozdaglar, Kaiqing Zhang

机构 * Massachusetts Institute of Technology(麻省理工学院) University of Maryland, College Park(马里兰大学哥伦比亚学院)

AI总结 提出迭代遗憾最小化微调(Iterative RMFT),通过反复蒸馏低遗憾决策轨迹来后训练LLM,提升其在在线决策任务中的表现,无需依赖已知算法或人工模板。

Comments Camera ready version of ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.15710 2026-06-01 cs.CV

UniMedVL: Unifying Medical Multimodal Understanding and Generation through Observation-Knowledge-Analysis

UniMedVL: 通过观察-知识-分析统一医学多模态理解与生成

Junzhi Ning, Wei Li, Cheng Tang, Jiashi Lin, Chenglong Ma, Chaoyang Zhang, Jiyao Liu, Ying Chen, Shujian Gao, Yuandong Pu, Huihui Xu, Chenhui Gou, Ziyan Huang, Yi Xin, Qi Qin, Diping Song, Bin Fu, Guang Yang, Yuanfeng Ji, Tianbin Li, Yanzhou Su, Jin Ye, Shixiang Tang, Zhongying Deng, Lihao Liu, Ming Hu, Junjun He

机构 * Shanghai Artificial Intelligence Laboratory Shanghai Innovation Institute Shanghai Jiao Tong University Shanghai Institute of Optics Fudan University University of Cambridge Monash University DAMO Academy, Alibaba Group Imperial College London The University of Hong Kong The Hong Kong University of Science Hupan Lab The Chinese University of Hong Kong

AI总结 提出首个统一医学模型UniMedVL,通过渐进式训练流水线融合多模态理解与生成能力,并在8种影像模态的5.6M实例数据集上验证其性能。

Comments This submission has been converted to the ICML template

详情

展开后加载摘要…

URL PDF HTML 收藏
2503.22996 2026-06-01 cs.CL

Rethinking Sparse Mixture of Experts from a Unified Perspective

从统一视角重新思考稀疏混合专家模型

Giang Do, Hung Le, Truyen Tran

机构 * Applied Artificial Intelligence Intiative (A2I2), Deakin University, Victoria, Australia(应用人工智能倡议(A2I2),德金大学,维多利亚,澳大利亚)

AI总结 针对稀疏混合专家模型中固定预算导致无关选择或遗漏关键分配的问题,提出基于线性规划的统一框架USMoE,通过统一机制和评分实现灵活专家选择,提升性能并降低推理成本。

Comments 35 pages

Journal ref ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2501.12500 2026-06-01 cs.LG stat.ME

Learning General Causal Structures with Hidden Dynamic Process for Climate Analysis

学习具有隐藏动态过程的通用因果结构用于气候分析

Minghao Fu, Biwei Huang, Zijian Li, Yujia Zheng, Ignavier Ng, Guangyi Chen, Yingyao Hu, Kun Zhang

机构 * Mohamed bin Zayed University of Artificial Intelligence, Abu Dhabi, UAE(穆罕默德·本·扎耶德人工智能大学) Carnegie Mellon University, Pittsburgh, PA, USA(卡内基梅隆大学) University of California San Diego, La Jolla, CA, USA(加州大学圣地亚哥分校) Johns Hopkins University, Baltimore, MD, USA(约翰·霍普金斯大学)

AI总结 提出统一框架CaDRe,联合发现观测变量间的因果关系和隐藏动态过程,在非参数设置下可识别,并在气候数据上验证了有效性和可解释性。

Comments Accepted by ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.03415 2026-06-01 cs.PL cs.AI cs.CL cs.SE

LLMs Lean on Priors, Not Programming Language Semantics

LLMs 依赖先验而非编程语言语义

Aditya Thimmaiah, Jiyang Zhang, Jayanth Srinivasa, Junyi Jessy Li, Milos Gligoric

机构 * The University of Texas at Austin(德克萨斯大学奥斯汀分校) Cisco Research(思科研究)

AI总结 通过 PLSemanticsBench 基准测试,发现前沿大语言模型在程序执行任务中依赖预训练统计规律而非形式语义规则,语义变异和结构复杂度导致准确率大幅下降。

Comments Accepted at ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.00419 2026-06-01 cs.LG

Learning a Zeroth-Order Optimizer for Fine-Tuning LLMs

学习零阶优化器以微调大语言模型

Kairun Zhang, Haoyu Li, Yanjun Zhao, Yifan Sun, Huan Zhang

机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)

AI总结 提出一种基于学习的零阶优化器ZO-Finetuner,通过紧凑且内存高效的设计自动学习高效扰动策略,实现大语言模型微调时避免反向传播并降低内存开销,在4个LLM和7个数据集上82.1%的任务-模型组合中优于现有零阶基线方法。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏