Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering
University of Toronto（多伦多大学）；Vector Institute（向量学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
标准的一阶随机优化算法仅基于平均小批量梯度进行更新，并且已经表明跟踪曲率等附加量可以帮助降低常见超参数的敏感性。基于这种直觉，我们探索使用精确的每样本海森向量乘积和梯度来构造自调整和无超参数的优化器。基于动态模型的梯度，我们推导出一个过程，导致曲率校正，噪声自适应在线梯度估计。我们更新的平滑性使其更适合简单的步长选择方案，我们也基于我们的估计量。我们证明了我们的基于模型的过程收敛于嘈杂的二次设置。虽然我们在深度学习任务中没有看到类似的收益，但我们可以匹配调优优化器的性能，最终，这是构建自调优优化器的有趣步骤。
2020-11-09 cs.LG
Graph-enhanced Optimizers for Structure-aware Recommendation Embedding Evolution
East China Normal University（华东师范大学）；Tsinghua University（清华大学）
提出结构感知嵌入演化机制SEvo，将图结构信息直接注入嵌入更新过程，可无缝集成至AdamW等优化器，在多模型和数据集上实现一致性能提升。
2024-09-27 cs.IR cs.LG
Tensorion: A Tensor-Aware Generalization of the Muon Optimizer
MTML-LAB（MTML实验室）
提出Tensorion优化器，将Muon的约束优化从矩阵扩展到高阶张量，通过线性最小化预言机在张量范数球上实现，实验表明在张量视觉任务上比Adam和现有张量感知方法收敛更稳定。
2026-08-28 cs.CV cs.LG cs.NA
LightSAM: Parameter-Agnostic Sharpness-Aware Minimization
School of Cyber Science and Technology, Sun Yat-sen University, Shenzhen Campus（网络安全科学与技术学院，中山大学深圳校区）；School of Computer Science, University of Science and Technology of China（计算机科学学院，中国科学技术大学）；Hong Kong University of Science and Technology（香港科技大学）
本文提出LightSAM算法，通过采用AdaGrad-Norm、AdaGrad和Adam替代SGD进行自适应权重扰动与模型更新，消除了SAM对扰动半径和学习率的敏感性，实现了参数无关的理想收敛。
2025-05-30 cs.LG
Sharpness-Aware Minimization Revisited: Weighted Sharpness as a Regularization Term
Ant Group（蚂蚁集团）
针对SAM优化器，本文提出将锐度作为正则化项的WSAM方法，结合PAC与Bayes-PAC证明泛化界，并在多个公开数据集上验证其更优或具竞争力的泛化性能。
2024-12-05 cs.LG
Willump: A Statistically-Aware End-to-end Optimizer for Machine Learning Inference
Stanford University（斯坦福大学）
ML推理系统目前已被广泛部署，但它们通常使用为传统数据服务工作负载设计的技术来优化ML推理工作负载，并错过了利用ML统计性质的关键机会。在本文中，我们介绍了Willump，一个ML推理优化器，它引入了两个针对ML应用程序的自动优化，其性能瓶颈是特征计算。首先，Willump自动级联分类查询的特征计算：Willump仅使用通过ML模型性能的经验观察选择的高价值，低成本特征对大多数数据输入进行分类，将查询性能提高了5倍，而没有统计上显著的准确性损失。其次，Willump准确地近似ML top-K查询，使用自动构建的近似模型丢弃低得分输入，然后使用更强大的模型对其余部分进行排名，以最小的准确性损失将查询性能提高10倍。Willump会自动调整这些优化参数，以最大限度地提高查询性能，同时满足准确性目标。此外，Willump通过编译器优化来补充这些统计优化，以自动生成ML应用程序的快速推理代码。我们表明，Willump将从主要数据科学竞赛中策划的真实世界ML推理管道的端到端性能提高了16倍，而没有统计上显著的准确性损失。
2020-03-05 cs.DB cs.LG
FOGO: Forgetting-aware Orthogonalization Optimizer
School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）；Department of Data Science & AI, Monash University（莫纳什大学数据科学与人工智能系）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
提出FOGO优化器，通过谱正交化动量更新并利用紧凑码本记忆解决梯度干扰，在类别不平衡、持续学习和大模型微调等场景中提升收敛与知识保留。
2026-06-09 cs.AI cs.LG
SPAMoE: Spectrum-Aware Hybrid Operator Framework for Full-Waveform Inversion
China University of Mining and Technology - Beijing（中国矿业大学（北京））；City University of Hong Kong (Dongguan)（香港城市大学（东莞））；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出SPAMoE框架，通过频谱保护编码器和动态频谱分解路由机制，解决多尺度地质特征的频率纠缠问题，提升全波形反演的效率与稳定性。
2026-06-07 cs.LG
Correcting Stochastic Update Bias in Preconditioned Language Model Optimizers
Fastino Labs（Fastino实验室）
本文研究了预条件优化器中随机更新规则的有限样本偏差问题，提出了一种单批次偏差校正框架，通过交叉拟合预条件估计和方差校正逆运算来减少梯度-预条件器耦合偏差和逆运算偏差，从而提升预条件优化器的性能。
2026-05-20 cs.AI cs.LG math.OC
Navigating LLM Valley: From AdamW to Memory-Efficient and Matrix-Based Optimizers
Center for Applied Scientific Computing（应用科学计算中心）
本文探讨了大语言模型优化器的发展，从传统方法到内存高效和矩阵优化器，强调了在大规模训练中优化器的统计有效性、计算和内存效率。
2026-08-05 cs.AI cs.LG math.OC
Learning Regularizers: Learning Optimizers that can Regularize
本研究探讨学习型优化器能否内化传统显式正则化技术，通过实验证明其在提升泛化能力上优于未正则化方法，并能将正则化效果迁移至新任务。
2025-10-10 cs.AI cs.LG
PsiLogic: Chaos-Aware Active Cancellation for Adam with a Fair Cross-Domain Benchmark
研究针对自适应优化器在不同训练阶段更新规则相同的问题，提出PsiLogic优化器，通过双指数移动平均控制主动抵消项，经FairBench基准测试，在多个领域表现优异，还发布开源实现等支持验证。
2026-07-21 cs.LG
When Is Availability-Aware Training Worth It? A Benchmark and Empirical Study of Interruption-Resilient Optimization Under Predictable Compute Schedules
RotaStellar
本研究通过基准OrbitTrace和强基线对比，发现当优化器状态可保留时，可用性间隙几乎无代价，专门的中断弹性优化仅在特定大模型频繁短中断场景下略有帮助。
2026-09-22 cs.DC cs.LG eess.SP
PolarGrad: A Class of Matrix-Gradient Optimizers from a Unifying Preconditioning Perspective
University of Pennsylvania（宾夕法尼亚大学）；Wharton（沃顿商学院）
PolarGrad是一种基于矩阵梯度极分解的新型预条件优化方法，通过统一视角分析矩阵感知预条件方法，提升语言模型预训练和矩阵优化性能。
2026-02-05 cs.LG math.OC stat.ML
Noise-Adaptive Layerwise Learning Rates: Accelerating Geometry-Aware Optimization for Deep Neural Network Training
George Mason University（乔治·玛斯纳大学）
本文提出了一种基于几何感知优化的噪声自适应分层学习率方案，通过动态调整学习率提升深度神经网络训练效率。
2026-02-02 cs.LG
SALR: Sharpness-aware Learning Rate Scheduler for Improved Generalization
University of Michigan（密歇根大学）；American University of Beirut（贝鲁特美国大学）
提出SALR锐度感知学习率更新技术，通过动态调整学习率逃离尖锐谷地，提升深度学习泛化能力与收敛速度。
2021-10-16 cs.LG stat.ML
PoLoRA: A Preconditioned Orthogonalized LoRA Optimizer
Center for Computational Mathematics, Flatiron Institute（计算数学中心，熨斗研究院）
研究针对LoRA优化问题，提出PoLoRA优化器，由乘积感知谱更新方向、曲率预处理及幅度规则构成。在多模型指令调优数据集上评估，结果显示它步数减少，开销增加少，对学习率不敏感，最优学习率稳定。
2026-07-21 cs.CL cs.LG math.OC
MONA: Muon Optimizer with Nesterov Acceleration for Scalable Language Model Training
Meituan（美团）
提出MONA优化器，通过将Nesterov加速项集成到Muon的梯度处理流程中，实现曲率感知加速，从而帮助逃离尖锐局部最小值，并在1B到68B参数的混合专家预训练中取得更优收敛和下游任务性能。
2026-09-23 cs.CL cs.LG
Autoinverse: Uncertainty Aware Inversion of Neural Networks
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
神经网络是许多前向过程的强大替代品。这种替代物的反演在科学和工程中是极其有价值的。一个成功的神经逆方法的最重要的属性是其解决方案在现实世界中部署时的性能，即，在本机转发进程上（而不仅仅是学习的代理）。我们提出了Autoinverse，一个高度自动化的方法来反转神经网络代理。我们的主要观点是在可靠的数据附近寻求逆解，这些数据是从正向过程中采样的，并用于训练代理模型。自逆通过考虑代理的预测不确定性并在反演期间将其最小化来找到此类解决方案。除了高精度外，自逆算法还可以增强解决方案的可行性，带有嵌入式正则化，并且无需初始化。我们验证我们提出的方法，通过解决一组现实世界中的问题，控制，制造和设计。
2022-10-17 cs.AI cs.LG
Drift-Aware Federated Learning: A Causal Perspective
Fudan University（复旦大学）；Shanghai Institute of Intelligent Electronics and Systems（上海智能电子与系统研究院）
本文从因果视角分析联邦学习中模型更新漂移与全局及局部优化器的关系，提出CAFE框架，通过特征校准、参数校准和历史信息利用，缓解对多数类别和频繁通信客户端的漂移，提升联邦学习性能。
2025-03-12 cs.DC cs.LG
Prompt Recovery for Image Generation Models: A Comparative Study of Discrete Optimizers
Department of Computer Science（计算机科学系）；Carnegie Mellon University（卡内基梅隆大学）；Department of Machine Learning（机器学习系）
本研究首次直接比较了GCG、PEZ、Random Search、AutoDAN和BLIP2等离散优化技术及图像描述器在图像生成模型提示反演中的表现，发现依赖CLIP相似度作为代理指标效果不佳，且训练良好的描述器往往优于离散优化器。
2025-04-29 cs.CV cs.LG
Trajectory-Aware Information Matching for Multi-Step Gradient Inversion in Federated Learning
Key Laboratory of Ethnic Language Intelligent Analysis and Security Governance of MOE, Minzu University of China（民族语言智能分析与安全治理教育部重点实验室，中央民族大学）
针对联邦学习梯度反演攻击问题，提出NL-SME方法，通过构建可学习非线性替代轨迹近似隐藏局部状态，整合轨迹级信息与校准梯度匹配，提升多步梯度反演性能，揭示隐私泄漏风险。
2026-07-07 cs.CR cs.LG
On the Width Scaling of Neural Optimizers Under Matrix Operator Norms I: Row/Column Normalization and Hyperparameter Transfer
University of Chicago（芝加哥大学）；Northwestern University（西北大学）
本文提出MOGA优化器，通过行/列规范化实现宽度感知的学习率转移，解决了传统优化器在宽度扩展时的稳定性问题。
2026-03-10 cs.LG cs.NA cs.SY
Model Inversion Networks for Model-Based Optimization
UC Berkeley（加州大学伯克利分校）
在这项工作中，我们的目标是解决数据驱动的优化问题，其中的目标是找到一个输入，最大化一个未知的分数函数给定访问具有相应分数的输入数据集。当输入是高维的并且有效输入构成该空间的小子集时（例如，有效的蛋白质序列或有效的自然图像），这种基于模型的优化问题变得异常困难，因为优化器必须避免分布外和无效输入。我们建议用模型反演网络（MIN）来解决这个问题，它学习从分数到输入的逆映射。MIN可以扩展到高维输入空间，并利用离线记录的数据来解决上下文和非上下文优化问题。MIN还可以处理纯离线数据源和活动数据汇集。我们评估MIN的任务贝叶斯优化文献，高维基于模型的优化问题的图像和蛋白质设计，并从记录的数据上下文强盗优化。
2019-12-31 cs.LG stat.ML
COAP: Memory-Efficient Training with Correlation-Aware Gradient Projection
ByteDance Inc.（字节跳动公司）；Rutgers University（罗格斯大学）
本文提出COAP方法，通过相关性感知的低秩梯度投影减少优化器内存占用，在保持训练性能的同时降低计算开销，并在多种任务上优于现有方法。
2025-03-12 cs.AI cs.CL cs.CV
Leveraging Extragradient for Effective Sharpness-Aware Minimization in Deep Learning
SGIT AI Lab, State Grid Corporation of China（国网SGIT人工智能实验室）；School of Management, Xi’an Jiaotong University（西安交通大学管理学院）；School of Software, Xi’an Jiaotong University（西安交通大学软件学院）
研究针对深度学习泛化难题，基于SAM提出EISAM优化器，通过两步更新过程提升泛化性能，对扰动半径敏感度降低。实验表明其在测试准确率和训练效率上优于多种优化器，理论分析证实其收紧泛化边界，还提供实用调优指导。
2026-07-08 cs.LG math.PR
Model Inversion Attacks: A Survey of Approaches and Countermeasures
Hong Kong Baptist University（香港 Baptist 大学）；The University of Sydney（悉尼大学）
本综述针对模型反演攻击，综合分析其在多领域的有效性及神经网络的脆弱性，对比攻击与防御的多维度要素，明确建模与优化挑战并维护相关研究知识库。
2026-08-18 cs.LG
Blog: Survey of Optimizers
该综述梳理了2025-2026年神经网络优化的进展，沿四个轴组织相关方法，指出矩阵感知方法是进步但无AdamW的通用替代方案，需结合多因素评估优化器。
2026-08-31 cs.AI cs.LG
REG: A Regularization Optimizer for Robust Training Dynamics
Huawei Noah’s Ark Lab（华为诺亚实验室）
针对结构感知优化器Muon训练不稳定、与AdamW预训练模型微调不兼容的问题，提出基于行列缩放算子的REG优化器，在LLM训练中性能和稳定性优于AdamW且适配其训练范式。
2025-10-04 cs.AI cs.LG
Torque-Aware Momentum
Chandar Research Lab（钱达尔研究实验室）；Mila - Québec AI Institute（米拉 - 魁北克人工智能研究所）；Polytechnique Montréal（蒙特利尔理工学院）；Samsung SAIT AI Lab Montréal（三星SAIT人工智能实验室蒙特利尔分部）；Google DeepMind（谷歌DeepMind）
本文提出扭矩感知动量（TAM），通过基于梯度与动量夹角的阻尼因子稳定更新方向，可与SGD和Adam结合，提升探索能力、分布偏移处理效果及泛化性能。
2024-12-25 cs.AI cs.LG
MGSER-SAM: Memory-Guided Soft Experience Replay with Sharpness-Aware Optimization for Enhanced Continual Learning
Tulane University（杜兰大学）；Worcester Polytechnic Institute（伍斯特理工学院）
针对持续学习中的灾难性遗忘问题，提出结合SAM优化器、软logits与记忆梯度对齐的MGSER-SAM算法，在三类场景下均优于现有基线，显著提升准确率并降低遗忘率。
2024-05-15 cs.LG
Moco: A Learnable Meta Optimizer for Combinatorial Optimization
Institute of Computer Science, University of Hildesheim（计算机科学研究所，希尔德斯海姆大学）
针对组合优化问题推理时难以基于已构造解优化的局限，提出完全可学习的元优化器Moco，通过热图引导的轻量构造流程与状态特征驱动的参数更新实现优化，在TSP和MIS上性能优于同类热图方法。
2025-09-04 cs.LG
A Stable Whitening Optimizer for Efficient Neural Network Training
UC Berkeley（伯克利大学）
本文提出SPlus优化器，通过有界更新、形状感知缩放和迭代平均解决Shampoo的稳定性、学习率迁移和噪声问题，在Transformer基准上以更少步数和时间达到Adam性能。
2025-10-23 cs.LG
OptiSelect: How does the Optimizer Shape Data Curriculum?
EPFL（洛桑联邦理工学院）
本研究提出OptiSelect框架，理论证明优化器预条件器影响数据选择增益，实验表明AdamW评分几何最优，为LLM预训练中优化器与数据选择协同设计提供指导。
2026-10-05 cs.AI cs.LG
Denoising-Aware Inversion: Revealing Privacy Risks in Noise-Protected Text Embeddings
Monash University（莫纳什大学）；The University of Queensland（昆士兰大学）；Northeastern University（东北大学）
本文针对受噪声保护的文本嵌入，提出感知去噪的反演方法DAEI，突破双重噪声陷阱，在反演性能上大幅优于基线，挑战了高斯扰动可防嵌入隐私泄露的假设。
2026-08-20 cs.AI cs.CR cs.LG
Half-Inverse Gradients for Physical Deep Learning
Technical University of Munich（慕尼黑工业大学）
最近在深度学习方面的研究表明，将可微物理模拟器集成到训练过程中可以大大提高结果的质量。虽然这种组合表示比监督神经网络训练更复杂的优化任务，但是通常采用相同的基于梯度的优化器来最小化损失函数。然而，集成的物理解算器对梯度流有深远的影响，因为在幅度和方向上操纵尺度是许多物理过程的固有属性。因此，梯度流通常是高度不平衡的，并创建一个现有的基于梯度的优化器表现不佳的环境。在这项工作中，我们分析了物理和神经网络优化的特点，得出一个新的方法，不受这种现象。我们的方法是基于雅可比矩阵的半反演，并结合了经典网络和物理优化器的原理来解决组合优化任务。与最先进的神经网络优化器相比，我们的方法收敛更快，并产生更好的解决方案，我们证明了三个复杂的学习问题，涉及非线性振荡器，薛定谔方程和泊松问题。
2022-03-18 cs.LG physics.comp-ph
Flatness-Aware Minimization for Domain Generalization
Tsinghua University（清华大学）
针对域泛化任务中默认Adam优化器未必最优的问题，提出可同时优化零阶与一阶平坦度的FAD方法，经理论分析与多数据集实验验证，其泛化性能更优且能找到更平坦的最优解。
2023-07-20 cs.CV cs.LG
Scale-invariant Learning by Physics Inversion
Technical University of Munich（慕尼黑工业大学）；Apple（苹果公司）
求解逆问题，如参数估计和最优控制，是科学的重要组成部分。许多实验重复收集数据并依赖机器学习算法来快速推断相关逆问题的解决方案。我们发现，国家的最先进的培训技术并不适合许多问题，涉及物理过程。物理过程中常见的高度非线性行为导致强烈变化的梯度，导致SGD或Adam等一阶优化器计算次优优化方向。我们提出了一种新的混合训练方法，结合高阶优化方法与机器学习技术。我们从尺度不变的逆问题求解器中获取更新，并将其嵌入到基于梯度下降的学习管道中，取代物理过程的常规梯度。我们证明了我们的方法在各种规范的物理系统的能力，表明它产生了显着的改进，在广泛的优化和学习问题。
2022-10-13 cs.LG physics.comp-ph
Curvature-Aware Optimization for High-Accuracy Physics-Informed Neural Networks
Department of Information Engineering and Computer Science, University of Trento（特伦托大学信息工程与计算机科学系）；Division of Applied Mathematics, Brown University（布朗大学应用数学部）；Center for Biomedical Engineering, Brown University（布朗大学生物医学工程中心）；Institute of Mathematics, TU Berlin（柏林工业大学数学研究所）；ETH Zurich（苏黎世联邦理工学院）
本文提出曲率感知优化策略，加速物理信息神经网络求解偏微分方程和常微分方程，采用自然梯度、自缩放BFGS和Broyden优化器，并与高阶数值方法对比验证。
2026-04-06 cs.AI cs.LG cs.NA
BettiSplit: Topology-Guided Privacy-Aware Split Learning Against Feature Inversion and Gradient Leakage
Nottingham Trent University（诺丁汉特伦特大学）；King Fahd University of Petroleum & Minerals（法赫德国王石油与矿业大学）
研究针对分割学习中因分割位置不当致隐私泄露问题，基于持久贝蒂复杂度提出拓扑引导框架，引入BettiSafe策略，提升对特征反转抗性，保持准确率，还通过正则化实现隐私效用权衡，凸显拓扑复杂度在分割学习中的作用。
2026-07-28 cs.AI cs.CR cs.LG
Structure-Aware Numerical Stabilization for Half-Precision Proximal Policy Optimization
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对资源受限平台的半精度PPO存在数值不稳定问题，提出含三个结构感知模块的PPO-FP16，在保证性能的同时提升训练速度、降低内存占用，且无需重新调参。
2026-10-12 cs.LG
A Differential Game Theoretic Neural Optimizer for Training Residual Networks
Georgia Institute of Technology（佐治亚理工学院）
深度神经网络（DNN）训练和最优控制理论之间的联系作为算法设计的原则性工具引起了相当大的关注。微分动态规划（DDP）神经优化器是最近提出的一种方法。尽管其经验上的成功，适用性已被限制到前馈网络和这样一个自动优化启发的框架是否可以扩展到现代架构仍然不清楚。在这项工作中，我们推导出一个通用的DDP优化器，接受剩余连接和卷积层。由此产生的最优控制表示承认一个游戏理论的角度来看，其中训练剩余网络可以被解释为合作轨迹优化的状态增强动态系统。这个博弈论DDP（GT-DDP）优化器在以前的工作中享有相同的理论联系，但生成了一个更复杂的更新规则，可以更好地利用网络传播过程中的可用信息。对图像分类数据集（例如MNIST和CIFAR 100）的评估显示，与现有方法相比，训练收敛性和方差减小方面有所改善。我们的方法突出了从架构感知优化中获得的好处。
2020-07-17 cs.LG math.OC stat.ML
Delayed Optimizer-State Transport Shapes Short-Horizon Training Decisions
School of Physics, Beihang University（北京航空航天大学物理学院）
该研究发现优化器状态与未来数据的延迟传输可改变Transformer短程训练决策，在Math--Code数据集上提升损失，为有限视野训练干预提供了机制依据。
2026-08-26 cs.LG physics.comp-ph
Cosine-Gated Adam-Decay: Drop-In Staleness-Aware Outer Optimization for Decoupled DiLoCo
本文提出CGAD，一种基于余弦门控的Adam衰减算法，通过衰减因子和余弦门控机制提升异步DiLoCo系统的稳定性，实验证明其在不同规模模型上的有效性。
2026-05-09 cs.LG
Zeta: Dual Whitening for Matrix Optimization via Coordinate-Adaptive Preconditioning
South China University of Technology（华南理工大学）；AIGCode；Hong Kong Baptist University（香港浸会大学）
针对矩阵优化中坐标尺度异质性问题，提出双重白化优化器Zeta，通过先坐标白化后谱白化的严格顺序降低正交化误差，在语言建模和视觉任务上提升收敛速度与泛化性能。
2026-06-17 cs.LG
Physics-Aware Neural Operators for Direct Inversion in 3D Photoacoustic Tomography
NVIDIA（NVIDIA公司）
PANO通过端到端的物理意识神经算子实现3D光电声成像的高效直接反演，提升重建质量和实时性能。
2026-03-09 cs.LG eess.IV
Stress-Aware Resilient Neural Training
University of Padova（帕多瓦大学）；Technical University of Munich（慕尼黑技术大学）
受材料结构疲劳启发，本文提出应力感知学习范式及塑性形变优化器，通过检测训练停滞的应力信号注入自适应噪声，帮助模型跳出尖锐极小值，在多架构多基准上以低开销提升鲁棒性与泛化性。
2025-07-31 cs.AI cs.CV cs.LG
Gradient-free Decoder Inversion in Latent Diffusion Models
Seoul National University（首尔国立大学）；University of California, Los Angeles（加州大学洛杉矶分校）
针对潜空间扩散模型中基于梯度的解码器逆映射内存消耗大、计算慢的问题，提出一种高效的无梯度解码器逆映射方法，具有理论收敛保证，并在显著降低计算开销的同时实现了与现有方法可比的误差水平。
2024-09-27 cs.CV cs.LG
Heterogeneity-Aware Coordination for Federated Learning via Stitching Pre-trained blocks
University of Macau（澳门大学）；Bytedance Inc.（字节跳动公司）
针对联邦学习中低端设备因内存与能耗限制难以参与的问题，提出基于预训练模块拼接的FedStitch框架，含三大核心组件，在准确率、速度、内存和能耗上均有显著提升。
2024-09-11 cs.AI cs.LG
Network Inversion for Uncertainty-Aware Out-of-Distribution Detection
IIT Bombay（印度理工学院班加罗尔分校）
本文提出了一种结合网络倒置与分类器训练的方法，通过引入垃圾类来同时解决分布外检测和不确定性估计问题，提升了模型的鲁棒性和可解释性。
2025-11-28 cs.CV cs.LG
3D-Aware Encoding for Style-based Neural Radiance Fields
Carnegie Mellon University（卡内基梅隆大学）；Meta Research（Meta研究院）
我们解决了基于样式的神经辐射场的NeRF反演的任务（例如，StyleNeRF）。在这项任务中，我们的目标是学习一个逆函数，将输入图像投影到NeRF发生器的潜在空间，然后基于潜在代码合成原始图像的新视图。与用于2D生成模型的GAN反演相比，NeRF反演不仅需要1）保持输入图像的身份，而且2）确保生成的新视图的3D一致性。这要求从单视图图像获得的潜在代码在多个视图中是不变的。为了解决这个新的挑战，我们提出了一个两阶段的编码器基于风格的NeRF反转。在第一阶段中，我们引入了一个基本编码器，它将输入图像转换为潜码。为了保证潜在编码具有视点不变性，并能够合成三维一致的新视点图像，我们利用身份对比学习来训练基本编码器。其次，为了更好地保留输入图像的身份，我们引入了一个细化编码器来细化潜在代码并向输出图像添加更精细的细节。值得注意的是，该模型的新颖性在于其第一阶段编码器的设计，该编码器产生位于潜在流形上的最接近的潜在代码，因此第二阶段中的细化将接近NeRF流形。通过大量的实验，我们证明了我们提出的两阶段编码器定性和定量表现出优于现有的编码器在图像重建和新颖的视图渲染反转。
2022-11-12 cs.CV cs.LG
Time-inversion of spatiotemporal beam dynamics using uncertainty-aware latent evolution reversal
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
本文提出一种基于CVAE-LSTM的反向潜在演化模型（rLEM），利用下游束流测量数据预测上游6D相空间，并量化不确定性，以解决加速器束流动力学的时间反演逆问题。
2024-12-01 cs.LG physics.acc-ph
Symmetry-Compatible Principle for Optimizer Design: Embeddings, LM Heads, SwiGLU MLPs, and MoE Routers
University of Pennsylvania（宾夕法尼亚大学）；Wharton School（沃顿商学院）
针对现代神经网络参数空间的对称性与坐标级优化器之间的几何不匹配，提出对称性兼容的优化器设计原则，并针对嵌入矩阵、LM头、SwiGLU MLP投影和MoE路由器等特殊参数块导出相应更新规则，实验证明其改善验证损失、负载平衡和训练稳定性。
2026-10-15 cs.AI cs.LG math.OC
GeoFP8: Geometry-Aware FP8 Gradient Compression for Distributed LLM Training
Rutgers University（罗格斯大学）
研究针对LLM预训练中梯度通信瓶颈，提出几何感知梯度缩放方法GIFT，通过变换梯度到近各向同性空间进行低精度通信，开发简化算法平衡开销与减少量，经实验验证可减少预训练时间并改善下游任务保留情况。
2026-10-01 cs.DC cs.LG
