We propose a stepsize adaptation scheme for stochastic gradient descent. It operates directly with the loss function and rescales the gradient in order to make fixed predicted progress on the loss. We demonstrate its capabilities by conclusively improving the performance of Adam and Momentum optimizers. The enhanced optimizers with default hyperparameters consistently outperform their constant stepsize counterparts, even the best ones, without a measurable increase in computational cost. The performance is validated on multiple architectures including dense nets, CNNs, ResNets, and the recurrent Differential Neural Computer on classical datasets MNIST, fashion MNIST, CIFAR10 and others.
Provable and Practical Online Learning Rate Adaptation with Hypergradient Descent
Stanford University（斯坦福大学）；ICME, Stanford University（斯坦福大学ICME）；Department of Mathematics, Stanford University（斯坦福大学数学系）；Department of Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程学院）
Simple Stepsize for Quasi-Newton Methods with Global Convergence Guarantees
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（Mohamed bin Zayed大学人工智能学院）；Moscow Institute of Physics and Technology (MIPT)（莫斯科物理技术研究所）；Innopolis University（Innopolis大学）；Skoltech
Gradient Methods with Online Scaling Part II. Practical Aspects
Department of Mathematics, Stanford University（斯坦福大学数学系）；ICME, Stanford University（斯坦福大学工业工程与运营管理系）；Department of Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程系）
Function Value Learning: Adaptive Learning Rates Based on the Polyak Stepsize and Function Splitting in ERM
Université Paris Cité（巴黎西岱大学）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Laboratoire de Probabilités, Statistique et Modélisation（概率、统计与建模实验室）；Center for Computational Mathematics（计算数学中心）；Flatiron Institute（熨斗研究所）；Technical University of Munich（慕尼黑工业大学）
Bernoulli-LoRA: A Theoretical Framework for Randomized Low-Rank Adaptation
Center of Excellence for Generative AI, King Abdullah University of Science and Technology (KAUST)（生成人工智能卓越中心，国王阿卜杜勒阿齐兹大学科学与技术学院）；Saudi Data & AI Authority (SDAIA) & National Center of AI (NCAI)（沙特数据与人工智能管理局及人工智能国家中心）
深度神经网络（DNN）在各种计算机视觉应用中取得了前所未有的成功，例如图像分类和目标检测。然而，在训练阶段仍然是一个常见的烦恼，人们必须准备至少数千个标记图像来微调网络到特定的域。最近的研究（Tommasi et al. 2015）表明，DNN对训练数据集具有很强的依赖性，并且如果不进行微调，学习到的特征不能轻易地转移到不同但相关的任务中。在本文中，我们提出了一种简单而强大的补救措施，称为自适应批量归一化（AdaBN），以提高DNN的泛化能力。通过调整网络中所有批量归一化层的统计信息，我们的方法实现了领域自适应任务的深度自适应效果。与其他深度学习领域自适应方法相反，我们的方法不需要额外的组件，并且是无参数的。它的档案国家的最先进的性能，尽管其令人惊讶的简单。此外，我们证明了我们的方法是与其他现有的方法的补充。将AdaBN与现有的领域自适应处理相结合可以进一步提高模型性能。
Learning from imperfect quantum data via unsupervised domain adaptation with classical shadows
Advanced Material Engineering Division, Toyota Motor Corporation（丰田汽车公司先进材料工程部）；Quantum Computing Center, Keio University（庆应义塾大学量子计算中心）；Department of Applied Physics and Physico-Informatics, Keio University（庆应义塾大学应用物理与物理信息学系）
EDAPT: Towards Calibration-Free BCIs with Continual Online Adaptation
Excellence Cluster Machine Learning, University of Tübingen（卓越集群机器学习中心，图宾根大学）；Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学）；Department of Neurology and Stroke, University of Tübingen（神经学与中风部门，图宾根大学）；Hertie Institute for Clinical Brain Research, University of Tübingen（赫尔特研究所，图宾根大学）；Department of Empirical Inference, Max Planck Institute for Intelligent Systems（经验推理部门，智能系统马克斯·普朗克研究所）；Hertie Institute for AI in Brain Health, Tübingen（赫尔特人工智能与脑健康研究所，图宾根）
Stabilizing In-Context Multi-Source Domain Adaptation for Biomedical Images Through Controls
ELLIS Unit Linz, LIT AI Lab；Institute for Machine Learning, Johannes Kepler University Linz, Austria；Medical University Vienna；Clinical Research Center for Medical AI, Johannes Kepler University Linz, Austria
