Fast is better than free: Revisiting adversarial training
Carnegie Mellon University（卡内基梅隆大学）
对抗性训练是一种学习强大深度网络的方法，通常被认为比传统训练更昂贵，因为需要通过投影梯度下降（PGD）等一阶方法构建对抗性示例。在本文中，我们令人惊讶的发现，它是可能的训练经验强大的模型使用一个更弱，更便宜的对手，以前被认为是无效的方法，使该方法没有更昂贵的标准培训在实践中。具体来说，我们证明了使用快速梯度符号方法（FGSM）进行对抗性训练，当与随机初始化相结合时，与基于PGD的训练一样有效，但成本明显更低。此外，我们还表明，通过使用标准技术进行深度网络的有效训练，可以进一步加速FGSM对抗训练，使我们能够在6分钟内学习一个强大的CIFAR10分类器，其对$ε=8/255$的PGD攻击具有45%的鲁棒准确性，并且在12小时内学习一个强大的ImageNet分类器，其对$ε=2/255$的准确性为43%，相比之下，过去基于“免费”对抗性培训的工作分别需要10小时和50小时才能达到相同的阈值。最后，我们确定了一种被称为“灾难性过拟合”的故障模式，这可能导致之前使用FGSM对抗训练的尝试失败。本文中用于复制实验的所有代码以及预训练的模型权重都在https://github.com/locuslab/fast_adversarial上。
2020-01-12 cs.LG stat.ML
Revisiting Locally Supervised Learning: an Alternative to End-to-end Training
Tsinghua University（清华大学）
由于需要存储用于反向传播的中间激活，深度网络的端到端（E2 E）训练通常会受到高GPU内存占用的影响。本文旨在通过重新审视局部监督学习来解决这个问题，其中网络被分成梯度隔离的模块并使用局部监督进行训练。我们的实验表明，简单地用E2 E损失训练本地模块往往会在早期层崩溃任务相关的信息，从而损害整个模型的性能。为了避免这个问题，我们提出了一个信息传播（InfoPro）损失，它鼓励本地模块保留尽可能多的有用信息，同时逐步丢弃任务无关的信息。由于InfoPro损失很难以其原始形式计算，我们推导出一个可行的上限作为代理优化目标，产生一个简单但有效的算法。事实上，我们表明，所提出的方法归结为最大限度地减少重建损失和正常的交叉熵/对比项的组合。在五个数据集上的广泛经验结果（即，CIFAR、SVHN、STL-10、ImageNet和Cityscapes）验证了InfoPro能够在与E2 E训练相比内存占用不到40%的情况下实现有竞争力的性能，同时允许在相同的GPU内存限制下使用更高分辨率或更大批量的训练数据。我们的方法还可以异步训练本地模块，以实现潜在的训练加速。代码可在：https://github.com/blackfeather-wang/InfoPro-Pytorch.
2021-01-26 cs.CV cs.LG stat.ML
Revisiting adversarial training for the worst-performing class
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
尽管对抗训练（AT）取得了进展，但在许多数据集中，表现最好和表现最差的类之间存在着巨大的差距。例如，在CIFAR10上，最好和最差类的准确率分别为74%和23%。我们认为，这种差距可以通过显式优化性能最差的类，从而在一个最小最大最大优化配方减少。我们的方法，称为类集中的在线学习（CFOL），包括最坏的类损失的高概率收敛保证，可以很容易地集成到现有的训练设置与最小的计算开销。我们证明了CIFAR10的最差类准确性提高了32%，并且我们观察到CIFAR100和STL 10的一致行为。我们的研究强调了超越平均精度的重要性，这在安全关键型应用中尤为重要。
2023-02-17 cs.LG
Revisiting Group Relative Policy Optimization: Insights into On-Policy and Off-Policy Training
IBM Research（IBM研究院）；IBM Quantum（IBM量子实验室）；MIT-IBM Watson Lab（MIT-IBM沃森实验室）
本文将 GRPO 适配至 off-policy 设置，证明两种机制的目标均能提升奖励，并引入截断替代目标，实验表明 off-policy GRPO 显著优于或持平于 on-policy 版本。
2025-05-30 cs.LG stat.ML
Revisiting Self-Training for Neural Sequence Generation
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（脸书人工智能研究院）
自我训练是最早和最简单的半监督方法之一。关键思想是用与模型预测配对的未标记数据（即伪并行数据）来增强原始标记数据集。虽然自训练已经在分类问题上得到了广泛的研究，但在复杂的序列生成任务（例如机器翻译）中，由于目标空间的组合性，自训练如何工作仍然不清楚。在这项工作中，我们首先从经验上证明了自我训练能够体面地提高神经序列生成任务的监督基线。通过仔细检查性能增益，我们发现隐藏状态的扰动（即dropout）对于自训练至关重要，以便从伪并行数据中受益，伪并行数据充当正则化器并迫使模型对类似的未标记输入产生接近的预测。这种效应有助于模型纠正对未标记数据的一些错误预测。为了进一步鼓励这种机制，我们建议向输入空间注入噪声，从而产生“噪声”版本的自我训练。对标准机器翻译和文本摘要基准的实证研究表明，噪声自训练能够有效地利用未标记数据，并大幅提高监督基线的性能。
2020-10-18 cs.CL cs.LG stat.ML
Revisiting Small Batch Training for Deep Neural Networks
Graphcore Research（Graphcore研究公司）
现代深度神经网络训练通常基于小批量随机梯度优化。虽然使用大的小批量增加了可用的计算并行性，但小批量训练已被证明可以提供改进的泛化性能，并允许显著更小的内存占用，这也可以用于提高机器吞吐量。在本文中，我们回顾了常见的假设学习率缩放和训练时间，作为一个实验的基础上比较不同的小批量的测试性能。我们采用对应于每个梯度计算的恒定平均权值更新的学习率（即，每单位计算成本），并指出这导致权重更新的方差随小批量大小$m$线性增加。收集的CIFAR-10、CIFAR-100和ImageNet数据集的实验结果表明，增加小批量会逐渐减少学习率的范围，从而提供稳定的收敛和可接受的测试性能。另一方面，较小的小批量提供了更先进的梯度计算，从而产生更稳定和可靠的训练。$m = 2$和$m = 32$之间的小批量始终获得最佳性能，这与最近提倡使用数千个小批量的工作形成对比。
2018-04-20 cs.CV cs.LG stat.ML
Revisiting the Relationship between Adversarial and Clean Training: Why Clean Training Can Make Adversarial Training Better
本文针对对抗训练泛化能力下降的问题，基于多视图假设统一解释了以往研究的矛盾现象，发现干净训练能通过降低学习难度和提供正确指导来辅助对抗训练，并提出利用干净训练提升先进对抗训练性能的新思路。
2025-03-30 cs.AI cs.LG
Revisiting Pre-Propagation GNNs: Robust Diffusion Operators and Hidden-State Re-Propagation
School of Electrical and Computer Engineering, Cornell University, Ithaca, New York, USA（电气与计算机工程系，康奈尔大学，纽约州伊萨卡市）
提出鲁棒图扩散算子和少量隐状态再传播方案，使预传播图神经网络在保持训练效率的同时匹配消息传递图神经网络的精度。
2026-05-24 cs.LG
Revisiting Adversarial Training for ImageNet: Architectures, Training and Generalization across Threat Models
University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）
本文重新审视ImageNet上的对抗训练，发现用ConvStem替换PatchStem等架构微调可显著提升鲁棒性，ConvNeXt+ConvStem在ℓ∞攻击下最鲁棒，ViT+ConvStem对未知ℓ1/ℓ2攻击泛化最佳。
2023-10-28 cs.CR cs.CV cs.LG
Revisiting Min-Max Optimization Problem in Adversarial Training
University of Waterloo（滑铁卢大学）
本文通过重新表述鞍点优化问题，提出一种构建鲁棒深度神经网络的新方法，以抵御多种对抗攻击，并提供具体安全保障，旨在推动完全鲁棒深度学习模型的发展。
2024-08-20 cs.CV cs.LG
Leaner Training, Lower Leakage: Revisiting Memorization in LLM Fine-Tuning with LoRA
Department of Electrical and Computer Engineering University of Toronto（电气与计算机工程系 东京大学）
本研究重新审视了LLM微调中的记忆化问题，发现模型规模和数据重复等因素在LoRA微调中不遵循预训练和全量微调的趋势，且LoRA在保持任务表现的同时显著降低了记忆化风险。
2026-11-02 cs.AI cs.CL cs.CR
Revisiting the Volume Hypothesis
通过复制交换Wang-Landau算法估计二元网络中的联合态密度，研究梯度学习与随机采样在泛化性能上的差异如何随训练数据量变化，发现数据量增大时梯度学习的优势减弱，从而解释了关于体积假说的矛盾实验结果。
2026-09-29 cs.LG
Revisiting 3D ResNets for Video Recognition
Google Research（谷歌研究院）
Bello最近的一项工作表明，训练和缩放策略可能比视觉识别的模型架构更重要。这篇短文研究了视频识别模型的有效训练和缩放策略。我们提出了一个简单的3D ResNets扩展策略，结合改进的训练策略和较小的架构变化。由此产生的模型，称为3D ResNet-RS，在没有预先训练的情况下，在Kinetics-400和Kinetics-600上分别达到81.0和83.8的竞争性能。当在大型Web视频文本数据集上进行预训练时，我们的最佳模型在Kinetics-400和Kinetics-600上分别达到83.5和84.3。所提出的缩放规则进一步评估在一个自我监督设置使用对比学习，表现出改善的性能。代码可在：https://github.com/tensorflow/models/tree/master/official.
2021-09-03 cs.CV cs.LG eess.IV
Revisiting ML Training under Fully Homomorphic Encryption: Convergence Guarantees, Differential Privacy, and Efficient Algorithms
University of Maryland, College Park, MD（马里兰大学 College Park 分校）；AlgoCRYPT CoE（算法密码学中心）
本文首次对全同态加密下的机器学习训练进行理论收敛性分析，结合适用于加密计算的差分隐私训练算法，通过多项式近似激活函数和损失函数实现近似梯度下降的收敛，并采用无逐样本梯度裁剪的差分隐私机制提升计算效率。
2026-05-27 cs.CR cs.LG
Revisiting Outer Optimization in Adversarial Training
West Virginia University（西弗吉尼亚大学）
尽管对抗训练和自然训练（AT和NT）之间存在根本区别，但AT方法通常采用动量SGD（MSGD）进行外部优化。本文旨在分析这种选择，通过调查被忽视的作用，外部优化AT。我们的探索性评估表明，与NT相比，AT会产生更高的梯度范数和方差。这种现象阻碍了AT的外部优化，因为MSGD的收敛速度高度依赖于梯度的方差。为此，我们提出了一种称为ENGM的优化方法，该方法将每个输入示例对平均小批量梯度的贡献正则化。我们证明了ENGM的收敛速度与梯度的方差无关，因此，它适用于AT。我们引入了一个技巧，以减少计算成本的ENGM使用经验观察梯度w.r.t.的范数之间的相关性。网络参数和输入示例。我们对CIFAR-10、CIFAR-100和TinyImageNet的广泛评估和消融研究表明，ENGM及其变体始终如一地提高了各种AT方法的性能。此外，ENGM弥补了AT的主要缺点，包括鲁棒的过拟合和对超参数设置的高敏感性。
2022-09-02 cs.LG
Revisiting the Adam-SGD Gap in LLM Pre-Training: The Role of Large Effective Learning Rates
University of Minnesota（明尼苏达大学）
本文通过实证和理论分析，发现SGD在LLM预训练中表现较差的原因在于其无法维持与Adam相媲美的有效学习率，而大有效学习率需求源于小梯度范数和大权重-梯度比，且在大批次大小下更加明显。通过简单剪枝机制，SGD在大学习率下能恢复大部分Adam性能，实验显示验证损失差距从超过50%降至约3.5%。
2026-05-18 cs.LG
ByteComp: Revisiting Gradient Compression in Distributed Training
Rice University（莱斯大学）；ByteDance Inc.（字节跳动公司）
梯度压缩（GC）是解决分布式深度学习（DPL）中通信瓶颈的一种有前途的方法。然而，由于张量之间复杂的相互作用，因此找到将GC应用于XML的最佳压缩策略具有挑战性。为了充分发挥GC的优势，必须解决两个问题：1）如何表达所有压缩策略以及任何训练任务中张量之间的相应交互？2)如何快速选择接近最佳的压缩策略？在本文中，我们提出ByteComp来回答这些问题。它首先设计了一个决策树抽象来表达所有的压缩策略，并开发了时间轴张量计算，通信和压缩的经验模型，使ByteComp能够导出张量之间复杂的相互作用。然后，它设计了一个压缩决策算法，该算法分析张量交互，以消除和优先考虑策略，并最佳地将压缩卸载到CPU。实验评估表明，ByteComp可以将具有代表性的压缩训练作业的训练吞吐量提高77%。此外，选择压缩策略所需的计算时间是以毫秒为单位测量的，并且所选择的策略距离最佳策略只有百分之几。
2022-06-06 cs.DC cs.LG
Revisiting DNN Training for Intermittently-Powered Energy-Harvesting Micro-Computers
Cranberry-Lemon University（蔓越莓柠檬大学）；University of the Witwatersrand（金山大学）
针对能量采集微型计算机的间歇供电问题，提出动态dropout训练方法，结合设备模型与能量概况优化训练，在额外计算低于5%时提升6-22%准确率。
2025-01-26 cs.LG
Revisiting the Generic Transformer: Deconstructing a Strong Baseline for Time Series Foundation Models
Rensselaer Polytechnic Institute（拉特格斯理工学院）；IBM Research（IBM研究院）
本文重新审视通用变换器，通过简单训练协议证明其在时间序列零样本预测中的优越性能，并通过消融研究揭示了模型扩展和数据组成对性能的关键影响。
2026-11-09 cs.LG
Revisiting adapters with adversarial training
DeepMind（深度思维）
虽然对抗性训练通常被用作防御机制，但最近的研究表明，它也可以作为正则化器。通过在干净和对抗性输入上共同训练神经网络，可以提高干净、非对抗性输入的分类准确性。我们证明，与以前的研究结果相反，在对干净和对抗性输入进行联合训练时，没有必要分离批统计数据，并且对于每种类型的输入，使用具有很少域特定参数的适配器就足够了。我们确定，使用视觉Transformer（ViT）的分类令牌作为适配器足以匹配双归一化层的分类性能，同时使用显著更少的附加参数。首先，我们在ImageNet上将非对抗训练的ViT-B16模型的top-1准确率提高了+1.12%（达到83.76%的top-1准确率）。其次，更重要的是，我们证明了使用适配器的训练可以通过干净和对抗令牌的线性组合来实现模型汤。这些模型汤，我们称之为对抗模型汤，允许我们在干净和健壮的准确性之间进行权衡，而不会牺牲效率。最后，我们表明，我们可以很容易地适应所产生的模型面对的分布偏移。我们的ViT-B16在ImageNet变体上获得了前1的准确率，平均比使用掩码自编码器获得的准确率高出+4.00%。
2022-10-10 cs.CV cs.LG
Revisiting LARS for Large Batch Training Generalization of Neural Networks
Hanoi University of Science and Technology（河内科学技术大学）；Pusan National University（釜山国立大学）；University of Warwick（华威大学）；University of Sydney（悉尼大学）
本文提出TVLARS算法，用可配置类sigmoid函数替代LARS的预热策略，解决早期陷入尖锐极小值问题，在分类和自监督学习中分别提升达2%和10%。
2024-08-27 cs.AI cs.LG
Revisiting Distributed Synchronous SGD
大规模训练数据上的深度学习模型的分布式训练通常使用异步随机优化来进行，以最大化更新速率，代价是从随机性引入额外的噪声。相比之下，同步方法通常被认为是不切实际的，因为等待分散的工作者会浪费空闲时间。在本文中，我们重新审视这些传统的信念，并研究这两种方法的弱点。我们证明了第三种方法，同步优化与备份工人，可以避免异步噪声，同时减轻最差的掉队者。我们的方法是经验验证和收敛速度更快，更好的测试精度。
2017-03-18 cs.AI cs.DC cs.LG
No Train No Gain: Revisiting Efficient Training Algorithms For Transformer-based Language Models
Centre for Artificial Intelligence, University College London（伦敦大学学院人工智能中心）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文重新审视了动态架构、批量选择和高效优化器三类高效训练算法，发现固定计算预算下其增益相比完全衰减学习率基线消失，并提出评估协议及开源代码。
2023-11-14 cs.AI cs.CL cs.LG
On Pre-Training for Visuo-Motor Control: Revisiting a Learning-from-Scratch Baseline
University of California San Diego（加州大学圣地亚哥分校）；Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）；Meta AI；Shanghai Qi Zhi Institute（上海期智研究院）
该研究重新审视结合数据增强与浅层ConvNet的从零学习基线，发现其性能可匹敌多种基于大规模视觉预训练冻结表征的视觉运动控制方法，揭示预训练方法存在域差距问题并给出研究建议。
2023-06-15 cs.CV cs.LG cs.RO
Revisiting Distributed Synchronous SGD
UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）；OpenAI
大规模训练数据上的深度学习模型的分布式训练通常使用异步随机优化来进行，以最大化更新速率，代价是从随机性引入额外的噪声。相比之下，同步方法通常被认为是不切实际的，因为等待分散的工作者会浪费空闲时间。在本文中，我们重新审视这些传统的信念，并研究这两种方法的弱点。我们证明了第三种方法，同步优化与备份工人，可以避免异步噪声，同时减轻最差的掉队者。我们的方法是经验验证和收敛速度更快，更好的测试精度。
2017-03-21 cs.DC cs.LG cs.NE
Revisiting PINNs: Generative Adversarial Physics-informed Neural Networks and Point-weighting Method
Dalian University of Technology（大连理工大学）；Harbin Institute of Technology（哈尔滨工业大学）；JD Explore Academy（京东探索研究院）
物理信息神经网络（PINN）为数值求解偏微分方程（PDE）提供了一个深度学习框架，并已被广泛应用于各种PDE问题。然而，在PINN的应用中仍然存在一些挑战：1）PINN的机制不适合（至少不能直接应用）利用小尺寸（通常很少）的额外信息样本来细化网络;以及2）对于一些复杂的PDE，训练PINN的效率通常变低。在本文中，我们提出了生成对抗物理信息神经网络（GA-PINN），它集成了生成对抗（GA）机制与PINN的结构，提高PINN的性能，只利用一个小规模的精确解的偏微分方程。受Adaboost方法的加权策略的启发，我们引入了点加权（PW）方法来提高PINN的训练效率，其中每个样本点的权重在每次训练迭代时自适应地更新。数值实验表明，GA-PINN在许多著名的偏微分方程中的性能优于PINN，PW方法也提高了训练PINN和GA-PINN的效率。
2022-05-18 cs.LG
Revisiting Training Scale: An Empirical Study of Token Count, Power Consumption, and Parameter Efficiency
ECPI University（ECPI大学）
通过固定硬件和训练条件的重复测量实验，发现增加训练令牌数会导致训练效率严格单调下降，即使性能有边际提升，也表明能耗效率低下。
2026-06-08 cs.AI cs.LG
No Free Efficiency: Revisiting the Trade-off Between Training Efficiency and Model Vulnerability
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Institute of Science Tokyo（东京科学大学）
本研究首次系统调查训练效率与模型脆弱性之间的权衡，发现高效训练策略增加对抗与隐私攻击敏感性，并呼吁多目标训练以兼顾性能、成本与安全。
2026-09-29 cs.CR cs.LG
Revisiting Recursive Least Squares for Training Deep Neural Networks
Hainan University（海南大学）；Yangtze Normal University（长江师范学院）
递归最小二乘（Recursive Least Squares，RLS）算法由于其快速收敛性曾被广泛用于训练小规模神经网络。然而，以前的RLS算法不适合训练深度神经网络（DNN），因为它们具有高计算复杂性和太多的先决条件。为了克服这些缺点，本文提出了三种新的RLS优化算法，分别用于训练前馈神经网络、卷积神经网络和递归神经网络（包括长短期记忆网络），算法采用误差反向传播和我们的平均逼近RLS方法，并结合线性最小二乘损失函数关于隐层线性输出的等效梯度。与以往的RLS优化算法相比，我们的算法是简单和优雅的。它们可以被看作是一种改进的随机梯度下降（SGD）算法，它使用每层的逆自相关矩阵作为自适应学习率。它们的时间和空间复杂度仅是SGD的几倍。它们只要求损失函数是均方误差，输出层的激活函数是可逆的。事实上，我们的算法也可以与其他一阶优化算法结合使用，而不需要这两个先决条件。此外，我们提出了两个改进的方法，我们的算法。最后，我们在MNIST，CIFAR-10和IMDB数据集上证明了它们与Adam算法的有效性，并通过实验研究了它们的超参数的影响。
2021-09-07 cs.LG
Quantization Error Propagation: Revisiting Layer-Wise Post-Training Quantization
Fujitsu Limited（富士通有限公司）；Department of Basic Science（基础科学系）；The University of Tokyo（东京大学）；RIKEN center for AIP（理化学研究所AIP中心）
本文提出QEP框架，通过显式传播量化误差以提升分层后训练量化在低比特下的性能。
2026-01-13 cs.LG stat.AP stat.ME
Revisiting and Advancing Fast Adversarial Training Through The Lens of Bi-Level Optimization
Michigan State University（密歇根州立大学）；UC Santa Barbara（加州大学圣巴巴拉分校）；University of Minnesota（明尼苏达大学）；MIT-IBM Watson AI Lab, IBM Research（IBM研究院麻省理工-IBM沃森人工智能实验室）
对抗性训练（AT）是一种广泛认可的防御机制，用于获得深度神经网络对对抗攻击的鲁棒性。它建立在最小-最大优化（MMO）的基础上，其中最小化器（即，Defender）寻求一种鲁棒模型以在存在由最大化者制作的对抗性示例的情况下最小化最坏情况的训练损失（即，攻击者）。然而，传统的MMO方法使得AT难以扩展。因此，Fast-AT（Wong等人，2020）和其他最近的算法试图通过用基于单个梯度符号的攻击生成步骤替换其最大化步骤来简化MMO。虽然易于实现，但Fast-AT缺乏理论保证，并且由于在与强大对手一起训练时存在鲁棒灾难性过拟合问题，其经验性能不令人满意。在本文中，我们提出了快速AT从双层优化（BLO）的新视角。我们首先表明，常用的快速AT是等效的使用随机梯度算法来解决一个线性化的BLO问题，涉及一个符号操作。然而，符号运算的离散性质使得很难理解算法的性能。受BLO的启发，我们设计并分析了一组新的鲁棒训练算法Fast Bi-level AT（Fast-BAT），该算法在不使用任何梯度符号方法或显式鲁棒正则化的情况下，有效地防御了基于符号的投影梯度下降（PGD）攻击。在实践中，我们证明了我们的方法在多个模型和数据集的基线上产生了实质性的鲁棒性改进。代码可在https://github.com/OPTML-Group/Fast-BAT上获得。
2022-10-04 cs.LG
Revisiting the Scaling Properties of Downstream Metrics in Large Language Model Training
Apple（苹果公司）
本文提出直接框架建模LLM训练预算与下游任务性能的缩放关系，发现幂律可准确描述log准确率，且优于传统两阶段方法。
2025-12-09 cs.AI cs.CL cs.LG
Revisiting hard thresholding for DNN pruning
DNN修剪最常见的方法是对网络权重进行硬阈值处理，然后进行再训练以恢复任何丢失的准确性。最近开发的智能修剪算法使用DNN对各种成本函数的训练集的响应来确定冗余的网络权重，从而减少准确性下降，并可能减少重新训练时间。对于总的修剪时间（修剪时间+再训练时间）的实验，我们表明，硬阈值，然后再训练仍然是最有效的方式，减少网络参数的数量。然而，智能修剪算法仍然具有优势时，再训练是不可能的。在这种情况下，我们提出了一种新的智能修剪算法的基础上凸函数优化的差异，并表明它往往是数量级的速度比竞争的方法，同时实现最低的分类精度退化。此外，我们从理论上研究了硬阈值对DNN精度的影响。我们发现，准确性下降增加与其余的网络深度从修剪层。我们还发现了潜在的维度之间的联系的训练数据流形和网络的鲁棒性硬阈值。
2019-05-21 cs.AI cs.LG stat.ML
Revisiting Realistic Test-Time Training: Sequential Inference and Adaptation by Anchored Clustering
South China University of Technology（华南理工大学）；Institute for Infocomm Research（资讯通信研究院）；Peng Cheng Laboratory（鹏城实验室）
在目标域数据上部署模型需要适应分布偏移。测试时训练（TTT）出现作为一个现实的情况下，访问完整的源域数据是不可用的，需要对目标域的即时推理这种适应的解决方案。尽管在TTT方面做了很多努力，但实验设置仍存在混乱，从而导致不公平的比较。在这项工作中，我们首先重新审视TTT的假设和分类TTT协议的两个关键因素。在多个协议中，我们采用了一个现实的顺序测试时训练（sTTT）协议，根据该协议，我们进一步开发了一个测试时锚定聚类（TTAC）方法，使更强的测试时特征学习。TTAC发现源域和目标域中的聚类，并将目标聚类与源聚类进行匹配，以提高泛化能力。提出了伪标签过滤和迭代更新的方法来提高锚定聚类的有效性和效率。我们证明，在所有TTT协议TTAC始终优于国家的最先进的方法在六个TTT数据集。我们希望这项工作将提供一个公平的基准TTT方法和未来的研究应在各自的协议进行比较。演示代码可在https://github.com/Gorilla-Lab-SCUT/TTAC上获得。
2022-10-14 cs.CV cs.LG
Revisiting Diffusion Models: From Generative Pre-training to One-Step Generation
Institute of Neuroscience（神经科学研究所）；Key Laboratory of Brain Cognition（脑认知重点实验室）；Brain-inspired Intelligence Technology（脑启发智能技术）；Center for Excellence in Brain Science（脑科学卓越中心）；Intelligence Technology（智能技术）；Chinese Academy of Sciences（中国科学院）；Shanghai, China（上海中国）
本研究指出扩散蒸馏的步长与参数量不匹配局限，提出用独立GAN目标将预训练扩散模型转化为单步生成器，证明扩散训练是生成式预训练，轻量微调即可解锁高效生成能力，还通过频域分析解释其机制。
2025-06-11 cs.LG
No Prior, No Leakage: Revisiting Reconstruction Attacks in Trained Neural Networks
Department of Computer Science Cranberry-Lemon University（计算机科学系克兰伯瑞-柠檬大学）；Department of Computational Neuroscience University of the Witwatersrand（计算神经科学系沃图瓦兹兰大学）；Tel Aviv University（特拉维夫大学）；Ben-Gurion University of the Negev（贝内-乔尔大学）；Bar-Ilan University（巴-伊兰大学）
本研究从理论角度证明，在无数据先验时，神经网络参数重建训练样本本质上不可靠，且更充分训练的网络更不易受攻击，调和了隐私与泛化。
2025-09-25 cs.AI cs.LG stat.ML
Revisiting and Advancing Adversarial Training Through A Simple Baseline
National Institute of Informatics（信息学研究所）
本文研究了损失函数等非架构因素对对抗训练的影响，提出简单基线方法 SimpleAT，在多数据集上验证其有效缓解鲁棒过拟合并提升对抗鲁棒性。
2023-11-19 cs.CV cs.LG
Revisiting Self-Training with Regularized Pseudo-Labeling for Tabular Data
Pusan National University（釜山国立大学）
半监督学习和自监督学习的最新进展打破了人们长期以来对机器学习需要大量标记数据和未标记数据无关性的看法。虽然它已经在各种数据中取得了成功，但没有可以推广到表格数据的主要半监督学习和自监督学习方法（即大多数现有方法需要适当的表格数据集和架构）。在本文中，我们重新审视自我训练，它可以应用于任何类型的算法，包括最广泛使用的架构，梯度提升决策树，并介绍课程伪标记（一个国家的最先进的伪标记技术的图像）的表格域。此外，现有的伪标签技术不保证集群假设时，计算的置信度分数的伪标签产生的未标记的数据。为了克服这个问题，我们提出了一种新的伪标签的方法，正则化的置信度分数的基础上的伪标签的可能性，使更可靠的伪标签，位于高密度区域可以得到。我们使用各种模型和表格数据集详尽地验证了我们的方法的优越性。
2023-03-13 cs.AI cs.LG
Revisiting Data Attribution for Influence Functions
本文全面回顾了影响函数在深度学习中的数据归因能力，探讨了其理论基础、高效逆海森向量积估计算法进展，并评估了其在数据归因与误标签检测中的有效性及未来方向。
2025-08-10 cs.AI cs.LG
Revisiting Machine Unlearning with Dimensional Alignment
Seoul National University（首尔大学）；IPAI, Seoul National University（首尔大学IPAI）
本文提出一种基于维度对齐指标的机器遗忘框架，通过正则化损失、自蒸馏和交替训练有效消除遗忘集信息并保留保留集知识，同时引入了更准确的新评估工具。
2024-12-21 cs.LG
Quantile Q-Learning: Revisiting Offline Extreme Q-Learning with Quantile Regression
School of Mathematics, Southeast University（东南大学数学学院）
本文提出一种基于分位数回归的离线Q学习方法，通过估计温度系数β来改进极值Q学习的稳定性与泛化能力，实验表明其在多个基准任务中表现优异。
2026-04-14 cs.LG
REX: Revisiting Budgeted Training with an Improved Schedule
Rice University（莱斯大学）
深度学习从业者通常在计算和货币预算上操作。因此，设计在任何预算下都能表现良好的优化算法至关重要。线性学习率调度被认为是最好的学习率感知的时间表，因为它在低预算制度中优于大多数其他时间表。另一方面，学习率调度--例如\texttt{30-60-90}步骤调度--已知在模型可以训练许多时期时实现高性能。然而，它往往是不知道一个人的预算是大还是小的先验，因此，学习率调度的最佳选择是在个案的基础上。在本文中，我们将学习率调度选择问题框架化为$i)$选择简档（即，对学习率调度进行建模的连续函数），以及$ii)$选择采样率（即，学习率从该简档被更新/采样的频率）。我们提出了一种新的配置文件和采样率组合称为反射指数（REX）的时间表，我们评估了7个不同的实验设置与SGD和亚当优化。REX在低预算状态下优于线性调度，同时在高预算和低预算状态下匹配或超过几种最先进的学习率调度（线性、阶跃、指数、余弦、平台阶跃衰减和OneCycle）的性能。此外，REX不需要额外的计算、存储或超参数。
2021-07-09 cs.LG
Revisiting Single-gated Mixtures of Experts
Qualcomm AI Research（高通人工智能研究部）；NVIDIA（英伟达）
本文重新审视简单的单门控混合专家模型，通过基础模型分支、异步训练流程和逐样本聚类初始化解决路由器崩溃问题，在效率与准确率权衡上媲美复杂 MoE 并优于非混合基线。
2023-04-11 cs.CV cs.LG
Revisiting Semi-supervised Adversarial Robustness via Noise-aware Online Robust Distillation
University of California, Berkeley（加州大学伯克利分校）；National Taiwan University（台湾大学）；Mobile Drive Technology（摩拜驱动科技）
提出SNORD框架，将半监督学习引入对抗训练，无需预训练模型，在低标注预算下实现高鲁棒性，相对鲁棒准确率达90%。
2024-09-19 cs.CV cs.LG
Revisiting the Training of Logic Models of Protein Signaling Networks with a Formal Approach based on Answer Set Programming
CNRS（法国国家科学研究中心）；IRISA（法国信息与随机系统研究所）；INRIA（法国国家信息与自动化研究所）；National Center for Tumor Diseases（国家肿瘤疾病中心）；University of Padova（帕多瓦大学）；European Bioinformatics Institute (EMBL-EBI)（欧洲生物信息研究所（EMBL-EBI））；University of Potsdam（波茨坦大学）
数学模型的构建和数据训练是系统生物学的一个基本问题。逻辑形式主义已经成为非常流行的建模信号网络，因为它们的简单性使我们能够建模包含数百个蛋白质的大型系统。最近引入了一种对高通量磷酸化蛋白质组学数据进行训练（布尔）逻辑模型的方法，并使用基于随机方法的优化算法来解决该问题。在这里，我们演示了如何使用答案集编程（ASP），一个声明性的问题解决范式，其中一个问题被编码为一个逻辑程序，使其答案集代表解决方案的问题，可以解决这个问题。ASP在效率和可扩展性方面比启发式方法有了显著的改进，它保证了解的全局最优性，并提供了完整的解集。我们说明了ASP的应用与基于现实的网络和数据的硅片的情况下。
2012-12-22 cs.AI cs.CE cs.LG
Revisiting the Adversarial Robustness-Accuracy Tradeoff in Robot Learning
Massachusetts Institute of Technology（麻省理工学院）；Institute of Science and Technology Austria (IST Austria)（奥地利科学技术研究所（IST Austria））
对抗训练（即，在对抗性扰动的输入数据上训练）是一种用于使神经网络在推理期间对潜在的对抗攻击具有鲁棒性的充分研究的方法。然而，改进的鲁棒性并不是免费的，而是伴随着整体模型精度和性能的下降。最近的研究表明，在实际的机器人学习应用中，对抗性训练的效果不会造成公平的权衡，而是在整体机器人性能方面造成净损失。本文通过系统地分析鲁棒训练方法和理论与对抗性机器人学习的最新进展，重新审视了机器人学习中的鲁棒性-准确性权衡，是否能够使对抗性训练适合于现实世界的机器人应用。我们评估了三种不同的机器人学习任务，从高保真环境中的自动驾驶到移动机器人导航和手势识别。我们的研究结果表明，虽然这些技术在相对规模上对权衡进行了渐进式改进，但对抗性训练对标称精度的负面影响仍然超过了一个数量级的鲁棒性改进。我们的结论是，虽然正在发生的进展，进一步的进步，强大的学习方法是必要的，然后才能在实践中受益的机器人学习任务。
2023-01-25 cs.CV cs.LG cs.RO
Revisiting Realistic Test-Time Training: Sequential Inference and Adaptation by Anchored Clustering Regularized Self-Training
I2R, A-STAR（A*STAR信息通信研究所）；South China University of Technology（华南理工大学）；Southwest Jiaotong University（西南交通大学）
在目标域数据上部署模型需要适应分布偏移。测试时训练（TTT）出现作为一个现实的情况下，访问完整的源域数据是不可用的，和即时推理的目标域上的这种适应的解决方案。尽管在TTT方面做了很多努力，但实验设置仍存在混乱，从而导致不公平的比较。在这项工作中，我们首先重新审视TTT的假设和分类TTT协议的两个关键因素。在多个协议中，我们采用了一个现实的顺序测试时训练（sTTT）协议，根据该协议，我们开发了一个测试时锚定聚类（TTAC）方法，使更强的测试时特征学习。TTAC发现源域和目标域中的簇，并将目标簇与源簇进行匹配，以提高自适应性。当源域信息是严格缺席（即无源），我们进一步开发了一种有效的方法来推断锚定聚类的源域分布。最后，自我训练~（ST）在从未标记数据中学习方面取得了巨大的成功，并且我们经验性地指出，单独将ST应用于TTT容易产生确认偏差。因此，一个更有效的TTT的方法，引入了正则化的自训练与锚定聚类，改进的模型被称为TTAC++。我们证明，在所有TTT协议下，TTAC++在五个TTT数据集上的性能始终优于最先进的方法，包括损坏的目标域，选定的硬样本，合成到真实的自适应和对抗攻击的目标域。我们希望这项工作将提供一个公平的TTT方法的基准，未来的研究应在各自的协议进行比较。
2023-03-20 cs.CV cs.LG
Revisiting End-To-End Sparse Autoencoder Training: A Short Finetune Is All You Need
University of YYY（YYY大学）；Institute of WWW（WWW研究院）
本文提出一种仅应用于最后25M token的简短KL+MSE微调方法，以极低计算成本将SAE交叉熵损失差距缩小20-50%，并发现多种微调方法指向同一易纠正误差源，在电路分析等可解释性任务中具有应用价值。
2025-03-29 cs.LG
Revisiting Meta-Learning with Noisy Labels: Reweighting Dynamics and Theoretical Guarantees
University of California, San Diego（加州大学圣地亚哥分校）
本文对元学习重加权在标签噪声下的训练动力学进行三阶段理论分析，并提出轻量级替代方法，在合成和真实基准上优于强基线。
2025-10-14 cs.AI cs.LG
Revisiting Spectral Representations in Generative Diffusion Models
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Adobe Research（奥多比研究院）
本文通过扰动核视角统一谱表示学习与扩散模型，提出自监督谱对齐方法，并证明其优化等价于表示空间中的扩散分数蒸馏，在图像和3D点云上提升生成质量。
2026-09-09 cs.LG
Revisiting Generative Policies: A Simpler Reinforcement Learning Algorithmic Perspective
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Xi’an Jiaotong University（西安交通大学）；SenseTime Research（商汤科技研究院）；Peking University（北京大学）；The Chinese University of Hong Kong（香港中文大学）
本文比较分析生成式策略的训练与部署技术，将现有目标归纳为更简单的GMPO和数值稳定的GMPP，并通过GenerativeRL验证其在多个离线RL数据集上的先进性能。
2024-12-02 cs.AI cs.LG
Adversarial robustness for latent models: Revisiting the robust-standard accuracies tradeoff
University of Southern California（南加州大学）
在过去的几年中，已经提出了几种对抗性训练方法来提高机器学习模型对输入中的对抗性扰动的鲁棒性。尽管在这方面取得了显着的进展，对抗性训练经常被观察到降低标准测试的准确性。这种现象引起了研究界的兴趣，以调查标准的准确性（a.k.a泛化）和鲁棒的准确性（a.k.a鲁棒泛化）作为两个性能指标之间的潜在权衡。在本文中，我们重新审视了这种权衡的潜在模型，并认为这种权衡是减轻数据享有低维结构。特别地，我们考虑了两种数据生成模型下的二进制分类，即高斯混合模型和广义线性模型，其中特征数据位于低维流形上。我们开发了一个理论表明，低维流形结构允许一个获得的模型，几乎是最佳的两个方面，标准的精度和鲁棒的精度措施。我们进一步证实了我们的理论与几个数值实验，包括混合因子分析器（MFA）模型在MNIST数据集上训练。
2022-04-01 cs.LG math.ST stat.ML
UDA-Bench: Revisiting Common Assumptions in Unsupervised Domain Adaptation Using a Standardized Framework
UC San Diego（加州大学圣迭戈分校）
本文提出标准化框架 UDA-Bench，通过大规模受控实证研究重新审视无监督领域自适应方法，发现自适应收益随先进骨干架构减少、当前方法未充分利用无标签数据以及预训练数据显著影响下游自适应等关键特性。
2024-09-23 cs.CV cs.LG
Revisiting Methods for Finding Influential Examples
University of Copenhagen（哥本哈根大学）
最近提出了几种基于实例的可解释性方法，用于为测试时决策寻找有影响力的训练样本，包括影响函数、TraceIn、代表点选择、Grad-Dot和Grad-Cos。通常，这些方法使用LOO影响（库克距离）作为金标准或使用各种化学方法进行评估。在本文中，我们证明了上述所有方法都是不稳定的，即，对初始化、训练数据的排序和批量大小极其敏感。我们认为，这是一个自然的结果，如何在文献中，例子的影响被假定为独立的模型状态和其他例子-并认为它不是。我们表明，LOO的影响和恶意，因此，穷人的指标来衡量基于实例的解释的质量，而是建议评估这些解释的能力，以检测中毒攻击。此外，我们提供了一个简单而有效的基线来改进上述所有方法，并展示了它如何导致下游任务的显著改进。
2021-11-08 cs.AI cs.LG
