Incorporating Test-Time Optimization into Training with Dual Networks for Human Mesh Recovery
South China University of Technology（华南理工大学）；Meta Reality Labs（元宇宙现实实验室）；Sun Yat-sen University（中山大学）；Guangdong University of Technology（广东工业大学）
针对人体网格恢复中预训练模型难以为测试时优化提供理想起点、训练与测试目标不一致的问题，提出将测试时优化融入训练的元学习方法与双网络架构，显著提升了HMR准确率，性能超越现有主流方法。
2024-10-30 cs.CV
Any-Shift Prompting for Generalization over Distributions
University of Amsterdam（阿姆斯特丹大学）；Core42
针对提示学习过拟合训练分布的问题，提出任意分布偏移提示框架，通过分层架构与伪偏移训练机制连接训练与测试分布，指导 CLIP 模型泛化至任意测试分布，在二十三个数据集上验证了有效性。
2024-02-15 cs.CV
EasyConvPooling: Random Pooling with Easy Convolution for Accelerating Training and Testing
Huazhong University of Science and Technology（华中科技大学）；City University of Hong Kong（香港城市大学）
卷积运算支配着卷积神经网络（CNN）的总执行时间。本文提出了一种简单而有效的卷积神经网络训练和测试技术。传统的卷积和池化操作被简单卷积和随机池化（ECP）所取代。在ECP中，我们从四个像素中随机选择一个像素，只对所选像素进行卷积运算。因此，只需要传统卷积计算的四分之一。实验结果表明，所提出的EasyConvPooling可以实现1.45倍的训练时间和1.64倍的测试时间的加速比。更重要的是，与传统的卷积运算相比，纯简单卷积运算的加速比为5.09倍。
2018-06-05 cs.CV
Deep Translation Prior: Test-time Training for Photorealistic Style Transfer
Korea University（高丽大学）
解决深度卷积神经网络（CNN）内的照片级真实感风格转换的最新技术通常需要从大规模数据集进行密集训练，因此对不可见的图像或风格具有有限的适用性和较差的泛化能力。为了克服这个问题，我们提出了一个新的框架，称为深度翻译先验（DTP），通过测试时训练在给定的输入图像对上使用未经训练的网络，学习图像对特定的翻译先验，从而获得更好的性能和泛化能力，以实现逼真的风格转换。量身定制的风格转移这样的测试时训练，我们提出了新的网络架构，有两个子模块的对应和生成模块，和损失函数组成的对比内容，风格和周期一致性损失。我们的框架不需要离线训练阶段进行风格迁移，这是现有方法的主要挑战之一，但网络只在测试时学习。实验结果表明，我们的框架具有更好的泛化能力，看不见的图像对，甚至优于国家的最先进的方法。
2022-01-17 cs.CV
Test-time Training for Hyperspectral Image Super-resolution
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）；INSAIT（保加利亚INSAIT研究院）；Huawei Zürich Research Center（华为苏黎世研究中心）
针对高光谱图像超分辨率训练数据少、光谱交互建模难的问题，提出含新型网络、Spectral Mixup增强的测试时自训练框架，还构建了新数据集，实验证明可显著提升预训练模型性能并优于对比方法。
2024-09-13 cs.CV
Automatic Brain Tumor Segmentation using Convolutional Neural Networks with Test-Time Augmentation
King’s College London（伦敦国王学院）；University College London（伦敦大学学院）
脑肿瘤的自动分割对于脑肿瘤的诊断、手术规划和治疗效果评估具有重要意义。深度卷积神经网络（CNN）已被广泛用于此任务。由于用于训练的数据集相对较小，训练时的数据增强通常用于CNN的更好性能。最近的工作也证明了在测试时使用增强的有用性，除了训练时间，以实现更强大的预测。我们研究了测试时增强如何提高CNN在脑肿瘤分割中的性能。我们使用了不同的支撑网络结构，并在训练和测试时通过3D旋转，翻转，缩放和添加随机噪声来增强图像。利用BraTS 2018训练集和验证集进行的实验表明，测试时增强有助于提高脑肿瘤分割精度，并获得分割结果的不确定性估计。
2018-11-28 cs.CV
How Does Gender Balance In Training Data Affect Face Recognition Accuracy?
University of Notre Dame（圣母大学）
深度学习方法大大提高了人脸识别的准确率，但一个老问题仍然存在：男性的准确率通常高于女性。通常推测，女性的准确性较低是由于训练数据中的代表性不足。这项工作调查了女性在训练数据中的代表性不足，这确实是女性在测试数据中准确性较低的原因。使用最先进的深度CNN，三种不同的损失函数和两个训练数据集，我们分别在具有不同男性/女性比例的七个子集上进行训练，总共四十二次训练，在三个不同的数据集上进行测试。结果表明：（1）训练数据中的性别平衡并不能转化为测试准确度中的性别平衡，（2）测试准确度中的“性别差距”并不是通过性别平衡的训练集来最小化的，而是通过男性图像多于女性图像的训练集来最小化的，以及（3）训练以最小化准确度差距并不能导致最高的女性、男性或平均准确度
2020-04-06 cs.CV
STFAR: Improving Object Detection Robustness at Test-Time by Self-Training with Feature Alignment Regularization
South China University of Technology（华南理工大学）；I2R, A-STAR（A*STAR资讯通信研究院）
本文提出STFAR方法，通过指数移动平均模型生成伪标签进行自训练，并引入双级别特征分布对齐作为正则化，以解决测试时目标检测中的分布偏移问题，在三个基准数据集上达到SOTA。
2023-03-31 cs.CV
MetaDAT: Generalizable Trajectory Prediction via Meta Pre-training and Data-Adaptive Test-Time Updating
State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, IAIR, Xi’an Jiaotong University, China（人机混合增强智能国家重点实验室，IAIR，西安交通大学，中国）；KargoBot, China（KargoBot，中国）
MetaDAT通过元学习和数据自适应测试时更新，提升轨迹预测在分布偏移下的适应精度和鲁棒性。
2026-03-10 cs.CV
ClipTTT: CLIP-Guided Test-Time Training Helps LVLMs See Better
Max Planck Institute for Informatics, Saarland Informatics Campus（马克斯·普朗克信息学研究所，萨尔兰信息学园区）
本文提出ClipTTT方法，通过CLIP模型的图像-文本对齐能力，在测试时引导LVLMs适应退化条件，减少幻觉并提升描述准确性。
2026-03-27 cs.CV
ActMAD: Activation Matching to Align Distributions for Test-Time-Training
TU Graz（格拉茨技术大学）；KIT（卡尔斯鲁厄理工学院）
测试时训练（Test-Time-Training，TTT）是一种通过使训练好的模型适应测试时发生的分布偏移来处理分布外（out-of-distribution，OOD）数据的方法。我们建议通过激活匹配（ActMAD）来执行这种自适应：我们分析模型的激活，并将OOD测试数据的激活统计数据与训练数据的激活统计数据对齐。与现有的方法相比，这些方法在特征提取器的最终层中对整个通道的分布进行建模，我们在网络的多个层中对每个特征的分布进行建模。这导致了更细粒度的监督，并使ActMAD在CIFAR-100C和Imagenet-C上达到最先进的性能。ActMAD也是架构和任务不可知的，这让我们超越了图像分类，在KITTI-Fog上评估KITTI训练的对象检测器时，比以前的方法提高了15.4%。我们的实验强调，ActMAD可以应用于在线适应在现实的情况下，需要很少的数据，以达到其全部性能。
2023-03-23 cs.CV
Improving Adversarial Robustness for 3D Point Cloud Recognition at Test-Time through Purified Self-Training
School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院）；Institute for Infocomm Research (I2R), A*STAR（新加坡科技研究局信息通信研究所）
针对3D点云识别中对抗纯化方法计算开销大及流式测试场景的挑战，提出测试时纯化自训练策略，结合自适应阈值与特征分布对齐动态更新模型，有效应对持续变化的对抗攻击。
2024-09-23 cs.CV
DocTTT: Test-Time Training for Handwritten Document Recognition Using Meta-Auxiliary Learning
Concordia University（康考迪亚大学）
本文提出DocTTT框架，通过结合元学习与自监督掩码自编码器的元辅助学习，在测试时训练模型适应特定输入，显著提升复杂背景下手写文档识别的准确率。
2025-01-22 cs.CV
ForgeryTTT: Zero-Shot Image Manipulation Localization with Test-Time Training
University of Macau（澳门大学）；Intellindust（智业公司）；Great Bay University（湾区大学）
针对现有图像篡改检测算法泛化性差的问题，提出基于测试时训练的零样本定位方法ForgeryTTT，通过双任务联合训练与测试时自适应微调，在五个基准上实现准确率显著提升。
2024-10-05 cs.CV
Sketch3T: Test-Time Training for Zero-Shot SBIR
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
基于Zero-shot草图的图像检索通常要求将训练好的模型应用于不可见的类别。在本文中，我们质疑认为，这种设置的定义是不兼容的内在抽象和主观性质的素描，即，该模型可能会很好地转移到新的类别，但结果将无法理解存在于不同测试时间分布中的草图。因此，我们扩展EST-SBIR，要求它转移到类别和草图分布。我们的主要贡献是一个测试时训练范例，可以适应只使用一个草图。由于没有配对的照片，我们使用草图光栅矢量重建模块作为一个自我监督的辅助任务。为了在测试时间更新期间保持训练的跨模态联合嵌入的保真度，我们设计了一种新的基于元学习的训练范式，以学习由该辅助任务引起的模型更新与区分性学习的主要目标之间的分离。大量的实验表明，我们的模型优于国家的最先进的，由于建议的测试时的适应，不仅转移到新的类别，但也适应新的素描风格。
2022-03-28 cs.CV
U-TTT: Towards Generalizable PET Image Denoising via Test-Time Training
School of Biological Science and Medical Engineering, Beihang University（北京航空航天大学生物科学与医学工程学院）；Department of Biomedical Engineering, Tsinghua University（清华大学生物医学工程系）；School of Aerospace Engineering, Tsinghua University（清华大学航天航空学院）；ByteDance Inc.（字节跳动有限公司）
针对PET图像去噪模型在分布偏移下性能退化的问题，提出U-TTT模型，集成测试时训练（TTT）层，通过自监督动态调整参数，并设计双域自适应机制（空间和频率TTT层），在未见剂量水平和扫描仪下实现最优去噪和泛化。
2026-07-08 cs.CV
Flatness Guided Test-Time Adaptation for Vision-Language Models
School of Cyber Science and Technology, University of Science and Technology of China（中国科学技术大学网络科学与技术学院）；National Engineering Laboratory for Brain-Inspired Intelligence Technology and Applications, University of Science and Technology of China（中国科学技术大学脑启发式智能技术与应用国家工程实验室）；Peng Cheng Laboratory, Shenzhen, China（深圳鹏城实验室）
本文提出基于平坦度引导的视觉-语言模型测试时适应框架，通过训练时的平坦最小值与测试时损失景观的对齐，提升模型在分布偏移下的适应性能。
2026-03-05 cs.CV
Adversarial Regression Learning for Bone Age Estimation
Lehigh University（利哈伊大学）
从手片中估计骨龄对于确定骨龄诊断内分泌疾病和描述儿童生长状况是必不可少的。然而，现有的自动化方法只将其模型应用于测试图像，而没有考虑训练样本和测试样本之间的差异，这将导致泛化能力较低。在本文中，我们提出了一个对抗性回归学习网络（ARLNet）的骨龄估计。具体来说，我们首先从微调的Inception V3神经网络中提取骨骼特征，并提出回归百分比损失进行训练。为了减少训练数据和测试数据之间的差异，我们提出了对抗性回归损失和特征重建损失，以保证从训练数据到测试数据的过渡，反之亦然，保持不变的特征，从训练和测试数据。实验结果表明，该模型优于国家的最先进的方法。
2021-03-10 cs.CV
Space Rotation with Basis Transformation for Training-free Test-Time Adaptation
School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院）；College of Artificial Intelligence, Xi’an Jiaotong University（西安交通大学人工智能学院）；Nanyang Technological University（南洋理工大学）
提出免训练的基变换特征空间旋转方法，利用类别差异重构特征空间并动态队列存储样本，在多个基准上性能和效率均优于现有技术。
2025-02-27 cs.CV
Overprotective Training Environments Fall Short at Testing Time: Let Models Contribute to Their Own Training
University of Trento（特伦托大学）
尽管取得了重要进展，但会话系统通常会生成对人类来说听起来不自然的对话。我们推测原因在于他们不同的训练和测试条件：代理人在受控的“实验室”环境中接受训练，但在“野外”进行测试。在训练过程中，他们学习根据人类对话历史生成一个话语。另一方面，在测试过程中，它们必须相互作用，因此要处理噪声数据。我们建议通过使用包含人类和机器生成的对话样本的混合批次来训练模型来填补这一空白。我们评估了GuessWhat？！上提出的方法的有效性，一种视觉参照游戏。
2021-03-30 cs.CL cs.CV
MT3: Meta Test-Time Training for Self-Supervised Test-Time Adaption
University of Stuttgart（斯图加特大学）
深度学习中一个尚未解决的问题是神经网络在测试期间应对域偏移的能力，这通常是在训练后固定网络参数。我们提出的方法Meta测试时训练（MT3），但是，打破了这种模式，使适应在测试时。我们结合元学习、自我监督和测试时训练来学习适应看不见的测试分布。通过最小化自监督损失，我们学习不同任务的特定于任务的模型参数。优化元模型，使其适应不同的任务特定的模型，导致这些任务的更高的性能。在测试时，单个未标记的图像足以适应元模型参数。这是通过仅最小化自监督损失分量来实现的，从而对该图像进行更好的预测。我们的方法显着提高了国家的最先进的结果CIFAR-10-损坏的图像分类基准。我们的实现在GitHub上可用。
2022-01-20 cs.AI cs.CV
Test-Time Training with Masked Autoencoders
UC Berkeley（加州大学伯克利分校）；Meta AI
测试时训练通过使用自监督优化每个测试输入的模型来适应新的测试分布。在本文中，我们使用掩码自编码器这个单样本学习问题。从经验上讲，我们的简单方法提高了分布偏移的许多视觉基准的泛化能力。从理论上讲，我们的特点是这种改进的偏差方差权衡。
2022-09-15 cs.CV cs.LG
Uncertainty-aware Test-Time Training (UT$^3$) for Efficient On-the-fly Domain Adaptive Dense Regression
Uddeshya Upadhyay（独立研究者）
针对现有测试时训练方法推理延迟高、难以适配资源受限机器人系统的问题，提出不确定性感知框架UT³，通过量化不确定性选择性执行训练，在持续域偏移下兼顾稠密回归性能与推理效率。
2025-09-03 cs.CV cs.RO
TeST: Test-time Self-Training under Distribution Shift
University of Toronto（多伦多大学）；AWS Tubingen（AWS图宾根）
尽管最近取得了成功，但当深度神经网络在测试时遇到分布偏移时，它们的表现仍然很差。最近提出的许多方法试图通过在推理之前将模型与新的分布对齐来解决这个问题。由于没有可用的标签，这需要无监督目标根据观察到的测试数据调整模型。在本文中，我们提出了测试时自我训练（TeST）：一种技术，作为输入的模型训练的一些源数据和一个新的数据分布在测试时，学习不变的和强大的表示使用学生-教师框架。我们发现，使用TeST适应模型显着改善基线测试时自适应算法。与现代领域自适应算法相比，TeST实现了具有竞争力的性能，同时在自适应时访问的数据减少了5- 10倍。我们彻底评估了两个任务的各种基线：目标检测和图像分割，并发现模型与TeST相适应。我们发现，TeST设置新的国家的最先进的测试时间领域自适应算法。
2022-09-23 cs.CV cs.LG
On the Robustness of Open-World Test-Time Training: Self-Training with Dynamic Prototype Expansion
South China University of Technology（华南理工大学）；Institute for Infocomm Research (I2R), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局（A*STAR）信息通信研究院（I2R））
针对开放世界测试时训练中强OOD污染导致性能下降的问题，提出自适应强OOD剪枝、动态原型扩展和分布对齐正则化的自训练方法，并在5个基准上达到SOTA。
2023-08-19 cs.CV cs.LG
Zero-Episode Few-Shot Contrastive Predictive Coding: Solving intelligence tests without prior training
The Edmond and Lily Safra Center for Brain Sciences（埃德蒙和莉莉·萨夫拉脑科学中心）
视频预测模型通常组合三个组件：从像素空间到小潜在空间的编码器、潜在空间预测模型和回到像素空间的生成模型。然而，大且不可预测的像素空间使得训练这样的模型变得困难，需要许多训练样本。我们认为，找到一个预测潜变量并使用它来评估未来图像的一致性，可以实现数据高效的预测，因为它排除了生成模型训练的必要性。为了证明这一点，我们创建了序列完成智能测试，其中的任务是识别图像序列中可预测的变化特征，并使用此预测来选择后续图像。我们发现，一维马尔可夫对比预测编码（M-CPC_1D）模型有效地解决了这些测试，只有五个例子。最后，我们证明了M-CPC_1D在解决两个任务中的有用性，而无需事先训练：异常检测和随机运动视频预测。
2022-05-04 cs.CV cs.LG
An analysis of HOI: using a training-free method with multimodal visual foundation models when only the test set is available, without the training set
该研究聚焦无训练集的免训练HOI任务，基于多模态视觉基础模型在两种实验设置下开展分析，发现其开放词汇能力未被充分发掘，并用grounding DINO验证了结论。
2024-08-11 cs.AI cs.CV
When Handcrafted Features and Deep Features Meet Mismatched Training and Test Sets for Deepfake Detection
Norwegian University of Science and Technology（挪威科技大学）
合成视觉媒体生成和操纵的加速增长现在已经达到了引起重大关注并对社会造成巨大威胁的程度。迫切需要针对虚假数字内容的自动检测网络，并避免危险的人工信息的传播，以应对这种威胁。在本文中，我们利用并比较了两种手工特征（SIFT和HoG）和两种深度特征（Xception和CNN+RNN）用于深度伪造检测任务。当训练集和测试集之间存在不匹配时，我们还检查这些特征的性能。评估是在著名的FaceForensics++数据集上进行的，该数据集包含四个子数据集，Deepfakes，Face2Face，FaceSwap和NeuralTextures。最好的结果来自Xception，当训练集和测试集都来自同一个子数据集时，准确率可以超过99%。相比之下，当训练集与测试集不匹配时，结果会急剧下降。这一现象揭示了创建通用Deepfake检测系统的挑战。
2022-09-27 cs.CV cs.LG
Test-Time Training with Self-Supervision for Generalization under Distribution Shifts
University of California, Berkeley（加州大学伯克利分校）；University of California, San Diego（加州大学圣地亚哥分校）
在本文中，我们提出了测试时训练，一种通用的方法，用于提高预测模型的性能时，训练和测试数据来自不同的分布。我们将单个未标记的测试样本转化为自监督学习问题，在进行预测之前更新模型参数。这也自然延伸到在线流中的数据。我们简单的方法导致不同的图像分类基准的改进，旨在评估分布偏移的鲁棒性。
2020-07-01 cs.CV cs.LG stat.ML
Stop Throwing Away Discriminators! Re-using Adversaries for Test-Time Training
IMT School for Advanced Studies Lucca（IMT卢卡高等研究院）；School of Engineering, University of Edinburgh（爱丁堡大学工程学院）
由于能够在不需要配对数据的情况下学习数据分布，生成对抗网络（GANs）已成为许多计算机视觉方法的组成部分，包括为医学图像分割开发的方法。这些方法联合训练分割器和对抗性掩码训练器，其提供数据驱动的形状先验。在推断时，丢弃该分割器，并且仅使用分割器来预测测试图像上的标签图。但是我们应该抛弃这些偏见吗？在这里，我们认为对抗性判别器的生命周期不应该在训练后结束。相反，训练稳定的GANs会产生强大的形状先验，我们可以用它来纠正分割器在推理时的错误。为了实现这一点，我们开发了稳定的掩模鉴别器，不会过拟合或灾难性地忘记。在测试时，我们在每个单独的测试实例上微调分割器，直到它满足学习的形状先验。我们的方法是简单的实现和提高模型的性能。此外，它开辟了新的方向，重复使用掩码鉴别推理。我们在https://vios-s.github.io/adversarial-test-time-training上发布了用于实验的代码。
2021-08-26 cs.CV eess.IV
Revisiting Realistic Test-Time Training: Sequential Inference and Adaptation by Anchored Clustering Regularized Self-Training
I2R, A-STAR（A*STAR信息通信研究所）；South China University of Technology（华南理工大学）；Southwest Jiaotong University（西南交通大学）
在目标域数据上部署模型需要适应分布偏移。测试时训练（TTT）出现作为一个现实的情况下，访问完整的源域数据是不可用的，和即时推理的目标域上的这种适应的解决方案。尽管在TTT方面做了很多努力，但实验设置仍存在混乱，从而导致不公平的比较。在这项工作中，我们首先重新审视TTT的假设和分类TTT协议的两个关键因素。在多个协议中，我们采用了一个现实的顺序测试时训练（sTTT）协议，根据该协议，我们开发了一个测试时锚定聚类（TTAC）方法，使更强的测试时特征学习。TTAC发现源域和目标域中的簇，并将目标簇与源簇进行匹配，以提高自适应性。当源域信息是严格缺席（即无源），我们进一步开发了一种有效的方法来推断锚定聚类的源域分布。最后，自我训练~（ST）在从未标记数据中学习方面取得了巨大的成功，并且我们经验性地指出，单独将ST应用于TTT容易产生确认偏差。因此，一个更有效的TTT的方法，引入了正则化的自训练与锚定聚类，改进的模型被称为TTAC++。我们证明，在所有TTT协议下，TTAC++在五个TTT数据集上的性能始终优于最先进的方法，包括损坏的目标域，选定的硬样本，合成到真实的自适应和对抗攻击的目标域。我们希望这项工作将提供一个公平的TTT方法的基准，未来的研究应在各自的协议进行比较。
2023-03-20 cs.CV cs.LG
Test-Time Adaptation via Self-Training with Nearest Neighbor Information
Korea Advanced Institute of Science and Technology（韩国科学技术院）
测试时自适应（Test-time adaptation，TTA）的目标是仅使用在线未标记的测试数据，而不需要任何与训练过程相关的信息来调整已训练的分类器。大多数现有的TTA方法使用分类器对测试数据的预测作为伪标签来适应训练的分类器。然而，在测试时域移位下，伪标签的准确性不能得到保证，因此TTA方法经常在自适应分类器处遇到性能下降。为了克服这一缺陷，本文提出了一种新的测试时自适应方法--基于最近邻信息的自训练测试时自适应（Test-time Adaptation via Self-Training with Nearest Neighbor Information，TAST），该方法包括以下步骤：（1）在训练好的特征提取器上增加可训练的自适应模块;（3）在测试时间期间仅训练这些模块几次，以匹配测试数据的基于最近邻的伪标签分布和基于原型的类分布;以及（4）使用来自这些模块的平均预测类分布来预测测试数据的标签。伪标签生成基于以下基本直觉：在域移位下，测试数据及其在嵌入空间中的最近邻居可能共享相同的标签。通过利用多个随机初始化的自适应模块，TAST提取有用的信息的分类下的域移位的测试数据，使用最近的邻居信息。TAST在两个标准的基准任务上表现出比最先进的TTA方法更好的性能，即领域泛化，即VLCS，PACS，TASTHome和TerraIncognita，以及图像损坏，特别是CIFAR-1…
2023-02-28 cs.AI cs.CV
Simple Post-Training Robustness Using Test Time Augmentations and Random Forest
Tel Aviv University（特拉维夫大学）
尽管深度神经网络（DNN）在许多现实任务上都取得了出色的性能，但它们极易受到对抗攻击的攻击。对抗这种攻击的一种主要防御方法是对抗性训练，这种技术通过将对抗性噪声引入其输入来训练DNN对对抗攻击具有鲁棒性。这个过程是有效的，但必须在培训阶段进行。在这项工作中，我们提出了增强随机森林（ARF），这是一种简单易用的策略，用于在不修改其权重的情况下对现有的预训练DNN进行鲁棒化。对于每个图像，我们通过应用不同的颜色，模糊，噪声和几何变换来生成随机测试时间增强。然后我们使用DNN的logits输出来训练一个简单的随机森林来预测真实的类标签。我们的方法实现了最先进的对抗鲁棒性的白盒和黑盒攻击的多样性与自然图像的分类最小的妥协。我们还针对许多自适应白盒攻击测试了ARF，当与对抗性训练相结合时，它显示出出色的结果。代码可在https://github.com/giladcohen/ARF上获得。
2021-11-25 cs.CV cs.LG
Test-Time Training for Modality Order Consistency in Vision-Language Models
University of Chicago（芝加哥大学）
研究发现视觉语言模型对图像和问题呈现顺序敏感，利用此设计测试时训练方法，缩小模态顺序差距，使两种顺序相互一致，定位顺序失败区域，证明该方法可缓解故障并提升性能。
2026-07-23 cs.CL cs.CV
ClusT3: Information Invariant Test-Time Training
ÉTS Montréal（蒙特利尔高等工程技术学院）；MILA（蒙特利尔学习算法研究所）；Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）
提出基于多尺度特征图与离散潜在表示互信息最大化的无监督测试时训练技术ClusT3，作为辅助聚类任务集成至标准训练，在多个测试时适应基准上取得有竞争力的分类性能。
2023-10-18 cs.AI cs.CV cs.LG
Joint Optimization of Class-Specific Training- and Test-Time Data Augmentation in Segmentation
Imperial College London（帝国理工学院）；University of Oxford（牛津大学）；University of Birmingham（伯明翰大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出一种基于梯度元学习的医学图像分割数据增强框架，通过联合优化类别特定训练时增强与测试时增强来对齐数据分布，并在多个任务上显著提升分割性能。
2023-05-30 cs.CV cs.LG
NC-TTT: A Noise Contrastive Approach for Test-Time Training
ÉTS Montréal（蒙特利尔工程学院）；MILA（蒙特利尔学习算法研究所）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）
针对深度学习模型测试时域偏移性能下降问题，提出基于带噪特征图判别的无监督测试时训练方法NC-TTT，在多个基准上优于现有方法。
2024-04-12 cs.CV cs.LG
Training Generative Adversarial Networks Via Turing Test
School of Mathematics（数学学院）；Sun Yat-sen University（中山大学）
在这篇文章中，我们介绍了一种用于训练生成对抗网络（GANs）的新模式。我们不是最小化证据分布$\tilde{p}(x)$和生成分布$q(x)$的距离，而是最小化$\tilde{p}(x_r)q(x_f)$和$\tilde{p}(x_f)q(x_r)$的距离。这种对抗模式可以被解释为GANs中的图灵测试。它允许我们在训练生成器的过程中使用真实样本的信息，加快了整个训练过程。我们甚至发现，只要按比例增加矩阵和生成器的大小，它就可以在256x256分辨率上成功，而无需仔细调整超参数。
2018-10-27 cs.CV cs.LG stat.ML
Asynchronous Perception Machine For Efficient Test-Time-Training
Centre for Research in Computer Vision（计算机视觉研究中心）；University of Central Florida（中央佛罗里达大学）
本文提出计算高效的异步感知机APM用于测试时训练，无需特定数据集预训练等即可识别分布外图像，与现有方法性能相当，还具有独特学习属性及超越TTT的应用，为验证GLOM见解提供证据，助力共享硬件实现插值和感知。
2026-07-14 cs.AI cs.CV
Overcoming Distribution Shifts in Plug-and-Play Methods with Test-Time Training
Washington University in St. Louis（圣路易斯华盛顿大学）；University of California Riverside（加州大学河滨分校）
本文提出PnP-TTT方法，利用深度平衡学习在PnP迭代固定点优化自监督损失，以克服训练与测试数据分布偏移，并在足够测量下实现自然图像先验用于MRI重建。
2024-03-15 cs.CV eess.IV
Fixing the train-test resolution discrepancy
Facebook AI Research（Facebook人工智能研究院）
数据扩充是训练图像分类神经网络的关键。本文首先表明，现有的增强诱导的典型大小的分类器在训练和测试时间看到的对象之间的显着差异。我们通过实验验证，对于目标测试分辨率，使用较低的训练分辨率可以在测试时提供更好的分类。然后，我们提出了一个简单而有效的和高效的策略，以优化分类器的性能时，训练和测试分辨率不同。它只涉及在测试分辨率下对网络进行计算上廉价的微调。这使得能够使用小的训练图像来训练强分类器。例如，我们在ImageNet上获得了77.1%的top-1准确率，其中ResNet-50在128 x128图像上训练，而在224 x224图像上训练的准确率为79.8%。此外，如果我们使用额外的训练数据，使用224 x224图像的ResNet-50训练可以获得82.5%的正确率。相反，当在9.4亿张分辨率为224 x224的公共图像上训练以弱监督方式预训练的ResNeXt-101 32 x48 d并进一步优化测试分辨率320 x320时，我们获得了86.4%的测试top-1准确率（top-5：98.0%）（单次裁剪）。据我们所知，这是ImageNet迄今为止最高的单作物，前1和前5的准确性。
2022-01-20 cs.CV cs.LG
Drawing Multiple Augmentation Samples Per Image During Training Efficiently Decreases Test Error
Stanford University（斯坦福大学）；DeepMind（深度思维）
在计算机视觉中，标准做法是从小批量中的每个唯一图像的数据增强过程中提取单个样本。然而，最近的研究表明，绘制多个样本可以实现更高的测试精度。在这项工作中，我们提供了一个详细的经验评估，即在训练深度ResNets时，每个独特图像的增强样本数量如何影响模型在保留数据上的性能。我们证明了在每个图像上绘制多个样本可以始终如一地提高小批量和大批量训练的测试精度。至关重要的是，即使每个图像不同数量的增强执行相同数量的参数更新和梯度评估（需要相同的总计算），也会产生这种好处。虽然先前的工作已经发现，从二次采样数据集产生的梯度估计的方差具有隐式正则化的好处，但我们的实验表明，从数据增强过程产生的方差会损害泛化。我们将这些见解应用于高性能的NFNet-F5，在ImageNet上实现了86.8 $\%$ top-1 w/o额外数据。
2022-02-24 cs.CV cs.LG
Testing the Efficient Network TRaining (ENTR) Hypothesis: initially reducing training image size makes Convolutional Neural Network training for image recognition tasks more efficient
University of Göttingen（哥廷根大学）；University of Siegen（锡根大学）
用于图像识别任务的卷积神经网络（CNN）在可用架构以及如何基于大型计算基础设施和具有数百万图像的标准数据集训练网络方面取得了快速进展。相比之下，例如，小型设备和免费云GPU的性能和时间约束需要有效的网络训练（即，在尽可能短的推理时间内获得最高的准确性），通常在小数据集上。在这里，我们假设在训练过程中最初减小图像大小会使训练过程更有效，因为对小图像进行预成形权重，然后在较大图像中使用这些权重会减少初始网络参数和总推理时间。我们通过使用免费的云GPU在三个小数据集（钢铁微观结构，蜜蜂图像和地理航空图像）上训练预训练的残差网络（ResNet）模型（ResNet 18，34和50）来测试这种有效网络训练（ENTR）假设。基于i）不，ii）逐渐或iii）在训练过程中一步增加图像大小的三种训练方案，我们表明，最初减少图像大小可以在数据集和网络中一致地提高训练效率。我们解释这些结果的正则化理论的框架内机械。对ENTR假设的支持是一个重要的贡献，因为实际应用需要提高图像识别任务的网络效率。在未来，我们将很高兴看到ENTR假设如何适用于ImageNet或CIFAR等大型标准数据集，以更好地理解其潜在机制，以及这些结果如何与结构学习等其他领域进行比较。
2018-07-30 cs.AI cs.CV
Membership Inference Test: Auditing Training Data in Object Classification Models
本研究提出适用于目标分类模型的MINT架构，通过分析训练数据使用情况，实现70%-80%的识别精度，提升数据透明度。
2026-01-19 cs.AI cs.CV
Revisiting Realistic Test-Time Training: Sequential Inference and Adaptation by Anchored Clustering
South China University of Technology（华南理工大学）；Institute for Infocomm Research（资讯通信研究院）；Peng Cheng Laboratory（鹏城实验室）
在目标域数据上部署模型需要适应分布偏移。测试时训练（TTT）出现作为一个现实的情况下，访问完整的源域数据是不可用的，需要对目标域的即时推理这种适应的解决方案。尽管在TTT方面做了很多努力，但实验设置仍存在混乱，从而导致不公平的比较。在这项工作中，我们首先重新审视TTT的假设和分类TTT协议的两个关键因素。在多个协议中，我们采用了一个现实的顺序测试时训练（sTTT）协议，根据该协议，我们进一步开发了一个测试时锚定聚类（TTAC）方法，使更强的测试时特征学习。TTAC发现源域和目标域中的聚类，并将目标聚类与源聚类进行匹配，以提高泛化能力。提出了伪标签过滤和迭代更新的方法来提高锚定聚类的有效性和效率。我们证明，在所有TTT协议TTAC始终优于国家的最先进的方法在六个TTT数据集。我们希望这项工作将提供一个公平的基准TTT方法和未来的研究应在各自的协议进行比较。演示代码可在https://github.com/Gorilla-Lab-SCUT/TTAC上获得。
2022-10-14 cs.CV cs.LG
ReC-TTT: Contrastive Feature Reconstruction for Test-Time Training
Università degli studi di Milano（米兰大学）；ÉTS Montréal（蒙特利尔工程学院）
针对深度学习模型难以适应数据分布实时变化的问题，提出ReC-TTT测试时训练技术，结合对比特征重建与交叉重建辅助任务，提升模型对未知域的适应性，在域偏移分类挑战中性能优于现有先进技术。
2024-11-26 cs.CV cs.LG
CTA: Cross-Task Alignment for Better Test Time Training
ÉTS Montréal（蒙特利尔ÉTS）；Concordia University（康科迪亚大学）
本文提出CTA方法，通过跨任务对齐监督与自监督编码器，改进测试时训练，缓解梯度干扰，提升模型在分布偏移下的鲁棒性和泛化能力。
2025-07-08 cs.AI cs.CV
Re-using Adversarial Mask Discriminators for Test-time Training under Distribution Shifts
IMT School for Advanced Studies Lucca（IMT卢卡高级研究学院）；University of Edinburgh（爱丁堡大学）；University of Pisa（比萨大学）
本文提出在推理时重用GANs的对抗判别器以检测和纠正医学图像分割错误，结合图像重建成本赋予测试时训练因果视角，有效提升了预训练模型的性能。
2022-05-27 cs.CV eess.IV
TTTFlow: Unsupervised Test-Time Training with Normalizing Flow
LIVIA, ÉTS Montréal（蒙特利尔高等技术学院LIVIA实验室）；International Laboratory on Learning Systems (ILLS)（国际学习系统实验室（ILLS））；ÉTS Montréal（蒙特利尔高等技术学院）；MILA（蒙特利尔学习算法研究所）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）
用于图像分类的深度神经网络的一个主要问题是它们在测试时易受域变化的影响。最近的方法提出了解决这个问题的测试时训练（TTT），其中两个分支模型被训练学习的主要分类任务，也是一个自我监督的任务，用于执行测试时自适应。但是，这些技术需要定义特定于目标应用程序的代理任务。为了解决这一限制，我们提出了TTTFlow：一种Y形架构，使用基于Normalizing Flows的无监督头部来学习潜在特征的正态分布并检测测试示例中的域偏移。在推理时，保持无监督头部固定，我们通过最大化归一化流的对数似然来使模型适应域转移的示例。我们的研究结果表明，我们的方法可以显着提高精度相对于以前的作品。
2022-10-20 cs.AI cs.CV cs.LG
Synchronizing Task Behavior: Aligning Multiple Tasks during Test-Time Training
Visual Intelligence Lab., KAIST, Korea（韩国釜山科学技术院视觉智能实验室）
针对多任务域偏移下传统测试时训练任务行为不同步的问题，本文提出S4T方法，通过预测跨域任务关系实现多任务同步适应，并在多个基准上超越现有方法。
2025-07-21 cs.AI cs.CV cs.LG
Test-Time Training for Visual Foresight Vision-Language-Action Models
KAIST（韩国科学技术院）
本文提出了一种测试时训练方法，用于增强视觉前瞻视觉-语言-动作模型在面对分布外数据时的鲁棒性，通过引入适应性更新过滤机制来减少测试时更新带来的实际挑战。
2026-06-04 cs.CV cs.LG cs.RO
Equivariant Test-Time Training with Operator Sketching for Imaging Inverse Problems
School of Mathematics, University of Birmingham（伯明翰大学数学学院）
本文提出基于运算子草图的等变测试时间训练方法，用于加速深度内部学习框架，通过优化归一化层实现高效网络适应，显著提升高维应用中的计算效率。
2025-12-11 cs.CV cs.LG eess.IV
Learning Less Generalizable Patterns with an Asymmetrically Trained Double Classifier for Better Test-Time Adaptation
Univ Lyon（里昂大学）；Ecole Centrale de Lyon（里昂中央理工学院）；CNRS（法国国家科学研究中心）；INSA Lyon（里昂国立应用科学学院）；Univ Claude Bernard Lyon 1（里昂第一大学克洛德·贝尔纳）；Univ Louis Lumière Lyon 2（里昂第二大学路易·卢米埃尔）；Thales LAS France（泰雷兹LAS法国公司）
深度神经网络通常无法在其训练分布之外进行泛化，特别是当训练期间只有单个数据域可用时。虽然测试时自适应已经取得了令人鼓舞的结果，在这种情况下，我们认为，达到进一步的改进，这些方法应该结合训练过程的修改，旨在学习更多样化的模式。实际上，由于捷径学习现象，测试时自适应方法通常必须依赖于有限的表示：通过标准训练仅学习可用预测模式的子集。在本文中，我们首先表明，结合使用现有的训练时间策略，测试时间批量归一化，一个简单的适应方法，并不总是改善后，测试时自适应单独的PACS基准。此外，在Tube-Home上的实验表明，很少有训练时间方法在标准训练的基础上有所改进，无论有没有测试时间批量归一化。因此，我们提出了一种新的方法，使用一对分类器和一个捷径模式避免损失，通过减少次级分类器的泛化能力，使用额外的捷径模式避免损失，鼓励学习样本特定的模式，从而减轻捷径学习行为。主分类器是正常训练的，导致学习自然和更复杂，更难概括的特征。实验结果表明，该方法在两个基准测试上都取得了较好的结果，并且最有利于测试时的批量归一化。
2022-10-17 cs.AI cs.CV cs.LG
Fooling Adversarial Training with Inducing Noise
Peking University（北京大学）
对抗训练被广泛认为是提高模型对对抗攻击鲁棒性的可靠方法。然而，在本文中，我们表明，当在一种类型的中毒数据上训练时，对抗性训练也可以被愚弄，从而产生灾难性行为，例如，$<1\%$鲁棒测试准确性与CIFAR-10数据集上的$>90\%$鲁棒训练准确性。以前，在训练数据中有其他类型的噪声中毒，它们成功地欺骗了标准训练（$15.8\%$标准测试准确度与CIFAR-10数据集上的$99.9\%$标准训练准确度），但在采用对抗训练时，它们的中毒可以很容易地去除。因此，我们的目标是设计一种新的类型的诱导噪声，命名为ADVIN，这是一个无法消除的中毒的训练数据。ADVIN不仅可以大幅降低对抗训练的鲁棒性，例如在CIFAR-10数据集上从$51.7\%$降低到$0.57\%$，而且可以有效地欺骗标准训练（$13.1\%$标准测试精度与$100\%$标准训练精度）。此外，ADVIN还可以用于防止个人数据（如自拍）在未经授权的情况下被利用，无论是标准训练还是对抗训练。
2021-11-19 cs.CR cs.CV cs.LG
