Domain Generalization for Time Series: Enhancing Drilling Regression Models for Stick-Slip Index Prediction
Mines Paris, PSL University（巴黎高等矿业学院-PSL大学）；DrillScan, Helmerich & Payne（DrillScan，赫尔默里奇与佩恩公司）
本文提出通过领域泛化技术提升钻井回归模型对钻具粘滑指数预测的性能，ADG方法在检测严重事件方面表现最佳。
2026-01-06 cs.LG
A Simple Baseline that Questions the Use of Pretrained-Models in Continual Learning
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；University of Moratuwa（莫拉图瓦大学）；Toyota Motor Europe（丰田汽车欧洲公司）
随着预训练技术在表示学习中的成功应用，人们提出了许多基于预训练模型的持续学习方法。这些方法中的一些在预先训练的表示上设计了持续学习机制，并且在持续学习的训练期间仅允许对骨干模型的最小更新甚至不允许更新。在本文中，我们通过将这些模型与我们设计的简单基线进行比较，来质疑这些模型的复杂性是否需要获得良好的性能。我们认为，预训练的特征提取器本身可以足够强大，在Split-CIFAR 100和CoRe 50基准测试中实现有竞争力甚至更好的持续学习性能。为了验证这一点，我们进行了一个非常简单的基线，即1）使用冻结的预训练模型来提取在持续学习阶段遇到的每个类别的图像特征，并计算它们在训练数据上对应的平均特征，以及2）基于测试样本之间的最近邻距离和类别的平均特征来预测输入的类别;即，最近均值分类器（NMC）。这个基线是单头的，无范例的，并且可以是无任务的（通过不断更新手段）。这个基线在10-Split-CIFAR-100上达到了88.53%，超过了大多数最先进的持续学习方法，这些方法都是使用相同的预训练Transformer模型初始化的。我们希望我们的基线可以鼓励未来在设计学习系统方面取得进展，这些学习系统可以不断地为学习表示增加质量，即使它们是从一些预先训练的权重开始的。
2023-03-29 cs.CV cs.LG
Improve Model Generalization and Robustness to Dataset Bias with Bias-regularized Learning and Domain-guided Augmentation
深度学习因生物医学大数据的出现而蓬勃发展。然而，在不同机构获得的医疗数据集具有由各种混杂因素引起的固有偏差，例如操作策略，机器协议，治疗偏好等。因此，在一个数据集上训练的模型，无论体积如何，都不能自信地用于其他数据集。在这项研究中，我们使用三个大规模的胸部X射线数据集研究了模型对数据集偏差的鲁棒性：首先，我们使用香草训练基线评估了数据集偏差;其次，我们提出了一种新的多源域泛化模型，方法是：（a）设计一个新的偏差正则化损失函数;（b）合成新数据进行域增强。我们发现，我们的模型在准确性和各种偏差测量方面显着优于基线和其他方法，而无需重新训练或微调。我们的方法普遍适用于其他生物医学数据，为大数据分析和应用提供了训练模型的新算法。演示培训代码是公开的。
2019-11-13 cs.CV cs.LG eess.IV
Simple Control Baselines for Evaluating Transfer Learning
Swiss Federal Institute of Technology (EPFL)（瑞士联邦理工学院（EPFL））；Moscow Institute of Physics Technology (MIPT)（莫斯科物理技术学院（MIPT））；transfer-controls.epfl.ch（transfer-controls.epfl.ch（网址，非机构））
近年来，迁移学习取得了显著的进展，例如，引入了基于增强的对比自监督学习方法。虽然已经对这些模型的转移性能进行了一些大规模的实证研究，但还没有一套商定的控制基线，评估实践和指标来报告，这往往阻碍了对方法的真正功效的细致入微和校准的理解。我们共享一个评估标准，旨在以信息丰富和可访问的设置量化和传达迁移学习的性能。这是通过在评估方法中烘焙一些简单但关键的控制基线来完成的，特别是盲猜（量化数据集偏差），scratch-model（量化架构贡献）和最大监督（量化上限）。为了演示如何使用评估标准，我们提供了一个实证研究的例子，调查了一些关于自监督学习的基本问题。例如，使用这个标准，研究表明，现有的自我监督预训练方法的有效性偏向于图像分类任务，而不是密集的像素预测。一般来说，我们鼓励在评估迁移学习时使用/报告建议的控制基线，以便获得更有意义和信息量更大的理解。
2022-02-07 cs.CV cs.LG
Gotta Learn Fast: A New Benchmark for Generalization in RL
OpenAI
在这份报告中，我们提出了一个新的强化学习（RL）基准的基础上，索尼克的刺猬（TM）视频游戏专营权。该基准测试旨在测量RL域中迁移学习和少样本学习算法的性能。我们还提出和评估一些基线算法在新的基准。
2018-04-23 cs.LG stat.ML
Dark Experience for General Continual Learning: a Strong, Simple Baseline
AImageLab - University of Modena and Reggio Emilia（AImageLab - 摩德纳和雷焦艾米利亚大学）
持续学习激发了大量的方法和评估设置;然而，它们中的大多数忽略了实际场景的属性，其中数据流不能被塑造为一系列任务，离线训练是不可行的。我们致力于通用持续学习（GCL），其中任务边界模糊，域和类分布逐渐或突然发生变化。我们通过将排练与知识蒸馏和正则化相结合来解决这个问题;我们的简单基线，黑暗体验重播，匹配整个优化轨迹中网络的logits采样，从而促进与过去的一致性。通过对标准基准和新的GCL评估设置（MNIST-360）进行广泛的分析，我们表明，这样一个看似简单的基线优于综合方法，并利用有限的资源。我们进一步探索了我们的目标的泛化能力，表明其正则化不仅仅是性能上的好处。
2020-10-22 cs.LG stat.ML
A Simple Baseline to Semi-Supervised Domain Adaptation for Machine Translation
MIT（麻省理工学院）；Amazon Web Services（亚马逊云科技）；A*STAR（新加坡科技研究局）
最先进的神经机器翻译（NMT）系统是数据饥饿的，在没有监督数据的新领域表现不佳。由于数据汇集是昂贵的，并且在许多情况下是不可行的，因此需要领域自适应方法。在这项工作中，我们提出了一个简单但有效的方法，半监督领域自适应的情况下，NMT，其目的是提高性能的翻译模型的目标域仅由非并行数据的帮助下，监督源域数据。这种方法通过三个训练目标迭代地训练基于Transformer的NMT模型：语言建模，回译和监督翻译。我们评估这种方法的两个适应设置：特定领域之间的适应和适应从一般域到特定域，和两种语言对：德语到英语和罗马尼亚语到英语。随着性能的大幅提升--比最强基线的BLEU提高了+19.31BLEU，比未调整的模型的BLEU提高了+47.69BLEU--我们将这种方法作为半监督领域中简单但难以击败的基线NMT的领域自适应。
2020-06-06 cs.CL cs.LG
Pruned Adaptation Modules: A Simple yet Strong Baseline for Continual Foundation Models
AMOR/e Lab, Eindhoven University of Technology（埃因霍温理工大学AMOR/e实验室）
本文提出剪枝适应模块（PAM），通过冻结大部分预训练ResNet参数，利用稀疏任务特定层实现可扩展的连续学习，显著降低持续学习成本并减少遗忘。
2026-03-22 cs.LG
In Search of Lost Domain Generalization
Facebook AI Research（Facebook人工智能研究院）
领域泛化算法的目标是很好地预测与训练过程中看到的分布不同的分布。虽然存在无数的领域泛化算法，但实验条件-数据集，架构和模型选择标准-的不一致性使得公平和现实的比较变得困难。在本文中，我们有兴趣了解如何有用的领域泛化算法在现实的设置。作为第一步，我们认识到，模型选择是不平凡的领域泛化任务。与以前的工作相反，我们认为，没有模型选择策略的领域泛化算法应被视为不完整的。接下来，我们实现了DomainBed，这是一个用于领域泛化的测试平台，包括七个多领域数据集，九个基线算法和三个模型选择标准。我们使用DomainBed进行了大量的实验，发现当仔细实施时，经验风险最小化在所有数据集上都显示出最先进的性能。展望未来，我们希望DomainBed的发布，以及其他研究人员的贡献，将简化领域泛化中可重复和严格的研究。
2020-07-02 cs.LG stat.ML
A Simple Baseline for Domain Adaptation in End to End ASR Systems Using Synthetic Data
Flipkart（Flipkart公司）
自动语音识别（ASR）一直由基于深度学习的端到端语音识别模型主导。这些方法需要大量的音频文本对形式的标记数据。此外，与传统模型相比，这些模型更容易受到域转移的影响。通常的做法是训练通用ASR模型，然后使用相对较小的数据集使它们适应目标域。我们考虑一个更极端的情况下，域适应纯文本语料库。在这项工作中，我们提出了一个简单的基线技术域适应端到端的语音识别模型。我们使用单说话人文本转语音（TTS）引擎将纯文本语料转换为音频数据。然后，目标域中的并行数据用于微调通用ASR模型的最终密集层。我们表明，单扬声器合成TTS数据加上最后的密集层，只有微调提供了合理的改善字错误率。我们使用来自地址和电子商务搜索域的文本数据来显示我们的低成本基线方法对CTC和基于注意力的模型的有效性。
2022-06-22 cs.LG cs.SD eess.AS
Domain Generalization on Efficient Acoustic Scene Classification using Residual Normalization
Qualcomm Technologies, Inc.（高通技术公司）
如何有效地设计一个单一的声学场景分类系统来处理多设备的音频输入是一个实际的研究课题。在这项工作中，我们提出了残差归一化，一种新的特征归一化方法，使用频率归一化%实例归一化与快捷路径丢弃不必要的设备特定的信息，而不会丢失有用的信息进行分类。此外，我们引入了一个有效的架构，BC-ResNet-ASC，一个修改后的版本的基线架构，有限的接受领域。BC-ResNet-ASC优于基准架构，即使它包含少量参数。通过三种模型压缩方案：剪枝、量化和知识蒸馏，我们可以进一步降低模型复杂度，同时减轻性能下降。该系统在TAU Urban Acoustic Scenes 2020 Mobile中实现了76.3%的平均测试精度，开发数据集具有315 k参数，压缩到61.0KB非零参数后的平均测试精度为75.3%。该方法在DCASE 2021挑战赛TASK 1A中获得第一名。
2021-11-12 cs.LG cs.SD eess.AS
SimpleDG: Simple Domain Generalization Baseline without Bells and Whistles
MEGVII Technology（旷视科技）
我们提出了一个简单的领域泛化基线，在NICO CHALLENGE 2022中分别获得了公共上下文泛化轨道和混合上下文泛化轨道的第二名。我们验证了在最近的文献，domainbed，ERM是一个强大的基线相比，最近的国家的最先进的领域泛化方法，并提出SimpleDG，其中包括几个简单而有效的设计，进一步提高泛化性能。代码可在https://github.com/megvii-research/SimpleDG上获得
2022-10-26 cs.CV
A Strong Baseline for Domain Adaptation and Generalization in Medical Imaging
Enlitic（Enlitic公司）
该方法为医学成像中的多源多靶领域自适应和泛化问题提供了有力的基础。使用十个胸部X射线数据集的不同集合，我们以经验证明了在不同患者人群上训练医学成像深度学习模型以推广到样本外域的好处。
2019-04-02 cs.AI cs.CV eess.IV
High-resolution land cover change from low-resolution labels: Simple baselines for the 2021 IEEE GRSS Data Fusion Contest
Yale University（耶鲁大学）；Microsoft AI for Good（微软AI造福全球）；Microsoft Research（微软研究院）
我们在2021年IEEE GRSS数据融合竞赛中提出了土地覆盖变化检测的简单算法。比赛的任务是根据多分辨率图像和标签数据，绘制美国马里兰州一个研究区的高分辨率（1米/像素）土地覆盖变化图。我们研究了这项任务的几个基线模型，并讨论了进一步研究的方向。数据见https://dfc2021.blob.core.windows.net/competition-data/dfc2021_index.txt，这些基线的实施见https://github.com/calebrob6/dfc2021-msd-baseline。
2021-01-04 cs.AI cs.CV cs.LG
WxBS: Wide Baseline Stereo Generalizations
Czech Technical University in Prague（布拉格捷克理工大学）；University of Oxford（牛津大学）
我们已经提出了一个新的问题-宽多基线立体（WxBS）-它考虑匹配的图像，同时不同的一个以上的图像采集因素，如视点，照明，传感器类型或对象的外观变化显着，例如随着时间的推移。一个新的数据集与地面真理的匹配算法的评估已经推出，并将公布。我们已经广泛测试了大量流行的和最近的检测器和描述符，并显示比RootSIFT和HalfRootSIFT作为描述符与MSER和Hessian-Affine检测器的组合对于许多不同的干扰因素效果最好。我们表明，简单的自适应阈值提高了Hessian-Affine，DoG，MSER（和可能的其他）检测器，并允许使用它们的红外和低对比度图像。提出了一种新的匹配算法来解决WxBS问题。我们已经通过实验证明，WxBS-M匹配器在新的和现有的数据集上都占主导地位。
2015-05-12 cs.CV
Simple Distillation Baselines for Improving Small Self-supervised Models
University of Munich（慕尼黑大学）；Tencent（腾讯）；MIT（麻省理工学院）
虽然大型自监督模型的性能与其监督模型的性能不相上下，但小型模型仍在苦苦挣扎。在本报告中，我们探索了通过蒸馏改进小型自监督模型的简单基线，称为SimDis。具体来说，我们提出了一个离线蒸馏基线，它建立了一个新的国家的最先进的，和一个在线蒸馏基线，它实现了类似的性能与最小的计算开销。我们希望这些基线将为未来的相关研究提供有益的经验。代码可在：https://github.com/JindongGu/SimDis/
2021-06-21 cs.CV
Revisiting and Advancing Adversarial Training Through A Simple Baseline
National Institute of Informatics（信息学研究所）
本文研究了损失函数等非架构因素对对抗训练的影响，提出简单基线方法 SimpleAT，在多数据集上验证其有效缓解鲁棒过拟合并提升对抗鲁棒性。
2023-11-19 cs.CV cs.LG
A Broad Study of Pre-training for Domain Generalization and Adaptation
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
深度模型必须学习鲁棒和可转移的表示，以便在新的领域中表现良好。虽然域转移方法（例如，域自适应，领域泛化）已经被提出来学习跨域的可转移表示，它们通常应用于在ImageNet上预训练的ResNet主干。因此，现有的工作很少注意到预训练对领域迁移任务的影响。在本文中，我们对领域自适应和泛化的预训练进行了广泛的研究和深入的分析，即：网络架构，大小，预训练损失和数据集。我们观察到，简单地使用一个国家的最先进的骨干优于现有的国家的最先进的领域自适应基线，并设置新的基线上的家庭和DomainNet提高了10.7%和5.5%。我们希望这项工作可以为未来的域转移研究提供更多的见解。
2022-07-20 cs.CV
A Simple Baseline for Low-Budget Active Learning
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；University of California, Davis（加州大学戴维斯分校）
主动学习的重点是选择未标记数据的子集进行标记。然而，大多数这样的方法假设可以注释大的数据子集。我们对低预算的主动学习感兴趣，其中只有一小部分（例如，ImageNet的0.2%）可以进行注释。我们没有提出一种新的查询策略来迭代地对给定初始池的未标记数据进行批量采样，而是通过一种现成的自监督学习方法只学习一次丰富的特征，然后在包括ImageNet在内的各种数据集上研究不同采样策略的有效性。我们表明，虽然国家的最先进的主动学习方法工作良好，给出了一个大的标签预算，一个简单的K-means聚类算法可以在低预算优于他们。我们相信这种方法可以作为一个简单的基线低预算的主动学习的图像分类。代码可在：https://github.com/UCDvision/low-budget-al
2022-04-01 cs.CV cs.LG
SimpleMatch: A Simple and Strong Baseline for Semantic Correspondence
Jilin University（吉林大学）
SimpleMatch通过轻量级上采样解码器和多尺度监督损失，在低分辨率下实现强大的语义对应性能。
2026-02-13 cs.AI cs.CV
On the Out-of-Distribution Generalization of Reasoning in Multimodal LLMs for Simple Visual Planning Tasks
Tübingen AI Center -- University of Tübingen（图宾根人工智能中心 -- 图宾根大学）；EPFL（瑞士联邦理工学院）；ELLIS Institute Finland -- Aalto University（芬兰ELLIS研究所 -- 阿尔托大学）
研究多模态大语言模型在简单视觉规划任务中推理能力的分布外泛化，发现结合多种文本格式的推理方法效果最佳，纯文本模型表现优于图像输入模型。
2026-02-17 cs.CV cs.LG
Freeze the Discriminator: a Simple Baseline for Fine-Tuning GANs
KAIST（韩国科学技术院）；POSTECH（浦项科技大学）
生成对抗网络（GANs）在计算机视觉、图形学和机器学习中的广泛问题上表现出出色的性能，但通常需要大量的训练数据和繁重的计算资源。为了解决这个问题，有几种方法在GAN训练中引入了迁移学习技术。然而，它们要么倾向于过拟合，要么仅限于学习小的分布偏移。在本文中，我们证明了对GANs进行简单的微调，冻结了底层的GANs表现得出奇的好。这个简单的基线FreezeD显著优于无条件和有条件GANs中使用的先前技术。我们使用StyleGAN和SNGAN投影架构在Animal Face，Anime Face，Oxford Flower，CUB-200-2011和Caltech-256数据集上展示了一致的效果。代码和结果可在https://github.com/sangwoomo/FreezeD上获得。
2020-02-28 cs.CV cs.LG stat.ML
Simple Baselines for Human Pose Estimation and Tracking
Microsoft Research Asia（微软亚洲研究院）；University of Electronic Science and Technology of China（电子科技大学）
近年来，姿态估计和姿态跟踪的研究取得了重大进展。同时，整体算法和系统复杂度也增加，使得算法分析和比较更加困难。这项工作提供了简单有效的基线方法。它们有助于激发和评估该领域的新想法。在具有挑战性的基准上取得了最先进的成果。该代码将在https://github.com/leoxiaobin/pose.pytorch上提供。
2018-08-21 cs.CV
Simple Baseline for Single Human Motion Forecasting
Alibaba Group（阿里巴巴集团）
全局人体运动预测是全局人体轨迹预测和局部人体姿态预测的结合，在许多领域具有重要的应用价值。视觉和社会信息通常被用来提高模型的性能，然而，它们可能会消耗太多的计算资源。在本文中，我们建立了一个简单但有效的基线，用于在没有视觉和社会信息的情况下进行单个人体运动预测，并配备了有用的训练技巧。我们的方法“futuremotion_ICCV21”在SoMoF基准测试中大幅优于现有方法。我们希望我们的工作为未来的研究提供新的思路。
2021-10-14 cs.CV
A Simple Baseline for Audio-Visual Scene-Aware Dialog
Technion（以色列理工学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
最近提出的视听场景感知对话任务为学习虚拟助手，智能扬声器和汽车导航系统的更多数据驱动方式铺平了道路。然而，到目前为止，人们对如何有效地从过多的传感器中提取有意义的信息知之甚少，这些传感器会影响这些设备的计算引擎。因此，在本文中，我们提供并仔细分析了一个简单的基线视听场景感知对话，这是训练端到端。我们的方法区分在数据驱动的方式有用的信号从分散注意力的注意力机制。我们评估所提出的方法，最近推出的和具有挑战性的视听场景感知数据集，并展示了关键功能，允许超过目前的最先进的CIDEr超过20\%。
2019-04-11 cs.AI cs.CL cs.CV
Revisiting Point Cloud Shape Classification with a Simple and Effective Baseline
Princeton University（普林斯顿大学）
处理点云数据是许多现实世界系统的重要组成部分。因此，已经提出了各种各样的基于点的方法，随着时间的推移，报告稳定的基准改进。我们研究了这一进展的关键因素，并发现了两个关键结果。首先，我们发现，辅助因素，如不同的评估方案，数据增强策略，和损失函数，这是独立的模型架构，使性能有很大的差异。差异之大足以掩盖建筑的影响。当控制这些因素时，PointNet++，一个相对较老的网络，与最近的方法相比具有竞争力。第二，一个非常简单的基于投影的方法，我们称之为SimpleView，表现令人惊讶地好。它比ModelNet 40上复杂的最先进方法取得了同等或更好的结果，同时大小只有PointNet++的一半。它还优于ScanObjectNN（一个真实世界的点云基准）上的最先进方法，并展示了更好的跨数据集泛化。代码可在https://github.com/princeton-vl/SimpleView上获得。
2021-06-09 cs.CV cs.LG
Simple Baseline for Visual Question Answering
Massachusetts Institute of Technology（麻省理工学院）；Facebook AI Research（脸书人工智能研究院）
我们描述了一个非常简单的词袋基线视觉问答。该基线将来自问题的单词特征和来自图像的CNN特征连接起来以预测答案。当在具有挑战性的VQA数据集[2]上进行评估时，它显示出与许多最近使用递归神经网络的方法相当的性能。为了探索训练模型的优点和缺点，我们还提供了一个交互式Web演示和开源代码。.
2015-12-15 cs.CL cs.CV
SemSup: Semantic Supervision for Simple and Scalable Zero-shot Generalization
Princeton University（普林斯顿大学）
零样本学习是在训练过程中没有看到的类上预测实例的问题。零样本学习的一种方法是向模型提供辅助类信息。沿着这条脉络的先前工作主要使用昂贵的每个实例注释或单个类级别的描述，但是每个实例的描述很难扩展，并且单个类的描述可能不够丰富。此外，这些作品专门使用自然语言描述，简单的双编码器模型，以及模态或特定于任务的方法。这些方法有几个限制：文本监督可能并不总是可用或最佳的，双编码器可能只学习输入和类描述之间的粗略关系。在这项工作中，我们提出了SemSup，这是一种新的方法，它使用（1）一种可扩展的多描述采样方法，可以提高单个描述的性能，（2）替代描述格式，如JSON，易于生成并在某些设置上优于文本，以及（3）混合词汇语义相似性，以利用类描述中的细粒度信息。我们证明了SemSup在四个数据集，两种模式和三种泛化设置中的有效性。例如，在文本和图像数据集上，SemSup与最接近的基线相比，平均将不可见类泛化精度提高了15个点。
2023-01-31 cs.CL cs.CV cs.LG
VisualBERT: A Simple and Performant Baseline for Vision and Language
University of California, Los Angeles（加州大学洛杉矶分校）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Peking University（北京大学）
我们提出了VisualBERT，一个简单而灵活的框架，用于建模广泛的视觉和语言任务。VisualBERT由一堆Transformer层组成，这些层隐式地将输入文本的元素和相关输入图像中的区域与自我关注对齐。我们进一步提出了两个视觉接地语言模型目标的图像字幕数据的VisualBERT的预训练。在VQA、VCR、NLVR2和Flickr30K等四个视觉和语言任务上的实验表明，VisualBERT在显著简单的同时优于或媲美最先进的模型。进一步的分析表明，VisualBERT可以在没有任何明确监督的情况下将语言元素与图像区域联系起来，甚至对句法关系敏感，例如跟踪动词与其论点对应的图像区域之间的关联。
2019-08-09 cs.CL cs.CV cs.LG
ViLPAct: A Benchmark for Compositional Generalization on Multimodal Human Activities
Monash University（莫纳什大学）；University of Electronic Science and Technology of China（电子科技大学）；University of Technology Sydney（悉尼科技大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Lab（鹏城实验室）
我们介绍ViLPAct，一种新颖的视觉语言基准人类活动规划。它是为一项任务而设计的，在这项任务中，具体的人工智能智能体可以根据关于人类初始活动和文本意图的视频剪辑来推理和预测人类未来的行动。该数据集由来自\charades的2.9k个视频组成，通过众包扩展了意图，多项选择题测试集和四个强基线。其中一个基线实现了基于多模态知识库（MKB）的神经符号方法，而其他基线是从最新的最先进的（SOTA）方法改编的深度生成模型。根据我们广泛的实验，关键的挑战是组合泛化和有效地使用来自两种模式的信息。
2023-03-09 cs.CL cs.CV
SimBase: A Simple Baseline for Temporal Video Grounding
School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院）
本文提出SimBase，一种用于时序视频定位的简单基线，通过轻量级一维时序卷积层和逐元素乘积替代复杂结构，在两个大规模数据集上取得最先进结果。
2024-11-12 cs.CV
CanvasGAN: A simple baseline for text to image generation by incrementally patching a canvas
New York University（纽约大学）
我们提出了一个新的经常性生成模型，用于从文本字幕生成图像，同时参加文本字幕的特定部分。我们的模型通过在“画布”上增量添加补丁来创建图像，同时在每个时间步上关注文本标题中的单词。最后，画布通过一个升级网络来生成图像。我们还介绍了一种新的方法，用于生成视觉语义句子嵌入的基础上自我注意文本。我们比较我们的模型生成的图像与里德等。al.的模型，并表明我们的模型是一个更强大的基线文本图像生成任务。
2018-10-05 cs.CV
Simple is not Easy: A Simple Strong Baseline for TextVQA and TextCaps
School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；School of Software, Northwestern Polytechnical University（西北工业大学软件学院）；University of Adelaide（阿德莱德大学）
在日常场景中出现的文字，可以被OCR（光学字符识别）工具识别，包含重要的信息，如街道名称，产品品牌和价格。两个任务--基于文本的视觉问答和基于文本的图像描述，以及现有视觉语言应用程序的文本扩展，正在迅速流行起来。为了解决这些问题，许多复杂的多模态编码框架（如异构图结构）正在使用。在本文中，我们认为，一个简单的注意力机制可以做同样的，甚至更好的工作，没有任何花里胡哨。在这种机制下，我们简单地将OCR标记特征分成单独的视觉和语言注意力分支，并将它们发送到流行的Transformer解码器以生成答案或标题。令人惊讶的是，我们发现这个简单的基线模型相当强大-它在两个流行的基准测试中始终优于最先进的（SOTA）模型，TextVQA和ST-VQA的所有三个任务，尽管这些SOTA模型使用更复杂的编码机制。将其转移到基于文本的图像描述，我们也超越了TextCaps Challenge 2020的获奖者。我们希望这项工作为这两个OCR文本相关的应用程序设置新的基线，并激发多模态编码器设计的新思维。代码可在https://github.com/ZephyrZhuQi/ssbaseline上获得
2020-12-09 cs.CV
A Simple Baseline for Streaming Video Understanding
S-Lab, Nanyang Technological University（南洋理工大学S-Lab）
本文提出SimpleStream基线，通过滑动窗口仅使用最近N帧输入现成的VLM，在OVO-Bench和StreamingBench上表现优异，揭示了长上下文对性能的非线性影响及感知与记忆的权衡。
2026-04-02 cs.CV
Simple Baselines for Image Restoration
MEGVII Technology（旷视科技）
尽管近年来图像复原领域取得了显著的进展，但SOTA方法的系统复杂度也在不断增加，这可能会妨碍方法的方便分析和比较。在本文中，我们提出了一个简单的基线，超过了SOTA方法，是计算效率。为了进一步简化基线，我们揭示了非线性激活函数，例如Sigmoid，ReLU，GELU，Softmax等是不必要的：它们可以被乘法取代或删除。因此，我们从基线推导出非线性无激活网络，即NAFNet。SOTA结果在各种具有挑战性的基准上实现，例如GoPro上的33.69 dB PSNR（用于图像去模糊），超过了之前的SOTA 0.38 dB，仅为其计算成本的8.4%; SIDD上的40.30 dB PSNR（用于图像去噪），超过了之前的SOTA 0.28 dB，计算成本不到一半。代码和预训练模型在https://github.com/megvii-research/NAFNet上发布。
2022-08-01 cs.CV
Revisiting EmbodiedQA: A Simple Baseline and Beyond
Center for Artificial Intelligence, University of Technology Sydney（悉尼科技大学人工智能中心）；Google Research（谷歌研究院）
在问答式问答中，代理与环境交互以收集回答用户问题所需的信息。现有的工作为解决这个有趣的问题奠定了坚实的基础。但目前的性能，特别是在导航方面，表明并行QA可能对当代方法太具挑战性。在本文中，我们对这个问题进行了实证研究，并介绍了1）一个简单而有效的基线，可以实现有希望的性能; 2）一个更容易和实用的设置，让代理有机会在实际回答用户问题之前，将训练好的模型适应新的环境。在这个新的设置中，我们随机将一些对象放置在新的环境中，并通过蒸馏网络升级代理策略，以保留训练模型的泛化能力。在标准设置下，我们的简单基线在QuarteredQA v1基准测试中实现了与最先进水平非常有竞争力的结果;在新的设置中，我们发现设置中引入的微小变化在导航中产生了显着的增益。
2020-09-04 cs.CV
Simple Baseline for Weather Forecasting Using Spatiotemporal Context Aggregation Network
SI Analytics
传统的天气预报依赖于专业知识和计算密集型数值模拟系统。最近，随着数据驱动方法的发展，基于深度学习的天气预报受到关注。基于深度学习的天气预报取得了惊人的进展，从使用CNN、RNN和Transformer的各种骨干研究，到使用带有辅助输入的天气观测数据集的训练策略。所有这些进展都为天气预报领域做出了贡献;然而，深度学习模型的许多元素和复杂结构阻止了我们达到物理解释。本文提出了一个简单的基线与时空上下文聚合网络（SIANet），达到了最先进的W 4C 22的5个基准测试的4个部分。这种简单但有效的结构仅以端到端的方式使用卫星图像和CNN，而不使用多模型集成或微调。SIANet的这种简单性可以作为一个坚实的基线，可以很容易地应用于使用深度学习的天气预报。
2022-12-10 cs.CV
A simple, strong baseline for building damage detection on the xBD dataset
KTH Royal Institute of Technology（瑞典皇家理工学院）；CentraleSupélec (Université Paris-Saclay)（巴黎中央理工-高等电力学院（巴黎萨克雷大学））
本研究基于xView2竞赛获胜方案逐步简化得到建筑损伤检测强基线，调整数据集拆分后发现两类模型均无法泛化到新位置，指出问题或与事件间类别分布不均有关。
2024-01-30 cs.CV
RMD: A Simple Baseline for More General Human Motion Generation via Training-free Retrieval-Augmented Motion Diffuse
The University of Hong Kong（香港大学）；Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
本文提出无需训练的检索增强基线 RMD，利用可替换检索库、LLM 辅助身体部位重组及预训练运动扩散先验，提升人体运动生成的泛化与分布外性能。
2024-12-05 cs.AI cs.CV cs.GR
DeciWatch: A Simple Baseline for 10x Efficient 2D and 3D Pose Estimation
The Chinese University of Hong Kong（香港中文大学）；Sensetime Group Limited（商汤集团有限公司）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出了一个简单的基线框架，基于视频的2D/3D人体姿态估计，可以实现10倍的效率比现有的作品没有任何性能下降，命名为DeciWatch。与目前估计视频中每个帧的解决方案不同，DeciWatch引入了一个简单而有效的采样-去噪-恢复框架，该框架仅观察稀疏采样的帧，利用人体运动的连续性和轻量级姿势表示。具体来说，DeciWatch统一采样不到10%的视频帧进行详细估计，使用高效的Transformer架构对估计的2D/3D姿态进行降噪，然后使用另一个基于Transformer的网络准确恢复其余帧。在三个基于视频的人体姿态估计和人体网格恢复任务上的四个数据集的综合实验结果验证了DeciWatch的效率和有效性。代码可在https://github.com/cure-lab/DeciWatch上获得。
2022-07-20 cs.CV
Strong but Simple Baseline with Dual-Granularity Triplet Loss for Visible-Thermal Person Re-Identification
Chongqing University（重庆大学）
在这封信中，我们提出了一个概念上简单而有效的双粒度三重损失的可见热的人重新识别（VT-ReID）。通常，ReID模型总是使用基于样本的三重丢失和来自细粒度级别的识别丢失进行训练。当引入基于中心的损失时，可以从粗粒度级别鼓励类内紧凑性和类间区分。我们提出的双粒度三重丢失很好地组织了基于样本的三重丢失和基于中心的三重丢失在一个分层的细到粗粒度的方式，只是一些简单的配置的典型操作，如池化和批量归一化。在RegDB和SYSU-MM 01数据集上的实验表明，只有全局特征，我们的双粒度三元组丢失可以显着提高VT-ReID的性能。它可以成为一个强大的VT-ReID基线，以促进未来高质量的研究。
2021-03-10 cs.CV
Simple Baselines for Interactive Video Retrieval with Questions and Answers
Princeton University（普林斯顿大学）；University of Cambridge（剑桥大学）
针对现有交互式视频检索方法复杂、性能提升有限的问题，研究提出几种简单有效的问答式交互基线，用VideoQA模型模拟用户交互，无需真实对话数据即可开展研究，在多个数据集上显著提升了文本视频检索性能。
2023-08-21 cs.AI cs.CL cs.CV
A simple normalization technique using window statistics to improve the out-of-distribution generalization on medical images
Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）；Obstetrics and Gynecology Hospital, Institute of Reproduction and Development（妇产科医院生殖与发育研究院）；Zhejiang University City College（浙江大学城市学院）；Deepwise AI Lab（深睿人工智能实验室）；the Second Affiliated Hospital of Zhejiang University（浙江大学医学院附属第二医院）；Peking University Third Hospital（北京大学第三医院）
由于数据稀缺性和数据异质性在医学图像中普遍存在，因此使用先前归一化方法的训练有素的卷积神经网络（CNN）在部署到新站点时可能表现不佳。然而，用于真实世界临床应用的可靠模型应该能够很好地概括分布内（IND）和分布外（OOD）数据（例如，新网站数据）。在这项研究中，我们提出了一种新的规范化技术，称为窗口规范化（WIN），以提高模型的泛化异构医学图像，这是一个简单而有效的替代现有的规范化方法。具体地说，WIN用在特征窗口上计算的局部统计信息来扰动归一化统计信息。这种特征级增强技术很好地规范了模型，并显着提高了它们的OOD泛化能力。利用它的优点，我们提出了一种新的自蒸馏方法称为WIN-WIN分类任务。WIN-WIN很容易实现两次向前传递和一致性约束，这可以是现有方法的简单扩展。在各种任务（6个任务）和数据集（24个数据集）上的大量实验结果证明了我们的方法的通用性和有效性。
2022-07-14 cs.CV
SimUSR: A Simple but Strong Baseline for Unsupervised Image Super-resolution
Ajou University（亚洲大学）；EPFL（洛桑联邦理工学院）
在本文中，我们解决了完全无监督的超分辨率问题，即既没有配对图像也没有地面真实HR图像。我们假设低分辨率（LR）图像与高分辨率（HR）图像相比相对容易收集。通过允许多个LR图像，我们通过对LR图像进行去噪和下采样来构建一组伪对，并将原始的无监督问题转换为监督学习问题，但在低一个级别上。虽然这条研究路线很容易想到，因此应该在任何复杂的无监督方法之前进行研究，但令人惊讶的是，目前还没有。更重要的是，我们证明了这种简单的方法优于最先进的无监督方法，在运行时具有更短的延迟，并显着减少了与HR监督模型的差距。我们在NTIRE 2020超分辨率挑战赛中提交了我们的方法，并获得了PSNR第一名，SSIM第二名和LPIPS第13名。这种简单的方法应该被用作将来跳动的基线，特别是当在训练阶段允许多个LR图像时。然而，即使在zero-shot条件下，我们认为这种方法可以作为一个有用的基线，看看监督和无监督框架之间的差距。
2020-04-23 cs.CV
A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一个简单的迁移学习基线手语翻译。现有的手语数据集（例如PHOENIX-2014 T，CSL-Daily）仅包含约10 K-20 K对手语视频，注释和文本，这比用于训练口语翻译模型的典型并行数据小一个数量级。因此，数据是训练有效手语翻译模型的瓶颈。为了缓解这个问题，我们建议从包含大量外部监督的一般域数据集到域内数据集逐步预训练模型。具体来说，我们在人类行为的一般域和符号到注释数据集的域内预训练符号到注释视觉网络，并在多语言语料库的一般域和域内预训练注释到文本翻译网络注释到文本语料库。联合模型通过一个名为视觉语言映射器的附加模块进行了微调，该模块连接两个网络。这个简单的基线超过了之前两个手语翻译基准测试的最新结果，证明了迁移学习的有效性。由于其简单性和强大的性能，这种方法可以作为未来研究的坚实基线。代码和模型可在https://github.com/FangyunWei/SLRT上获得。
2023-03-23 cs.CV
Magnification-Invariant Image Classification via Domain Generalization and Stable Sparse Embedding Signatures
本文提出通过领域泛化和稳定稀疏嵌入签名解决放大偏移问题，验证了领域泛化模型在不同放大倍数下的优越性能，且在保持预测性能的同时显著减少了嵌入维度。
2026-04-28 cs.CV stat.ML
DeepVisage: Making face recognition simple yet with powerful generalization skills
Laboratoire LIRIS（LIRIS实验室）；École centrale de Lyon（里昂中央理工学院）；Safran Identity & Security（赛峰身份与安全公司）
人脸识别（FR）方法通过采用基于卷积神经网络（CNN）的学习方法来报告显著的性能。虽然CNN主要是通过优化softmax损失来训练的，但最近的趋势显示了不同策略的准确性提高，例如具有不同损失函数的特定任务CNN学习，对目标数据集的微调，度量学习和连接多个CNN的特征。完成这些任务显然需要更多的努力。此外，它使发现仅用身份标签训练的FR的有效CNN模型失去动力。我们专注于这一事实，并提出了一个易于训练和单一的CNN为基础的FR方法。我们的CNN模型利用了残差学习框架。此外，它使用归一化特征来计算损失。我们广泛的实验表明，在不同的数据集上具有很好的泛化能力。我们在LFW，IJB-A，YouTube面孔和CACD数据集上获得了非常有竞争力和最先进的结果。
2017-04-07 cs.CV
RELOCATE: A Simple Training-Free Baseline for Visual Query Localization Using Region-Based Representations
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
RELOCATE通过基于区域的表示和双向跟踪实现长视频中视觉查询定位，无需训练并在Ego4D数据集上取得49%的精度提升。
2025-12-10 cs.CV
Show, Attend and Read: A Simple and Strong Baseline for Irregular Text Recognition
The University of Adelaide（阿德莱德大学）；Northwestern Polytechnical University（西北工业大学）
自然场景图像中不规则文本的识别具有很大的挑战性，因为文本的外观变化很大，例如曲率、方向和失真。大多数现有的方法严重依赖于复杂的模型设计和/或额外的细粒度注释，这在一定程度上增加了算法实现和数据汇集的难度。在这项工作中，我们提出了一个易于实现的强基线不规则场景的文本识别，使用现成的神经网络组件，只有字级注释。它由一个$31$层ResNet、一个基于LSTM的编解码器框架和一个二维注意力模块组成。尽管它的简单性，所提出的方法是强大的，并实现了最先进的性能在规则和不规则的场景文本识别基准。代码可在：https://tinyurl.com/ShowAttendRead
2019-03-16 cs.CV
A simple baseline for domain adaptation using rotation prediction
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
近年来，领域自适应成为一个研究热点，并有着广泛的应用前景。我们的目标是使在一个领域中训练的模型适应另一个具有稀缺注释数据的领域。我们提出了一种基于自监督学习的简单而有效的方法，该方法优于或等同于大多数最先进的算法，例如对抗性领域自适应。我们的方法包括两个阶段：预测目标域上的随机旋转（自监督）以及源域的正确标签（监督），然后在目标域上使用自蒸馏。我们的简单方法在DomainNet数据集上实现了半监督领域自适应的最新结果。此外，我们观察到，流行的领域自适应基准的未标记的目标数据集不包含任何类别，除了测试类别。我们认为这引入了在许多实际应用中不存在的偏差。我们表明，从未标记的数据中去除这种偏差会导致最先进方法的性能大幅下降，而我们的简单方法相对稳健。
2019-12-26 cs.CV
simpleposter: A simple baseline for product poster generation
Alibaba Group（阿里巴巴集团）
本文提出SimplePoster，一种基于修复的简单框架，实现产品外观忠实保留和精确文本布局控制，实验显示其在主体保留率和文本准确性上优于现有方法。
2026-08-13 cs.CV
Revisiting Simple Baselines for In-The-Wild Deepfake Detection
Georgia Institute of Technology（佐治亚理工学院）
针对现有开源深度伪造检测器在真实场景基准上性能落后商用模型的问题，通过优化Ojha等人提出的简单基线方法的超参数，在Deepfake-Eval-2024基准上取得81%的准确率，接近商用检测器水平并分析了实际部署的权衡。
2025-09-04 cs.CV
A Better Variant of Self-Critical Sequence Training
TTI-Chicago（芝加哥丰田技术研究院）
在这项工作中，我们提出了一个简单但更好的自我批判序列训练的变体。对REINFORCE算法中基线函数的选择做了简单的修改。与贪心解码基线相比，新基线可以在没有额外成本的情况下带来更好的性能。
2020-05-10 cs.CL cs.CV
KuiSCIMA v2.0: Improved Baselines, Calibration, and Cross-Notation Generalization for Historical Chinese Music Notations in Jiang Kui's Baishidaoren Gequ
Graz University of Technology（格拉茨技术大学）；Know Center Research GmbH（Know Center 研究有限公司）
本文面向《白石道人歌曲》的稀缺不平衡历史记谱数据，改进字符识别基线、温度校准与跨版本评估，显著降低CER并扩展KuiSCIMA数据集。
2025-07-24 cs.CV cs.DL cs.SD
