RegCLR: A Self-Supervised Framework for Tabular Representation Learning in the Wild
Johns Hopkins University（约翰斯·霍普金斯大学）；AKASA, Inc（AKASA公司）
自监督学习（SSL）的最新进展使用大型模型从自然图像学习视觉表示，正在迅速缩小完全监督学习产生的结果与SSL在下游视觉任务上产生的结果之间的差距。受这一进步的启发，并主要受到表格和结构化文档图像应用程序的出现的激励，我们研究了哪些自我监督的预训练目标，架构和微调策略是最有效的。为了解决这些问题，我们引入了Regulatory，这是一个新的自监督框架，它结合了对比和正则化方法，并与标准的视觉Transformer架构兼容。然后，通过将掩码自编码器集成为对比方法的代表性示例，并将增强的Barlow Twins集成为正则化方法的代表性示例，在两个分支中都具有可配置的输入图像增强，来实例化Regulator。几个真实世界的表格识别场景（例如，从文档图像中提取表格），从标准的Word和Latex文档到更具挑战性的电子健康记录（EHR）计算机屏幕图像，已经显示出极大地受益于从这个新框架中学习的表示，其中检测平均精度（AP）相对提高了4.8%，对于列，11.8%，和11.1%的GUI对象在以前的完全监督基线上的真实世界的EHR屏幕图像。
2022-11-02 cs.CV cs.LG
SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning
Samsung SDS（三星数据系统）
本文介绍了SelfMatch，一种结合对比自监督学习和一致性正则化的半监督学习方法。SelfMatch包括两个阶段：（1）基于对比学习的自监督预训练和（2）基于增强一致性正则化的半监督微调。我们通过经验证明，SelfMatch在标准基准数据集（如CIFAR-10和SVHN）上实现了最先进的结果。例如，对于包含40个标记示例的CIFAR-10，SelfMatch实现了93.19%的准确率，优于MixMatch（52.46%），UDA（70.95%），ReMixMatch（80.9%）和FixMatch（86.19%）等强大的先前方法。我们注意到，SelfMatch可以缩小监督学习（95.87%）和半监督学习（93.19%）之间的差距，因为每个类只使用几个标签。
2021-01-16 cs.CV cs.LG
S4L: Self-Supervised Semi-Supervised Learning
Google Research（谷歌研究院）
这项工作解决了图像分类器的半监督学习问题。我们的主要观点是，半监督学习领域可以受益于快速发展的自监督视觉表示学习领域。结合这两种方法，我们提出了自监督半监督学习的框架，并使用它来获得两个新的半监督图像分类方法。我们证明了这些方法的有效性相比，精心调整的基线，和现有的半监督学习方法。然后，我们证明了我们的方法和现有的半监督方法可以联合训练，在半监督ILSVRC-2012上产生了一个新的最先进的结果，标签数为10%。
2019-07-23 cs.CV cs.LG
CompRess: Self-Supervised Learning by Compressing Representations
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
自监督学习的目的是学习未标记数据的良好表示。最近的研究表明，较大的模型比较小的模型从自监督学习中受益更多。因此，对于较大的模型，监督学习和自监督学习之间的差距已经大大缩小。在这项工作中，我们没有为自监督学习设计新的伪任务，而是开发了一种模型压缩方法，将已经学习的深度自监督模型（教师）压缩为较小的模型（学生）。我们对学生模型进行训练，使其模仿教师嵌入空间中数据点之间的相对相似性。对于AlexNet，我们的方法优于所有以前的方法，包括ImageNet线性评估（59.0%与56.5%相比）和最近邻评估（50.7%与41.4%相比）的完全监督模型。据我们所知，这是自监督AlexNet首次在ImageNet分类上优于监督AlexNet。我们的代码可以在这里找到：https://github.com/UMBCvision/CompRess
2020-10-28 cs.CV cs.LG
Self-Supervised GANs with Label Augmentation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
最近，基于变换的自监督学习已被应用于生成对抗网络（GANs），以通过引入静态学习环境来减轻网络中的灾难性遗忘。然而，在现有的自监督GANs中，单独的自监督任务会导致与生成建模不一致的目标，因为它们的自监督分类器对生成器分布是不可知的。为了解决这个问题，我们提出了一种新的自监督GAN，它通过自监督数据转换来增强GAN标签（真实或虚假），从而将GAN任务与自监督任务相结合。具体地说，原始的分类器和自监督分类器被统一成一个标签增强的分类器，该分类器预测增强的标签在每次变换下都知道生成器分布和数据分布，然后提供它们之间的差异以优化生成器。从理论上证明了最优生成器能够收敛到真实的数据分布。从经验上讲，我们表明，所提出的方法在基准数据集上的生成建模和表示学习方面都显着优于以前的自监督和数据增强GANs。
2022-01-15 cs.CV cs.LG
Leveraging Hidden Structure in Self-Supervised Learning
KU Leuven（鲁汶大学）
这项工作考虑了使用自监督学习从原始图像中学习结构化表示的问题。我们提出了一个原则性框架的基础上的互信息的目标，它集成了自监督和结构学习。此外，我们设计了一个事后的程序来解释的意义的学习表示。在CIFAR-10上的初步实验表明，与传统的自监督学习相比，该框架在下游分类任务中实现了更高的泛化性能，并提供了更多可解释的表示。
2021-06-30 cs.CV cs.LG
Self-Supervised Image Representation Learning: Transcending Masking with Paired Image Overlay
Columbia University（哥伦比亚大学）
自监督学习因其不需要数据标注就能学习有意义的表示而成为近年来的热门方法。本文提出了一种新的图像增强技术，叠加图像，这还没有被广泛应用于自监督学习。此方法旨在为模型提供更好的指导，以理解底层信息，从而产生更有用的表示。所提出的方法使用对比学习进行评估，对比学习是一种广泛使用的自监督学习方法，在下游任务中表现出良好的性能。实验结果表明，所提出的增强技术在提高自监督模型的性能方面是有效的。
2023-01-23 cs.CV cs.LG
Self-Adaptive Training: Bridging Supervised and Self-Supervised Learning
The University of Tokyo（东京大学）；Peking University（北京大学）；University of Waterloo（滑铁卢大学）
我们提出了自适应训练-一种统一的训练算法，通过模型预测动态校准和增强训练过程，而不会产生额外的计算成本-以推进深度神经网络的监督学习和自监督学习。我们在训练数据上分析深度网络的训练动态，这些数据被以下因素破坏，例如，随机噪声和对抗性示例。我们的分析表明，模型预测能够放大数据中有用的底层信息，即使在没有任何标签信息的情况下，这种现象也会广泛发生，这突出表明模型预测可以大大有利于训练过程：自适应训练提高了噪声下深度网络的泛化能力，并增强了自监督表示学习。该分析还有助于理解深度学习，例如，对最近发现的经验风险最小化中的双下降现象和最先进的自监督学习算法的崩溃问题的潜在解释。在CIFAR，STL和ImageNet数据集上的实验验证了我们的方法在三个应用中的有效性：标签噪声分类，选择性分类和线性评估。为了方便今后的研究，该守则已在https://github.com/LayneH/self-adaptive-training上公布。
2022-10-14 cs.CV cs.LG
Self-Supervised Models are Continual Learners
University of Trento（特伦托大学）；Inria（法国国家信息与自动化研究所）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
当在大规模的未标记数据上进行离线训练时，自监督模型已经被证明可以产生与监督模型相当或更好的视觉表示。然而，在持续学习（CL）场景中，它们的功效会灾难性地降低，其中数据按顺序呈现给模型。在本文中，我们表明，自我监督的损失函数可以无缝地转换成CL蒸馏机制，通过添加一个预测网络，映射到他们过去的状态的表示的当前状态。这使我们能够设计一个持续自监督视觉表示学习的框架，（i）显着提高学习表示的质量，（ii）与几个最先进的自监督目标兼容，（iii）几乎不需要超参数调整。我们通过在各种CL设置中训练六个流行的自监督模型来证明我们的方法的有效性。
2022-04-01 cs.CV cs.LG
A survey on Self Supervised learning approaches for improving Multimodal representation learning
Columbia University（哥伦比亚大学）
最近，自监督学习在各种机器学习任务中出现了爆炸性增长和使用，因为它能够避免注释大规模数据集的成本。本文综述了多模态学习的最佳自监督学习方法。所提出的方法已经聚集了广泛的研究文献，并以不同的方式解决了自监督学习的应用。讨论的方法是跨模态生成，跨模态预训练，循环翻译和以自监督方式生成单峰标签。
2022-10-20 cs.AI cs.CV cs.LG
Towards a Multi-modal, Multi-task Learning based Pre-training Framework for Document Representation Learning
University of Alberta（阿尔伯塔大学）；IBM Research（IBM研究院）
文献中的最新方法已经利用文档中的多模态信息（文本、布局、图像）来服务于特定的下游文档任务。然而，它们受到以下限制：（i）无法学习跨文本、布局和文档图像维度的跨模态表示，以及（ii）无法处理多页文档。预训练技术已经在自然语言处理（NLP）领域中展示，以从大型未标记数据集学习通用文本表示，适用于各种下游NLP任务。在本文中，我们提出了一个基于多任务学习的框架，该框架利用自监督和监督预训练任务的组合来学习适用于各种下游文档任务的通用文档表示。具体来说，我们引入了文档主题建模和文档洗牌预测作为新的预训练任务，以学习丰富的图像表示以及文档的文本和布局表示。我们利用Longformer网络架构作为骨干，以端到端的方式对来自多页文档的多模态信息进行编码。我们展示了我们的预训练框架在各种不同的现实世界的文档任务，如文档分类，文档信息抽取和文档检索的适用性。我们在不同的标准文档数据集上评估我们的框架，并进行详尽的实验，以比较我们的框架和最先进的基线的各种消融的性能。
2022-01-05 cs.AI cs.CL cs.LG
On the surprising similarities between supervised and self-supervised models
University of Tübingen（图宾根大学）；IMPRS-IS（国际马克斯·普朗克研究所以及系统生物学研究所(IMPRS-IS) (注：IMPRS-IS通常指Max Planck Institute for Intelligent Systems, 即马克斯·普朗克智能系统研究所，但根据常见中文译法及上下文，此处保留缩写更准确)）
人类如何学习获得强大、灵活和健壮的对象表示？虽然这个过程的大部分仍然未知，但很明显，人类不需要数百万个对象标签。令人兴奋的是，自监督学习的最新算法进步现在使卷积神经网络（CNN）能够在没有监督标签的情况下学习有用的视觉对象表示。鉴于最近的这一突破，我们在这里将自监督网络与监督模型和人类行为进行比较。我们在15个概括数据集上测试了模型，这些数据集有大规模的人类行为数据（130 K高度受控的心理物理试验）。令人惊讶的是，目前的自监督CNN具有监督CNN的四个关键特征：（1）相对较差的噪声鲁棒性（Simplified的显著例外），（2.）非人类类别级错误模式，（3.）非人类图像级错误模式（与监督模型错误的高度相似性）和（4.）对质地的偏爱总的来说，这些结果表明，通过今天的监督和自我监督训练目标学习的策略最终惊人地相似，但与人类行为相去甚远。话虽如此，我们显然只是处于所谓的机器视觉自监督革命的开始，我们希望未来的自监督模型与监督模型的行为不同，并且-也许-更类似于强大的人类对象识别。
2020-10-16 cs.AI cs.CV cs.LG
Self-Supervised Speaker Verification with Simple Siamese Network and Self-Supervised Regularization
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Amazon AWS AI（亚马逊云科技人工智能）
在没有说话者标签的情况下训练说话者区分和鲁棒的说话者验证系统仍然具有挑战性，值得探索。在这项研究中，我们提出了一个有效的自监督学习框架和一个新的正则化策略，以促进自监督说话人表征学习。与基于对比学习的自监督学习方法不同，所提出的自监督正则化（SSReg）只关注正数据对的潜在表示之间的相似性。我们还探讨了其他在线数据增强策略在时域和频域上的有效性。通过我们强大的在线数据增强策略，所提出的SSReg在不使用负对的情况下显示了自监督学习的潜力，并且可以显着提高具有简单Siamese网络架构的自监督说话人表示学习的性能。在VoxCeleb数据集上的综合实验表明，通过添加有效的自监督正则化，我们提出的自监督方法获得了23.4%的相对改进，并且优于其他以前的工作。
2022-02-01 cs.LG cs.SD eess.AS
Adversarial Contrastive Self-Supervised Learning
Kuaishou Technology（快手科技）
近年来，从大量未标记数据中学习，特别是自监督学习，逐渐兴起并受到广泛关注。自监督学习，然后对一些标记的示例进行监督微调，可以显着提高标记效率，并优于使用完全注释数据的标准监督训练。在这项工作中，我们提出了一种新的自我监督的深度学习范式的基础上在线硬负对挖掘。具体来说，我们设计了一个学生-教师网络来生成自监督学习数据的多视图，并将硬负对挖掘集成到训练中。然后，我们推导出一个新的三重样损失考虑积极的样本对和挖掘的硬负样本对。在ILSVRC-2012上的大量实验证明了该方法及其组件的有效性。
2022-02-26 cs.AI cs.CV cs.LG
Understanding Self-supervised Contrastive Learning through Supervised Objectives
KAIST（韩国科学技术院）
本研究通过将自监督表示学习表述为监督学习目标的近似，推导出与InfoNCE相关的损失函数，引入原型表示偏差和平衡对比损失概念，从理论角度解释并改进了自监督对比学习算法。
2025-10-12 cs.LG
A Brief Summary of Interactions Between Meta-Learning and Self-Supervised Learning
本文简要回顾了元学习和自监督学习之间的联系。元学习可用于提高模型泛化能力和构造通用的人工智能算法。自监督学习利用原始数据的自监督，通过无监督的预训练或对比损失目标的优化来提取更高级别的可概括特征。在自监督学习中，数据增强技术被广泛应用，并且不需要数据标签，因为可以从类似任务的训练模型中估计伪标签。元学习旨在调整训练的深度模型以解决各种任务并开发通用AI算法。我们回顾了元学习与生成和对比自监督学习模型的关联。来自多个源的未标记数据可以联合考虑，即使数据源非常不同。我们表明，整合元学习和自监督学习模型可以最好地提高模型的泛化能力。由元学习者引导的自监督学习和在自监督下的一般元学习算法都是可能的组合的示例。
2021-11-16 cs.AI cs.LG
Homomorphic Self-Supervised Learning
Apple（苹果公司）
在这项工作中，我们观察到，许多现有的自监督学习算法可以统一和推广时，通过等变表示的镜头。具体来说，我们介绍了一个一般的框架，我们称之为同态自监督学习，并从理论上展示了它如何可能substrate的使用输入增强提供了一个增强同态特征提取器。我们验证了这个理论的实验简单的增强，演示了框架失败时，代表性结构被删除，并进一步实证探索如何这个框架的参数与传统的基于增强的自监督学习。最后，我们讨论了这种新的视角对自监督学习的潜在好处。
2022-11-15 cs.AI cs.LG
Self-supervised Contrastive Cross-Modality Representation Learning for Spoken Question Answering
Yale University（耶鲁大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
口语问答（SQA）需要对口语文档和问题进行细粒度的理解，以获得最佳答案预测。在本文中，我们提出了新的训练计划，口语问答与自我监督的训练阶段和对比表示学习阶段。在自监督阶段，我们提出了三个辅助的自监督任务，包括话语恢复，话语插入，和问题的歧视，并共同训练模型，以捕捉语音文档之间的一致性和连贯性，而无需任何额外的数据或注释。然后，我们建议通过采用多种增强策略，包括跨度删除和跨度替换，在对比目标中学习噪声不变的话语表示。此外，我们设计了一个时间对齐注意，语义对齐的语音文本线索在学习的共同空间和效益的SQA任务。通过这种方式，训练方案可以更有效地指导生成模型预测更合适的答案。实验结果表明，我们的模型在三个SQA基准测试中取得了最先进的结果。
2021-09-08 cs.AI cs.CL cs.LG
Intrinsically Motivated Self-supervised Learning in Reinforcement Learning
Peking University（北京大学）；Tsinghua University（清华大学）
在基于视觉的强化学习（RL）任务中，为了获得更多的语义表示并提高样本效率，通常采用代理自监督损失来分配辅助任务。然而，由于表示学习部分和决策部分被分离，自监督辅助任务中的丰富信息被忽视。为了充分利用辅助任务中的信息，我们提出了一个简单而有效的想法，采用自我监督损失作为内在奖励，称为强化学习中的内在激励自监督学习（IM-SSR）。我们正式表明，自我监督的损失可以分解为探索新的状态和鲁棒性的提高，从滋扰消除。IM-SSR可以毫不费力地插入任何具有自监督辅助目标的强化学习，几乎没有额外的成本。结合IM-SSR，以前的底层算法在DeepMind控制套件的各种基于视觉的机器人任务中，特别是在奖励信号稀疏时，在样本效率和泛化方面都取得了显着的改进。
2022-05-13 cs.AI cs.LG
Self-supervised Dialogue Learning for Spoken Conversational Question Answering
Peking University（北京大学）；Yale University（耶鲁大学）；Peng Cheng Laboratory（鹏城实验室）
在口语会话式问答（SCQA）中，通过检索然后分析固定的口语文档（包括多部分会话）来生成对应问题的答案。大多数SCQA系统只考虑从有序的话语中检索信息。然而，对话的顺序对于建立一个健壮的口语问答系统是非常重要的，而话语顺序的改变会严重地导致低质量和不连贯的语料库。为此，我们引入了一种自监督学习方法，包括不连贯辨别、插入检测和问题预测，以显式捕获口语文档之间的共指消解和对话连贯性。具体来说，我们设计了一个联合学习框架，其中辅助自监督任务可以使预训练的SCQA系统实现更连贯和更有意义的口语对话学习。我们还利用所提出的自监督学习任务来捕获句内连贯性。实验结果表明，我们提出的方法提供了更连贯的，有意义的，适当的反应，产生优越的性能增益相比，原来的预训练语言模型。我们的方法在Spoken-CoQA数据集上实现了最先进的结果。
2021-06-24 cs.AI cs.CL cs.LG
EraseNet: A Recurrent Residual Network for Supervised Document Cleaning
International Institute of Information Technology (I2IT)（印度信息技术国际学院（I2IT））；NxTechWorks；Symbiosis International (Deemed University)（共生国际（被认定大学））
本文提出EraseNet，一种基于全卷积自编码器的有监督文档清洁方法，能有效去除老化、折痕、黑斑等噪声并提升OCR性能。
2023-07-04 cs.CV cs.LG eess.IV
Lacuna Reconstruction: Self-supervised Pre-training for Low-Resource Historical Document Transcription
University of California, San Diego（加州大学圣迭戈分校）；University of Maryland（马里兰大学）
我们提出了一种自我监督的预训练方法，用于学习手写和打印历史文档转录的丰富视觉语言表示。经过监督微调，我们的预训练编码器表示低资源的文件转录两种语言，（1）一组异构的手写体Islamicate手稿图像和（2）早期现代英语印刷文档，我们显示了一个有意义的提高识别准确性从零开始训练的相同的监督模型，只有30行图像transmittance训练。我们的掩蔽语言模型风格的预训练策略，其中模型被训练为能够从同一行内采样的干扰项中识别出真正的掩蔽视觉表示，鼓励学习鲁棒的上下文语言表示，这些语言表示不受抄写风格和跨文档的打印噪声的影响。
2021-12-16 cs.CL cs.CV cs.LG
A Simplified Un-Supervised Learning Based Approach for Ink Mismatch Detection in Handwritten Hyper-Spectral Document Images
Institute of Space Technology（空间技术研究所）
超光谱成像已成为光学成像系统领域的最新发展趋势。在各种其他应用中，超光谱成像已被广泛用于分析印刷和手写文档。本文提出了一种有效的技术，用于估计的数量不同，但明显相似的墨水存在于超光谱文档图像。我们的方法是基于非监督学习，不需要任何先验知识的数据集。该算法在iVision HHID数据集上进行了测试，并取得了与文献中的算法状态相当的结果。这项工作可以证明是有效的，在早期阶段的高光谱文档图像的伪造检测。
2022-06-11 cs.CV cs.LG
DiT: Self-supervised Pre-training for Document Image Transformer
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Azure AI（微软Azure人工智能部门）
Image Transformer最近在自然图像理解方面取得了重大进展，无论是使用监督（ViT，DeiT等）或自我监督（BEiT，MAE等）预训练技术。在本文中，我们提出了\textbf{DiT}，这是一种自监督的预训练\textbf{D}或\textbf{I}图像\textbf{T} transformer模型，使用大规模未标记的文本图像进行文档AI任务，这是必不可少的，因为由于缺乏人类标记的文档图像，因此不存在监督的对应物。我们利用DiT作为各种基于视觉的文档AI任务的骨干网络，包括文档图像分类、文档布局分析、表格检测以及OCR的文本检测。实验结果表明，自监督预训练DiT模型在这些下游任务上实现了新的最先进的结果，例如文档图像分类（91.11 $\rightarrow$ 92.69）、文档布局分析（91.0 $\rightarrow$ 94.9）、表格检测（94.23 $\rightarrow$ 96.55）和OCR文本检测（93.07 $\rightarrow$ 94.29）。代码和预训练模型可在\url{https://aka.ms/msdit}上公开获得。
2022-07-19 cs.CV
DocMAE: Document Image Rectification via Self-supervised Representation Learning
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research（讯飞研究院）
针对扭曲文档图像表示学习不足的问题，提出自监督框架 DocMAE，通过掩码并重建排除背景的文档图像块来学习边界与文本行结构，提升下游文档图像校正性能。
2023-04-20 cs.CV
SelfDocSeg: A Self-Supervised vision-based Approach towards Document Segmentation
Indian Statistical Institute（印度统计研究所）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）
针对文档分割标注数据稀缺问题，提出完全基于视觉的自监督方法SelfDocSeg，通过生成伪布局预训练图像编码器，性能达现有有监督方法水平并设定新基准。
2023-08-21 cs.AI cs.CV cs.LG
SelfDoc: Self-Supervised Document Representation Learning
Brandeis University（布兰迪斯大学）；Adobe Research（Adobe研究院）
我们提出了SelfDoc，一个与任务无关的文档图像理解预训练框架。因为文档是多模态的，并且是用于顺序阅读的，所以我们的框架利用了文档中每个语义有意义的组件的位置、文本和视觉信息，并且它对每个内容块之间的上下文化进行建模。与现有的文档预训练模型不同，我们的模型是粗粒度的，而不是将单个单词作为输入，因此避免了过度的细粒度和过度的上下文化。除此之外，我们在模型预训练阶段引入了跨模态学习，以充分利用来自未标记文档的多模态信息。对于下游的使用，我们提出了一种新的模态自适应注意力机制的多模态特征融合，自适应强调语言和视觉信号。我们的框架受益于对文档的自我监督预训练，而不需要通过特征掩蔽训练策略进行注释。它在多个下游任务上实现了卓越的性能，与以前的作品相比，在预训练阶段使用的文档图像明显减少。
2021-06-07 cs.CL cs.CV
Self-supervised Data Bootstrapping for Deep Optical Character Recognition of Identity Documents
Friedrich Schiller University Jena（耶拿弗里德里希·席勒大学）
在机场和国家边界核查个人身份的基本任务非常耗时。为了加速它，由于身份证件（ID）中的文本内容的高度可变性，使用字典对ID进行光学字符识别是不合适的，例如，街道名称或姓氏。此外，ID中使用的字体的属性也是未知的。因此，我们提出了一个迭代的自我监督的自举方法，使用智能策略挖掘真正的字符数据的身份证。与合成生成的字符数据相结合，使用真实数据来训练用于字符分类的有效卷积神经网络，其服务于实际运行时间以及高精度。在具有74个字符类的数据集上，我们实现了99.4%的平均类准确率。相比之下，如果我们应用仅使用合成数据训练的分类器，则准确率降低到58.1%。最后，我们表明，我们提出的整个管道优于一个既定的开源框架
2019-08-12 cs.CV cs.LG
Text-DIAE: A Self-Supervised Degradation Invariant Autoencoders for Text Recognition and Document Enhancement
Computer Vision Center（计算机视觉中心）；Digital Research Center of Sfax（斯法克斯数字研究中心）
在本文中，我们提出了一个文本退化不变自动编码器（Text-DIAE），一个自监督模型，旨在解决两个任务，文本识别（手写或场景文本）和文档图像增强。我们首先采用基于transformer的架构，该架构将三个借口任务作为学习目标，在预训练期间进行优化，而不使用标记数据。每个借口目标都是为最终的下游任务专门定制的。我们进行了几个消融实验，确认所选的借口任务的设计选择。重要的是，所提出的模型没有表现出以前的国家的最先进的方法的基础上的对比损失的限制，而在同一时间需要大大减少数据样本收敛。最后，我们证明了我们的方法超越了现有的监督和自监督设置在手写和场景文本识别和文档图像增强的最先进的。我们的代码和训练模型将在~ \url{ http://Upon_Acceptance}上公开发布。
2022-08-18 cs.CV
Self-supervised Deep Reconstruction of Mixed Strip-shredded Text Documents
Instituto Federal do Espírito Santo (IFES)（埃斯皮里图桑托联邦学院）；Universidade Federal do Espírito Santo (UFES)（埃斯皮里图桑托联邦大学）；École de Technologie Supérieure (ÉTS)（高等技术学院）；Université du Québec（魁北克大学）
破碎文档的重建包括连贯地排列纸张碎片（碎片）以恢复原始文档。计算重建中的一个巨大挑战是正确评估碎片之间的兼容性。虽然传统的基于像素的方法对真正的切碎不鲁棒，但更复杂的解决方案会显著损害时间性能。本工作中提出的解决方案将我们之前用于单页重建的深度学习方法扩展到更现实/复杂的场景：一次重建几个混合切碎的文档。在我们的方法中，兼容性评估建模为两个类（有效或无效）的模式识别问题。该模型以自监督的方式对从模拟切碎的文档中提取的样本进行训练，从而避免了手动注释。在三个数据集上的实验结果--包括为这项工作产生的100个带状粉碎文档的新集合--表明，所提出的方法在复杂场景中的性能优于竞争对手，准确率超过90%。
2020-07-01 cs.CV
End-to-End Semi-Supervised approach with Modulated Object Queries for Table Detection in Documents
Technical University of Kaiserslautern（凯泽斯劳滕工业大学）；Mindgarage；German Research Institute for Artificial Intelligence (DFKI)（德国人工智能研究中心）
针对现有半监督文档表格检测方法训练效率低、伪标签有噪声的问题，提出结合一对一与一对多分配的新型匹配策略的Transformer半监督检测器，在多个基准上以30%标注数据取得SOTA结果。
2024-05-11 cs.CV
Unified Pretraining Framework for Document Understanding
Adobe Research（奥多比研究院）；Adobe Document Cloud（奥多比文档云）
文档智能可自动从文档中提取信息，并支持许多业务应用程序。最近的自监督学习方法在大规模的未标记的文档数据集开辟了有前途的方向，减少注释工作的训练模型与自我监督的目标。然而，大多数现有的文档预训练方法仍然是语言主导的。我们提出了UDoc，一个新的统一的文档理解的预训练框架。UDoc旨在支持大多数文档理解任务，扩展了Transformer以将多模态嵌入作为输入。每个输入元素由来自输入文档图像的语义区域的单词和视觉特征组成。UDoc的一个重要特征是它通过使用三个自我监督损失来学习通用表示，鼓励表示建模句子，学习相似性和对齐模态。大量的实证分析表明，预训练过程学习更好的联合表示，并导致下游任务的改进。
2022-04-28 cs.CL cs.CV
Weakly Supervised Training for Hologram Verification in Identity Documents
IDnow AI & ML Center of Excellence（IDnow AI与ML卓越中心）；EPITA Research Lab. (LRE)（EPITA研究实验室（LRE））
本文提出一种基于弱监督训练的身份证明文件全息图远程验证方法，通过优化特征提取与决策流程，在MIDV-HOLO数据集上取得领先性能并有效应对照片替换攻击，为利用无标签数据构建稳健的远程验证系统开辟了新途径。
2024-04-26 cs.CV
DeepErase: Weakly Supervised Ink Artifact Removal in Document Text Images
Ernst & Young LLP（安永会计师事务所）
像保险、法律和政府这样的纸张密集型行业长期以来一直利用光学字符识别（OCR）将大量扫描文档自动转录为文本字符串，以供下游处理。即使在2019年，仍有许多扫描的文档和邮件以非数字格式进入企业。要从真实世界文档中提取的文本通常位于丰富的格式中，例如表格结构或带有填空框或下划线的表单，其墨水经常接触甚至穿透文本本身的墨水。此外，文本区域可能具有随机墨水污迹或虚假笔划。这样的墨水伪像会严重干扰识别算法或其他下游处理任务的性能。在这项工作中，我们提出了Deepcraft，一个基于神经的预处理器，从文本图像中删除墨水伪影。我们设计了一种方法，以编程方式组装成逼真的“脏”文本图像的真实文本图像和真正的文物，并用它们来训练文物分割网络在弱监督的方式，因为像素级的注释自动获得在组装过程中。除了高分割精度，我们表明，我们的清洗图像实现了显着提高识别精度的流行OCR软件，如Tesseract 4.0。最后，我们在扫描的国税局纳税申报表的分发外数据集（NIST SDB）上测试了DeepMind，并在准确性上实现了两位数的提高。所有的实验都是在印刷和手写文本上进行的。所有实验的代码可在https://github.com/yikeqicn/DeepErase上获得
2020-01-16 cs.CV cs.LG cs.NE
Weakly supervised information extraction from inscrutable handwritten document images
Google Research（谷歌研究院）
针对手写处方信息抽取受OCR错误、数据稀缺及标注成本高的问题，提出仅用弱标签定位药品行+合成数据训练的领域语言模型的弱监督方法，药品名抽取性能超现有最优方法2.5倍。
2023-06-12 cs.CL cs.CV
A Supervised Neural Autoregressive Topic Model for Simultaneous Image Classification and Annotation
Tsinghua University（清华大学）；Université de Sherbrooke（舍布鲁克大学）
基于潜在狄利克雷分配（LDA）的主题建模已经成为执行场景识别和注释的首选框架。最近，一种新型的主题模型被称为文档神经自回归分布估计（DocNADE），并证明了最先进的性能文档建模。在这项工作中，我们将展示如何成功地应用和扩展此模型的视觉场景建模的上下文中。具体来说，我们提出SupDocNADE，DocNADE的监督扩展，通过将标签信息纳入模型的训练目标来提高隐藏主题特征的区分能力。我们还描述了如何利用信息的视觉字的空间位置，以及如何嵌入额外的图像注释，以便同时执行图像分类和注释。我们在Scene15，LabelMe和UIUC体育数据集上测试了我们的模型，并表明它与其他主题模型（如LDA的监督变体）相比毫不逊色。
2013-05-23 cs.CV cs.LG stat.ML
Learning Supervised Topic Models for Classification and Regression from Crowds
Technical University of Denmark (DTU)（丹麦技术大学（DTU））；University of Coimbra（科英布拉大学）；Massachusetts Institute of Technology (MIT)（麻省理工学院（MIT））
分析大量文档的需求日益增长，这导致了主题建模的巨大发展。由于文档经常与其他相关变量（如标签或评级）相关联，因此监督主题模型受到了广泛关注。然而，大多数注释任务的性质，容易产生歧义和噪音，通常具有大量的文档，认为在单一注释器假设下的学习对于大多数现实世界的应用程序是不现实或不切实际的。在这篇文章中，我们提出了两个有监督的主题模型，一个用于分类，另一个用于回归问题，这说明了在实践中从人群中学习时遇到的不同注释者之间的异质性和偏见。我们开发了一个有效的随机变分推断算法，能够扩展到非常大的数据集，我们经验证明了国家的最先进的方法所提出的模型的优势。
2018-08-17 cs.CL cs.CV cs.HC
ST-KeyS: Self-Supervised Transformer for Keyword Spotting in Historical Handwritten Documents
Digital Research Center of Sfax（斯法克斯数字研究中心）；Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Blekinge Institute of Technology（布莱金厄理工学院）
历史文献中的关键词识别是数字化馆藏初步探索的重要工具。如今，最有效的KWS方法依赖于需要大量带注释的训练数据的机器学习技术。然而，在历史手稿的情况下，缺乏带注释的语料库进行训练。为了处理数据稀缺问题，我们研究了自监督学习的优点，以提取输入数据的有用表示，而不依赖于人类注释，然后在下游任务中使用这些表示。我们提出了ST-KeyS，一种基于视觉Transformer的掩蔽自动编码器模型，其中预训练阶段基于掩蔽和预测范式，而不需要标记数据。在微调阶段，预先训练的编码器被集成到一个连体神经网络模型中，该模型被微调以改善来自输入图像的特征嵌入。我们进一步改进的图像表示使用金字塔直方图字符（PHOC）嵌入创建和利用基于文本属性的图像的中间表示。在对三个广泛使用的基准数据集（Botany，Alvermann Konzilsprotokolle和George Washington）进行的详尽实验评估中，所提出的方法优于在相同数据集上训练的最先进的方法。
2023-03-06 cs.CV
Analyzing the Sample Complexity of Self-Supervised Image Reconstruction Methods
Technical University of Munich（慕尼黑工业大学）
本文从样本复杂度角度分析了一类能计算监督损失梯度无偏估计的自监督图像重建方法，证明其性能可与监督训练相当但需更多样本，并通过去噪和加速MRI实验验证了性能差距随样本增加以问题相关速率消失的理论预测。
2023-10-27 cs.CV eess.IV
Self-supervised regression learning using domain knowledge: Applications to improving self-supervised denoising in imaging
Sungkyunkwan University（成均馆大学）；Ulsan National Institute of Science and Technology（蔚山科学技术院）；Shanghai Jiao Tong University（上海交通大学）；Seoul National University（首尔国立大学）
预测连续量的回归是使用计算成像和计算机视觉技术的应用的核心部分。然而，研究和理解回归任务的自监督学习-除了特定的回归任务，图像去噪-已经落后了。本文提出了一种通用的自监督回归学习（SSRL）框架，该框架通过使用封装特定应用领域知识的可设计伪预测器，仅使用输入数据（但没有地面实况目标数据）来学习回归神经网络。本文强调了使用领域知识的重要性，表明在不同的设置下，更好的伪预测器可以导致SSRL的属性更接近普通的监督学习。低剂量计算断层成像去噪和摄像机图像去噪的数值实验表明，与现有的几种自监督去噪方法相比，该方法显著提高了去噪质量.
2022-05-10 cs.CV eess.IV
Improving out-of-distribution generalization via multi-task self-supervised pretraining
INRS-EMT, Université du Québec（魁北克大学国立科学研究院-能源、材料与电信）；Salesforce Research（赛富时研究院）
自监督特征表示已被证明对于监督分类、少样本学习和对抗鲁棒性是有用的。我们表明，使用自监督学习获得的功能是可比的，或优于，监督学习计算机视觉的领域泛化。我们引入了一个新的自我监督的借口任务预测响应的Gabor滤波器组，并证明了多任务学习兼容的借口任务提高领域泛化性能相比，单独训练的任务。当训练和测试分布之间存在较大的域偏移时，与其监督对应物相比，通过自监督学习的特征可以更好地泛化到不可见的域，甚至对感兴趣的对象显示出更好的定位能力。自监督特征表示还可以与其他领域泛化方法相结合，以进一步提高性能。
2020-03-30 cs.CV cs.LG
Using Multiple Self-Supervised Tasks Improves Model Robustness
Columbia University（哥伦比亚大学）
深度网络在计算机视觉任务上实现了最先进的性能，但它们在人类无法感知的对抗攻击下失败了。在本文中，我们提出了一种新的防御，可以动态地适应输入使用多个自监督任务的内在结构。通过同时使用许多自监督任务，我们的防御避免了将自适应图像过度拟合到一个特定的自监督任务，并与单个自监督任务方法相比，恢复了图像中更多的内在结构。与最先进的单任务自我监督防御相比，我们的方法进一步提高了鲁棒性和清洁准确性。我们的工作是第一个将多个自我监督任务与鲁棒性联系起来的工作，并表明我们可以从视觉数据中获得更多的内在信号来实现更好的鲁棒性。
2022-04-07 cs.CV cs.LG
Self-supervised Adversarial Training
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）
最近的研究表明，神经网络容易受到对抗性样本的影响。为了摆脱这一困境，许多研究者试图通过各种方法对模型进行强化，其中对抗性训练是一种有效的方法，它可以学习鲁棒的特征表示，从而抵抗对抗攻击。同时，自监督学习的目标是从数据本身学习鲁棒的和语义的嵌入。基于这些观点，本文引入了自监督学习来对抗对抗性样本。具体地说，自监督表示与k-最近邻相结合，提出了分类。为了进一步增强防御能力，提出了自监督对抗训练方法，该方法最大化了原始样本和对应对抗样本的表示之间的互信息。实验结果表明，自监督表示在鲁棒性方面优于监督表示，自监督对抗训练能进一步有效提高防御能力。
2020-02-01 cs.CV cs.LG
DAVE: A VLM Vision Encoder for Document Understanding and Web Agents
MIT-IBM Watson AI Lab（MIT-IBM Watson AI实验室）；UC Berkeley（加州大学伯克利分校）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
DAVE是一种专为文档理解和网络代理设计的视觉编码器，通过自监督和监督预训练结合模型融合策略，提升对文档和网络任务的适应性与性能。
2025-12-31 cs.CV
Noise2Same: Optimizing A Self-Supervised Bound for Image Denoising
Texas A&M University（得克萨斯农工大学）
仅使用单个噪声图像学习去噪模型的自监督框架在各种图像去噪任务中表现出强大的能力和有前途的性能。现有的自监督去噪框架大多建立在相同的理论基础上，其中去噪模型需要是J不变的。然而，我们的分析表明，目前的理论和J-不变性可能导致降噪模型的性能降低。在这项工作中，我们介绍了Noise 2Same，一种新的自监督去噪框架。在Noise 2Same中，通过推导典型监督损失的自监督上界，提出了一种新的自监督损失。特别是，Noise 2Same既不需要J不变性，也不需要有关噪声模型的额外信息，可以用于更广泛的去噪应用中。我们从理论和实验上分析了我们提出的Noise 2 Same。实验结果表明，我们的Noise 2Same在去噪性能和训练效率方面明显优于以前的自监督去噪方法。我们的代码可在https://github.com/divelab/Noise2Same上获得。
2020-10-22 cs.CV cs.LG
MAST: A Memory-Augmented Self-supervised Tracker
Visual Geometry Group, Department of Engineering Science（工程科学系视觉几何组）；University of Oxford（牛津大学）
最近对自监督密集跟踪的兴趣已经取得了快速进展，但性能仍然远远低于监督方法。我们提出了一个在没有任何注释的视频上训练的密集跟踪模型，它在现有基准上超过了以前的自监督方法（+15%），并实现了与监督方法相当的性能。在本文中，我们首先通过进行彻底的实验来重新评估用于自我监督训练和重建损失的传统选择，最终阐明最佳选择。其次，我们进一步改善现有的方法，通过增加我们的架构与一个关键的内存组件。第三，我们对大规模半监督视频对象分割（又名。密集跟踪），并提出了一个新的度量：泛化。我们的前两个贡献产生了一个自监督网络，这是第一次在密集跟踪的标准评估指标上与监督方法竞争。在衡量泛化能力时，我们发现自监督方法实际上优于大多数监督方法。我们相信这种新的可推广性度量可以更好地捕捉密集跟踪的真实用例，并将激发人们对这一研究方向的新兴趣。
2020-02-26 cs.CV cs.LG
DUET: Detection Utilizing Enhancement for Text in Scanned or Captured Documents
Samsung SDS（三星SDS）
我们提出了一种用于文档图像中文本检测的新型深度神经模型。为了在有噪声的扫描文档中进行鲁棒的文本检测，通过添加文本增强的辅助任务来利用多任务学习的优点。也就是说，我们提出的模型被设计为执行噪声降低和文本区域增强以及文本检测。此外，我们还利用经过完全标记的合成文档图像丰富了该模型的训练数据，从而克服了标记文档图像数据的不足。为了有效利用合成数据和真实数据，训练过程分为两个阶段。第一阶段是以完全监督的方式仅训练合成数据。然后在第二阶段添加仅具有检测标签的真实数据。实际数据的增强任务是弱监督的，其信息来自其检测标签。我们的方法在一个真实的文档数据集上进行了验证，其性能超过了其他文本检测方法。此外，消融进行，结果证实了有效的合成数据，辅助任务，和弱监督。鉴于现有的文本检测研究主要集中在场景中的文本，我们提出的方法是优化的应用程序的文本扫描文档。
2021-06-10 cs.AI cs.CV cs.LG
Self-Supervised Leaf Segmentation under Complex Lighting Conditions
Deakin University（迪肯大学）；Lancaster University（兰卡斯特大学）；The University of Warwick（华威大学）；South China University of Technology（华南理工大学）；Medigrowth Australia Pty Ltd（澳大利亚Medigrowth私人有限公司）
叶片分割作为基于图像的植物表型分析中的一个重要前提，近年来得到了越来越多的关注。虽然自监督学习正在成为各种计算机视觉任务的有效替代方案，但其对基于图像的植物表型的适应仍然相当未被探索。在这项工作中，我们提出了一个自监督的叶子分割框架，包括一个自监督的语义分割模型，基于颜色的叶子分割算法，和一个自监督的颜色校正模型。自监督语义分割模型通过迭代地参考自包含信息来对语义相似的像素进行分组，从而允许相同语义对象的像素被基于颜色的叶分割算法联合考虑以用于识别叶区域。此外，我们建议使用一个自我监督的颜色校正模型，在复杂的照明条件下拍摄的图像。不同植物物种的数据集上的实验结果表明，所提出的自监督框架在实现有效的和可推广的叶分割的潜力。
2022-03-29 cs.CV eess.IV
SCOB: Universal Text Understanding via Character-wise Supervised Contrastive Learning with Online Text Rendering for Bridging Domain Gap
NAVER Cloud AI（NAVER云人工智能）；Seoul National University（首尔国立大学）
本文提出SCOB预训练方法，通过字符级监督对比学习与在线文本渲染弥合文档与场景文本领域差距，实现通用文本理解并支持弱监督以降低标注成本，在基准测试中普遍提升性能。
2023-09-21 cs.AI cs.CV
Extracting Scientific Figures with Distantly Supervised Neural Networks
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
非文本组件，如图表，图表和表格提供了许多科学文献中的关键信息，但缺乏大型标记数据集阻碍了数据驱动的科学图形提取方法的发展。在本文中，我们在大量的科学文献中为图形提取任务引入了高质量的训练标签，没有人为干预。为了实现这一目标，我们利用两个大型科学文献（arXiv和PubMed）网络集合中提供的辅助数据来定位光栅化PDF中的图形及其相关标题。我们分享了超过550万个诱导标签的数据集--比之前最大的图形提取数据集大4,000倍--平均精度为96.8%，从而能够为这项任务开发现代数据驱动的方法。我们使用这个数据集来训练一个深度神经网络，用于端到端的图形检测，产生一个模型，与以前的工作相比，它可以更容易地扩展到新的领域。该模型已成功部署在大型学术搜索引擎Semantic Scholar中，并用于提取1300万份科学文献中的数字。
2018-05-30 cs.CV cs.DL
DocFace: Matching ID Document Photos to Selfies
Michigan State University（密歇根州立大学）
我们日常生活中的许多活动，包括交易、获得服务和交通，都要求我们通过出示包含人脸图像的身份证件（如护照和驾驶执照）来验证自己的身份。一个自动系统，以高精度实时匹配身份证文件照片和实时人脸图像，将加快验证过程，并消除人类操作员的负担。在本文中，通过采用迁移学习技术，我们提出了一种新的方法，DocFace，训练一个特定领域的网络身份证件照片匹配没有一个大的数据集。与现有的一般人脸识别方法相比，该方法取得了很大的改进。对ID-Selfie数据集的交叉验证显示，DocFace在FAR= 0.1%时将TAR从61.14%提高到92.77%。实验结果还表明，给定更多的训练数据，可以开发和部署用于自动ID文档照片匹配的可行系统。
2018-05-06 cs.CV
Multi-Page Document Visual Question Answering using Self-Attention Scoring Mechanism
Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
本文提出基于自注意力评分机制的多页文档视觉问答方法，利用Pix2Struct编码器检索相关页面，无需OCR即可在近800页文档上保持最先进性能，并显著降低GPU资源需求。
2024-04-29 cs.CV
Self-Supervised Learning for Semi-Supervised Temporal Action Proposal
Huazhong University of Science and Technology（华中科技大学）
自监督学习在利用未标记数据进行各种视频任务方面表现出了显著的性能。在本文中，我们专注于应用自我监督方法的力量，以提高半监督行动建议生成。特别地，我们设计了一个有效的自监督半监督时态动作建议（SSTAP）框架。SSTAP包含两个关键分支，即，时间感知半监督分支和关系感知自监督分支。半监督分支通过引入两个时间扰动来改进提议模型，即，时间特征转移和时间特征翻转，在平均教师框架。自监督分支定义了两个托词任务，包括掩蔽特征重构和裁剪顺序预测，以学习时间线索之间的关系。通过这种方式，SSTAP可以更好地探索未标记的视频，并提高学习的动作特征的区分能力。我们在THUMOS 14和ActivityNet v1.3数据集上广泛评估了所提出的SSTAP。实验结果表明，SSTAP显着优于最先进的半监督方法，甚至匹配全监督方法。代码可在https://github.com/wangxiang1230/SSTAP上获得。
2021-04-07 cs.CV
Accelerating Self-Supervised Learning via Efficient Training Strategies
University of Edinburgh（爱丁堡大学）
最近，计算机视觉社区的焦点已经从昂贵的监督学习转向视觉表示的自监督学习。虽然监督和自我监督之间的性能差距一直在缩小，但训练自我监督深度网络的时间仍然比监督深度网络大一个数量级，这阻碍了进步，增加了碳成本，并限制了拥有大量资源的机构的社会效益。出于这些问题的动机，本文研究了通过各种尚未用于此问题的模型无关策略来减少最近自监督方法的训练时间。特别是，我们研究了三种策略：一个可扩展的循环学习率调度，一个匹配的渐进增强幅度和图像分辨率的时间表，和一个硬积极的挖掘策略的基础上增强难度。我们发现，所有这三种方法相结合导致了2.7倍的速度在几个自监督的方法的训练时间，同时保持可比性能的标准自监督学习设置。
2022-12-11 cs.CV
