Resolving Event Coreference with Supervised Representation Learning and Clustering-Oriented Regularization
McGill University（麦吉尔大学）；School of Computer Science（计算机科学学院）
我们提出了一种方法，通过开发一个通用的框架，使用监督表示学习聚类事件共指决议。我们提出了一个神经网络架构与新的面向排序的正则化（CORE）条款的目标函数。这些术语鼓励模型创建适合聚类的事件提及的嵌入。然后，我们使用凝聚聚类这些嵌入事件共指链。对于ECB+语料库上的文档内和跨文档共指，我们的模型比需要更多预注释信息的模型获得了更好的结果。这项工作提供了一个新的通用方法来解决共指和聚类问题的表示学习的洞察力和激励的结果。
2018-05-28 cs.CL
DReS: Dual Reconstruction Smoothing for Functional Regularization
University of Minnesota（明尼苏达大学）；Technical University Berlin（柏林技术大学）
DReS通过基于样条的辅助分支引入平滑性，无需额外参数，适用于无监督、自监督和监督学习，提升表示学习和生成质量。
2026-05-08 cs.LG
Hyperspherical Consistency Regularization
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
对比学习的最新进展已经启发了各种半监督领域的各种应用。利用共享的特征编码器联合训练监督学习和无监督学习成为一种常见的方案。虽然该方案同时利用了自监督学习的特征依赖信息和监督学习的标签依赖信息，但仍存在分类器偏差的问题。在这项工作中，我们系统地探索了自监督学习和监督学习之间的关系，并研究了自监督学习如何帮助强大的数据高效深度学习。我们提出了超球面一致性正则化（HCR），一个简单而有效的即插即用的方法，使用特征相关的信息来正则化分类器，从而避免标签的偏见。具体来说，HCR首先将来自分类器的logit和来自投影头的特征投影投影到相应的超球上，然后通过最小化成对距离的相似性度量的二进制交叉熵来强制超球上的数据点具有相似的结构。半监督和弱监督学习的实验证明了我们的方法的有效性，通过显示优越的性能与HCR。
2022-06-02 cs.AI cs.CV cs.LG
Supervised low-rank semi-nonnegative matrix factorization with frequency regularization for forecasting spatio-temporal data
POSTECH（浦项科技大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本研究提出带频域软/硬正则化的监督半非负矩阵分解方法用于时空数据预测，可提升时间模式清晰度与频域可解释性，在GRACE数据上效果与现有研究相当且解释性更强。
2024-06-19 cs.LG stat.ML
VICReg: Variance-Invariance-Covariance Regularization for Self-Supervised Learning
Facebook AI Research（脸书人工智能研究院）；Inria, École normale supérieure, CNRS, PSL Research University（法国国家信息与自动化研究所、巴黎高等师范学院、法国国家科学研究中心、巴黎文理研究大学）；Courant Institute, New York University（纽约大学库朗数学科学研究所）；Center for Data Science, New York University（纽约大学数据科学中心）
最近的图像表示学习的自监督方法是基于最大化来自同一图像的不同视图的嵌入向量之间的一致性。当编码器输出恒定矢量时，得到平凡解。这种崩溃问题通常通过学习架构中的隐含偏见来避免，这些偏见通常缺乏明确的理由或解释。在本文中，我们引入了VICReg（方差-不变性-协方差正则化），这是一种通过对每个维度的嵌入方差单独使用简单的正则化项来显式避免崩溃问题的方法。VICReg将方差项与基于冗余减少和协方差正则化的去相关机制相结合，并在几个下游任务上实现了与最先进技术相当的结果。此外，我们还表明，将我们的新方差项纳入其他方法有助于稳定训练并提高性能。
2022-01-28 cs.AI cs.CV cs.LG
CoMatch: Semi-supervised Learning with Contrastive Graph Regularization
Salesforce Research（Salesforce研究院）
半监督学习是利用未标记数据减少对标记数据依赖的有效范例。我们提出了CoMatch，一种新的半监督学习方法，它统一了主流方法并解决了它们的局限性。CoMatch联合学习训练数据的两种表示，它们的类概率和低维嵌入。这两种表征相互作用，共同进化。嵌入对类概率施加平滑约束以改进伪标签，而伪标签通过基于图的对比学习来正则化嵌入的结构。CoMatch在多个数据集上实现了最先进的性能。它在标签稀缺的CIFAR-10和STL-10上实现了实质性的精度改进。在标签数为1%的ImageNet上，CoMatch达到了66.0%的top-1准确率，比FixMatch高出12.6%。此外，CoMatch在下游任务上实现了更好的表示学习性能，优于监督学习和自监督学习。代码和预训练模型可在www.example.com上获得。
2021-03-03 cs.CV cs.LG
Group-disentangled Representation Learning with Weakly-Supervised Regularization
Autodesk AI Lab（欧特克人工智能实验室）；Imperial College London（伦敦帝国理工学院）
学习可解释和人类可控的表示，揭示数据中的变化因素，仍然是表示学习中的一个持续的关键挑战。我们研究学习组的因素与弱监督的解纠缠表示。解决这一挑战的现有技术仅仅通过对共享组的观察进行平均来约束近似后验。因此，具有共同变化集的观察被编码为不同的潜在表示，降低了它们分解和推广到下游任务的能力。与以前的工作相比，我们提出了GroupVAE，一个简单而有效的Kullback-Leibler（KL）分歧为基础的正则化共享的潜在表示，以执行一致和解开表示。我们进行了彻底的评估，并证明我们的GroupVAE显着提高了群体解纠缠。此外，我们证明了学习组解缠表示改进了下游任务，包括公平分类和3D形状相关任务，如重建，分类和迁移学习，并且与监督方法相比具有竞争力。
2021-10-23 cs.CV cs.LG
WERank: Towards Rank Degradation Prevention for Self-Supervised Learning Using Weight Regularization
University of Waterloo（滑铁卢大学）；University of Toronto（多伦多大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对自监督学习中的维度坍塌问题，提出权重正则化器WERank，通过约束网络不同层权重防止秩退化，在图SSL等任务中有效提升BYOL的表征秩与下游准确率。
2024-02-14 cs.LG
Self-supervised debiasing using low rank regularization
KAIST（韩国科学技术院）
针对有限标注下的深度神经网络去偏难题，该研究基于虚假相关属性会降低表征有效秩的发现，提出带低秩正则化的自监督去偏框架，通过有偏编码器挖掘偏差冲突样本实现去偏，性能优于多数监督去偏方法。
2023-10-09 cs.AI cs.LG stat.ML
Variance Covariance Regularization Enforces Pairwise Independence in Self-Supervised Representations
Meta；Courant Institute, New York University（纽约大学柯朗数学科学研究所）；Center for Data Science, New York University（纽约大学数据科学中心）
本研究揭示了自监督学习中的方差-协方差正则化（VCReg）结合 MLP 投影器能强制学习表示的特征两两独立，并证实该特性有利于域外泛化及解决独立成分分析，为 SSL 中的 MLP 投影器提供了首个理论解释。
2024-02-14 cs.LG
T-REGS: Minimum Spanning Tree Regularization for Self-Supervised Learning
Inria Saclay（Inria萨克雷实验室）；LIX, CNRS, École Polytechnique, IP Paris（LIX，CNRS，巴黎高等理工学院，IP巴黎）
T-REGS通过最小生成树长度正则化，有效缓解自监督学习中的维度崩溃和分布不均匀问题。
2026-02-06 cs.CG cs.CV cs.LG
Unbiased Open World Regularization for Fair Self-Supervised Learning
研究自监督学习模型易产生虚假偏差问题，提出无偏开放世界正则化框架UOWReg，从全局目标转向条件目标保证表示与属性统计独立，经实验验证能减轻偏差、保持精度，还在新任务中防止子群体崩溃。
2026-11-05 cs.LG
MultiMatch: Multihead Consistency Regularization Matching for Semi-Supervised Text Classification
National University of Science and Technology POLITEHNICA Bucharest（波兰技术大学科学与技术国立大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；NVIDIA（NVIDIA公司）；Renius Technologies（Renius技术公司）
提出半监督文本分类算法 MultiMatch，通过统一多头一致性、自适应阈值与平均伪边际构建伪标签加权模块，在多个基准数据集上达到SOTA并显著提升高度不平衡场景下的鲁棒性。
2025-11-01 cs.AI cs.CL cs.LG
Preventing Dimensional Collapse in Self-Supervised Learning via Orthogonality Regularization
The Hong Kong Polytechnic University（香港理工大学）
针对自监督学习中维度坍塌问题，该研究首次提出在编码器的卷积层和线性层施加正交正则化的方法，可同时防止权重矩阵、隐藏特征和表征的维度坍塌，在CNN和Transformer架构的多种基准上均提升了性能。
2024-11-01 cs.AI cs.LG
Colour augmentation for improved semi-supervised semantic segmentation
University of East Anglia（东英吉利大学）
一致性正则化描述了一类已经产生了最先进的半监督分类结果的方法。虽然半监督语义分割被证明是更具挑战性的，但最近已经提出了许多成功的方法。最近的工作探讨了使用一致性正则化分割问题所涉及的挑战。Chen等人在他们的自监督工作中发现，颜色增强阻止了分类网络使用图像颜色统计作为通过实例判别进行自监督学习的捷径。从中汲取灵感，我们发现类似的问题阻碍了半监督语义分割，并提供颜色增强作为解决方案，提高了半监督语义分割在具有挑战性的摄影图像上的性能。
2021-10-09 cs.CV cs.LG
Comparing effectiveness of regularization methods on text classification: Simple and complex model in data shortage situation
Chung-Ang University（中央大学）
本文针对少量带标签文本场景，比较词嵌入简单模型与CNN、BiLSTM复杂模型在对抗训练及Pi模型、虚拟对抗训练等半监督正则化下的表现。
2024-02-27 cs.CL
Self-supervised Deep Unrolled Reconstruction Using Regularization by Denoising
State University of New York at Buffalo（纽约州立大学布法罗分校）；Cleveland Clinic（克利夫兰诊所）；Paul C. Lauterbur Research Center for Biomedical Imaging, SIAT, CAS（中国科学院深圳先进技术研究院保罗·C·劳特伯生物医学成像研究中心）
针对MRI重建需大量标注数据的问题，提出结合自监督去噪网络与即插即用方法的DURED-Net，借助RED实现去噪网络的应用，在更少训练数据下达到优于现有Noise2Noise类方法的重建效果。
2023-10-05 cs.CV cs.LG eess.IV
Guillotine Regularization: Why removing layers is needed to improve generalization in Self-Supervised Learning
Meta AI Research（Meta人工智能研究院）；Mila, Université de Montréal（蒙特利尔大学米拉研究所）；Université Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
该研究针对自监督学习中移除投影层反而提升下游泛化性能的现象，将其命名为Guillotine Regularization，揭示了其生效的根本原因，分析了最优层的影响因素，并给出了减少投影层需求的思路。
2023-06-09 cs.LG
Regularizing with Pseudo-Negatives for Continual Self-Supervised Learning
New York University（纽约大学）；Genentech（基因泰克）；Seoul National University（首尔大学）
本文提出伪负样本正则化框架PNR，利用当前与先前模型生成的伪负样本约束持续自监督学习，兼顾可塑性与稳定性，在CSSL表示学习中取得最先进性能。
2024-06-07 cs.LG
SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning
Samsung SDS（三星数据系统）
本文介绍了SelfMatch，一种结合对比自监督学习和一致性正则化的半监督学习方法。SelfMatch包括两个阶段：（1）基于对比学习的自监督预训练和（2）基于增强一致性正则化的半监督微调。我们通过经验证明，SelfMatch在标准基准数据集（如CIFAR-10和SVHN）上实现了最先进的结果。例如，对于包含40个标记示例的CIFAR-10，SelfMatch实现了93.19%的准确率，优于MixMatch（52.46%），UDA（70.95%），ReMixMatch（80.9%）和FixMatch（86.19%）等强大的先前方法。我们注意到，SelfMatch可以缩小监督学习（95.87%）和半监督学习（93.19%）之间的差距，因为每个类只使用几个标签。
2021-01-16 cs.CV cs.LG
Extending Momentum Contrast with Cross Similarity Consistency Regularization
Huawei Technologies Canada Co. Ltd.（华为技术加拿大有限公司）
对比自监督表示学习方法最大化正对之间的相似性，同时倾向于最小化负对之间的相似性。然而，一般来说，否定对之间的相互作用被忽视，因为它们没有建立特殊的机制，根据它们的具体差异和相似性来区别对待否定对。在本文中，我们提出了扩展动量对比（XMoCo），一个自我监督的表示学习方法的基础上提出的动量编码器单元的遗产的MoCo家庭配置。为此，我们引入了一个交叉一致性正则化损失，我们将变换一致性扩展到不同的图像（负对）。在交叉一致性正则化规则下，我们认为与任何一对图像（正面或负面）相关的语义表示应该在借口变换下保持其交叉相似性。此外，我们通过在一批负对上强制相似性的均匀分布来进一步正则化训练损失。所提出的正则化可以很容易地添加到现有的自监督学习算法的即插即用的方式。从经验上讲，我们报告了标准Imagenet-1 K线性头部分类基准的竞争力表现。此外，通过将学习到的表示转移到常见的下游任务，我们表明，使用XMoCo与precurrently利用增强可以导致这些任务的性能的改善。我们希望本文的研究结果能够激励研究者考虑自监督学习中负面例子之间的重要相互作用。
2022-06-07 cs.AI cs.CV cs.LG
Variance-Covariance Regularization Improves Representation Learning
New York University（纽约大学）；UC Davis（加州大学戴维斯分校）；Meta AI；FAIR（人工智能研究院）
本文提出VCReg，将VICReg的自监督正则化适配到监督学习，通过鼓励高方差、低协方差表示来提升图像和视频迁移学习性能，并揭示其与梯度饥饿和神经坍缩的关联。
2024-02-22 cs.AI cs.CV cs.LG
Pose-Aware Self-Supervised Learning with Viewpoint Trajectory Regularization
UC Berkeley（加州大学伯克利分校）；UC Davis（加州大学戴维斯分校）；University of Michigan（密歇根大学）
本文提出基于视角轨迹正则化的自监督学习方法，利用无标注图像三元组学习兼顾物体身份与姿态的视觉特征，在保持语义分类精度的同时实现全局姿态感知并提升对新物体的泛化能力。
2024-08-07 cs.CV cs.LG
Supervised Contrastive Learning with Heterogeneous Similarity for Distribution Shifts
Toyota Central R&D Labs., Inc.（丰田中央研发实验室股份有限公司）
提出基于异构相似度的监督对比学习正则化方法，通过在对比损失中引入可变参数构建边际效应，有效缓解过拟合并提升模型在分布偏移下的泛化能力。
2023-04-07 cs.LG stat.ML
$λ$-JEPA Spectral Anti-Collapse Regularization for Self-Supervised Learning
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）
提出SACReg谱抗坍缩正则化器，基于λ-平衡分析，应用于JEPA得到λ-JEPA，在图像和视频自监督学习中提升表征秩和下游迁移性能。
2026-09-30 cs.CV cs.LG
Spectral regularization for adversarially-robust representation learning
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·保尔森工程与应用科学学院）；Center for Brain Science, Harvard University（哈佛大学脑科学中心）；Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University（哈佛大学肯普ner自然与人工智能研究所）
针对神经网络对抗脆弱性，提出面向表示学习的谱正则化方法，提升下游分类任务的黑盒对抗鲁棒性，实验证明其优于全层正则化。
2024-05-27 cs.CV cs.LG
Fast Rates for Semi-Supervised Learning via Data-Augmentation Graph Regularization
McGill University（麦吉尔大学）；Mila, Quebec AI Institute（魁北克人工智能研究所米拉开创）
研究自监督学习标记样本效率缺乏理论解释的问题，通过将留一法稳定性工具用于数据增强图，证明快速转导速率\(O(1/n_L)\)，明确增强质量，解释准确率与标签数量曲线，且使用简化损失恢复理想特征。
2026-07-16 cs.LG math.ST stat.ML
Self-supervised Meta-Prompt Learning with Meta-Gradient Regularization for Few-shot Generalization
Zhejiang University（浙江大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Worcester Polytechnic Institute（伍斯特理工学院）
本文提出自监督元提示学习框架SUPMER，通过自监督元学习学习通用提示初始化并联合元学习梯度正则化函数，缓解少样本场景下软提示初始化依赖和过拟合问题，提升下游任务的泛化能力。
2023-10-23 cs.CL cs.LG
Semi-supervised Neural Machine Translation with Consistency Regularization for Low-Resource Languages
University of Science, VNUHCM（胡志明市国家大学科学学院）；Auburn University（奥本大学）
本文提出一种半监督NMT方法，结合交叉熵与KL散度并引入SentenceBERT过滤器增强数据质量，显著提升低资源语言翻译性能。
2023-04-02 cs.CL cs.LG
Preventing posterior collapse in variational autoencoders for text generation via decoder regularization
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）
训练以最小化重构误差的变分自编码器对后验崩溃问题敏感，即建议后验分布总是等于先验分布。我们提出了一种新的正则化方法的基础上的兄弟辍学，以防止后崩溃。我们使用几个指标来评估我们的方法，并观察所有测试配置的改进。
2021-10-28 cs.CL cs.LG
Cross-lingual Pseudo-Projected Expectation Regularization for Weakly Supervised Learning
Stanford University（斯坦福大学）
我们考虑了一个多语言弱监督学习的情况下，知识从注释语料库中的资源丰富的语言是通过双文本传输，以指导学习其他语言。过去的方法将标签投射到bitext中，并将它们作为特征或黄金标签进行训练。我们提出了一种新的方法，项目模型的期望，而不是标签，这设施模型的不确定性跨语言边界的转移。我们将期望编码为约束，并使用广义期望标准（Mann和McCallum，2010）训练一个判别式CRF模型。在标准的汉英和德英NER数据集上进行评估，当不使用标记数据时，我们的方法表现出64%和60%的F1分数。使用有监督的CRF获得相同的准确性需要12 k和1.5k个标记句子。此外，当与标记的例子相结合时，我们的方法比最先进的监督方法有了显着的改进，在中国OntoNotes和德国CoNLL-03数据集上获得了迄今为止最好的报告数字。
2013-10-06 cs.AI cs.CL
Replicating Complex Dialogue Policy of Humans via Offline Imitation Learning with Supervised Regularization
Zhejiang Lab（之江实验室）；Zhejiang University（浙江大学）
针对任务型对话中模仿人类策略的难题，提出一种无需用户模拟器、利用状态转移信息并引入正则化技巧的离线模仿学习模型，在四个公开数据集的动作预测任务上取得更优性能。
2023-05-06 cs.AI cs.CL
