A Self-supervised Method for Entity Alignment
实体对齐是构建大规模知识图的基本问题，其目的是在不同的知识图谱中识别等价实体。在其发展过程中，监督一直被认为是必要的，以准确的路线。受自监督学习最新进展的启发，我们探讨了实体对齐可以在多大程度上摆脱监督。用于此任务的现有监督方法集中于将每对正（标记）实体彼此靠近。然而，我们的分析表明，实体对齐的学习实际上可以从将采样（未标记）的负推得更远而不是将正对齐对拉得更近中受益。我们提出SelfKG利用这一发现，设计一个跨两个KG的对比学习策略。在基准数据集上进行的大量实验表明，没有监督的SelfKG可以与最先进的监督基线匹配或实现可比的结果。SelfKG的性能表明，自监督学习为KG中的实体对齐提供了巨大的潜力。
2021-08-25 cs.CL cs.IR cs.LG
Semi-Supervised Learning by Label Gradient Alignment
OpenAI；University of Waterloo（滑铁卢大学）
我们提出了标签梯度对齐，半监督学习的一种新的算法，该算法为未标记的数据输入标签，并在输入的标签上进行训练。我们通过将点（x，y）映射到模型在（x，y）处的梯度，在输入空间上定义一个语义上有意义的距离度量。然后，我们制定了一个优化问题，其目标是最小化在这个空间中的标记和未标记的数据之间的距离，我们解决它的梯度下降的估算标签。我们使用Oliver等人（2018）引入的标准化架构评估标签梯度对齐，并在半监督CIFAR-10分类中展示了最先进的准确性。
2019-02-06 cs.LG stat.ML
SelfKG: Self-Supervised Entity Alignment in Knowledge Graphs
Tsinghua University（清华大学）；Bosch Center for AI（博世人工智能中心）
实体对齐是构建网络规模知识图的基本问题，其目的是在不同的知识图谱中识别等价实体。在其发展过程中，标签监督被认为是准确对齐所必需的。受自监督学习最新进展的启发，我们探讨了实体对齐可以在多大程度上摆脱监督。通常，标签信息（正实体对）用于监督将每个正对中的对齐实体拉得更近的过程。然而，我们的理论分析表明，实体对齐的学习实际上可以从推动未标记的负对远离彼此而不是将标记的正对拉近中受益更多。通过利用这一发现，我们开发了实体对齐的自监督学习目标。我们提出了SelfKG的有效策略，以优化这一目标，调整实体没有标签监督。在基准数据集上进行的大量实验表明，没有监督的SelfKG可以与最先进的监督基线匹配或实现可比的结果。SelfKG的性能表明，自监督学习为KG中的实体对齐提供了巨大的潜力。代码和数据可在https://github.com/THUDM/SelfKG上获得。
2022-03-02 cs.CL cs.LG
Random Forest-Supervised Manifold Alignment
Brigham Young University（杨百翰大学）
本文提出利用随机森林导出的保几何邻近度作为有监督初始化来改进半监督流形对齐，实验表明该方法能提升跨域特征融合与下游分类准确率，优于单域基线。
2024-11-18 cs.LG stat.ML
Forest-Guided Semantic Transport for Label-Supervised Manifold Alignment
Department of Mathematics and Statistics, Université de Montréal, Montreal, Canada（蒙特利尔大学数学与统计学系）；Mila - Quebec AI Institute, Montreal, Canada（魁北克人工智能研究所）；Department of Mathematics and Statistics, Utah State University, Logan, Utah, USA（犹他州立大学数学与统计学系）；Department of Statistics, Brigham Young University, Provo, Utah, USA（Brigham Young 大学统计学系）
FoSTA通过森林引导的语义传输对齐方法，提升多模态数据对齐和标签转移的性能。
2026-09-29 cs.LG
Semi-supervised learning for continuous emotional intensity controllable speech synthesis with disentangled representations
Seoul National University（首尔国立大学）；Supertone, Inc.（Supertone公司）；Soongsil University（崇实大学）
本文针对情感语音合成中连续强度难以控制的问题，提出基于半监督学习和解耦表示的方法，利用音素级伪标签构建均匀网格情感嵌入空间，实验证明其在可控性和自然度上优于现有模型。
2023-05-29 cs.LG cs.SD eess.AS
PARSE: Pairwise Alignment of Representations in Semi-Supervised EEG Learning for Emotion Recognition
Queen’s University（女王大学）；Ingenuity Labs Research Institute（英格纽蒂实验室研究院）
我们提出了PARSE，一种新的半监督架构，用于学习情绪识别的强EEG表示。为了减少大量未标记数据和有限标记数据之间的潜在分布不匹配，PARSE使用成对表示对齐。首先，我们的模型执行数据增强，然后对大量原始和增强的未标记数据进行标签猜测。然后，对猜测的标签进行锐化，并对未标记数据和标记数据进行凸组合。最后，表示对齐和情感分类。为了严格测试我们的模型，我们将PARSE与我们实现并适应EEG学习的几种最先进的半监督方法进行了比较。我们在四个公开的基于EEG的情感识别数据集上进行了这些实验，这些数据集是SEED，SEED-IV，SEED-V和AMIGOS（效价和唤醒）。实验表明，我们提出的框架在SEED、SEED-IV和AMIGOS（效价）中使用不同数量的有限标记样本实现了总体最佳结果，同时在SEED-V和AMIGOS（唤醒）中接近总体最佳结果（达到第二好）。分析表明，我们的成对表示对齐大大提高了性能，通过减少未标记和标记数据之间的分布对齐，特别是当每个类只有1个样本被标记。
2022-09-26 cs.LG
Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment
University of Tübingen（蒂宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Heidelberg（海德堡大学）
最近的进展表明，自我监督预训练的优势，以改善下游任务的表示学习。现有的工作通常通过对下游任务进行微调来利用自我监督的预训练模型。然而，当需要构建不同于自监督模型的自定义模型架构时，微调并不能推广到这种情况。在这项工作中，我们制定了一个新的知识蒸馏框架，通过一种名为嵌入图对齐的新方法将知识从自监督预训练模型转移到任何其他学生网络。具体而言，受自监督学习中实例区分的精神的启发，我们在特征嵌入空间中通过图公式化来建模实例-实例关系，并通过对齐教师图和学生图来将自监督教师知识提取到学生网络。我们的蒸馏方案可以灵活地应用于传输自监督知识，以增强各种学生网络上的表示学习。我们证明了我们的模型优于三个基准数据集，包括CIFAR 100，STL 10和TinyImageNet的多个代表性的知识蒸馏方法。代码在这里：https://github.com/yccm/EGA。
2022-11-23 cs.CV cs.LG
TIPAA-SSL: Text Independent Phone-to-Audio Alignment based on Self-Supervised Learning and Knowledge Transfer
University of Mons（蒙斯大学）
本文提出TIPAA-SSL方法，通过微调wav2vec2进行音素识别并结合降维与帧级分类器实现文本无关音素到音频对齐，在TIMIT和SCRIBE数据集上优于charsiu。
2024-05-03 cs.AI cs.CL cs.LG
Cross-Temporal Attention Fusion (CTAF) for Multimodal Physiological Signals in Self-Supervised Learning
HEC Montréal（蒙特利尔高等商学院）；Mila-Quebec Artificial Intelligence Institute（魁北克人工智能研究所Mila）
CTAF通过时间感知的交叉注意力机制，实现多模态生理信号在自监督学习中的高效融合，提升匹配对的余弦边距和跨模态检索性能，同时保持高准确率并减少标签依赖。
2026-02-02 cs.AI cs.LG
ActiNet: An Open-Source Tool for Activity Intensity Classification of Wrist-Worn Accelerometry Using Self-Supervised Deep Learning
CAPTURE-24
本文提出ActiNet，通过自监督深度学习和HMM模型对腕部加速度计数据进行活动强度分类，实验显示其在准确率和一致性上优于传统方法，适用于大规模流行病学研究。
2026-04-30 cs.LG
MAF: Multimodal Alignment Framework for Weakly-Supervised Phrase Grounding
Shanghai Jiao Tong University（上海交通大学）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；University of California, Berkeley（加州大学伯克利分校）
短语定位是研究从文本短语到图像区域的映射的任务。鉴于在大规模注释短语到对象数据集的困难，我们开发了一个多模态对齐框架（MAF），以利用更广泛可用的标题图像数据集，然后可以用作弱监督的形式。我们首先提出的算法，利用细粒度的视觉表示和视觉感知的语言表示模型短语对象的相关性。通过采用对比目标，我们的方法使用字幕图像对中的信息来提高弱监督场景下的性能。在广泛采用的Flickr30k数据集上进行的实验表明，与现有的弱监督方法相比，该方法有显着的改进。在视觉感知语言表示的帮助下，我们还可以将以前最好的无监督结果提高5.56%。我们进行消融研究，以表明我们的新模型和我们的弱监督策略都显着有助于我们的强大结果。
2020-10-12 cs.CL cs.CV cs.LG
Brep2Shape: Boundary and Shape Representation Alignment via Self-Supervised Transformers
School of Software, BNRist, Tsinghua University（清华大学软件学院）
提出Brep2Shape自监督预训练方法，利用双Transformer骨干和拓扑注意力对齐B-rep的抽象边界表示与直观形状表示，在多项下游任务中达到最优精度并加速收敛。
2026-06-17 cs.AI cs.LG
Understanding and Guiding Weakly Supervised Entity Alignment with Potential Isomorphism Propagation
Beijing University of Posts and Telecommunications（北京邮电大学）；Huawei Co. LTD（华为公司）
本文从传播视角分析弱监督实体对齐，证明潜在对齐实体具有同构子图，并提出PipEA框架通过潜在同构传播算子提升各类聚合模型的准确率。
2024-10-12 cs.IR cs.LG
Edeflip: Supervised Word Translation between English and Yoruba
本研究针对低资源语言约鲁巴语实现有监督嵌入对齐的单词翻译，发现嵌入质量与归一化可提升准确率且存在交互效应，揭示了该方法在低资源场景的局限性，为相关研究提供起点。
2025-06-16 cs.AI cs.CL cs.LG
From Alignment to Prediction: A Study of Self-Supervised Learning and Predictive Representation Learning
Department of Information and Communication Technology, School of Technology, Pandit Deendayal Energy University, Gandhinagar, Gujarat 382007, India（信息与通信技术系，技术学院，潘迪·德恩达尔能源大学，古吉拉特邦加尔各纳，382007，印度）
本文研究了自监督学习的最新发展，提出预测表示学习（PRL）新类别，分析了BYOL、MAE和I-JEPA等方法的性能与鲁棒性。
2026-04-15 cs.AI cs.LG
Supervised Hyperalignment for multi-subject fMRI data alignment
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Alberta（阿尔伯塔大学）；Purdue University Fort Wayne（普渡大学韦恩堡分校）；Manchester Metropolitan University（曼彻斯特城市大学）
超对齐已广泛应用于多变量模式（MVP）分析中，以基于多学科功能磁共振成像（fMRI）数据集发现人脑的认知状态。大多数现有的HA方法利用无监督的方法，其中它们仅最大化在时间序列中具有相同位置的体素之间的相关性。然而，这些无监督的解决方案可能不是最佳的处理监督MVP问题中的功能对齐。本文提出了一种监督超对齐（SHA）方法，以确保更好的MVP分析的功能对齐，其中所提出的方法提供了一个监督共享空间，可以最大限度地提高属于同一类别的刺激之间的相关性，并最小化不同类别的刺激之间的相关性。此外，SHA采用广义优化解决方案，该解决方案在单次迭代中生成共享空间并计算映射特征，因此对于大型数据集具有最佳的时间和空间复杂度。在多主题数据集上的实验表明，SHA方法在多类问题上的性能比现有的HA算法提高了19%。
2020-01-09 cs.LG q-bio.NC stat.ML
Textual Data Distributions: Kullback Leibler Textual Distributions Contrasts on GPT-2 Generated Texts, with Supervised, Unsupervised Learning on Vaccine & Market Topics & Sentiment
University of Charleston（查尔斯顿大学）；Apple Inc.（苹果公司）；Cerence B. V.（赛轮思公司）
有效的文本数据分布（TDD）对齐和生成是文本分析和NLP中的开放性研究问题。目前，很难简约地和方法学地确认两个或更多个自然语言数据集属于相似的分布，并且难以识别文本数据具有对齐的程度。这项研究的重点是解决上述更广泛的问题的一部分，通过应用多个监督和无监督的机器学习（ML）方法来探索TDD的行为（i）主题对齐，（ii）情感对齐。此外，我们使用多种文本生成方法，包括微调的GPT-2，按主题和情感生成文本。最后，我们开发了一个独特的过程驱动的变化的Kullback-Leibler分歧（KLD）的应用TDD，命名为KL文本分布对比（KL-TDC），以确定对齐的机器生成的文本语料库与自然发生的文本语料库。因此，这项研究确定了一种独特的方法，用于生成和验证TDD的主题和情绪，这可以用来帮助解决稀疏数据问题和其他研究，实践和课堂情况下，需要人工生成的主题或情绪对齐的文本数据。
2021-06-15 cs.CL cs.LG cs.SI
Semi-MedRef: Semi-Supervised Medical Referring Image Segmentation with Cross-Modal Alignment
The University of Sydney（悉尼大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Changzhou University（常州大学）
本文提出Semi-MedRef框架，通过三个组件维持医学图像与位置语言的一致性，实验显示其在低标签条件下优于其他方法。
2026-08-04 cs.CV cs.LG
Supervised Attention in Sequence-to-Sequence Models for Speech Recognition
Centre for Speech Technology Research, School of Informatics, University of Edinburgh（爱丁堡大学信息学院 speech 技术研究中心）
序列到序列模型中的注意机制是为了模拟语音识别中声学特征和输出标记之间的对齐。然而，由端到端训练的模型产生的注意力权重并不总是与实际对齐很好地对应，并且一些研究进一步认为注意力权重甚至可能与帧的相关性属性不对应。无论如何，注意力权重和对齐之间的视觉相似性在训练期间被广泛用作模型质量的指标。在本文中，我们将注意力权重和对齐之间的对应关系视为一个学习问题，通过施加监督注意力损失。实验已经显示出显着的改进性能，这表明在训练期间很好地学习比对关键地决定了序列到序列模型的性能。
2022-04-25 cs.CL cs.LG cs.SD
GrndCtrl: Grounding World Models via Self-Supervised Reward Alignment
GrndCtrl通过自监督奖励对齐提升世界模型的几何 grounding，实现更稳定的空间一致性与导航性能。
2026-02-07 cs.AI cs.CV cs.LG
Self-Supervised Node Representation Learning via Node-to-Neighbourhood Alignment
University of Wollongong（伍伦贡大学）
自监督节点表示学习的目的是从与监督对应物相竞争的未标记图中学习节点表示。学习信息节点表示的关键在于如何有效地从图结构中获取上下文信息。在这项工作中，我们提出了简单而有效的自我监督节点表示学习通过对齐隐藏表示的节点和他们的邻居。我们的第一个想法实现这样的节点到邻域对齐直接最大化的互信息之间的表示，我们从理论上证明，起到了图形平滑的作用。我们的框架是通过一个替代对比损失优化和拓扑感知的积极采样（TAPS）策略，提出了考虑节点之间的结构依赖性，这使得离线积极选择的样本。考虑到对比学习的内存开销过大，我们进一步提出了一个负自由的解决方案，其中的主要贡献是一个图形信号解相关（GSD）约束，以避免表示坍塌和过度平滑。GSD约束统一了一些现有的约束，并可用于派生新的实现来对抗表示坍塌。通过在简单的基于MLP的节点表示编码器上应用我们的方法，我们学习了节点表示，这些节点表示在一组从小到大的图结构数据集上实现了有希望的节点分类性能。
2023-02-10 cs.LG
Let the Void Be Void: Robust Open-Set Semi-Supervised Learning via Selective Non-Alignment
SkipAlign通过引入选择性非对齐机制，有效区分分布内和分布外样本，提升开集半监督学习中对未知分布外实例的检测能力，同时保持分布内分类精度。
2026-01-16 cs.LG
Context-Based Semantic-Aware Alignment for Semi-Supervised Multi-Label Learning
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
本文针对半监督多标签学习问题，提出基于上下文的语义感知对齐方法，利用视觉-语言模型知识提取标签特定图像特征并设计半监督上下文识别辅助任务，以生成高质量伪标签并增强特征表示。
2024-12-25 cs.CV cs.LG
Learning aligned embeddings for semi-supervised word translation using Maximum Mean Discrepancy
Interdepartmental Neuroscience Program（跨系神经科学项目）；Yale School of Medicine（耶鲁医学院）
词汇翻译是语言翻译的一个组成部分。在机器翻译中，每种语言都被认为是一个域，具有自己的词嵌入。词嵌入之间的对齐允许在多语言上下文中链接语义上等同的词。此外，它提供了一种方法来推断跨语言意义的话，没有直接翻译。用于词嵌入对齐的当前方法是有监督的，即它们需要已知的词对，或者以无监督的方式学习固定嵌入上的跨域变换。在这里，我们提出了一个端到端的词嵌入对齐方法，不需要已知的词对。我们的方法称为通过MMD（WAM）进行单词对齐，它使用嵌入之间的本地化最大平均离散度（MMD）约束来学习在句子翻译训练期间对齐的嵌入。我们表明，我们的方法不仅优于无监督的方法，但也有监督的方法，训练已知的单词翻译。
2020-06-20 cs.CL cs.LG
End-to-end weakly-supervised semantic alignment
DI ENS（巴黎高等师范学院计算机系）；Inria（法国国家信息与自动化研究所）；DeepMind（深度思维公司）；CIIRC, CTU in Prague（布拉格捷克理工大学信息学、机器人学与控制论研究所）
我们解决语义对齐的任务，其目标是计算密集的语义对应关系，对齐两个图像描绘同一类别的对象。这是一个具有挑战性的任务，由于大类内变化，视点和背景杂波的变化。我们提出以下三个主要贡献。首先，我们开发了一个用于语义对齐的卷积神经网络架构，该架构可以以匹配图像对的形式从弱图像级监督中以端到端的方式进行训练。结果是，参数是从不同但语义相关的图像中存在的丰富的外观变化中学习的，而不需要在训练时对对应关系进行繁琐的手动注释。其次，该架构的主要组件是受RANSAC内点评分过程启发的可微分软内点评分模块，其仅基于几何一致的对应关系来计算对准的质量，从而减少背景杂波的影响。第三，我们证明了所提出的方法在多个标准的语义对齐基准测试中达到了最先进的性能。
2018-04-24 cs.CV cs.LG
RDA: Reciprocal Distribution Alignment for Robust Semi-supervised Learning
Nanjing University（南京大学）；Southeast University（东南大学）；University of Wollongong（伍伦贡大学）；University of Sydney（悉尼大学）
在这项工作中，我们提出了互惠分布对齐（RDA），以解决半监督学习（SSL），这是一个超参数的自由框架，是独立的置信度阈值，并与匹配（传统）和不匹配的类分布。分布不匹配是一个经常被忽视但更常见的SSL场景，其中标记和未标记的数据不属于相同的类分布。这可能导致模型不能可靠地利用标记数据，并大大降低SSL方法的性能，这无法通过传统的分布对齐来挽救。在RDA中，我们对来自两个分类器的预测分布进行了相互对齐，这两个分类器预测了未标记数据上的伪标签和互补标签。这两个分布携带互补信息，可以用来正则化彼此，而不需要任何先验的类分布。此外，我们从理论上表明，RDA最大化的输入输出互信息。我们的方法实现了有前途的性能在SSL下的各种情况下的不匹配的分布，以及传统的匹配SSL设置。我们的代码可在https://github.com/NJUyued/RDA4RobustSSL上获得。
2022-08-12 cs.CV cs.LG
Topology-Aware Representation Alignment for Semi-Supervised Vision-Language Learning
KAIST（韩国科学技术院）；POSTECH
本文提出ToMA框架，通过持久同调识别拓扑显著边，利用跨模态对应关系对齐多模态表示，提升视觉-语言学习在遥感和时尚检索中的性能。
2026-10-15 cs.CV cs.LG math.AT
DSV: An Alignment Validation Loss for Self-supervised Outlier Model Selection
Carnegie Mellon University（卡内基梅隆大学）
针对自监督异常检测中增强超参数缺乏系统调优方法的问题，提出无监督验证损失DSV，通过代理损失衡量增强与异常机制的对齐，并在理论分析和21个真实任务上验证其优于基线。
2023-07-13 cs.LG
IA2: Alignment with ICL Activations Improves Supervised Fine-Tuning
Department of Computer Science, Johns Hopkins University（约翰霍普金斯大学计算机科学系）
本文提出IA2方法，通过利用ICL的激活模式提升监督微调的准确性和校准性，在12个基准和两个模型家族中验证了其有效性。
2026-03-18 cs.AI cs.CL cs.LG
ReMixMatch: Semi-Supervised Learning with Distribution Alignment and Augmentation Anchoring
Google Research（谷歌研究院）；Google Cloud AI（谷歌云人工智能）
我们改进了最近提出的“MixMatch”半监督学习算法，通过引入两个新的技术：分布对齐和增强锚定。分布对齐鼓励未标记数据上的预测的边缘分布接近地面实况标签的边缘分布。增强锚定将输入的多个强增强版本馈送到模型中，并鼓励每个输出接近同一输入的弱增强版本的预测。为了产生强大的增强，我们提出了AutoAugment的一个变体，它在训练模型的同时学习增强策略。我们的新算法，称为ReMixMatch，比以前的工作更有效地利用数据，在$5\times$和$16\times$之间需要更少的数据才能达到相同的精度。例如，在CIFAR-10上，有250个标记的示例，我们达到了$93.73\%$的准确度（与MixMatch的$93.58\%$和$4{,}000$示例的准确度相比）和$84.92\%$的中位准确度，每个类只有四个标签。我们在https://github.com/google-research/remixmatch上开源代码和数据。
2020-02-13 cs.CV cs.LG stat.ML
Flexible Distribution Alignment: Towards Long-tailed Semi-supervised Learning with Proper Calibration
Linköping University（林雪平大学）
针对长尾半监督学习中分布偏斜、校准差等问题，提出含自适应损失与蒸馏一致性损失的FlexDA框架及ADELLO方法，提升了校准效果与多个基准上的性能。
2024-07-15 cs.CV cs.LG
Surprisingly Simple Semi-Supervised Domain Adaptation with Pretraining and Consistency
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
大多数现代无监督领域自适应（UDA）方法都植根于领域对齐，即，学习对齐源和目标特征以使用源标签来学习目标域分类器。在半监督领域自适应（SSDA）中，当学习器可以访问很少的目标领域标签时，现有方法遵循UDA理论使用领域对齐进行学习。我们表明，SSDA的情况是不同的，一个好的目标分类器可以学习，而不需要对齐。我们使用自监督预训练（通过旋转预测）和一致性正则化来实现良好分离的目标聚类，帮助学习低错误目标分类器。通过我们的预训练和一致性（PAC）方法，我们在这个半监督领域自适应任务上实现了最先进的目标准确性，超越了多个数据集上的多个对抗性领域对齐方法。PAC虽然使用简单的技术，但在大型且具有挑战性的SSDA基准测试（如DomainNet和Visda-17）上表现非常出色，经常以相当大的幅度超过最新的技术水平。我们的实验代码可以在https://github.com/venkatesh-saligrama/PAC上找到
2021-11-26 cs.CV cs.LG
Concurrent Discrimination and Alignment for Self-Supervised Feature Learning
University of Exeter（埃克塞特大学）；University of Tübingen（蒂宾根大学）
现有的自监督学习方法通过托词任务来学习表征，所述托词任务或者是（1）明确指定哪些特征应该被分离的区分任务，或者是（2）精确指示哪些特征应该被闭合在一起的对齐任务，但是忽略了如何联合地并且原则性地定义哪些特征应该被排斥以及哪些特征应该被吸引的事实。在这项工作中，我们结合了积极的方面的歧视和对齐的方法，并设计了一个混合的方法，解决了上述问题。我们的方法明确规定了排斥和吸引机制分别通过判别预测任务和并发最大化共享冗余信息的成对视图之间的互信息。我们定性和定量地表明，我们提出的模型学习更好的功能，更有效的各种下游任务，从分类到语义分割。我们在九个已建立的基准测试上的实验表明，该模型始终优于现有的最先进的自监督和迁移学习协议的结果。
2021-08-19 cs.CV cs.LG
UNA: A Unified Supervised Framework for Efficient LLM Alignment Across Feedback Types
Salesforce；RadixArk；ChatAlpha AI；University of North Texas（北得克萨斯大学）
UNA框架通过通用隐式奖励函数统一处理二元、成对和评分反馈，理论证明其最优性，实验验证其在经典基准上的优势。
2026-05-07 cs.CL cs.LG
Pseudo-Label Calibration Semi-supervised Multi-Modal Entity Alignment
Renmin University of China（中国人民大学）
针对半监督多模态实体对齐中的模态噪声与标签利用不足问题，提出 PCMEA，通过多模态特征编码、互信息最大化去噪及伪标签校准动量对比学习，在两个数据集上达到 SOTA。
2024-03-02 cs.CL cs.DB cs.LG
TimePoint: Accelerated Time Series Alignment via Self-Supervised Keypoint and Descriptor Learning
School of Brain sciences and Cognition, BGU（本-古里安大学脑科学与认知学院）
提出自监督方法 TimePoint，通过 1D 微分同胚生成合成数据并利用全卷积和小波卷积架构学习关键点与描述符，将 DTW 应用于稀疏表示以实现更快更准确的时间序列对齐。
2025-05-29 cs.CV cs.LG
Self-Supervised Visual Preference Alignment
Nanjing University（南京大学）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；StepFun Intelligent Technology（阶跃星辰智能科技）；MEGVII Technology（旷视科技）
本文提出一种自监督视觉偏好对齐方法，通过图像增强生成难负样本，利用直接偏好优化实现无监督对齐，显著提升视觉语言模型在复杂推理和多模态基准上的性能。
2024-08-21 cs.AI cs.CL cs.CV
Weakly Supervised Anomaly Detection via Knowledge-Data Alignment
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Hong Kong University of Science and Technology（香港科技大学）；CreateLink Technology（创联科技）
针对弱监督异常检测中标记数据不足的问题，提出知识-数据对齐框架，利用最优传输整合专家规则知识，在五个真实数据集上显著优于现有方法。
2024-02-06 cs.LG
CLA: Latent Alignment for Online Continual Self-Supervised Learning
University of Pisa（意大利比萨大学）；Computer Vision Center (CVC)（计算机视觉中心）
针对在线持续学习缺乏SSL技术的问题，提出CLA策略，通过将当前与过去表示对齐来缓解遗忘，加速收敛并在同等预算下超越SOTA，且作为早期预训练协议优于完全i.i.d.预训练。
2025-07-15 cs.CV cs.LG
Set-CLIP: Exploring Aligned Semantic From Low-Alignment Multimodal Data Through A Distribution View
National University of Defense University（国防大学）；Westlake University（西湖大学）；ShanghaiTech University（上海科技大学）
本文提出Set-CLIP方法，将半监督多模态对齐视为流形匹配问题，通过语义密度分布损失从无配对数据提取隐式对齐，减少对严格匹配对的依赖，并在无配对监督数据时较CLIP提升144.83%。
2024-09-21 cs.AI cs.CL cs.CV
Weakly-supervised forced alignment of disfluent speech using phoneme-level modeling
Institute for Language and Speech Processing, Athena Research Center（雅典娜研究中心语言与语音处理研究所）；National Technical University of Athens（雅典国立技术大学）
针对非流利语音音频—文本不匹配导致对齐性能下降的问题，提出基于加权有限状态转换器改进 CTC 对齐图的弱监督音素级方法，可建模重复与遗漏并显著提升召回率。
2023-05-30 cs.CL cs.LG cs.SD
Cross-lingual Retrieval for Iterative Self-Supervised Training
Facebook AI（Facebook AI（脸书人工智能））
最近的研究已经证明了多语言预训练语言模型的跨语言对齐能力。在这项工作中，我们发现跨语言对齐可以通过在使用自己的编码器输出挖掘的句子对上训练seq 2seq模型来进一步改进。我们利用这些发现开发了一种新的方法-跨语言检索迭代自监督训练（CRISS），其中迭代地应用挖掘和训练过程，同时提高跨语言对齐和翻译能力。使用这种方法，我们在9种语言方向上实现了最先进的无监督机器翻译结果，平均提高了2.4 BLEU，并且在16种语言的XTREME基准测试中的Tatoeba句子检索任务中，绝对准确率平均提高了21.5%。此外，与mBART相比，CRISS在监督机器翻译下游任务上进行微调时，平均还带来了额外的1.8 BLEU改进。
2020-10-26 cs.CL cs.LG
SeBA: Semi-supervised few-shot learning via Separated-at-Birth Alignment for tabular data
Jagiellonian University, Faculty of Mathematics and Computer Science（雅盖隆大学数学与计算机科学学院）；AGH University of Krakow（克拉科夫AGH大学）
针对表格数据中稀缺标记数据的半监督少样本学习问题，提出SeBA方法，通过分离出生对齐框架消除对数据增强的依赖，提升特征-标签关系，实验证明其在多数基准数据集上达到最优性能。
2026-08-14 cs.LG
VoLTA: Vision-Language Transformer with Weakly-Supervised Local-Feature Alignment
Meta；New York University（纽约大学）；Johns Hopkins University（约翰霍普金斯大学）；University of Toronto（多伦多大学）
本文提出VoLTA，仅利用图像-标题数据，通过图最优传输弱监督对齐局部图像块与文本token，实现细粒度区域级图像理解，无需昂贵框标注，并在多种下游任务中超越使用更多标注的方法。
2023-10-30 cs.CV cs.LG cs.MM
OTCXR: Rethinking Self-supervised Alignment using Optimal Transport for Chest X-ray Analysis
Northwestern University（西北大学）；Indian Institute of Technology Jodhpur（焦特布尔印度理工学院）
本文提出OTCXR框架，通过最优传输与跨视角语义注入模块学习密集语义不变性，并结合方差与协方差正则化，在胸部X光分析中超越现有自监督方法。
2025-03-11 cs.CV cs.LG
Weakly supervised covariance matrices alignment through Stiefel matrices estimation for MEG applications
Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Ecole Polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）
本文提出混合模型Stiefel适应（MSA）域适应技术，利用最优传输假设和未标记数据，通过估计Stiefel矩阵对齐协方差，在MEG脑龄回归任务中优于现有方法。
2024-01-24 cs.LG eess.SP stat.ML
