BiSSL: Enhancing the Alignment Between Self-Supervised Pretraining and Downstream Fine-Tuning via Bilevel Optimization
Aalborg University(奥胡斯大学);Technical University of Denmark(技术大学);Pioneer Centre for AI(先锋人工智能中心)
BiSSL通过双层优化增强自监督预训练与下游微调之间的对齐,提升模型在下游任务中的性能。
2026-02-10 cs.AI cs.LG
Semi-MedRef: Semi-Supervised Medical Referring Image Segmentation with Cross-Modal Alignment
The University of Sydney(悉尼大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Changzhou University(常州大学)
本文提出Semi-MedRef框架,通过三个组件维持医学图像与位置语言的一致性,实验显示其在低标签条件下优于其他方法。
2026-08-04 cs.CV cs.LG
Concurrent Discrimination and Alignment for Self-Supervised Feature Learning
University of Exeter(埃克塞特大学);University of Tübingen(蒂宾根大学)
现有的自监督学习方法通过托词任务来学习表征,所述托词任务或者是(1)明确指定哪些特征应该被分离的区分任务,或者是(2)精确指示哪些特征应该被闭合在一起的对齐任务,但是忽略了如何联合地并且原则性地定义哪些特征应该被排斥以及哪些特征应该被吸引的事实。在这项工作中,我们结合了积极的方面的歧视和对齐的方法,并设计了一个混合的方法,解决了上述问题。我们的方法明确规定了排斥和吸引机制分别通过判别预测任务和并发最大化共享冗余信息的成对视图之间的互信息。我们定性和定量地表明,我们提出的模型学习更好的功能,更有效的各种下游任务,从分类到语义分割。我们在九个已建立的基准测试上的实验表明,该模型始终优于现有的最先进的自监督和迁移学习协议的结果。
2021-08-19 cs.CV cs.LG
CLA: Latent Alignment for Online Continual Self-Supervised Learning
University of Pisa(意大利比萨大学);Computer Vision Center (CVC)(计算机视觉中心)
针对在线持续学习缺乏SSL技术的问题,提出CLA策略,通过将当前与过去表示对齐来缓解遗忘,加速收敛并在同等预算下超越SOTA,且作为早期预训练协议优于完全i.i.d.预训练。
2025-07-15 cs.CV cs.LG
Supervision Accelerates Pre-training in Contrastive Semi-Supervised Learning of Visual Representations
Mila – Quebec AI Institute(Mila-魁北克人工智能研究所);McGill University(麦吉尔大学);Facebook AI Research(Facebook人工智能研究院);University of Montreal(蒙特利尔大学)
我们研究了一种策略,通过在预训练期间利用少量的监督信息来提高视觉表示的对比学习的效率。我们提出了一个半监督损失,SuNCEt,基于噪声对比估计和邻域成分分析,其目的是区分不同类别的例子,除了自我监督的实例借口任务。在ImageNet上,我们发现SuNCEt可以用来匹配以前对比方法的半监督学习准确性,同时使用不到一半的预训练和计算量。我们的主要观点是,在预训练期间,而不仅仅是在微调期间,即使是少量的标记数据,也可以提供一个重要的信号,可以显着加速视觉表示的对比学习。我们的代码可在github.com/facebookresearch/suncet上获得。
2020-12-01 cs.CV cs.LG stat.ML
TIPAA-SSL: Text Independent Phone-to-Audio Alignment based on Self-Supervised Learning and Knowledge Transfer
University of Mons(蒙斯大学)
本文提出TIPAA-SSL方法,通过微调wav2vec2进行音素识别并结合降维与帧级分类器实现文本无关音素到音频对齐,在TIMIT和SCRIBE数据集上优于charsiu。
2024-05-03 cs.AI cs.CL cs.LG
Cross-Temporal Attention Fusion (CTAF) for Multimodal Physiological Signals in Self-Supervised Learning
HEC Montréal(蒙特利尔高等商学院);Mila-Quebec Artificial Intelligence Institute(魁北克人工智能研究所Mila)
CTAF通过时间感知的交叉注意力机制,实现多模态生理信号在自监督学习中的高效融合,提升匹配对的余弦边距和跨模态检索性能,同时保持高准确率并减少标签依赖。
2026-02-02 cs.AI cs.LG
From Alignment to Prediction: A Study of Self-Supervised Learning and Predictive Representation Learning
Department of Information and Communication Technology, School of Technology, Pandit Deendayal Energy University, Gandhinagar, Gujarat 382007, India(信息与通信技术系,技术学院,潘迪·德恩达尔能源大学,古吉拉特邦加尔各纳,382007,印度)
本文研究了自监督学习的最新发展,提出预测表示学习(PRL)新类别,分析了BYOL、MAE和I-JEPA等方法的性能与鲁棒性。
2026-04-15 cs.AI cs.LG
The Supervised IBP: Neighbourhood Preserving Infinite Latent Feature Models
University of Cambridge(剑桥大学);IST Austria(奥地利科学技术研究所);Stanford University(斯坦福大学)
我们提出了一个概率模型,从观测数据中推断汉明空间中的监督潜变量。我们的模型允许同时推断的二进制潜变量的数量,以及它们的值。潜变量保持数据的邻域结构,在某种意义上,相同语义概念中的对象具有相似的潜值,而不同概念中的对象具有不同的潜值。我们制定了监督无限潜变量问题的基础上,一个直观的原则,拉在一起的对象,如果他们是相同的类型,并推动他们分开,如果他们不是。然后,我们结合这一原则与一个灵活的印度自助餐过程之前的潜在变量。我们表明,推断的监督潜变量可以直接用于执行最近邻搜索检索的目的。我们介绍了一个新的应用程序的动态扩展哈希码,并展示了如何有效地耦合结构的哈希码与不断增长的结构的邻域保持无限的潜在特征空间。
2013-09-26 cs.LG stat.ML
VolTA-3D: Self-Supervised Learning for Brain MRI using 3D Volumetric Token Alignment
Institute of Health Informatics(健康信息学研究所);Sheikh Zayed Institute for Pediatric Surgical Innovation(谢赫扎耶德儿童外科创新研究所);School of Medicine and Health Sciences(医学与健康科学学院)
本文提出VolTA-3D,一种用于脑MRI自监督学习的3D视觉Transformer框架,通过联合对齐全局类风格标记和局部块标记,增强体积分块表示的可迁移性,从而在多个下游任务中表现出更好的泛化能力和鲁棒性。
2026-05-16 cs.AI cs.CV cs.LG
Forest-Guided Semantic Transport for Label-Supervised Manifold Alignment
Department of Mathematics and Statistics, Université de Montréal, Montreal, Canada(蒙特利尔大学数学与统计学系);Mila - Quebec AI Institute, Montreal, Canada(魁北克人工智能研究所);Department of Mathematics and Statistics, Utah State University, Logan, Utah, USA(犹他州立大学数学与统计学系);Department of Statistics, Brigham Young University, Provo, Utah, USA(Brigham Young 大学统计学系)
FoSTA通过森林引导的语义传输对齐方法,提升多模态数据对齐和标签转移的性能。
2026-09-29 cs.LG
PARSE: Pairwise Alignment of Representations in Semi-Supervised EEG Learning for Emotion Recognition
Queen’s University(女王大学);Ingenuity Labs Research Institute(英格纽蒂实验室研究院)
我们提出了PARSE,一种新的半监督架构,用于学习情绪识别的强EEG表示。为了减少大量未标记数据和有限标记数据之间的潜在分布不匹配,PARSE使用成对表示对齐。首先,我们的模型执行数据增强,然后对大量原始和增强的未标记数据进行标签猜测。然后,对猜测的标签进行锐化,并对未标记数据和标记数据进行凸组合。最后,表示对齐和情感分类。为了严格测试我们的模型,我们将PARSE与我们实现并适应EEG学习的几种最先进的半监督方法进行了比较。我们在四个公开的基于EEG的情感识别数据集上进行了这些实验,这些数据集是SEED,SEED-IV,SEED-V和AMIGOS(效价和唤醒)。实验表明,我们提出的框架在SEED、SEED-IV和AMIGOS(效价)中使用不同数量的有限标记样本实现了总体最佳结果,同时在SEED-V和AMIGOS(唤醒)中接近总体最佳结果(达到第二好)。分析表明,我们的成对表示对齐大大提高了性能,通过减少未标记和标记数据之间的分布对齐,特别是当每个类只有1个样本被标记。
2022-09-26 cs.LG
Memory-Based Neighbourhood Embedding for Visual Recognition
University of Science and Technology of China(中国科学技术大学);Chinese Academy of Sciences(中国科学院);SenseTime Research(商汤科技研究院)
学习有区别的图像特征嵌入对于视觉识别具有重要意义。为了获得更好的特征嵌入效果,目前的方法大多集中在设计不同的网络结构或损失函数上,并且估计的特征嵌入通常只与输入图像相关。在本文中,我们提出了基于记忆的邻域嵌入(MNE),通过考虑其邻域来增强一般的CNN特征。该方法旨在解决两个关键问题,即,如何在网络训练中获取更多相关的邻域,以及如何聚合邻域信息以实现更具鉴别力的嵌入。我们首先在网络中增加一个情景记忆模块,它可以为训练和测试提供更多相关的邻居。然后,邻居被组织在树图中,目标实例作为根结点。邻域信息以自下而上的方式逐渐聚合到根结点,聚合权重由节点之间的类关系监督。我们将MNE应用于图像搜索和少样本学习任务。广泛的消融研究证明了每个组件的有效性,我们的方法显着优于国家的最先进的方法。
2019-08-14 cs.CV cs.LG
Let the Void Be Void: Robust Open-Set Semi-Supervised Learning via Selective Non-Alignment
SkipAlign通过引入选择性非对齐机制,有效区分分布内和分布外样本,提升开集半监督学习中对未知分布外实例的检测能力,同时保持分布内分类精度。
2026-01-16 cs.LG
Semi-Supervised Learning by Label Gradient Alignment
OpenAI;University of Waterloo(滑铁卢大学)
我们提出了标签梯度对齐,半监督学习的一种新的算法,该算法为未标记的数据输入标签,并在输入的标签上进行训练。我们通过将点(x,y)映射到模型在(x,y)处的梯度,在输入空间上定义一个语义上有意义的距离度量。然后,我们制定了一个优化问题,其目标是最小化在这个空间中的标记和未标记的数据之间的距离,我们解决它的梯度下降的估算标签。我们使用Oliver等人(2018)引入的标准化架构评估标签梯度对齐,并在半监督CIFAR-10分类中展示了最先进的准确性。
2019-02-06 cs.LG stat.ML
Weakly Supervised Anomaly Detection via Knowledge-Data Alignment
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Hong Kong University of Science and Technology(香港科技大学);CreateLink Technology(创联科技)
针对弱监督异常检测中标记数据不足的问题,提出知识-数据对齐框架,利用最优传输整合专家规则知识,在五个真实数据集上显著优于现有方法。
2024-02-06 cs.LG
Random Forest-Supervised Manifold Alignment
Brigham Young University(杨百翰大学)
本文提出利用随机森林导出的保几何邻近度作为有监督初始化来改进半监督流形对齐,实验表明该方法能提升跨域特征融合与下游分类准确率,优于单域基线。
2024-11-18 cs.LG stat.ML
SeBA: Semi-supervised few-shot learning via Separated-at-Birth Alignment for tabular data
Jagiellonian University, Faculty of Mathematics and Computer Science(雅盖隆大学数学与计算机科学学院);AGH University of Krakow(克拉科夫AGH大学)
针对表格数据中稀缺标记数据的半监督少样本学习问题,提出SeBA方法,通过分离出生对齐框架消除对数据增强的依赖,提升特征-标签关系,实验证明其在多数基准数据集上达到最优性能。
2026-08-14 cs.LG
GANN: Graph Alignment Neural Network for Semi-Supervised Learning
National University of Defense Technology(国防科技大学)
图神经网络在半监督图机器学习领域得到了广泛的研究。当标记数据有限时,大多数方法不能充分利用图信息,导致过度平滑的问题。为了克服这个问题,我们提出了图对齐神经网络(GANN),一个简单而有效的图神经架构。提出了一种独特的具有三个对齐规则的学习算法,以彻底探索不充分标签的隐藏信息。首先,为了更好地研究属性细节,我们提出了特征对齐规则来对齐属性和嵌入矩阵的内积。其次,为了更好地利用高阶邻域信息,我们提出了聚类中心对齐规则,该规则涉及将聚类中心矩阵的内积与单位矩阵对齐。最后,为了在标签数较少的情况下得到可靠的预测结果,我们通过将预测概率矩阵与其锐化结果对齐来建立最小熵对齐规则。对图基准数据集的广泛研究表明,GANN可以在半监督节点分类方面取得相当大的优势,并优于最先进的竞争对手。
2023-03-14 cs.AI cs.LG
Hierarchy Neighborhood Discriminative Hashing for An Unified View of Single-Label and Multi-Label Image retrieval
School of Information and Communication Engineering(信息与通信工程学院);University of Electronic Science and Technology of China(电子科技大学)
最近,深度监督哈希方法已经成为大规模图像检索任务的热门。为了保持示例之间的语义相似性概念,它们通常利用成对监督或三元组监督信息进行散列学习。然而,这些方法通常忽略了语义类信息,这有助于提高哈希码的语义区分能力。本文提出了一种新的层次邻域判别哈希算法。具体地说,我们构造了一个二分图来建立子类特征中心和嵌入特征之间的粗略语义邻域关系。此外,我们利用成对监督信息来构建嵌入特征之间的精细语义邻域关系。最后,我们提出了一个层次邻域判别散列损失统一的单标签和多标签图像检索问题与单流深度神经网络架构。在两个大规模数据集上的实验结果表明,该方法的性能优于现有的散列方法。
2019-01-11 cs.CV cs.LG
SOTAlign: Semi-Supervised Alignment of Unimodal Vision and Language Models via Optimal Transport
本文提出SOTAlign框架,通过少量配对数据和大量未配对数据实现视觉与语言模型的半监督对齐,利用最优传输理论提升对齐效果,优于传统监督和半监督方法。
2026-09-22 cs.AI cs.LG
Understanding and Guiding Weakly Supervised Entity Alignment with Potential Isomorphism Propagation
Beijing University of Posts and Telecommunications(北京邮电大学);Huawei Co. LTD(华为公司)
本文从传播视角分析弱监督实体对齐,证明潜在对齐实体具有同构子图,并提出PipEA框架通过潜在同构传播算子提升各类聚合模型的准确率。
2024-10-12 cs.IR cs.LG
Weakly-supervised Knowledge Graph Alignment with Adversarial Learning
Montréal Institute for Learning Algorithms (MILA)(蒙特利尔学习算法研究所(MILA));University of Montréal(蒙特利尔大学);HEC Montréal(蒙特利尔高等商学院);Canadian Institute for Advanced Research (CIFAR)(加拿大高等研究院(CIFAR))
本文研究了来自不同来源或语言的知识图谱的对齐问题。现有的对齐方法大多采用有指导的方法进行训练,这通常需要大量的对齐知识三元组。然而,这样大量的对齐的知识三元组在许多领域中可能是不可用的或者获得起来是昂贵的。因此,在本文中,我们建议研究以完全无监督或弱监督的方式对齐知识图谱,即,没有或只有几个对齐的三联体。我们提出了一个无监督的框架,使不同知识图谱的实体和关系嵌入与对抗学习框架对齐。此外,一个正则化项,最大化的知识图谱的嵌入之间的互信息被用来减轻模式坍塌的问题时,学习对齐功能。这样的框架可以通过利用有限数量的对齐三元组作为指导来进一步与现有的监督方法无缝集成。在多个数据集上的实验结果证明了该方法在无监督和弱监督环境下的有效性。
2019-07-06 cs.AI cs.LG stat.ML
Context-Based Semantic-Aware Alignment for Semi-Supervised Multi-Label Learning
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
本文针对半监督多标签学习问题,提出基于上下文的语义感知对齐方法,利用视觉-语言模型知识提取标签特定图像特征并设计半监督上下文识别辅助任务,以生成高质量伪标签并增强特征表示。
2024-12-25 cs.CV cs.LG
Learning aligned embeddings for semi-supervised word translation using Maximum Mean Discrepancy
Interdepartmental Neuroscience Program(跨系神经科学项目);Yale School of Medicine(耶鲁医学院)
词汇翻译是语言翻译的一个组成部分。在机器翻译中,每种语言都被认为是一个域,具有自己的词嵌入。词嵌入之间的对齐允许在多语言上下文中链接语义上等同的词。此外,它提供了一种方法来推断跨语言意义的话,没有直接翻译。用于词嵌入对齐的当前方法是有监督的,即它们需要已知的词对,或者以无监督的方式学习固定嵌入上的跨域变换。在这里,我们提出了一个端到端的词嵌入对齐方法,不需要已知的词对。我们的方法称为通过MMD(WAM)进行单词对齐,它使用嵌入之间的本地化最大平均离散度(MMD)约束来学习在句子翻译训练期间对齐的嵌入。我们表明,我们的方法不仅优于无监督的方法,但也有监督的方法,训练已知的单词翻译。
2020-06-20 cs.CL cs.LG
End-to-end weakly-supervised semantic alignment
DI ENS(巴黎高等师范学院计算机系);Inria(法国国家信息与自动化研究所);DeepMind(深度思维公司);CIIRC, CTU in Prague(布拉格捷克理工大学信息学、机器人学与控制论研究所)
我们解决语义对齐的任务,其目标是计算密集的语义对应关系,对齐两个图像描绘同一类别的对象。这是一个具有挑战性的任务,由于大类内变化,视点和背景杂波的变化。我们提出以下三个主要贡献。首先,我们开发了一个用于语义对齐的卷积神经网络架构,该架构可以以匹配图像对的形式从弱图像级监督中以端到端的方式进行训练。结果是,参数是从不同但语义相关的图像中存在的丰富的外观变化中学习的,而不需要在训练时对对应关系进行繁琐的手动注释。其次,该架构的主要组件是受RANSAC内点评分过程启发的可微分软内点评分模块,其仅基于几何一致的对应关系来计算对准的质量,从而减少背景杂波的影响。第三,我们证明了所提出的方法在多个标准的语义对齐基准测试中达到了最先进的性能。
2018-04-24 cs.CV cs.LG
RDA: Reciprocal Distribution Alignment for Robust Semi-supervised Learning
Nanjing University(南京大学);Southeast University(东南大学);University of Wollongong(伍伦贡大学);University of Sydney(悉尼大学)
在这项工作中,我们提出了互惠分布对齐(RDA),以解决半监督学习(SSL),这是一个超参数的自由框架,是独立的置信度阈值,并与匹配(传统)和不匹配的类分布。分布不匹配是一个经常被忽视但更常见的SSL场景,其中标记和未标记的数据不属于相同的类分布。这可能导致模型不能可靠地利用标记数据,并大大降低SSL方法的性能,这无法通过传统的分布对齐来挽救。在RDA中,我们对来自两个分类器的预测分布进行了相互对齐,这两个分类器预测了未标记数据上的伪标签和互补标签。这两个分布携带互补信息,可以用来正则化彼此,而不需要任何先验的类分布。此外,我们从理论上表明,RDA最大化的输入输出互信息。我们的方法实现了有前途的性能在SSL下的各种情况下的不匹配的分布,以及传统的匹配SSL设置。我们的代码可在https://github.com/NJUyued/RDA4RobustSSL上获得。
2022-08-12 cs.CV cs.LG
MAF: Multimodal Alignment Framework for Weakly-Supervised Phrase Grounding
Shanghai Jiao Tong University(上海交通大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);University of California, Berkeley(加州大学伯克利分校)
短语定位是研究从文本短语到图像区域的映射的任务。鉴于在大规模注释短语到对象数据集的困难,我们开发了一个多模态对齐框架(MAF),以利用更广泛可用的标题图像数据集,然后可以用作弱监督的形式。我们首先提出的算法,利用细粒度的视觉表示和视觉感知的语言表示模型短语对象的相关性。通过采用对比目标,我们的方法使用字幕图像对中的信息来提高弱监督场景下的性能。在广泛采用的Flickr30k数据集上进行的实验表明,与现有的弱监督方法相比,该方法有显着的改进。在视觉感知语言表示的帮助下,我们还可以将以前最好的无监督结果提高5.56%。我们进行消融研究,以表明我们的新模型和我们的弱监督策略都显着有助于我们的强大结果。
2020-10-12 cs.CL cs.CV cs.LG
Flexible Distribution Alignment: Towards Long-tailed Semi-supervised Learning with Proper Calibration
Linköping University(林雪平大学)
针对长尾半监督学习中分布偏斜、校准差等问题,提出含自适应损失与蒸馏一致性损失的FlexDA框架及ADELLO方法,提升了校准效果与多个基准上的性能。
2024-07-15 cs.CV cs.LG
Surprisingly Simple Semi-Supervised Domain Adaptation with Pretraining and Consistency
Boston University(波士顿大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
大多数现代无监督领域自适应(UDA)方法都植根于领域对齐,即,学习对齐源和目标特征以使用源标签来学习目标域分类器。在半监督领域自适应(SSDA)中,当学习器可以访问很少的目标领域标签时,现有方法遵循UDA理论使用领域对齐进行学习。我们表明,SSDA的情况是不同的,一个好的目标分类器可以学习,而不需要对齐。我们使用自监督预训练(通过旋转预测)和一致性正则化来实现良好分离的目标聚类,帮助学习低错误目标分类器。通过我们的预训练和一致性(PAC)方法,我们在这个半监督领域自适应任务上实现了最先进的目标准确性,超越了多个数据集上的多个对抗性领域对齐方法。PAC虽然使用简单的技术,但在大型且具有挑战性的SSDA基准测试(如DomainNet和Visda-17)上表现非常出色,经常以相当大的幅度超过最新的技术水平。我们的实验代码可以在https://github.com/venkatesh-saligrama/PAC上找到
2021-11-26 cs.CV cs.LG
Supervised Hyperalignment for multi-subject fMRI data alignment
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);University of Alberta(阿尔伯塔大学);Purdue University Fort Wayne(普渡大学韦恩堡分校);Manchester Metropolitan University(曼彻斯特城市大学)
超对齐已广泛应用于多变量模式(MVP)分析中,以基于多学科功能磁共振成像(fMRI)数据集发现人脑的认知状态。大多数现有的HA方法利用无监督的方法,其中它们仅最大化在时间序列中具有相同位置的体素之间的相关性。然而,这些无监督的解决方案可能不是最佳的处理监督MVP问题中的功能对齐。本文提出了一种监督超对齐(SHA)方法,以确保更好的MVP分析的功能对齐,其中所提出的方法提供了一个监督共享空间,可以最大限度地提高属于同一类别的刺激之间的相关性,并最小化不同类别的刺激之间的相关性。此外,SHA采用广义优化解决方案,该解决方案在单次迭代中生成共享空间并计算映射特征,因此对于大型数据集具有最佳的时间和空间复杂度。在多主题数据集上的实验表明,SHA方法在多类问题上的性能比现有的HA算法提高了19%。
2020-01-09 cs.LG q-bio.NC stat.ML
UNA: A Unified Supervised Framework for Efficient LLM Alignment Across Feedback Types
Salesforce;RadixArk;ChatAlpha AI;University of North Texas(北得克萨斯大学)
UNA框架通过通用隐式奖励函数统一处理二元、成对和评分反馈,理论证明其最优性,实验验证其在经典基准上的优势。
2026-05-07 cs.CL cs.LG
TimePoint: Accelerated Time Series Alignment via Self-Supervised Keypoint and Descriptor Learning
School of Brain sciences and Cognition, BGU(本-古里安大学脑科学与认知学院)
提出自监督方法 TimePoint,通过 1D 微分同胚生成合成数据并利用全卷积和小波卷积架构学习关键点与描述符,将 DTW 应用于稀疏表示以实现更快更准确的时间序列对齐。
2025-05-29 cs.CV cs.LG
Topology-Aware Representation Alignment for Semi-Supervised Vision-Language Learning
KAIST(韩国科学技术院);POSTECH
本文提出ToMA框架,通过持久同调识别拓扑显著边,利用跨模态对应关系对齐多模态表示,提升视觉-语言学习在遥感和时尚检索中的性能。
2026-10-15 cs.CV cs.LG math.AT
Supervised Attention in Sequence-to-Sequence Models for Speech Recognition
Centre for Speech Technology Research, School of Informatics, University of Edinburgh(爱丁堡大学信息学院 speech 技术研究中心)
序列到序列模型中的注意机制是为了模拟语音识别中声学特征和输出标记之间的对齐。然而,由端到端训练的模型产生的注意力权重并不总是与实际对齐很好地对应,并且一些研究进一步认为注意力权重甚至可能与帧的相关性属性不对应。无论如何,注意力权重和对齐之间的视觉相似性在训练期间被广泛用作模型质量的指标。在本文中,我们将注意力权重和对齐之间的对应关系视为一个学习问题,通过施加监督注意力损失。实验已经显示出显着的改进性能,这表明在训练期间很好地学习比对关键地决定了序列到序列模型的性能。
2022-04-25 cs.CL cs.LG cs.SD
Cross-lingual Retrieval for Iterative Self-Supervised Training
Facebook AI(Facebook AI(脸书人工智能))
最近的研究已经证明了多语言预训练语言模型的跨语言对齐能力。在这项工作中,我们发现跨语言对齐可以通过在使用自己的编码器输出挖掘的句子对上训练seq 2seq模型来进一步改进。我们利用这些发现开发了一种新的方法-跨语言检索迭代自监督训练(CRISS),其中迭代地应用挖掘和训练过程,同时提高跨语言对齐和翻译能力。使用这种方法,我们在9种语言方向上实现了最先进的无监督机器翻译结果,平均提高了2.4 BLEU,并且在16种语言的XTREME基准测试中的Tatoeba句子检索任务中,绝对准确率平均提高了21.5%。此外,与mBART相比,CRISS在监督机器翻译下游任务上进行微调时,平均还带来了额外的1.8 BLEU改进。
2020-10-26 cs.CL cs.LG
ReMixMatch: Semi-Supervised Learning with Distribution Alignment and Augmentation Anchoring
Google Research(谷歌研究院);Google Cloud AI(谷歌云人工智能)
我们改进了最近提出的“MixMatch”半监督学习算法,通过引入两个新的技术:分布对齐和增强锚定。分布对齐鼓励未标记数据上的预测的边缘分布接近地面实况标签的边缘分布。增强锚定将输入的多个强增强版本馈送到模型中,并鼓励每个输出接近同一输入的弱增强版本的预测。为了产生强大的增强,我们提出了AutoAugment的一个变体,它在训练模型的同时学习增强策略。我们的新算法,称为ReMixMatch,比以前的工作更有效地利用数据,在$5\times$和$16\times$之间需要更少的数据才能达到相同的精度。例如,在CIFAR-10上,有250个标记的示例,我们达到了$93.73\%$的准确度(与MixMatch的$93.58\%$和$4{,}000$示例的准确度相比)和$84.92\%$的中位准确度,每个类只有四个标签。我们在https://github.com/google-research/remixmatch上开源代码和数据。
2020-02-13 cs.CV cs.LG stat.ML
Pseudo-Label Calibration Semi-supervised Multi-Modal Entity Alignment
Renmin University of China(中国人民大学)
针对半监督多模态实体对齐中的模态噪声与标签利用不足问题,提出 PCMEA,通过多模态特征编码、互信息最大化去噪及伪标签校准动量对比学习,在两个数据集上达到 SOTA。
2024-03-02 cs.CL cs.DB cs.LG
MixTEA: Semi-supervised Entity Alignment with Mixture Teaching
National University of Defense Technology(国防科技大学)
针对半监督实体对齐中伪映射噪声大、不确定性被忽略的问题,提出MixTEA方法,通过双向投票估计不确定性、匹配多样性校正降低噪声影响,结合混合教学指导模型学习,在基准数据集上取得更优效果。
2023-11-08 cs.AI cs.LG cs.SI
Brep2Shape: Boundary and Shape Representation Alignment via Self-Supervised Transformers
School of Software, BNRist, Tsinghua University(清华大学软件学院)
提出Brep2Shape自监督预训练方法,利用双Transformer骨干和拓扑注意力对齐B-rep的抽象边界表示与直观形状表示,在多项下游任务中达到最优精度并加速收敛。
2026-06-17 cs.AI cs.LG
Edeflip: Supervised Word Translation between English and Yoruba
本研究针对低资源语言约鲁巴语实现有监督嵌入对齐的单词翻译,发现嵌入质量与归一化可提升准确率且存在交互效应,揭示了该方法在低资源场景的局限性,为相关研究提供起点。
2025-06-16 cs.AI cs.CL cs.LG
OTCXR: Rethinking Self-supervised Alignment using Optimal Transport for Chest X-ray Analysis
Northwestern University(西北大学);Indian Institute of Technology Jodhpur(焦特布尔印度理工学院)
本文提出OTCXR框架,通过最优传输与跨视角语义注入模块学习密集语义不变性,并结合方差与协方差正则化,在胸部X光分析中超越现有自监督方法。
2025-03-11 cs.CV cs.LG
Textual Data Distributions: Kullback Leibler Textual Distributions Contrasts on GPT-2 Generated Texts, with Supervised, Unsupervised Learning on Vaccine & Market Topics & Sentiment
University of Charleston(查尔斯顿大学);Apple Inc.(苹果公司);Cerence B. V.(赛轮思公司)
有效的文本数据分布(TDD)对齐和生成是文本分析和NLP中的开放性研究问题。目前,很难简约地和方法学地确认两个或更多个自然语言数据集属于相似的分布,并且难以识别文本数据具有对齐的程度。这项研究的重点是解决上述更广泛的问题的一部分,通过应用多个监督和无监督的机器学习(ML)方法来探索TDD的行为(i)主题对齐,(ii)情感对齐。此外,我们使用多种文本生成方法,包括微调的GPT-2,按主题和情感生成文本。最后,我们开发了一个独特的过程驱动的变化的Kullback-Leibler分歧(KLD)的应用TDD,命名为KL文本分布对比(KL-TDC),以确定对齐的机器生成的文本语料库与自然发生的文本语料库。因此,这项研究确定了一种独特的方法,用于生成和验证TDD的主题和情绪,这可以用来帮助解决稀疏数据问题和其他研究,实践和课堂情况下,需要人工生成的主题或情绪对齐的文本数据。
2021-06-15 cs.CL cs.LG cs.SI
VoLTA: Vision-Language Transformer with Weakly-Supervised Local-Feature Alignment
Meta;New York University(纽约大学);Johns Hopkins University(约翰霍普金斯大学);University of Toronto(多伦多大学)
本文提出VoLTA,仅利用图像-标题数据,通过图最优传输弱监督对齐局部图像块与文本token,实现细粒度区域级图像理解,无需昂贵框标注,并在多种下游任务中超越使用更多标注的方法。
2023-10-30 cs.CV cs.LG cs.MM
Weakly-supervised forced alignment of disfluent speech using phoneme-level modeling
Institute for Language and Speech Processing, Athena Research Center(雅典娜研究中心语言与语音处理研究所);National Technical University of Athens(雅典国立技术大学)
针对非流利语音音频—文本不匹配导致对齐性能下降的问题,提出基于加权有限状态转换器改进 CTC 对齐图的弱监督音素级方法,可建模重复与遗漏并显著提升召回率。
2023-05-30 cs.CL cs.LG cs.SD
GrndCtrl: Grounding World Models via Self-Supervised Reward Alignment
GrndCtrl通过自监督奖励对齐提升世界模型的几何 grounding,实现更稳定的空间一致性与导航性能。
2026-02-07 cs.AI cs.CV cs.LG
IA2: Alignment with ICL Activations Improves Supervised Fine-Tuning
Department of Computer Science, Johns Hopkins University(约翰霍普金斯大学计算机科学系)
本文提出IA2方法,通过利用ICL的激活模式提升监督微调的准确性和校准性,在12个基准和两个模型家族中验证了其有效性。
2026-03-18 cs.AI cs.CL cs.LG
Weakly supervised covariance matrices alignment through Stiefel matrices estimation for MEG applications
Université Paris-Saclay(巴黎萨克雷大学);Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会);Ecole Polytechnique(巴黎综合理工学院);Institut Polytechnique de Paris(巴黎理工学院)
本文提出混合模型Stiefel适应(MSA)域适应技术,利用最优传输假设和未标记数据,通过估计Stiefel矩阵对齐协方差,在MEG脑龄回归任务中优于现有方法。
2024-01-24 cs.LG eess.SP stat.ML
Self-Supervised Visual Preference Alignment
Nanjing University(南京大学);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);StepFun Intelligent Technology(阶跃星辰智能科技);MEGVII Technology(旷视科技)
本文提出一种自监督视觉偏好对齐方法,通过图像增强生成难负样本,利用直接偏好优化实现无监督对齐,显著提升视觉语言模型在复杂推理和多模态基准上的性能。
2024-08-21 cs.AI cs.CL cs.CV
Set-CLIP: Exploring Aligned Semantic From Low-Alignment Multimodal Data Through A Distribution View
National University of Defense University(国防大学);Westlake University(西湖大学);ShanghaiTech University(上海科技大学)
本文提出Set-CLIP方法,将半监督多模态对齐视为流形匹配问题,通过语义密度分布损失从无配对数据提取隐式对齐,减少对严格匹配对的依赖,并在无配对监督数据时较CLIP提升144.83%。
2024-09-21 cs.AI cs.CL cs.CV