Dual-Phase Continual Learning: Supervised Adaptation Meets Unsupervised Retention
Mila, Concordia University(蒙特利尔大学米尔人工智能实验室);Concordia University(蒙特利尔大学);Toyota Motor Europe(丰田欧洲公司)
本文提出了一种基于无监督方法的双相持续学习框架,通过利用测试时间数据提升先前任务性能,无需存储或重播数据,有效缓解VLMs中的遗忘问题。
2026-01-30 cs.LG
There is More than Meets the Eye: Self-Supervised Multi-Object Detection and Tracking with Sound by Distilling Multimodal Knowledge
University of Freiburg(弗莱堡大学)
物体固有的声音属性可以提供有价值的线索来学习用于目标检测和跟踪的丰富表示。此外,可以利用视频中视听事件的共现,通过仅监视环境中的声音来定位图像场中的对象。到目前为止,这仅在相机是静态的并且用于单个目标检测的场景中是可行的。此外,这些方法的鲁棒性受到限制,因为它们主要依赖于对照明和天气变化非常敏感的RGB图像。在这项工作中,我们提出了一种新的自监督MM-DistillNet框架,该框架由多个教师组成,这些教师利用包括RGB,深度和热图像在内的多种形式,同时利用互补线索并将知识提取到单个音频学生网络中。我们提出了新的MTA损失函数,有利于蒸馏的信息,从多模态教师在自我监督的方式。此外,我们提出了一种新的自我监督的借口任务的音频学生,使我们能够不依赖于劳动密集型的手动注释。我们引入了一个大规模的多模态数据集,其中包含超过113,000个RGB,深度,热量和音频模态的时间同步帧。大量的实验表明,我们的方法优于最先进的方法,同时能够在推理过程中甚至在移动时仅使用声音来检测多个对象。
2021-03-01 cs.CV cs.LG cs.RO
Weakly Supervised Learning Meets Ride-Sharing User Experience Enhancement
Nanjing University(南京大学);Didi Chuxing(滴滴出行)
弱监督学习的目的是处理稀缺的标记数据。以往的弱监督研究通常假设数据中只有一种弱监督。然而,在许多应用中,原始数据通常同时包含一种以上的弱监督。例如,在最大的在线拼车平台之一滴滴的用户体验提升中,乘车评论数据包含严重的标签噪音(由于乘客的主观因素)和严重的标签分布偏差(由于抽样偏差)。我们称之为“复合弱监督学习“。本文基于滴滴拼车评论数据,提出了CWSL方法来解决这一问题。具体而言,实例重新加权策略,以应付严重的标签噪声的评论数据,其中有害的噪声实例的权重很小。稳健的标准,如AUC,而不是准确度和验证性能进行了优化,以纠正偏倚的数据标签。交替优化和随机梯度方法加速了大规模数据的优化。在滴滴拼车评论数据上的实验清楚地验证了有效性。我们希望这项工作可以为弱监督学习在复杂的实际情况中的应用提供一些启示。
2020-01-19 cs.LG stat.ML
Semi-Supervised Graph Learning Meets Dimensionality Reduction
University of Missouri(密苏里大学)
半监督学习(SSL)最近受到了机器学习研究人员越来越多的关注。通过在基于图的深度学习(GDL)算法中实现已知标签的有效传播,SSL有望在未来几年成为GDL中越来越多使用的技术。然而,目前很少有探索在基于图的SSL文献利用经典的降维技术,以改善标签传播。在这项工作中,我们研究了PCA,t-SNE和UMAP等降维技术的使用,以了解它们对用于节点标签半监督传播的图神经网络(GNNs)性能的影响。我们的研究利用基准半监督GDL数据集,如Cora和Citeseer数据集,以便在与降维技术配对时对每个算法学习的表示进行有意义的比较。我们全面的基准测试和聚类可视化定量和定性地证明,在一定条件下,分别对GNN输入和输出进行先验和后验降维,可以同时提高半监督节点标签传播和节点聚类的有效性。我们的源代码在GitHub上免费提供。
2022-03-23 cs.AI cs.LG
NP-Match: Towards a New Probabilistic Model for Semi-Supervised Learning
University of Oxford(牛津大学);Tsinghua University(清华大学);TU Wien(维也纳工业大学)
本文提出了一种名为NP-Match的新方法,将神经过程(NPs)应用于半监督图像分类任务,通过隐式比较数据点提高伪标签质量,并利用不确定性估计选择可靠样本,在多个数据集和分类设置下取得优于或媲美SOTA的性能。
2023-06-25 cs.CV cs.LG
Summarizing Opinions: Aspect Extraction Meets Sentiment Prediction and They Are Both Weakly Supervised
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
我们提出了一个神经框架,用于从在线产品评论中进行意见总结,该框架是知识贫乏的,只需要轻度监督(例如,以产品域标签和用户提供的评级的形式)。我们的方法结合了两个弱监督组件来识别突出的意见,并从多个评论中形成提取摘要:在多任务目标下训练的方面提取器,以及基于多实例学习的情感预测器。我们引入了一个意见摘要数据集,其中包括来自六个不同领域的产品评论的训练集,以及具有黄金标准方面注释,显着性标签和意见摘要的人类注释开发和测试集。自动评估显示,与基线相比,我们的意见摘要有了显着的改进,一项大规模的研究表明,根据多个标准,我们的意见摘要是人类法官的首选。
2018-08-27 cs.AI cs.CL cs.LG
LiDAM: Semi-Supervised Learning with Localized Domain Adaptation and Iterative Matching
Palo Alto Research Center(帕洛阿尔托研究中心)
虽然数据是丰富的,但数据标签是昂贵的。半监督学习方法将少量标记的样本与大量未标记数据的语料库相结合,以有效地训练模型。本文介绍了我们提出的方法LiDAM,一种植根于领域自适应和自定进度学习的半监督学习方法。LiDAM首先执行局部域移位,为模型提取更好的域不变特征,从而产生更准确的聚类和伪标签。然后,这些伪标签与真正的类标签对齐,在一个自定进度的方式使用一种新的迭代匹配技术,是基于大多数一致性高置信度的预测。同时,训练最终分类器以预测地面实况标签,直到收敛。LiDAM在CIFAR-100数据集上实现了最先进的性能,当使用2500个标签时,性能优于FixMatch(73.50% vs. 71.82%)。
2020-11-23 cs.CV cs.LG
Evolutionary Machine Learning meets Self-Supervised Learning: a comprehensive survey
University of Coimbra, CISUC/LASI, DEI(科英布拉大学,CISUC/LASI,DEI)
本文综述了 Evolutionary Machine Learning 与 self-supervised learning 的结合研究,提出了新子领域 Evolutionary Self-Supervised Learning 及其分类法,并指出了主要挑战与未来方向。
2025-11-04 cs.LG cs.NE
More Than Meets the Eye: Self-Supervised Depth Reconstruction From Brain Activity
The Weizmann Institute of Science(魏茨曼科学研究所)
在过去的几年里,使用深度学习工具从fMRI大脑记录中重建观察到的自然图像取得了重大进展。在这里,我们第一次表明,观察到的2D自然图像的密集3D深度图也可以直接从fMRI大脑记录中恢复。我们使用一种现成的方法来估计自然图像的未知深度图。这适用于以下两种情况:(1)在功能磁共振成像扫描仪中呈现给受试者的少量图像(我们有功能磁共振成像记录的图像-称为“配对”数据),以及(2)大量没有功能磁共振成像记录的自然图像(“非配对数据”)。然后将估计的深度图用作辅助重建标准,以直接从fMRI进行深度重建的训练。我们提出了两种主要的方法:仅深度恢复和联合图像深度RGBD恢复。由于可用的“配对”训练数据(具有fMRI的图像)的数量很少,我们通过对许多“未配对”数据(没有fMRI的自然图像和深度图)进行自监督循环一致性训练来丰富训练数据。这是使用我们新定义和训练的基于深度的感知相似性度量作为重建标准来实现的。我们表明,预测的深度图直接从功能磁共振成像优于其间接顺序恢复重建图像。我们进一步表明,从早期皮层视觉区的激活占主导地位,我们的深度重建结果,并提出手段来表征功能磁共振成像体素的深度信息调整的程度。这项工作增加了一个重要的解码信息层,扩展了目前视觉大脑解码能力的范围。
2022-03-22 cs.CV cs.LG q-bio.NC
Semi-supervised Learning Meets Factorization: Learning to Recommend with Chain Graph Model
Zhejiang University(浙江大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
近年来,潜在因素模型(LFM)由于其良好的性能和可扩展性,在推荐系统中受到了广泛的关注。然而,现有的LFM预测缺失值的用户项目评级矩阵的基础上,只有已知的,因此,稀疏的评级矩阵总是限制了他们的性能。同时,半监督学习(SSL)提供了一种有效的方法来减轻标签(即,rating)稀疏性问题,这主要是基于对亲和图的平滑性洞察。然而,基于图的SSL在直接用于推荐时存在严重的可扩展性和图不可靠问题。在本文中,我们提出了一种新的概率链图模型(CGM)结婚SSL与LFM。建议CGM是贝叶斯网络和马尔可夫随机场的组合。贝叶斯网络被用来建模的评级生成和回归过程,和马尔可夫随机场被用来建模的置信度感知的平滑度之间的约束生成的评级。实验结果表明,我们提出的CGM显着优于国家的最先进的方法在四个评估指标,并具有更大的性能裕度时,数据稀疏性增加。
2020-03-05 cs.LG stat.ML
Optimization meets Machine Learning: An Exact Algorithm for Semi-Supervised Support Vector Machines
Sapienza University of Rome(罗马第一大学);Alpen-Adria-Universität Klagenfurt(克拉根福阿尔卑斯-亚得里亚大学)
提出一种基于半定规划松弛的分支定界算法精确求解非凸的半监督支持向量机(S3VMs),通过界限紧致化与有效不等式加强下界,并利用局部搜索获取上界,显著提升了求解规模与效率。
2024-11-25 cs.LG math.OC
AdvFunMatch: When Consistent Teaching Meets Adversarial Robustness
Xidian University(西安电子科技大学)
本文提出 AdvFunMatch 方法,通过在一致性教学框架下对 $\ell_p$-范数球内最坏情况样本进行函数匹配,实现对抗鲁棒性从教师模型到学生模型的有效迁移,同时保持高干净准确率。
2023-05-25 cs.CV cs.LG
Q-Match: Self-Supervised Learning by Matching Distributions Induced by a Queue
Google(谷歌);Google Research(谷歌研究院)
在半监督学习中,学生-教师分布匹配已经成功地提高了使用未标记数据结合少量标记样本的模型的性能。在本文中,我们的目标是在自我监督设置中复制这一成功,在这种设置中,我们在预训练期间无法访问任何标记数据。我们介绍了我们的算法,Q-Match,并表明它是可能的,通过使用一个队列的嵌入的样本从未标记的数据集的下游类没有任何知识,诱导学生-教师分布。我们的研究集中在表格数据集上,并表明Q-Match在测量下游分类性能时优于以前的自监督学习技术。此外,我们还证明了我们的方法是样本高效的--就下游训练所需的标签和预训练所需的未标记数据量而言--并且可以很好地扩展到标记和未标记数据的大小。
2023-02-22 cs.LG
Unsupervised Semantic Aggregation and Deformable Template Matching for Semi-Supervised Learning
Northwestern Polytechnical University(西北工业大学)
无标签数据学习最近引起了相当大的关注。然而,仅仅使用无监督学习仍然难以提取期望的高级语义特征。与此同时,半监督学习(SSL)在利用少量样本方面展示了一个充满希望的未来。在本文中,我们结合两者,提出了一个无监督的语义聚合和变形模板匹配(USADTM)的SSL框架,努力提高分类性能与少量的标记数据,然后减少数据注释的成本。具体而言,基于三元组互信息(T-MI)损失的无监督语义聚合的探索,以产生未标记的数据的语义标签。然后通过对标记数据的监督,将语义标签与实际类对齐。此外,存储标记样本的特征池被动态更新,以为未标记数据分配代理标签,这些标签被用作交叉熵最小化的目标。跨四个标准半监督学习基准的广泛实验和分析验证了USADTM实现了最佳性能(例如,CIFAR-10上40个标签的$\%$准确度为90.46,250个标签的$\%$准确度为95.20)。代码发布于https://github.com/taohan10200/USADTM。
2020-10-12 cs.CV cs.LG
Robust Multimodal Graph Matching: Sparse Coding Meets Graph Matching
Duke University(杜克大学)
图匹配是一个具有挑战性的问题,在从图像和视频分析到生物和生物医学问题的广泛领域中具有非常重要的应用。我们提出了一个强大的图匹配算法的灵感在稀疏相关的技术。我们投的问题,类似于组或协作稀疏配方,作为一个非光滑的凸优化问题,可以有效地解决使用增广拉格朗日技术。该方法可以处理加权或未加权的图,以及多峰数据,其中不同的图表示不同类型的数据。所提出的方法也自然地与协作图推理技术相结合,解决了一般的网络推理问题,其中观察到的变量,可能来自不同的模态,是不对应的。该算法进行了测试,并与最先进的图匹配技术在合成和真实的图形。我们还提出了多模态图和应用程序的协作推理的大脑连接从无故障功能磁共振成像(fMRI)数据的结果。代码是公开的。
2013-11-25 cs.LG math.OC stat.ML
Matching Distributions via Optimal Transport for Semi-Supervised Learning
West Virginia University(西弗吉尼亚大学)
半监督学习(Semi-Supervised Learning,SSL)方法是一种在训练过程中没有足够数量的标记数据时使用未标记数据的有影响力的框架。基于卷积神经网络(CNN)的SSL方法最近在标准基准任务(例如图像分类)上提供了成功的结果。在这项工作中,我们考虑SSL问题的一般设置,标记和未标记的数据来自相同的底层概率分布。我们提出了一种新的方法,采用最优传输(OT)技术作为离散经验概率度量之间的相似性度量,为未标记的数据提供伪标签,然后可以与初始标记数据一起使用,以SSL方式训练CNN模型。我们已经评估和比较了我们提出的方法与国家的最先进的SSL算法在标准数据集上证明我们的SSL算法的优越性和有效性。
2021-10-21 cs.CV cs.LG
Supervised Ontology and Instance Matching with MELT
University of Mannheim(曼海姆大学);SAP SE(思爱普股份公司)
在本文中,我们提出了MELT-ML,一个机器学习扩展的匹配和评估工具包(MELT),促进应用监督学习的本体和实例匹配。我们的贡献是双重的:我们提出了一个开源的机器学习扩展的匹配工具包,以及两个监督学习用例演示的新扩展的功能。
2020-09-20 cs.AI cs.DB cs.LG
Looking For A Match: Self-supervised Clustering For Automatic Doubt Matching In e-learning Platforms
Vedantu Innovations Pvt. Ltd.(Vedantu创新私人有限公司)
最近,电子学习平台已经发展成为一个地方,学生可以发布疑问(用智能手机拍摄的快照),并在几分钟内解决它们。然而,学生在这些平台上发布的质量差异很大的疑问数量显著增加,这不仅对教师的导航提出了挑战,而且增加了每个疑问的解决时间。两者都是不可接受的,因为高疑问解决时间阻碍了学生的学习进度。这就需要自动识别知识库中是否存在类似的疑问,然后将其作为合理的解决方案提供给教师,以验证并与学生沟通。监督学习技术(如暹罗体系结构)需要标签来识别匹配,这是不可行的,因为标签是稀缺和昂贵的。在这项工作中,我们,因此,开发了一个标签不可知的怀疑匹配范式的基础上,通过自我监督技术学习的表示。基于BYOL(引导你自己的潜在空间)的理论见解,我们提出了自定义BYOL,它将特定领域的增强与不同的适当构建的数据视图集的对比目标相结合。结果表明,自定义BYOL与BYOL和监督学习实例相比,分别将前1匹配准确率提高了约6%和5%。我们进一步表明,这两个基于BYOL的学习实例的性能与人类标记不相上下或更好。
2022-08-20 cs.LG
Vision Learners Meet Web Image-Text Pairs
University of Edinburgh(爱丁堡大学);Bytedance(字节跳动);Waseda University(早稻田大学)
本文研究利用带噪声的网络图像-文本对进行自监督视觉预训练,通过基准研究发现现有多模态方法未优于单模态方法,并从信息论角度提出新型多模态生成器 MUG,在多种视觉迁移任务上取得领先性能。
2024-08-05 cs.AI cs.CL cs.CV
SeedGNN: Graph Neural Networks for Supervised Seeded Graph Matching
Purdue University(普渡大学);Duke University(杜克大学)
本文提出监督式图神经网络SeedGNN,通过可迁移的见证信息计算和利用易匹配节点对作为新种子,实现仅用少量种子即可匹配未见图,并在合成与真实图上显著优于现有方法。
2023-07-09 cs.LG
On-Policy RL Meets Off-Policy Experts: Harmonizing Supervised Fine-Tuning and Reinforcement Learning via Dynamic Weighting
Alibaba Group(阿里巴巴集团)
本文提出CHORD框架,通过动态加权将监督微调与强化学习统一,解决传统方法在整合时可能破坏响应模式和过拟合专家数据的问题,实验表明其在多个任务中具有稳定高效的性能。
2026-03-17 cs.AI cs.LG
Supervised Contrastive Learning for Product Matching
University of Mannheim(曼海姆大学)
近年来,对比学习已经推动了计算机视觉和信息检索中许多任务的发展。这张海报是第一个将监督对比学习应用于电子商务中使用来自不同电子商店的产品报价的产品匹配任务的工作。更具体地说,我们采用监督对比学习技术来预训练Transformer编码器,该编码器随后使用成对训练数据针对匹配任务进行微调。我们进一步提出了一个源感知的采样策略,使对比学习应用于用例中的训练数据不包含产品标识符。我们表明,将监督对比预训练与源感知采样相结合,可以显着提高几个广泛使用的基准测试的最新性能:对于Abt-Buy,我们达到了94.29的F1分数(与之前的最新水平相比,+3.24),对于Amazon-Google 79.28(+3.7)。对于WDC Computers数据集,根据训练集的大小,我们的F1得分在+0.8到+8.84之间。进一步的实验与数据增强和自我监督对比预训练表明,前者可以帮助较小的训练集,而后者会导致性能显着下降,由于固有的标签噪声。因此,我们得出结论,对比预训练具有很高的潜力,在产品匹配的用例中,明确的监督是可用的。
2022-05-02 cs.LG
Speaker attribution with voice profiles by graph-based semi-supervised learning
Microsoft(微软)
在许多实际应用中,如会议转录,需要说话人属性,其中说话人身份根据说话人语音配置文件分配给每个话语。在本文中,我们提出了解决说话人归属问题,使用基于图的半监督学习方法。为每个会话构建语音段的图,在该图上,来自语音简档的段由标记的节点表示,而来自测试话语的段是未标记的节点。节点之间的边的权重通过语音段的预训练的说话人嵌入之间的相似性来评估。说话人属性则成为图上的半监督学习问题,在图上应用两种基于图的方法:标签传播(LP)和图神经网络(GNNs)。所提出的方法能够利用图的结构信息来提高说话人归属性能。在真实会议数据上的实验结果表明,与独立处理每个话语的基线说话人识别方法相比,基于图的方法将说话人归因错误减少了68%。
2021-02-06 cs.LG cs.SD eess.AS
A Graph is Worth 1-bit Spikes: When Graph Contrastive Learning Meets Spiking Neural Networks
Sun Yat-sen University(中山大学);Ant Group(蚂蚁集团);Nanyang Technological University(南洋理工大学)
提出SpikeGCL框架,结合脉冲神经网络实现图对比学习的1位二值化表示,在近32倍存储压缩下保持与全精度方法相当的性能,平衡了效率与表现。
2024-02-19 cs.AI cs.LG cs.NE
Integrating Distribution Matching into Semi-Supervised Contrastive Learning for Labeled and Unlabeled Data
Doshisha University(大阪大学)
本研究通过整合分布匹配技术,提升半监督对比学习中伪标签的利用效率,以提高图像分类性能。
2026-01-08 cs.AI cs.LG
Text-Based Product Matching -- Semi-Supervised Clustering Approach
NASK National Research Institute(NASK国家研究院);AGH University of Kraków(克拉科夫AGH大学);University of Technology Sydney(悉尼科技大学)
本文提出一种基于半监督聚类的产品匹配新方法,通过在真实数据集上结合IDEC算法与模糊字符串匹配进行实验,证明了少量标注样本增强的无监督匹配可作为主流监督策略的有效替代方案。
2024-02-01 cs.AI cs.DB cs.LG
Contrastive General Graph Matching with Adaptive Augmentation Sampling
Singapore Management University(新加坡管理大学)
针对图匹配自监督学习依赖辅助信息和难以设计最优图增强的问题,提出无需辅助信息的对比框架GCGM,并引入自适应增强采样器BiAS选择更具挑战性的增强,在多数据集上超越现有自监督方法。
2024-06-25 cs.LG
Predict then Propagate: Graph Neural Networks meet Personalized PageRank
Technical University of Munich(慕尼黑工业大学)
用于图上半监督分类的神经消息传递算法最近取得了巨大的成功。然而,为了对节点进行分类,这些方法仅考虑几个传播步骤之外的节点,并且该利用的邻域的大小难以扩展。本文利用图卷积网络(GCN)与PageRank的关系,推导出一种基于个性化PageRank的改进传播方案。我们利用这个传播过程来构建一个简单的模型,个性化的神经预测传播(PPNP),及其快速近似,APPNP。我们的模型的训练时间与以前的模型相当或更快,其参数数量与以前的模型相当或更少。它利用一个大的、可调整的邻域进行分类,可以很容易地与任何神经网络结合。我们表明,该模型优于最近提出的几种方法的半监督分类在最彻底的研究迄今为止GCN类模型。我们的实现可在线获得。
2022-04-05 cs.LG stat.ML
Learning to Design Analog Circuits to Meet Threshold Specifications
University of California, Irvine(加州大学欧文分校)
提出基于仿真数据生成数据集并通过监督学习训练系统设计满足阈值规范的模拟电路,在多样化电路上实现超90%成功率并大幅提升数据效率。
2023-07-25 cs.LG eess.SP
Semi-Supervised Learning of Class Balance under Class-Prior Change by Distribution Matching
Tokyo Institute of Technology(东京工业大学)
在现实世界的分类问题中,训练数据集中的类平衡不一定反映测试数据集的类平衡,这可能会导致显著的估计偏差。如果测试数据集的类比是已知的,则实例重新加权或重新排序允许系统的偏差校正。然而,学习测试数据集的类比是具有挑战性的,当没有标记的数据是从测试域。在本文中,我们提出了通过匹配训练和测试输入数据的概率分布来估计测试数据集中的类比。我们通过实验证明了所提出的方法的实用性。
2012-06-18 cs.LG stat.ML
Supervised Learning for Table Tennis Match Prediction
The Perse School(珀斯学校)
机器学习、分类和预测模型在一系列领域中都有应用。体育分析是一个越来越受欢迎的应用程序,但大多数现有的工作都集中在主流体育和伤害预防的自动裁判。对乒乓球等其他运动的研究直到最近才开始获得更多的关注。本文提出了利用机器学习来预测乒乓球单打比赛的结果。我们使用球员和比赛统计数据作为特征,并评估其在消融研究中的相对重要性。在模式方面,探索了一批流行模式。我们发现,5折交叉验证和超参数调整对于提高模型性能至关重要。我们在消融研究中研究了不同的特征聚合策略,以证明模型的鲁棒性。不同的模型进行了测试,结果的准确性(61-70%)与可比运动(如网球)中的最先进模型相匹配。研究结果可作为未来乒乓球运动预测模型的基准,并可反馈到类似球类运动的预测研究中。
2023-03-28 cs.LG
Semi-Supervised Speech Recognition via Local Prior Matching
Massachusetts Institute of Technology(麻省理工学院);Facebook AI Research(Facebook人工智能研究)
对于像语音识别这样的序列转换任务,强结构化的先验模型编码了关于目标空间的丰富信息,通过分配低概率来隐含地排除无效序列。在这项工作中,我们提出了本地先验匹配(LPM),一个半监督的目标,从一个强先验(例如语言模型)提取知识,提供学习信号的判别模型训练的未标记的语音。我们证明,LPM理论上是动机良好,易于实现,并优于现有的知识蒸馏技术在可比的设置。从100小时的标记语音训练的基线开始,再加上360小时的未标记数据,LPM在干净和嘈杂的测试集上恢复了54%和73%的单词错误率出错率,相对于相同数据上的完全监督模型。
2020-02-24 cs.CL cs.LG eess.AS
Large Margin Semi-supervised Structured Output Learning
Indian Institute of Science(印度科学学院);Microsoft Research(微软研究院)
在结构化输出学习中,为现实世界的应用程序获取标记的数据通常是昂贵的,而未标记的示例则大量存在。半监督结构化分类已被开发用于处理大量未标记的结构化数据。在这项工作中,我们考虑半监督结构支持向量机域约束。优化问题,这在一般情况下是不凸的,包含与标记和未标记的例子以及域约束相关的损失项。我们提出了一个简单的优化方法,交替解决一个监督学习问题和约束匹配问题。针对结构化预测难以解决的约束匹配问题,提出了一种高效的爬山算法,在确定性退火框架下进行交替优化,有效地进行约束匹配,避免了局部极小值的产生.该算法实现简单,在基准数据集上取得了相当的泛化性能。
2013-11-09 cs.LG
Supervised Learning for Physical Layer based Message Authentication in URLLC scenarios
University of Kaiserslautern(凯泽斯劳滕大学)
作为传统安全方案的替代方案,基于PHYSEC的消息认证可以应用在\gls{urllc}场景中,以便在真实性和完整性的意义上满足安全用户数据传输的要求。在这项工作中,我们研究了监督学习分类器的性能,用于区分合法的发射机在这种情况下从非法的。我们进一步提出了我们的方法,数据收集使用\gls{sdr}平台和数据处理管道,包括例如必要的预处理步骤。最后,所考虑的监督学习计划在不同的侧条件下的性能。
2019-09-13 cs.LG eess.SP
Can Local Learning Match Self-Supervised Backpropagation?
University of Zurich(苏黎世大学)
本文通过理论分析和算法变体,证明局部自监督学习在深度非线性卷积网络中可接近全局反向传播自监督学习的性能,并在图像数据集上达到或超越现有最优水平。
2026-06-02 cs.LG
High-Performance Self-Supervised Learning by Joint Training of Flow Matching
Kyushu Institute of Technology(九州工业技术大学)
通过联合训练流匹配生成器和编码器,FlowFM在提升自监督学习效率和生成质量方面取得显著进展。
2025-12-17 cs.AI cs.LG
Semi-Supervised Generative Learning via Latent Space Distribution Matching
School of Computing & Data Science, University of Hong Kong(香港大学计算与数据科学学院)
LSDM通过潜在空间分布匹配实现半监督生成学习,利用非配对数据提升生成质量。
2026-03-04 cs.LG stat.ML
Understanding Self-Supervised Learning via Latent Distribution Matching
Friedrich Miescher Institute for Biomedical Research, 4056 Basel, Switzerland(弗里德里希·迈斯彻生物医学研究所);Faculty of Science, University of Basel, 4033 Basel, Switzerland(巴塞尔大学科学学院)
本文将自监督学习形式化为潜在分布匹配(LDM),通过对齐和均匀性最大化潜在表示的对数概率和熵,统一了多种SSL方法,并推导出用于高维时间序列的非线性无采样贝叶斯滤波模型。
2026-07-22 cs.LG stat.ML
Online Label Shift: Optimal Dynamic Regret meets Practical Algorithms
UC Santa Barbara(加州大学圣巴巴拉分校);Carnegie Mellon University(卡内基梅隆大学)
本文针对在线标签偏移问题,提出将适应问题归约为在线回归的新算法,在无需漂移先验知识的情况下实现最优动态遗憾,并在实验中取得1-3%的准确率提升。
2023-05-31 cs.LG stat.ML
Semi-supervised Compatibility Learning Across Categories for Clothing Matching
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Jiaozhou Artificial Intelligence Research, Chinese Academy of Sciences(中国科学院胶州人工智能研究院)
服装分析中的一个关键任务是研究服装产品的跨品类匹配性,它可以破解服装搭配的秘密。此任务的主要思想是将项映射到一个潜在的样式空间中,在该空间中兼容项保持接近。以前的作品试图通过最小化注释兼容项之间的距离来构建这样的转换,这需要大量的项级监督。然而,这些带注释的数据的获取成本很高,并且难以覆盖实际应用中具有各种样式的众多项目。在这种情况下,这些监督的方法无法实现令人满意的性能。在这项工作中,我们提出了一个半监督的方法来学习跨类别的兼容性。我们观察到,不同类别的分布具有内在的相似结构。因此,分布对齐得越好,这些类别之间的兼容项就越接近。为了实现对齐,我们使用无监督对抗学习来最小化分布之间的距离,以及一些注释的兼容项之间的距离,这些注释的兼容项起到锚点的作用以帮助对齐。在两个真实数据集上的实验结果证明了该方法的有效性。
2019-07-31 cs.IR cs.LG