Supervised classification via minimax probabilistic transformations
BCAM-Basque Center of Applied Mathematics(BCAM巴斯克应用数学中心);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
用于监督分类的常规技术约束所考虑的分类规则,并且使用用于分类0-1损失的替代损失。分类规则的Festival族是那些享有适合于代理损失最小化的参数表示和适合于过拟合控制的低复杂度特性的分类规则。本文提出了基于鲁棒风险最小化(RRM)的分类技术,我们称之为线性概率分类器(LPC)。所提出的技术考虑无约束的分类规则,优化分类0-1损失,并在学习过程中提供性能界限。LPC通过使用线性优化来实现有效的学习,并通过使用RRM在多面体不确定性分布集上避免过度拟合。我们还提供了有限样本的泛化界的LPC,并显示其竞争力的性能与国家的最先进的技术,使用基准数据集。
2019-05-31 cs.LG stat.ML
Self-supervised self-supervision by combining deep learning and probabilistic logic
MIT(麻省理工学院);Microsoft Research(微软研究院)
大规模标记训练样本是机器学习中的一个长期挑战。自我监督方法通过利用先验知识自动生成带噪声标记的示例来弥补直接监督的不足。深度概率逻辑(DPL)是用于自监督学习的统一框架,其将未知标签表示为潜在变量,并使用概率逻辑来结合多样的自监督,以使用变分EM来训练端到端的深度神经网络。虽然DPL成功地结合了预先指定的自我监督,但手动制作自我监督以获得高准确性可能仍然是繁琐和具有挑战性的。在本文中,我们提出了自我监督的自我监督(S4),它增加了DPL自动学习新的自我监督的能力。从初始“种子”开始,S4迭代地使用深度神经网络来提出新的自我监督。它们要么直接添加(一种结构化的自我训练形式),要么由人类专家验证(如基于特征的主动学习)。实验表明,S4能够自动提出准确的自我监督,并且通常可以用人类努力的一小部分来接近监督方法的准确性。
2020-12-23 cs.LG stat.ML
Exploring Efficient-tuning Methods in Self-supervised Speech Models
National Taiwan University(国立台湾大学);Amazon AI(亚马逊人工智能)
在这项研究中,我们的目标是探索有效的语音自监督学习的调整方法。最近的研究表明,自监督学习(SSL)可以学习不同的语音任务的强大的表示。然而,为每个下游任务微调预训练模型是参数效率低下的,因为SSL模型非常大,有数百万个参数。适配器是NLP中常用的轻量级模块,用于解决这个问题。在下游任务中,SSL模型的参数被冻结,并且只训练适配器。由于缺乏研究,一般探索适配器的自我监督语音任务的有效性,我们打算通过在预训练的语音SSL模型中添加各种适配器模块来填补这一空白。我们表明,性能的奇偶校验可以实现超过90%的参数减少,并讨论了有效的调整技术的优点和缺点。这是第一次全面调查各种适配器类型的语音任务。
2023-01-30 cs.LG cs.SD eess.AS
A Probabilistic Approach to Self-Supervised Learning using Cyclical Stochastic Gradient MCMC
Hasso-Plattner-Institute(哈索·普拉特纳研究所)
本文提出基于cSGHMC的贝叶斯自监督学习方法,通过对嵌入的高维多峰后验进行近似与边缘化,显著提升了下游任务的性能、校准性与分布外检测能力。
2023-08-02 cs.AI cs.LG
Model Failure or Data Corruption? Exploring Inconsistencies in Building Energy Ratings with Self-Supervised Contrastive Learning
ADAPT Centre(ADAPT中心)
本研究提出CLEAR方法,利用自监督对比学习检测建筑能效评级中的不一致性,并在爱尔兰建筑数据集上验证,发现测量数据损坏证据。
2024-04-14 cs.AI cs.LG
Exploring Self-Supervised Regularization for Supervised and Semi-Supervised Learning
Flyreel AI Research(Flyreel人工智能研究院)
半监督学习的最新进展在克服现代机器学习算法成功的主要障碍方面显示出巨大的潜力:访问大量人类标记的训练数据。基于一致性正则化的先前算法可以利用大量未标记数据在许多半监督基准上产生令人印象深刻的结果,仅使用一小部分可用标记数据就接近强监督基线的性能。在这项工作中,我们通过引入自监督正则化作为组合来自未标记数据的语义特征表示的基础,挑战了一致性正则化的长期成功。我们进行了广泛的比较实验,以证明自监督正则化的有效性,监督和半监督图像分类SVHN,CIFAR-10和CIFAR-100基准数据集。我们提出了两个主要结果:(1)使用自监督正则化增强的模型显着改进了传统的监督分类器,而不需要未标记的数据;(2)与未标记的数据一起,我们的模型产生了半监督性能,与现有的最先进的一致性基线竞争,并且在许多情况下超过了它。最后,我们的模型具有端到端有效训练的实用性,并且不需要额外的超参数来调整训练神经网络的标准集之外的最佳性能。参考代码和数据可在https://github.com/vuptran/sesemi上获得
2019-11-21 cs.CV cs.LG stat.ML
Probabilistic supervised learning
University College London(伦敦大学学院);University of Warwick(华威大学);University of Oxford(牛津大学)
预测建模和监督学习是现代数据科学的核心。随着越来越多的监督黑箱策略的预测-例如,核方法、随机森林、深度学习又称神经网络--作为决策过程的基础,理解与这些预测相关的统计不确定性至关重要。作为处理这个问题的一般手段,我们提出了一个黑盒预测策略的总体框架,不仅预测目标,而且预测自己的预测的不确定性。此外,该框架允许公平评估和比较不同的预测策略。为此,我们正式考虑能够从特征变量预测全分布的策略,即所谓的概率监督学习策略。我们的工作借鉴了以前的工作,包括贝叶斯统计,信息论和现代监督机器学习,并在一个新的合成导致(a)新的理论见解,如概率偏差方差分解和预测的熵公式,以及(b)新的算法和元算法,如复合预测策略,概率提升和装袋,和概率预测独立性测试我们的黑盒公式还导致(c)概率监督学习和建模工作流API设计的新模块化接口视图,我们已经在新发布的skpro机器学习工具箱中实现,扩展了sklearn的熟悉建模接口和元建模功能。skpro包提供了用于构造、组合和调整概率监督学习策略的接口,以及用于验证和比较任何此类策略的编排功能-无论是频率论、贝叶斯还是其他。
2019-05-07 cs.LG math.ST stat.ME
Towards the Next 1000 Languages in Multilingual Machine Translation: Exploring the Synergy Between Supervised and Self-Supervised Learning
Google Research(谷歌研究院)
实现所有人类语言对之间的通用翻译是机器翻译(MT)研究的圣杯。虽然最近在大规模多语言机器翻译方面取得的进展离实现这一目标又近了一步,但很明显,简单地通过在更多并行数据上进行训练来扩展多语言机器翻译系统是不可扩展的,因为低资源和非英语为中心的语言对的标记数据的可用性非常有限。为此,我们提出了一种实用的方法来构建一个多语言MT模型,涵盖数百种语言,使用监督和自我监督的目标的混合物,这取决于不同语言对的数据可用性。我们证明了这两种训练范式之间的协同作用使模型能够在零资源环境中产生高质量的翻译,甚至超过了中低资源语言的监督翻译质量。我们进行了大量的实验,以了解多语言监督的程度,域不匹配以及并行和单语数据量对我们的自监督多语言模型质量的影响。为了证明该方法的可扩展性,我们用200多种语言训练模型,并在几种以前研究不足的语言上展示了零资源翻译的高性能。我们希望我们的发现能够成为实现下一千种语言翻译的垫脚石。
2022-01-13 cs.CL cs.LG
Exploring Correlations of Self-Supervised Tasks for Graphs
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Zhejiang Huayun Information Technology(浙江华云信息科技)
针对图自监督学习中任务关联未被探究的问题,该研究通过定义相关值量化任务关联,提出GraphTCM方法增强自监督训练,在多下游任务上性能显著优于现有方法。
2024-05-16 cs.AI cs.LG
Exploring the Utility of Self-Supervised Pretraining Strategies for the Detection of Absent Lung Sliding in M-Mode Lung Ultrasound
University of Waterloo(滑铁卢大学);Deep Breathe;Western University(韦仕敦大学)
本研究提出了一种耦合M型图像的新颖成对关系,验证了自监督预训练在M型肺超声肺滑动分类任务中优于全监督,能显著提升未用ImageNet预训练权重模型的性能与泛化能力。
2023-04-05 cs.CV cs.LG
Exploring Temporal Granularity in Self-Supervised Video Representation Learning
Google Research(谷歌研究院);Cornell University(康奈尔大学);University of Copenhagen(哥本哈根大学)
本文提出了一个自监督学习框架TeG来研究视频表示学习中的时间粒度。在TeG中,我们从视频中采样一个长剪辑和一个位于长剪辑内的短剪辑。然后,我们提取其密集的时间嵌入。训练目标由两部分组成:一个细粒度的时间学习目标,以最大限度地提高短剪辑和长剪辑中相应的时间嵌入之间的相似性,以及一个持久的时间学习目标,将两个剪辑的全局嵌入拉在一起。我们的研究揭示了时间粒度的影响,有三个主要发现。1)不同的视频任务可能需要不同时间粒度的特征。2)有趣的是,一些被广泛认为需要时间意识的任务实际上可以通过时间持久性特征来很好地解决。3)TeG的灵活性在8个视频基准测试中产生了最先进的结果,在大多数情况下优于监督预训练。
2021-12-08 cs.CV cs.LG
Probabilistic Self-supervised Learning via Scoring Rules Minimization
LMU Munich(慕尼黑大学);MCML(慕尼黑机器学习中心)
提出ProSMIN,一种通过评分规则最小化的概率自监督学习方法,利用双网络蒸馏和适当评分规则损失,增强表示质量并缓解坍缩,在多个下游任务上超越基线。
2023-09-05 cs.LG stat.ML
Exploring Structure-Adaptive Graph Learning for Robust Semi-Supervised Classification
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
图卷积神经网络(GCNN)是CNN对图结构数据的推广,其中卷积由图拓扑引导。在许多情况下,图是不可用的,现有的方法手动构建图或学习任务驱动的自适应图。在本文中,我们提出了图学习神经网络(GLNN),它利用数据和任务的图(特别是邻接矩阵)优化。利用谱图理论,我们提出了从稀疏性约束,有效邻接矩阵的性质以及通过最大后验估计的图拉普拉斯正则化器的图学习的目标。然后将优化目标集成到GCNN的损失函数中,GCNN不仅使图形拓扑适应特定任务的标签,而且还适应输入数据。实验结果表明,我们提出的GLNN优于国家的最先进的方法,广泛采用的社会网络数据集和引文网络数据集的半监督分类。
2019-09-16 cs.LG stat.ML
On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning
Texas A&M University(德克萨斯农工大学);University of Hong Kong(香港大学);University of Sydney(悉尼大学)
本文研究自监督表示学习的判别式概率建模,利用多重重要性采样技术解决配分函数积分问题,并提出一种基于凸优化的非参数方法生成新对比目标,在CC3M和CC12M数据集上表现优越。
2025-03-05 cs.LG stat.ML
GenRadar: Self-supervised Probabilistic Camera Synthesis based on Radar Frequencies
Ulm University(乌尔姆大学)
自主系统需要持续可靠的环境感知来进行导航和决策,这最好通过组合不同类型的传感器来实现。雷达在摄像机受损的情况下继续稳健地运行,保证了信息的稳定流入。然而,相机图像提供了一个更直观和更容易适用的世界印象。这项工作结合了两种传感器类型的互补优势,在一个独特的自学习融合方法的概率场景重建在不利的环境条件。在通过解耦随机自监督压缩技术降低了两个高维测量的内存需求后,所提出的算法利用相似性,并在训练过程中在不同的特征级别上建立两个域之间的对应关系。然后,在推理时,完全依赖于无线电频率,该模型连续预测相机成分的自回归和自包含的过程。这些离散的标记最终被转换回各自周围环境的指导性视图,从而可以直观地感知下游重要任务的潜在危险。
2021-07-19 cs.CV cs.LG
Probabilistic Assumptions Matter: Improved Models for Distantly-Supervised Document-Level Question Answering
Microsoft Research(微软研究院);Google Research(谷歌研究院)
我们使用文档级的远程监督,将问题和相关文档与答案字符串配对,解决了抽取式问答问题。我们比较了以前使用的概率空间和遥远的超视假设(假设弱答案字符串标签和可能的答案提及跨度之间的对应关系)。我们表明这些假设相互作用,并且不同的配置提供了互补的好处。我们证明了多目标模型可以有效地结合多个假设的优势,并优于最佳的个人制定。我们的方法在TriviaQA-Wiki上的F1和NarrativeQA摘要上的Rouge-L中分别比以前的最先进模型高出4.3分和1.7分。
2020-05-05 cs.CL cs.LG
Combining Probabilistic Logic and Deep Learning for Self-Supervised Learning
Microsoft Research(微软研究院);JD Finance America Corporation(京东金融美国公司);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
深度学习已被证明对各种应用任务有效,但其适用性受到对注释示例的依赖的限制。自监督学习已经成为缓解监督瓶颈的一个有前途的方向,但现有的工作集中在利用未标记数据中的同现进行任务无关的表示学习,例如掩蔽的语言模型预训练。在本章中,我们将探讨特定于任务的自我监督,它利用领域知识为最终应用程序自动注释嘈杂的训练样本,或者通过引入标记函数来注释单个实例,或者通过对相互依赖的标签决策施加约束。我们首先介绍了深度概率逻辑(DPL),它通过将概率逻辑与深度学习相结合,为特定任务的自我监督提供了一个统一的框架。DPL将未知标签表示为潜在变量,并使用概率逻辑结合了多种自我监督,以使用变分EM训练端到端的深度神经网络。接下来,我们提出了自我监督的自我监督(S4),它为DPL增加了自动学习新的自我监督的能力。从初始种子自监督开始,S4迭代地使用深度神经网络来提出新的自监督。它们要么直接添加(一种结构化的自我训练形式),要么由人类专家验证(如基于特征的主动学习)。在生物医学机器阅读和各种文本分类任务等实际应用中的实验表明,特定于任务的自我监督可以有效地利用领域专业知识,并且通常可以将监督方法的准确性与人类努力的一小部分相匹配。
2021-07-27 cs.AI cs.LG
Exploring Gradient Explosion in Generative Adversarial Imitation Learning: A Probabilistic Perspective
Shanghai University(上海大学);Midea Group(美的集团);East China Normal University(华东师范大学)
本文从概率视角探究两类生成对抗模仿学习的梯度爆炸问题,理论证明确定性策略GAIL必然出现梯度爆炸而随机性策略GAIL无此问题,提出裁剪奖励函数的CREDO策略实现高效稳定训练。
2023-12-18 cs.AI cs.LG
A Probabilistic Model for Discriminative and Neuro-Symbolic Semi-Supervised Learning
University of Edinburgh(爱丁堡大学);Samsung AI Centre Cambridge(三星剑桥人工智能中心)
通过结合利用数据分布的不同方面的方法,半监督学习(SSL)已经取得了很大进展,例如,一致性正则化依赖于$p(x)$的属性,而熵最小化与标签分布$p(y|x)$有关。专注于后者,我们提出了一个概率模型的歧视SSL,它反映了其经典的生成对应。在假设$y|x$是确定性的情况下,潜在变量的先验变得离散。我们发现,几个著名的SSL方法可以被解释为近似这一先验,并可以改进。我们扩展的歧视性模型神经符号SSL,标签功能满足逻辑规则,通过显示这些规则直接与上述先验,从而证明了一个家庭的方法,统计学习和逻辑推理,并将它们与常规SSL统一。
2021-05-31 cs.LG cs.LO stat.ML
Probabilistic Decoupling of Labels in Classification
Technical University of Denmark(丹麦技术大学)
我们研究了用于训练的标签与用于预测的底层类的概率解耦。解耦使得推理方案足够通用,可以实现许多分类问题,包括监督,半监督,正未标记,噪声标记,并提出了多个正未标记学习问题的一般解决方案。我们在Fashion MNIST和20个新闻组数据集上测试了该方法的性能基准,其中我们模拟了噪声,部分标签等。
2019-05-29 cs.LG stat.ML
Bootstrap Equilibrium and Probabilistic Speaker Representation Learning for Self-supervised Speaker Verification
Seoul National University(首尔国立大学)
在本文中,我们提出了自我监督的说话人表示学习策略,其中包括一个引导均衡说话人表示学习的前端和一个不确定性意识的概率说话人嵌入训练在后端。在前端阶段,我们通过带有均匀性正则化项的自举训练方案学习说话人表示。在后端阶段,通过最大化属于同一说话人的语音样本之间的相互似然得分来估计概率说话人嵌入,这不仅提供了说话人表示,而且还提供了数据的不确定性。实验结果表明,所提出的自举均衡训练策略能够有效地帮助学习说话人表征,并且优于传统的基于对比学习的方法。此外,我们证明了集成的两阶段框架进一步提高了说话人验证性能的VoxCeleb1测试集的EER和MinDCF。
2021-12-24 cs.AI cs.LG cs.SD
Study Features via Exploring Distribution Structure
本文提出基于概率建模的数据冗余度量与检测框架,并结合确定性与随机优化方法进行冗余削减,为监督和无监督特征选择提供了鲁棒有效的新方案。
2024-01-15 cs.LG
Exploring bat song syllable representations in self-supervised audio encoders
Institute for Logic, Language and Computation, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所);Museum für Naturkunde, Leibniz Institute for Evolution and Biodiversity Science(莱布尼茨进化与生物多样性科学自然博物馆)
本研究分析自监督音频编码器对蝙蝠鸣叫音节的表征能力,发现预训练于人类语音的模型区分效果最佳,为跨物种迁移学习在蝙蝠生物声学中的应用奠定基础。
2024-09-19 cs.AI cs.LG cs.SD
A Probabilistic Semi-Supervised Approach with Triplet Markov Chains
Telecom SudParis(南巴黎电信学院);Institut Polytechnique(理工学院)
针对序列数据生成模型在缺乏全部标签时的参数估计问题,提出一种基于变分贝叶斯推断的通用半监督训练框架,用于训练参数化三元马尔可夫链模型,并能推导出适用于多种序列贝叶斯分类生成模型的半监督算法。
2023-09-07 cs.LG math.PR stat.ME
Active Semi-Supervised Learning by Exploring Per-Sample Uncertainty and Consistency
SNUAILAB(首尔国立大学人工智能实验室);Seoul National University(首尔国立大学)
主动学习(AL)和半监督学习是两种已经被研究的技术,通过使用少量的标记数据和大量的未标记数据来降低深度学习的高成本。为了以较低的代价提高模型的准确性,我们提出了一种称为主动半监督学习(ASSL)的方法,它结合了AL和SSL。为了最大限度地发挥AL和SSL之间的协同作用,我们重点研究了ASSL和AL之间的差异。由于在训练过程中使用了未标记数据,ASSL比AL涉及更多的动态模型更新,导致未标记数据的预测概率的时间不稳定性。这使得它很难确定在ASSL的未标记的数据的真实不确定性。为了解决这个问题,我们采用了强化学习中使用的指数移动平均(EMA)和置信上限(UCB)等技术。此外,我们分析了标签噪声对无监督学习的影响,通过使用弱和强增强对来解决数据一致性。通过同时考虑不确定性和数据一致性,我们获得的数据样本中使用的建议ASSL方法。我们的实验表明,ASSL实现了约5.3倍的计算效率比SSL,同时实现相同的性能,它优于国家的最先进的AL方法。
2023-03-15 cs.CV cs.LG
Probabilistic Diagnostic Tests for Degradation Problems in Supervised Learning
Purdue University(普渡大学)
几项研究指出了监督机器学习性能下降的不同原因。类不平衡、重叠、小析取、噪声标签和稀疏性等问题限制了分类算法的准确性。尽管许多方法以方法论或算法的形式试图最小化性能下降,但它们都是范围有限的孤立努力。大多数这些方法集中在许多问题中的一个补救,实验结果来自少数数据集和分类算法,预测能力的测量不足,缺乏统计验证来测试所提出的方法的真正好处。本文由两个主要部分组成:第一部分,提出了一种新的概率诊断模型的基础上,确定每个问题的迹象和症状。因此,这些问题的早期和正确的诊断是为了实现,以选择不仅是最方便的补救治疗,但也公正的性能指标。其次,研究了几种有监督算法在训练集存在这类问题时的行为和性能。因此,可以跨分类器估计治疗成功的预测。
2020-04-15 cs.AI cs.LG stat.ML
Supervised learning with probabilistic morphisms and kernel mean embeddings
Institute of Mathematics of the Czech Academy of Sciences(捷克科学院数学研究所)
本文提出一种统一两种监督学习方法的生成式模型,利用外概率收敛刻画算法一致性,将 Cucker-Smale 结果扩展至条件概率估计,并提出正则化变体证明过参数化模型的泛化性。
2025-04-28 cs.LG math.CT math.FA
EBMs vs. CL: Exploring Self-Supervised Visual Pretraining for Visual Question Answering
University of Adelaide(阿德莱德大学);Amazon(亚马逊);Idiap Research Institute(Idiap研究所)
干净和多样的标记数据的可用性是训练模型进行复杂任务(如视觉问答(VQA))的主要障碍。对大型视觉和语言模型的大量研究表明,自监督学习对于预训练多模态交互是有效的。在这份技术报告中,我们专注于视觉表现。我们审查和评估自我监督方法,以利用未标记的图像并预训练模型,然后在自定义VQA任务上进行微调,以允许受控的评估和诊断。我们比较了基于能量的模型(EBM)和对比学习(CL)。虽然循证医学越来越受欢迎,但它们缺乏对下游任务的评估。我们发现EBM和CL都可以从未标记的图像中学习表示,从而能够在很少的注释数据上训练VQA模型。在一个类似于CLEVR的简单设置中,我们发现CL表示也提高了系统的泛化能力,甚至可以与来自更大的、有监督的、ImageNet预训练模型的表示的性能相匹配。然而,我们发现循证医学是难以训练,因为不稳定性和高变异性,在他们的结果。虽然EBM被证明对OOD检测有用,但基于监督的能量训练和不确定性校准的其他结果在很大程度上是负面的。总的来说,合作法目前似乎比循证医学更可取。
2022-06-29 cs.CL cs.CV cs.LG
Exploring Self-Supervised Representation Ensembles for COVID-19 Cough Classification
RMIT University(皇家墨尔本理工大学)
使用智能手机收集的呼吸声,用深度学习模型训练,用于检测和分类COVID-19最近变得流行。它消除了对现场测试程序的需求,特别是对于相关医疗用品,经验丰富的工人和设备有限的农村地区。然而,现有的基于声音的诊断方法是以完全监督的方式训练的,这需要大规模的标记良好的数据。关键是要发现新的方法来利用未标记的呼吸数据,这可以更容易地获得。在本文中,我们提出了一种新的自监督学习启用框架,用于COVID-19咳嗽分类。一个对比的预训练阶段被引入到训练一个基于transformer的特征编码器与未标记的数据。具体来说,我们设计了一个随机掩蔽机制来学习呼吸声的鲁棒表示。然后在下游阶段微调预训练的特征编码器以执行咳嗽分类。此外,在下游阶段还探索了具有不同随机掩蔽率的不同系综。通过广泛的评估,我们证明了所提出的对比预训练,随机掩蔽机制和集成架构有助于提高咳嗽分类性能。
2021-06-03 cs.LG cs.SD eess.AS
SSD-TS: Exploring the Potential of Linear State Space Models for Diffusion Models in Time Series Imputation
East China Normal University(东华师范大学)
本文提出SSD-TS,将Mamba状态空间模型作为DDPM去噪主干并设计SSM模块建模时间序列依赖,在多个真实数据集上实现最先进的时间序列插补性能。
2025-08-19 cs.AI cs.LG
Supervised Negative Binomial Classifier for Probabilistic Record Linkage
MCG Mysore(迈索尔MCG)
出于跨各种数据库的链接记录的需要,我们提出了一种新的基于图形模型的分类器,它使用的混合泊松分布与潜变量。这个想法是通过使用贝叶斯建模技术推断其潜在的潜在错误率来深入了解匹配的每对假设记录。使用伽马先验来学习潜变量以及监督标签的新方法是独特的,并且允许主动学习。天真的假设是故意的独立性的领域提出了一个广义的理论,这类问题,而不是破坏层次的依赖关系,可能存在于不同的情况下。该分类器能够处理稀疏数据和流数据。记录链接的应用能够满足稀疏性、数据流和数据集的变化性质的几个挑战。
2019-08-11 cs.DB cs.LG stat.ML
ProSub: Probabilistic Open-Set Semi-Supervised Learning with Subspace-Based Out-of-Distribution Detection
Saab AB(萨博公司);Chalmers University of Technology(查尔姆斯理工大学)
ProSub通过基于子空间的角度和概率分布估计,实现开放集半监督学习中的ID/OOD分类与高精度预测。
2026-01-23 cs.CV cs.LG stat.ML
A Benchmark Generative Probabilistic Model for Weak Supervised Learning
JPMorgan Chase & Co.(摩根大通公司)
针对机器学习数据标注成本高的瓶颈,提出用在启发式标注表示上训练的概率生成潜变量模型PLVMs生成伪标签,在四个数据集上达SOTA,可即插即用替换现有弱监督框架或作为基准模型。
2023-10-04 cs.AI cs.LG
A probabilistic generative model for semi-supervised training of coarse-grained surrogates and enforcing physical constraints through virtual observables
Technical University of Munich(慕尼黑工业大学)
以数据为中心构建细粒度物理模型的廉价替代物一直处于计算物理学的最前沿,因为它在许多查询任务(如不确定性量化)中具有重要的实用性。最近的努力已经利用了来自机器学习(例如,深度神经网络)领域的使能技术与模拟数据的组合。虽然这种策略即使在高维问题中也显示出了希望,但它们通常需要大量的训练数据,即使代理的构建根据定义是一个小数据问题。而不是采用基于数据的损失函数,它已被提议利用的控制方程(在最简单的情况下,在配置点),以灌输领域知识的训练,否则黑盒样插值。本论文提供了一个灵活的概率框架,该框架考虑了训练目标和代理模型本身中的物理结构和信息。我们提倡一种概率(贝叶斯)模型,其中可以从物理学(例如残差,守恒定律)中获得的等式可以作为虚拟观测量引入,并且可以通过可能性提供额外的信息。我们进一步提倡生成模型,即尝试学习输入和输出的联合密度的模型,该模型能够以半监督的方式利用未标记的数据(即仅输入),以促进发现低维嵌入,但这些嵌入仍然可以预测细粒度模型的输出。
2020-06-02 cs.LG stat.ML
More Information Supervised Probabilistic Deep Face Embedding Learning
Guangzhou Huya Technology Co., Ltd(广州虎牙科技有限公司);University of Oxford(牛津大学)
基于间隔的比较损失的研究证明了惩罚人脸特征与其对应的类中心之间的距离的有效性。尽管他们的流行和出色的性能,他们没有明确鼓励通用嵌入学习的开集识别问题。本文从概率的角度分析了基于容限的softmax损失。从这个角度出发,我们提出了两个一般原则:1)单调递减和2)边际概率惩罚,用于设计新的边际损失函数。与使用单一比较度量进行优化的方法不同,我们提供了一个新的视角,将开集人脸识别视为一个信息传输问题。同时,该算法在保证更多干净信息的前提下,具有较好的泛化能力。提出了一种称为线性自动TS编码器(LASSE)的自动编码器架构来证实这一发现。在多个基准测试上的大量实验表明,LASSE有助于人脸嵌入获得更强的泛化能力,并在MegaFace测试中将开放训练数据集的单个模型性能提高到$99\%$以上。
2020-06-11 cs.CV cs.LG
PRCL: Probabilistic Representation Contrastive Learning for Semi-Supervised Semantic Segmentation
School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);Intelligent Game and Decision Laboratory(智能游戏与决策实验室);Alibaba DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Zhejiang University(浙江大学)
针对半监督语义分割中自指导噪声干扰无监督训练的问题,提出 PRCL 框架,利用概率表示、全局分布原型和虚拟负样本增强对比学习鲁棒性,并在两个基准上验证优越性。
2024-02-28 cs.CV cs.LG
A Probabilistic Model Behind Self-Supervised Learning
ETH Zurich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
提出用于自监督学习的生成式潜变量模型,为判别式SSL提供统一理论框架,并据此开发的SimVAE在需要风格信息的任务中表现更优,推动实现任务无关的表示。
2024-10-15 cs.AI cs.LG stat.ML
R4Dyn: Exploring Radar for Self-Supervised Monocular Depth Estimation of Dynamic Scenes
Technical University of Munich(慕尼黑工业大学);BMW Group(宝马集团);Johns Hopkins University(约翰斯·霍普金斯大学);Google(谷歌)
提出 R4Dyn,将雷达作为自监督单目深度估计的弱监督与推理输入,并通过滤波和扩展处理噪声与稀疏性,在 nuScenes 上将汽车等动态对象深度估计提升 37%。
2021-11-29 cs.CV cs.LG cs.RO
Exploring Self-Supervised Contrastive Learning of Spatial Sound Event Representation
Columbia University(哥伦比亚大学)
提出 MC-SimCLR 自监督多通道对比学习框架,结合多级频谱与空间特征及通道增强,从无标签空间音频中学习表征,提升下游事件分类与定位性能。
2023-09-27 cs.LG cs.SD eess.AS
BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search
Monash University(莫纳什大学);Sun Yat-sen University(中山大学);DarkMatter AI Research(DarkMatter AI研究院);University of Oxford(牛津大学);Alibaba Group(阿里巴巴集团);RMIT University(皇家墨尔本理工大学)
最近在手工制作的视觉识别神经架构方面的无数突破突出了探索由多样化构建块组成的混合架构的迫切需要。与此同时,神经结构搜索方法正在激增,期望减少人类的努力。然而,NAS方法是否能够高效且有效地处理具有不同候选者(例如CNN和Transformers)的多样化搜索空间仍然是一个悬而未决的问题。在这项工作中,我们提出了块智能自监督神经架构搜索(BossNAS),一种无监督的NAS方法,解决了以前的方法中由于大的权重共享空间和有偏见的监督而导致的架构评级不准确的问题。更具体地说,我们分解成块的搜索空间,并利用一种新的自我监督的训练计划,命名为合奏自举,训练每个块单独搜索他们作为一个整体的人口中心。此外,我们提出了HyTra搜索空间,一个类似于织物的混合CNN变换器搜索空间,具有可搜索的下采样位置。在这个具有挑战性的搜索空间上,我们的搜索模型BossNet-T在ImageNet上的准确率高达82.5%,在计算时间相当的情况下超过EfficientNet 2.4%。此外,我们的方法在ImageNet的规范MBConv搜索空间和CIFAR-100的NATS-Bench大小搜索空间上分别实现了0.78和0.76 Spearman相关性的卓越架构评级准确性,超过了最先进的NAS方法。代码:https://github.com/changlin31/BossNAS
2021-08-19 cs.CV cs.LG
Exploring a Hybrid Deep Learning Approach for Anomaly Detection in Mental Healthcare Provider Billing: Addressing Label Scarcity through Semi-Supervised Anomaly Detection
Informatics Institute, University of Amsterdam(阿姆斯特丹大学信息学院);Department of Computer Science and Technology, SUNY Empire State University(SUNY埃默里州立大学计算机科学与技术系)
本文针对心理健康医疗账单异常检测中标签稀缺和类别不平衡问题,提出结合LSTM与Transformer的混合深度学习方法,并利用孤立森林和自编码器生成伪标签,在真实账单数据集上验证了该方法在召回率方面的有效性。
2025-07-02 cs.AI cs.LG
NP-Match: Towards a New Probabilistic Model for Semi-Supervised Learning
University of Oxford(牛津大学);Tsinghua University(清华大学);TU Wien(维也纳工业大学)
本文提出了一种名为NP-Match的新方法,将神经过程(NPs)应用于半监督图像分类任务,通过隐式比较数据点提高伪标签质量,并利用不确定性估计选择可靠样本,在多个数据集和分类设置下取得优于或媲美SOTA的性能。
2023-06-25 cs.CV cs.LG
Exploring Supervised Machine Learning for Multi-Phase Identification and Quantification from Powder X-Ray Diffraction Spectra
The University of the West Indies(西印度群岛大学)
本文研究用传统监督机器学习替代深度学习,在实验数据有限的情况下结合模拟XRD数据,实现粉末X射线衍射谱的多相识别与定量分析,并验证其在真实生物医学应用中的泛化能力。
2022-11-16 cond-mat.mtrl-sci cs.LG
Contrastive Classification and Representation Learning with Probabilistic Interpretation
Toyota Motor Europe(丰田汽车欧洲公司);Czech Technical University in Prague(捷克布拉格技术大学)
交叉熵损失已经作为基于分类的任务的主要目标函数。广泛用于学习神经网络分类器,它显示了有效性和概率解释。最近,在自监督对比表示学习方法取得成功之后,已经提出了监督对比方法来学习表示,并且与具有交叉熵损失的单独训练相比,监督对比方法已经显示出优越且更鲁棒的性能。然而,交叉熵损失仍然需要训练最终的分类层。在这项工作中,我们研究学习的表示和分类器使用一个目标函数,结合了对比学习的鲁棒性和交叉熵损失的概率解释的可能性。首先,我们重新审视了以前提出的基于对比度的目标函数,该目标函数近似交叉熵损失,并提出了一个简单的扩展来共同学习分类器。其次,我们提出了一个新版本的监督对比训练,它联合学习分类器和网络骨干的参数。我们的经验表明,我们提出的目标函数在各种具有挑战性的设置中具有更高的训练稳定性和鲁棒性,比标准交叉熵损失有显着改善。
2022-11-07 cs.CV cs.LG
General Supervision via Probabilistic Transformations
BCAM-Basque Center of Applied Mathematics(巴斯克应用数学中心)
不同类型的训练数据导致了许多监督分类方案。目前的学习技术是针对一个特定的方案,不能处理一般的训练数据集合。本文提出了一个统一的框架,监督分类与一般集成的训练数据,并提出了广义鲁棒风险最小化(GRRM)的学习方法。本文展示了如何在所提出的框架下,通过概率变换表示测试和训练示例之间的关系,可以解决当前和新的监督计划。结果表明,GRRM可以处理不同类型的训练数据在一个统一的方式,并使新的监督计划,聚合一般的合奏训练数据。
2019-01-24 cs.LG stat.ML
SimPro: A Simple Probabilistic Framework Towards Realistic Long-Tailed Semi-Supervised Learning
Tsinghua University(清华大学);BNRist(北京信息科学与技术国家研究中心)
针对现实长尾半监督学习中未标注数据分布未知且不匹配的问题,提出无需预定义假设的概率框架 SimPro,通过解耦条件与边缘分布改进 EM 算法,在多个基准上取得一致的最先进性能。
2024-07-30 cs.CV cs.LG
Exploring Federated Self-Supervised Learning for General Purpose Audio Understanding
TCL AI Lab(TCL人工智能实验室)
本文提出联邦自监督学习框架FASSL,在非独立同分布的大规模异构客户端上学习音频特征,实现与集中式方法相当的检索性能,并助力最优全局模型聚合。
2024-02-05 cs.CV cs.LG cs.SD
Machine Learning for Exploring Spatial Affordance Patterns
The Bartlett School of Graduate Studies(巴特利特研究生院);University College London(伦敦大学学院)
本论文使用有监督与无监督的数据采掘技术分析办公室平面图,试图更好地了解其几何与功能的关系。在对自动平面图生成工具的最新技术水平进行背景审查后,这个问题被认为是相关的,该背景审查表明,自20世纪60年代以来,这种工具已经原型化,但它们的搜索空间信息不足,因为很少有形式主义来描述空间启示。为了显示和评估几何形状和使用的关系,使用来自视觉图形分析的数据来训练三个监督学习者,并将这些与用ZeroR分类器建立的基线精度进行比较。这表明,对于检查的办公数据集,视觉平均深度和集成与使用最紧密相关,并且监督学习算法J48可以正确预测未见过示例的类性能高达79.5%。本文还包括一个评估的布局案例研究与无监督学习者,这表明使用不能立即逆向工程的基础上郑重的VGA信息,以实现强大的聚类到类的评价。
2020-05-16 cs.LG stat.ML
Learning Task Mixtures from Task Affinities: A Probabilistic Graphical Model for Supervised Fine-Tuning
IIT Bombay(印度理工学院班加罗尔分校);IBM Research(IBM研究);Red Hat AI Innovation(红帽AI创新);MIT-IBM Watson AI Lab(麻省理工-IBM沃森AI实验室)
本文提出TaskPGM框架,通过基于能量的任务模型学习连续任务混合,利用互信息和行为分歧来捕捉任务间的关系,从而在任务覆盖和冗余之间取得平衡,提升大语言模型的监督微调性能。
2026-09-30 cs.AI cs.LG
From probabilistic graphical models to generalized tensor networks for supervised learning
Max-Planck-Institut für Quantenoptik(马克斯·普朗克量子光学研究所);Munich Center for Quantum Science and Technology (MCQST)(慕尼黑量子科学与技术中心(MCQST))
张量网络在物理学和计算机科学的各种应用中得到了广泛的应用,最近导致了机器学习中的理论见解和实用算法。在这项工作中,我们探索张量网络和概率图形模型之间的联系,并表明它激发了广义张量网络的定义,其中张量的信息可以在网络的其他部分复制和重用。我们讨论了量子物理中使用的广义张量网络架构(如弦键态)与机器学习中常用的架构之间的关系。我们提供了一个算法,训练这些网络在监督学习的背景下,并表明他们克服了常规张量网络在更高的维度的局限性,同时保持计算效率。还介绍了一种将神经网络和张量网络结合起来作为通用深度学习架构的一部分的方法。我们基准测试我们的算法的几个广义张量网络架构的分类图像和声音的任务,并表明它们优于以前介绍的张量网络算法。我们考虑的模型也可以在量子计算机上自然实现,并可能指导近期量子机器学习架构的开发。
2019-12-03 cond-mat.str-el cs.LG quant-ph
Exploring Representation Learning for Small-Footprint Keyword Spotting
Xiaomi(小米)
在本文中,我们研究表示学习的低资源关键字发现(KWS)。KWS的主要挑战是有限的标记数据和有限的可用设备资源。为了解决这些问题,我们通过自监督对比学习和预训练模型的自训练,探索了知识系统的表示学习。首先,局部-全局对比连体网络(LGCSiam)的目的是学习类似的话语级表示类似的音频采样器提出的局部-全局对比损失,而不需要地面真理。其次,应用自监督预训练的Wav 2 Vec 2.0模型作为约束模块(WVC)来强制KWS模型学习帧级声学表示。通过LGCSiam和WVC模块,可以使用未标记的数据对所提出的小足迹KWS模型进行预训练。语音命令数据集上的实验表明,自训练WVC模块和自监督LGCSiam模块显着提高了准确率,尤其是在小标记数据集上训练的情况下。
2023-03-20 cs.CL cs.LG cs.SD
Transfer learning extensions for the probabilistic classification vector machine
University for Applied Science Würzburg-Schweinfurt(维尔茨堡-施韦因富特应用科学大学)
迁移学习的重点是在新的环境中重用监督学习模型。突出的应用可以在机器人、图像处理或网络挖掘中找到。在这些领域中,学习场景自然会发生变化,但通常彼此相关,从而促进了现有监督模型的重用。当前的迁移学习模型既不稀疏也不可解释。如果方法必须在技术有限的环境中使用,并且由于隐私法规,可解释性变得越来越重要,那么稀疏性是非常可取的。在这项工作中,我们提出了两个迁移学习扩展集成到稀疏和可解释的概率分类向量机。他们在该领域的标准基准进行比较,并显示其相关性的稀疏性或性能改进。
2020-07-11 cs.LG stat.ML
Exploring the Task-agnostic Trait of Self-supervised Learning in the Context of Detecting Mental Disorders
Indian Institute of Technology Guwahati(印度古瓦哈蒂理工学院)
本研究在检测MDD和PTSD背景下,利用音频和视频数据探索SSL生成的任务无关表示,通过提出固定目标列表和修改SSL编码器超参数生成全局表示,提升了精神障碍检测性能并验证了任务无关特性。
2024-03-22 cs.AI cs.LG eess.SP
Exploring Data Augmentations on Self-/Semi-/Fully- Supervised Pre-trained Models
Carnegie Mellon University(卡内基梅隆大学);Tohoku University(东北大学);Center for Advanced Intelligence Project (AIP), RIKEN(理化学研究所先进智能项目中心(AIP))
本文实证研究 Random Erasing、CutOut、CutMix 和 MixUp 四种数据增强对自监督/半监督/全监督预训练模型的影响,揭示遮盖区域降低不变性但提升多样性,而 MixUp 在几乎不损失不变性的情况下显著增强多样性。
2023-10-28 cs.AI cs.CV cs.LG