Robust and Discriminative Labeling for Multi-label Active Learning Based on Maximum Correntropy Criterion
Wuhan University(武汉大学);University of Sydney(悉尼大学)
多标签学习在许多现实世界的应用中引起了极大的兴趣。由oracle为一个实例分配多个标签是一项代价很高的任务。同时,如果不诊断有区别的标签,也很难建立一个好的模型。我们能否降低标签成本并提高同时训练多标签学习的良好模型的能力?主动学习通过查询最有价值的样本来解决训练样本较少的问题,从而以较小的代价获得更好的性能。在多标签主动学习中,人们研究了用较少的训练样本查询相关标签,或者在不诊断判别信息的情况下查询所有标签。它们都不能有效地处理测量不确定度的离群值标签。最大相关熵准则(MCC)为许多机器学习和数据采掘算法中的离群点提供了鲁棒性分析,本文将不确定性和代表性融合在一起,推导出基于MCC的鲁棒多标记主动学习算法,并提出了一种高效的交替优化方法来求解该算法。我们的方法可以消除不具有区分性的离群值标签对测量不确定度的影响。为了进一步提高信息度量的能力,我们将不确定性和代表性与未知数据的预测标签相融合。它不仅可以增强不确定性,而且可以提高多标签数据的标签信息的相似性度量。在基准多标签数据集上的实验表明,该方法的性能优于现有的方法。
2019-04-14 cs.CV cs.LG
Manifold Regularized Discriminative Neural Networks
Binghamton University(宾汉姆顿大学)
非正则化深度神经网络(DNN)可以很容易地在有限的样本大小下过拟合。我们认为,这主要是由于DNN的区分性质,DNN直接模拟给定输入的标签的条件概率(或得分)。对输入分布的忽略使得DNN难以推广到看不见的数据。正则化技术的最新进展,如预训练和dropout,表明对输入数据分布建模(显式或隐式)大大提高了DNN的泛化能力。在这项工作中,我们探讨了流形假设,假设同一类内的实例位于光滑流形。因此,我们提出了两个简单的正则化一个标准的歧视DNN。第一个,名为标签感知流形正则化,假设标签的可用性和惩罚的损失函数w.r.t.的大范数。数据点。第二种称为标签独立流形正则化,不使用标签信息,而是惩罚预测分数w.r.t.的雅可比矩阵的Frobenius范数。这使得半监督学习成为可能。我们使用MNIST,CIFAR10和SVHN数据集对全监督和半监督任务进行了广泛的控制实验,并取得了优异的结果。
2016-01-07 cs.LG
Generative-Discriminative Complementary Learning
University of Pittsburgh(匹兹堡大学);The University of Melbourne(墨尔本大学);The University of Sydney(悉尼大学);Carnegie Mellon University(卡内基梅隆大学)
大多数最先进的深度学习方法都是判别式方法,它们对给定输入特征的标签的条件分布进行建模。这种方法的成功在很大程度上取决于高质量的标记实例,这是不容易获得的,特别是随着候选类的数量增加。本文研究了互补学习问题。与普通标签不同,互补标签很容易获得,因为注释器只需要为每个实例随机选择一个候选类提供一个是/否的答案。我们提出了一种生成-判别互补学习方法,该方法通过对条件(判别)和实例(生成)分布进行建模来估计普通标签。我们的方法,我们称之为互补条件GAN(CC GAN),提高了预测普通标签的准确性,并可以生成高质量的实例,尽管监管不力。除了大量的实证研究,我们还从理论上证明了我们的模型可以从互补标记的数据中恢复真实的条件分布。
2019-09-11 cs.LG stat.ML
Toward Robustness against Label Noise in Training Deep Discriminative Neural Networks
D-Wave Systems Inc.(D-Wave系统公司)
收集带有高质量标签的大型训练数据集是昂贵且耗时的。本文提出了一种新的框架,用于从可以廉价获得的噪声标记数据集训练深度卷积神经网络。该问题使用无向图形模型来制定,该模型表示在半监督设置中训练的噪声和清洁标签之间的关系。在我们的公式中,对潜在清洁标签的推断是易于处理的,并且在训练期间使用辅助信息源进行正则化。将该模型应用于图像标记问题,并在CIFAR-10和MS COCO数据集上的训练中有效地标记未见过的图像以及减少标签噪声。
2017-11-03 cs.LG stat.ML
Multi-Label Topic Assignment via LLM Distillation: A Comparative Analysis of Generative vs. Discriminative Student Models
eBay Inc.(eBay公司)
本研究通过比较生成式与判别式学生模型在多标签主题分配中的性能,发现生成式模型在复杂对话和标签扩展场景下更优,并已成功部署于大规模电商生产环境。
2026-10-08 cs.CL cs.LG
Cross-label Suppression: A Discriminative and Fast Dictionary Learning with Group Regularization
Tsinghua University(清华大学)
本文通过有效地学习一个紧凑的和有区别的字典来解决图像分类问题。给定一个结构化字典,每个原子(字典矩阵中的列)与一些标签相关,我们提出了交叉标签抑制约束,以扩大不同类别的表示之间的差异。同时,我们引入群正则化来强制表示以保持原始样本的标签属性,这意味着鼓励同一类的表示是相似的。在交叉标记抑制时,我们不求助于常用的$\ell_0$ -范数或$\ell_1$ -范数进行编码,并且在不损失分类的区分能力的情况下获得计算效率。此外,两个简单的分类方案也开发,以充分利用学习字典。在人脸识别、物体分类、场景分类、纹理识别和运动动作分类等6个数据集上进行了大量的实验,结果表明,该方法在识别精度和计算效率上均优于目前提出的许多字典算法。
2017-05-08 cs.CV cs.LG stat.ML
Learning discriminative features in sequence training without requiring framewise labelled data
Tencent(腾讯)
在这项工作中,我们试图回答两个问题:深入学习的功能与区分能力的好处ASR系统的鲁棒性声学变化?如何在不需要逐帧标记序列训练数据的情况下学习它们?由于现有的方法通常需要知道标签在输入序列中出现的位置,因此到目前为止,它们仅限于许多现实世界的序列学习任务。我们提出了一种新的方法,它同时在一个单一的网络架构内的序列判别训练和特征判别学习建模,使它可以学习判别序列训练,从而避免了需要预先分割的训练数据的深度特征。我们在实际工业ASR任务中的实验表明,在不需要任何特定微调或额外复杂性的情况下,我们提出的模型在所有测试条件下都始终优于最先进的模型,并显着降低了字出错率(WER),特别是在不可见噪声条件下的最高改进,分别为12.94%,8.66%和5.80%,这表明我们提出的模型可以更好地推广到声学可变性。
2019-05-16 cs.LG cs.SD eess.AS
Bridging Generative and Discriminative Noisy-Label Learning via Direction-Agnostic EM Formulation
Cornell Tech(康奈尔科技);Cornell University(康奈尔大学);Department of Radiology, Stanford University(斯坦福大学放射科);Oxford University(牛津大学);Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey(视觉、语音和信号处理中心(CVSSP)、塞维利亚大学)
本文提出一种方向无关的单阶段EM框架用于生成式噪声标签学习,通过判别式代理替代图像生成并引入部分标签监督,在视觉和NLP基准上以更低计算成本达到最先进准确率。
2026-09-29 cs.CV cs.LG
Discriminative Clustering with Representation Learning with any Ratio of Labeled to Unlabeled Data
Swiss Data Science Center(瑞士数据科学中心);Ecole polytechnique fédérale de Lausanne(洛桑联邦理工学院);University of Washington(华盛顿大学)
我们提出了一种判别式聚类方法,其中的特征表示可以从数据中学习,而且利用标记的数据。表示学习可以使基于相似性的聚类方法能够自动适应数据的底层但隐藏的几何结构。所提出的方法增强了具有表示学习能力的BRAC方法,使用基于梯度的随机训练算法和具有熵正则化的最优传输算法来执行聚类分配步骤。当改变标记数据与未标记数据的比率时,在几个真实数据集上评估所得到的方法,从而在完全无监督制度和完全监督制度之间进行插值。实验结果表明,即使在完全无监督的情况下,该方法也可以学习强大的特征表示,甚至可以利用少量的标记数据来改进特征表示,并获得更好的复杂数据集聚类。
2023-02-17 cs.LG stat.ML
Statistical Topic Models for Multi-Label Document Classification
University of California Irvine(加州大学尔湾分校)
迄今为止,多标签文档分类的机器学习方法在很大程度上依赖于判别建模技术,例如支持向量机。这些方法的一个缺点是,随着标签总数和每个文档的标签数量的增加,性能会迅速下降。当标签频率表现出在现实世界数据集中经常观察到的高度偏斜的分布类型时,这个问题会被放大。在本文中,我们研究了一类多标签文档的生成统计主题模型,该模型将单个单词标记与不同的标签相关联。我们调查这种方法相对于判别模型的优势,特别是在涉及大量相对罕见的标签的分类问题。我们比较了生成和判别方法在文档标签任务上的性能,从具有数千个标签的数据集到具有数十个标签的数据集。实验结果表明,概率生成模型在多标签分类性能上优于判别方法,并且在标签数量多、标签频率偏高的数据集上具有优势.
2011-11-10 cs.LG stat.ML
Learning Discriminative Dynamics with Label Corruption for Noisy Label Detection
POSTECH(浦项科技大学);Yonsei University(延世大学);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出DynaCor框架,通过引入标签腐败策略扩充数据集并利用训练动力学潜在表示形成可分簇,有效检测噪声标签,提升了对多种噪声类型和噪声率的鲁棒性。
2024-05-30 cs.LG stat.ML
Learning Discriminative Features via Label Consistent Neural Network
Raytheon BBN Technologies(雷神BBN技术公司);University of Maryland, College Park(马里兰大学帕克分校)
深度卷积神经网络(CNN)仅在输出层执行监督信息,并且通过反向传播来自输出层的预测误差来训练隐藏层,而无需显式监督。我们提出了一种监督的特征学习方法,标签一致性神经网络,它在后面的隐藏层中实施直接监督。我们将隐藏层中的每个神经元与特定的类标签相关联,并鼓励它为来自同一类的输入信号激活。更具体地说,我们引入了一个标签一致性正则化,称为“判别表示错误”损失的后期隐藏层,并将其与分类错误损失相结合,以建立我们的整体目标函数。这种标签一致性约束消除了梯度消失的常见问题,并趋向于更快的收敛;它还使得即使使用简单的$k$ -NN分类器,从后期隐藏层导出的特征也足以区分分类,因为来自同一类的输入信号将具有非常相似的表示。实验结果表明,我们的方法实现了国家的最先进的性能在几个公共基准动作和对象类别识别。
2016-06-05 cs.CV cs.LG cs.MM
Joint Subspace Recovery and Enhanced Locality Driven Robust Flexible Discriminative Dictionary Learning
Hefei University of Technology(合肥工业大学);Soochow University(苏州大学);Harbin Institute of Technology(哈尔滨工业大学);University of Queensland(昆士兰大学)
我们提出了一种基于子空间恢复和增强局部性的鲁棒柔性标签一致性字典学习方法,称为鲁棒柔性判别字典学习(RFOLD)。该算法主要通过增强对稀疏错误的鲁棒性,对局部性、重构错误和标签一致性进行更精确的编码,来提高数据的表示和分类能力。首先,为了对数据和原子中的噪声和稀疏错误具有鲁棒性,RFRST旨在联合恢复底层的干净数据和干净原子子空间,然后在恢复的子空间中执行DL并编码局部性。其次,为了使从非线性流形采样的数据能够潜在地处理,并通过避免过拟合来获得准确的重建,RFFLOW以灵活的方式最小化重建误差。第三,为了对标签一致性进行准确编码,RFRST涉及有区别的灵活稀疏码错误以鼓励系数变软。第四,为了更好地编码局部性,RFFNN定义了恢复原子上的拉普拉斯矩阵,包括原子在类内紧凑性和类间分离方面的标签信息,并与组稀疏码和分类器相关联,以获得准确的区分性局部约束系数和分类器。在公共数据库上的大量结果表明了我们的RFESTs的有效性。
2019-06-11 cs.CV cs.LG
Discriminative Entropy Clustering and its Relation to K-means and SVM
University of Waterloo(滑铁卢大学)
本文研究基于熵的无监督聚类,澄清其与K-means的差异并证明其与SVM的间隔最大化联系,提出带鲁棒反向交叉熵的自标注熵聚类方法,在多个深度聚类基准上取得最优性能。
2024-09-29 cs.CV cs.LG
Score Function Features for Discriminative Learning: Matrix and Tensor Framework
University of California, Irvine(加州大学欧文分校);University of Southern California(南加州大学)
特征学习是解决语音、计算机视觉和自然语言处理等领域具有挑战性的学习问题的基石。在本文中,我们考虑了一类新的矩阵和张量值特征,可以使用未标记的样本进行预训练。我们提出了有效的算法来提取判别信息,给定这些预先训练的特征和任何相关任务的标记样本。我们的特征类基于高阶得分函数,它捕获输入的概率密度函数中的局部变化。我们建立了一个理论框架来表征的性质,可以从分数函数功能提取的歧视性信息,当与标记的样本结合使用。我们采用有效的谱分解算法(矩阵和张量)提取判别成分。采用张量值特征的优点是我们可以以过完备表示的形式提取更丰富的判别信息。因此,我们提出了一个新的框架,采用生成模型的输入判别式学习。
2014-12-11 cs.LG stat.ML
Discriminatively Constrained Semi-supervised Multi-view Nonnegative Matrix Factorization with Graph Regularization
siat.ac.cn(siat.ac.cn(注:此处原文仅提供了邮箱,未明确完整机构名,根据要求不提取))
近年来,半监督多视图非负矩阵分解(MVNMF)算法在多视图聚类中取得了很好的性能。然而,大多数半监督MVNMF都未能有效地考虑聚类之间的区分信息和多个视图的特征对齐。本文提出了一种新的判别约束半监督多视图非负矩阵分解算法(DCS^2MVNMF)。具体地说,每个视图的辅助矩阵,这增强了类间的区别引入一个判别加权矩阵。同时,利用标号和几何信息构造了一种新的图正则化方法。此外,我们设计了一种新的特征尺度归一化策略来对齐多个视图,并完成了相应的迭代优化方案。在多个真实世界的多视点数据集上进行的实验证明了该方法的有效性。
2020-10-26 cs.LG
A Bayesian Gaussian Process-Based Latent Discriminative Generative Decoder (LDGD) Model for High-Dimensional Data
Isfahan University of Technology(伊斯法罕理工大学);Boston University(波士顿大学);University of Minnesota(明尼苏达大学);Worcester Polytechnic University(伍斯特理工大学)
提出基于贝叶斯高斯过程的潜在判别生成解码器(LDGD)模型,通过将高维数据映射到低维流形并利用诱导点降低计算复杂度,实现了高精度标签预测与高效可扩展的高维数据表征。
2024-05-07 cs.LG
Score Function Features for Discriminative Learning
University of Southern California(南加州大学)
特征学习是解决语音、计算机视觉和自然语言处理等领域具有挑战性的学习问题的基石。在本文中,我们考虑了一类新的矩阵和张量值特征,可以使用未标记的样本进行预训练。我们提出了有效的算法来提取判别信息,给定这些预先训练的特征和任何相关任务的标记样本。我们的特征类基于高阶得分函数,它捕获输入的概率密度函数中的局部变化。我们建立了一个理论框架来表征的性质,可以从分数函数功能提取的歧视性信息,当与标记的样本结合使用。我们采用有效的谱分解算法(矩阵和张量)提取判别成分。采用张量值特征的优点是我们可以以过完备表示的形式提取更丰富的判别信息。因此,我们提出了一个新的框架,采用生成模型的输入判别式学习。
2015-04-19 cs.LG stat.ML
Discriminative Graph-level Anomaly Detection via Dual-students-teacher Model
Wuhan University(武汉大学);Macquarie University(麦考瑞大学)
本文提出基于双学生-教师模型的判别式图级异常检测框架,通过定义异常图信息并利用两学生模型拟合教师表示的误差来区分异常图,实验证明其有效。
2023-08-03 cs.AI cs.LG
Feature Selection Based on Orthogonal Constraints and Polygon Area
Ludong University(鲁东大学);Qufu Normal University(曲阜师范大学)
本文提出一种结合多边形面积的正交回归模型,用于捕捉特征与标签间的判别依赖关系,并采用混合非单调线性搜索解决非凸优化问题,在降维和分类性能上优于传统方法。
2024-02-25 cs.LG
Discriminative Active Learning for Domain Adaptation
Université Laval(拉瓦尔大学);China Electronics Technology Group(中国电子科技集团);University of Western Ontario(西安大略大学)
领域自适应旨在学习不同但相关领域之间的可转移特征,已经得到了很好的研究,并显示出良好的经验表现。以往的工作主要集中在匹配的边缘特征分布使用对抗训练方法,同时假设源和目标域之间的条件关系保持不变,$i.e.$,忽略了条件转移的问题。然而,最近的工作表明,这样的条件转移问题的存在,可以阻碍适应过程。为了解决这个问题,我们必须利用来自目标域的标记数据,但是收集标记数据可能非常昂贵和耗时。为此,我们引入了一个判别式主动学习方法的领域自适应,以减少数据注释的努力。具体来说,我们提出了神经网络的三阶段主动对抗训练:不变特征空间学习(第一阶段),查询策略的不确定性和多样性标准及其权衡(第二阶段)和查询目标标签的重新训练(第三阶段)。与现有的领域自适应方法使用四个基准数据集的实证比较表明,所提出的方法的有效性。
2020-05-24 cs.LG stat.ML
Generative-Discriminative Variational Model for Visual Recognition
Carnegie Mellon University(卡内基梅隆大学)
从具有手工制作特征的浅层分类器到端到端可训练的深度学习模型的范式转变已经显示出监督学习任务的显着改进。尽管深度神经网络(DNN)具有很好的潜力,但如何减轻训练过程中的过拟合一直是人们感兴趣的研究课题。在本文中,我们提出了一个生成判别变分模型(GDVM)的视觉分类,在其中,我们引入了一个潜在的变量推断,从输入表现出生成能力的预测。换句话说,我们的GDVM将监督学习任务转换为生成学习过程,并将数据区分用于改进分类。在我们的实验中,我们考虑多类分类,多标签分类,和零样本学习的任务。我们表明,我们的GDVM与基线或最近的生成DNN模型相比表现良好。
2017-06-07 cs.LG
Discriminative Probabilistic Models for Relational Data
Stanford University(斯坦福大学)
在许多监督学习任务中,待标记的实体以复杂的方式彼此相关,并且它们的标记不是独立的。例如,在超文本分类中,链接页面的标签高度相关。一种标准的方法是对每个实体独立分类,忽略它们之间的相关性。最近,概率关系模型,贝叶斯网络的关系版本,被用来定义一个联合概率模型的相关实体的集合。在本文中,我们提出了一个替代框架,建立在(条件)马尔可夫网络和解决以前的方法的两个局限性。首先,无向模型不施加非循环约束,这阻碍了有向模型中许多重要关系依赖的表示。其次,无向模型非常适合区分训练,在这种情况下,我们优化了给定特征的标签的条件似然,这通常会提高分类准确性。我们展示了如何有效地训练这些模型,以及如何使用近似概率推理的学习模型的集体分类的多个相关的实体。我们提供了一个网页分类任务的实验结果,表明可以显着提高准确性建模的关系依赖。
2012-12-12 cs.AI cs.LG stat.ML
Discriminative Language Model as Semantic Consistency Scorer for Prompt-based Few-Shot Text Classification
Fudan University(复旦大学)
提出了一种新的基于语义的文本微调方法(称为DLM-SCS),该方法利用预训练的区分性语言模型ELECTRA来区分标记是原始的还是生成的,用于Few-Shot文本分类。其基本思想是,使用真标签实例化的提示应该比使用假标签的其他提示具有更高的语义一致性得分。由于提示通常由几个组件(或部分)组成,因此可以相应地分解其语义一致性。每个组件的语义一致性计算,然后利用预训练的ELECTRA模型,而不引入额外的参数。大量的实验表明,我们的模型优于几个国家的最先进的基于图像的Few-Shot方法。
2022-10-23 cs.AI cs.CL cs.LG
A Probabilistic Model for Discriminative and Neuro-Symbolic Semi-Supervised Learning
University of Edinburgh(爱丁堡大学);Samsung AI Centre Cambridge(三星剑桥人工智能中心)
通过结合利用数据分布的不同方面的方法,半监督学习(SSL)已经取得了很大进展,例如,一致性正则化依赖于$p(x)$的属性,而熵最小化与标签分布$p(y|x)$有关。专注于后者,我们提出了一个概率模型的歧视SSL,它反映了其经典的生成对应。在假设$y|x$是确定性的情况下,潜在变量的先验变得离散。我们发现,几个著名的SSL方法可以被解释为近似这一先验,并可以改进。我们扩展的歧视性模型神经符号SSL,标签功能满足逻辑规则,通过显示这些规则直接与上述先验,从而证明了一个家庭的方法,统计学习和逻辑推理,并将它们与常规SSL统一。
2021-05-31 cs.LG cs.LO stat.ML
Active Inference-Based Optimization of Discriminative Neural Network Classifiers
Institute of Signal Processing and System Theory(信号处理与系统理论研究所);University of Stuttgart(斯图加特大学)
本文提出基于主动推理与广义 Kelly 准则的判别式神经网络优化方法,通过候选标签和期望自由能损失同时处理类别不平衡及参考标签错误。
2023-06-04 cs.AI cs.LG
Structured Discriminative Tensor Dictionary Learning for Unsupervised Domain Adaptation
Nanjing University of Posts and Telecommunications(南京邮电大学);Texas State University(得克萨斯州立大学);University of Trento(特伦托大学);Nanjing University of Science and Technology(南京理工大学);University of Technology Sydney(悉尼科技大学);Wuhan University(武汉大学)
无监督领域自适应(UDA)解决了在计算机视觉应用中常见的由于训练集和测试集之间的领域移位而导致的性能下降的问题。现有的UDA方法大多是基于矢量形式的数据,虽然在可视化应用中的数据或特征的典型格式是多维张量。此外,目前的方法,包括深度网络方法,假设提供了大量的标记源样本用于训练。然而,在实际应用中,标注源样本的数量总是有限的,由于昂贵的注释成本,使得次优性能被观察到。在本文中,我们提出了通过学习张量空间中的结构化字典来寻求多维数据的判别表示。该字典将领域信息和类信息分离,保证了表示对领域的鲁棒性。此外,为了避免外部分类器的设计,提出了一种伪标签估计方案,在算法迭代中结合判别分析。我们在有限的源样本的不同数据集上进行了广泛的结果。实验结果表明,该方法优于国家的最先进的方法。
2019-05-11 cs.CV cs.LG
Information-Theoretical Learning of Discriminative Clusters for Unsupervised Domain Adaptation
U. of Southern California(南加州大学)
我们研究了无监督的领域自适应问题,其目的是使在标记源域上训练的分类器适应未标记的目标域。许多现有的方法首先学习域不变特征,然后用它们构造分类器。我们提出了一种新的方法,共同学习两者。具体地,虽然该方法识别源域和目标域中的数据类似地分布的特征空间,但它也有区别地学习特征空间,优化信息理论度量作为目标域上的预期误分类误差的代理。我们展示了如何使用简单的基于梯度的方法有效地进行这种优化,以及如何在不需要来自目标域的任何标记数据的情况下交叉验证超参数。对目标识别和情感分析的基准任务的实证研究验证了我们的建模假设,并证明了我们的方法在分类精度上比竞争对手有显着的改进。
2012-06-27 cs.LG stat.ML
Discriminative models for multi-instance problems with tree-structure
CTU in Prague(布拉格捷克理工大学);Cisco R&D Center in Prague(思科布拉格研发中心);UTIA, Czech Academy of Sciences(捷克科学院信息理论与自动化研究所)
为了应对日益复杂的现代威胁,对网络流量进行建模变得越来越重要。然而,由于信号的多样性和复杂性,没有人能够完全解释,因此在遥测数据之上构建可靠的分类器是非常困难和昂贵的。因此,获得具有足够大且可变的标签主体的训练数据可以被视为禁止的问题。这项工作的目标是通过观察从网络传感器(通常是代理服务器或网络防火墙)收集的HTTP(S)流量来检测受感染的计算机,同时在模型训练阶段仅依赖于最小的人工输入。我们提出了一个判别模型,根据在预定义的时间窗口(在我们的情况下为5分钟)内观察到的所有计算机流量做出决策。该模型是在大量计算机的相同大小的时间窗口内收集的流量样本上训练的,其中唯一需要的标签是关于计算机整体的人类判断(假定感染与假定干净)。作为训练的一部分,模型本身识别针对单个服务器的流量中的区别模式,并在其上构建最终的高级分类器。我们展示了分类器以非常高的精度执行,而学习的流量模式可以被解释为妥协的指标。在下文中,我们将判别模型实现为具有特殊结构的神经网络,其反映了两个堆叠的多实例问题。所提出的配置的主要优点不仅包括提高的准确性和从总标签中学习的能力,而且还包括自动学习通常被感染计算机访问的服务器类型(及其检测器)。
2017-03-07 cs.CR cs.LG
DIRECT: Deep Discriminative Embedding for Clustering of LIGO Data
Northwestern University(西北大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Center for Interdisciplinary Exploration and Research in Astrophysics(天体物理学跨学科探索与研究中心)
本文利用深度神经网络在估计非线性函数方面的强大能力,提出了一种判别嵌入函数,作为聚类任务的特征提取器。经过训练的嵌入函数将知识从标记的一组形态上不同的图像(称为类)的域转移到一个新的域,在该域中可以潜在地隔离和识别新的类。我们在本文中的目标应用是重力间谍项目,这是一个努力来表征瞬态,非高斯噪声存在于数据中的高级激光干涉仪引力波天文台,或LIGO。积累大量标记的噪声特征集并识别新的噪声类别可以更好地理解它们的起源,这使得它们可以从数据和/或检测器中去除。
2018-05-07 cs.LG stat.ML
Learning transferable and discriminative features for unsupervised domain adaptation
Nanjing University(南京大学);Jiangnan University(江南大学)
虽然取得了显著的进展,但在没有任何标记数据的情况下,很难诱导出有监督的分类器。无监督的领域自适应能够通过将知识从标记的源域转移到未标记的目标域来克服这一挑战。可转移性和可区分性是表征特征表示的优越性的两个关键标准,以实现成功的领域自适应。在本文中,一种新的方法称为\textit{learning TransFerable and Discriminative Features for unsupervised domain adaptation}(TFDF)提出了这两个目标同时优化。一方面,进行分布对齐以减少域差异并学习更多的可传递表示。在再生核希尔伯特空间(RKHS)中,我们采用了一种新的统计量\textit{Maximum Mean and Covariance Discrepancy}(MMCD),它不仅能捕获一阶统计信息,还能捕获二阶统计信息,而不是采用仅捕获一阶统计信息的\textit{Maximum Mean Discrepancy}(MMD)来度量分布差异.另一方面,我们建议通过流形正则化探索局部判别信息,并通过最小化所提出的\textit{class confusion}目标来学习更多的判别特征,分别探索全局判别信息。我们将这两个目标集成到\textit{Structural Risk Minimization}(RSM)框架中,并学习域不变分类器。在5个真实数据集…
2021-06-26 cs.LG stat.ML
Discriminative Multimodal Learning via Conditional Priors in Generative Models
BI Norwegian Business School(BI挪威商学院);UiT The Arctic University of Norway(挪威北极大学);Norwegian Computing Center(挪威计算中心)
带有潜变量的深度生成模型最近被用于从多模态数据中学习联合表示和生成过程。然而,这两种学习机制可能相互冲突,并且表示可能无法在数据模态上嵌入信息。本研究研究的现实场景中,所有的模态和类标签可用于模型训练,但下游任务所需的一些模态和标签丢失。我们表明,在这种情况下,变分的下限限制联合表示和丢失的方式之间的互信息。为了解决这些问题,我们引入了一种新的条件多模态判别模型,该模型使用信息丰富的先验分布,并优化了一个无似然的目标函数,使联合表示和缺失模态之间的互信息最大化。大量的实验证明了我们提出的模型的好处,实证结果表明,我们的模型实现了最先进的结果,在代表性的问题,如下游分类,声学反演,图像和注释生成。
2023-01-21 cs.LG stat.ML
Regularizing Neural Network Training via Identity-wise Discriminative Feature Suppression
School of Computer Science The University of Adelaide(阿德莱德大学计算机学院)
针对小样本或噪声标签下神经网络记忆实例特征导致的过拟合问题,提出基于对抗训练的 ASIF 方法,抑制类内身份判别特征,从而提升泛化准确率。
2022-10-02 cs.AI cs.CV cs.LG
Interpretable Low-Rank Document Representations with Label-Dependent Sparsity Patterns
Rudjer Boskovic Institute(鲁杰尔·博什科维奇研究所)
在文档分类的上下文中,其中在文档的语料库中,它们的标签标签是容易知道的,机会在于利用标签信息来学习具有更好的区分属性的文档表示空间。为此,在本文中,应用变分贝叶斯监督非负矩阵分解(监督vbNMF)与标签驱动的稀疏结构的系数提出了歧视性的非减法潜在语义成分发生在TF-IDF文档表示的学习。约束是这样的,追求的组件是经常出现在一个小的标签集,使其有可能产生独特的标签特定的稀疏激活模式的文档表示。一个简单的措施,这种稀疏结构的质量,被称为标签间稀疏性,介绍和实验紧密联系的分类性能。代表一个很大的实际方便,标签间稀疏性被证明是很容易控制在监督的vbNMF由一个单一的参数。
2014-07-25 cs.CL cs.IR cs.LG
Improving decision-making via risk-based active learning: Probabilistic discriminative classifiers
University of Sheffield(谢菲尔德大学);The Alan Turing Institute(艾伦·图灵研究所)
获得对结构的操作和维护做出明智决策的能力为结构健康监测(SHM)系统的实施提供了动力。然而,与被监测系统的健康状态相对应的测量数据的描述性标签通常是不可用的。这个问题限制了全监督机器学习范例用于开发统计分类器以用于SHM系统中的决策支持的适用性。解决这个问题的一种方法是基于风险的主动学习。在这种方法中,数据标签查询是根据初始数据点的完美信息的期望值来引导的。对于SHM中基于风险的主动学习,相对于维护决策过程评估信息的价值,并且数据标签查询对应于结构的检查以确定其健康状态。在SHM的上下文中,基于风险的主动学习仅被考虑用于生成分类器。目前的文件演示了使用一种替代类型的分类器-判别模型的几个优点。使用Z24桥数据集作为案例研究,它表明,判别分类器的好处,在SHM决策支持的背景下,包括提高鲁棒性抽样偏差,并减少结构检查的支出。
2022-06-23 cs.LG stat.AP stat.ML
Discriminative Sparse Coding on Multi-Manifold for Data Representation and Classification
稀疏编码作为一种有效的数据表示方法在计算机视觉、医学成像和生物信息学等领域得到了广泛的应用。然而,传统的稀疏编码算法及其多种正则化变体(图稀疏编码和拉普拉斯稀疏编码)都是以无监督的方式学习码书和编码,忽略了训练集中可用的类信息。为了解决这个问题,本文提出了一种新的歧视性稀疏编码方法的基础上多流形,通过学习歧视性的类条件码书和稀疏码的数据特征空间和类标签。首先,根据类标签将整个训练集划分为多个流形。然后,我们将稀疏编码公式化为流形-流形匹配问题,并学习类条件码本和代码,以最大化不同类的流形边缘。最后,我们提出了一个基于数据点流形匹配误差的策略来分类未标记的数据点。体细胞突变识别和乳腺肿瘤超声图像分类任务的实验结果表明,所提出的数据表示分类方法的有效性。
2013-04-03 cs.CV cs.LG stat.ML
Instance-Dependent Noisy Label Learning via Graphical Modelling
Australian Institute for Machine Learning(澳大利亚机器学习研究所);University of Adelaide(阿德莱德大学);Monash University(莫纳什大学)
在深度学习的生态系统中,噪声标签是不可避免的,但也是麻烦的,因为模型很容易过拟合它们。标签噪声有许多类型,例如对称、非对称和实例相关噪声(IDN),IDN是唯一依赖于图像信息的类型。这种对图像信息的依赖使得IDN成为研究标签噪声的关键类型,因为标签错误在很大程度上是由图像中存在的视觉类的信息不足或模糊引起的。为了提供一种有效的技术来解决IDN,我们提出了一种新的图形化建模方法称为InstanceGM,它结合了判别和生成模型。InstanceGM的主要贡献是:i)使用连续伯努利分布来训练生成模型,提供显着的训练优势,以及ii)探索最先进的噪声标签判别分类器,以从依赖于实例的噪声标签样本中生成干净的标签。InstanceGM与当前的噪声标签学习方法相比具有竞争力,特别是在使用合成和真实世界数据集的IDN基准测试中,我们的方法在大多数实验中显示出比竞争对手更好的准确性。
2022-09-02 cs.CV cs.LG
Unsupervised Domain Adaptation via Discriminative Manifold Propagation
Sun Yat-Sen University(中山大学);City University of Hong Kong(香港城市大学)
无监督领域自适应在将丰富的信息从标记的源域利用到未标记的目标域方面是有效的。虽然深度学习和对抗策略在特征适应性方面取得了重大突破,但仍有两个问题需要进一步研究。首先,在目标域上硬分配的伪标签是任意的并且容易出错,并且直接应用它们可能破坏固有的数据结构。其次,深度学习的批量训练限制了全局结构的表征。本文提出了一个黎曼流形学习框架,同时实现可迁移性和可区分性。对于第一个问题,该框架通过软标签在目标域上建立概率判别准则。基于预先建立的原型,这个标准扩展到第二个问题的全球近似计划。采用流形度量对齐,以兼容嵌入空间。推导了不同对准度量的理论误差界,用于构造性制导。所提出的方法可以用来解决一系列变种的领域自适应问题,包括香草和部分设置。大量的实验已经进行了调查的方法和比较研究显示的歧视性流形学习框架的优越性。
2020-08-23 cs.CV cs.LG stat.ML
Improved Dual Correlation Reduction Network
National University of Defense Technology(国防科技大学)
深度图聚类旨在揭示底层图结构并将节点划分为不同的聚类而无需人工注释,是一项基本但具有挑战性的任务。然而,我们观察到,现有的方法遭受表示坍塌的问题,很容易倾向于编码不同类别的样本到相同的潜在嵌入。因此,节点的区分能力是有限的,导致次优的聚类性能。为了解决这个问题,我们提出了一种新的深度图聚类算法,称为改进的双重相关减少网络(IDCRN),通过提高样本的区分能力。具体地说,通过近似的跨视图特征相关矩阵的单位矩阵,我们减少了不同维度的功能之间的冗余,从而显式地提高潜在空间的区分能力。同时,交叉视图样本相关矩阵被强制逼近设计的聚类细化邻接矩阵,以指导学习的潜在表示即使在跨视图中也能恢复亲和矩阵,从而隐式地增强特征的区分能力。此外,通过引入传播正则化项,避免了图卷积网络(GCN)中由于过度平滑而导致的表示崩溃,使IDCRN能够以浅层网络结构捕获长距离信息.六个基准测试的广泛实验结果证明了IDCRN与现有最先进的深度图聚类算法相比的有效性和效率。
2022-02-25 cs.AI cs.CV cs.LG
Maximum Margin Output Coding
Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们研究了多标签预测的输出编码。为了使多标签输出编码是有区别的,重要的是不同标签向量的码字彼此显著不同。同时,与传统的编码理论不同,输出编码中的码字是从输入预测的,因此具有可预测的标签编码也是至关重要的。为了找到既有区别又可预测的输出代码,我们首先提出了一个最大保证金公式,自然地捕捉这两个属性。然后,我们将其转换为一个度量学习公式,但与结构化预测问题中常见的指数级大量的约束。如果没有用于易处理推理的标签结构,我们使用过度生成(即,松弛)技术与用于优化的切割平面方法相结合。在我们的实证研究中,所提出的输出编码方案优于各种现有的多标签预测方法的图像,文本和音乐分类。
2012-06-27 cs.LG stat.ML
Weakly Supervised Action Labeling in Videos Under Ordering Constraints
INRIA(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院)
我们给出了一组视频剪辑,每个视频剪辑都注释有{ \em ordered}动作列表,例如从关联的文本脚本中提取的“walk”(走)、“sit”(坐)、“answer phone”(接电话)。我们试图在时间上本地化每个片段中的各个动作,以及学习每个动作的判别分类器。我们制定的问题作为一个弱监督的时间分配的顺序约束。每个视频剪辑被划分成小的时间间隔,并且每个视频剪辑的每个时间间隔被分配一个动作标签,同时尊重动作标签在给定注释中出现的顺序。我们表明,动作标签分配可以确定与学习的分类器,为每个动作在一个有区别的方式。我们评估了一个新的和具有挑战性的数据集的937个视频剪辑,共787720帧,包含序列的16个不同的动作,从69部好莱坞电影所提出的模型。
2014-07-04 cs.CV cs.LG
Knowledge Transfer by Discriminative Pre-training for Academic Performance Prediction
Riiid! AI Research(Riiid!人工智能研究院)
随着智能教学系统(ITS)的日益关注,对学生学习成绩的精确评估的需求越来越受到重视。然而,由于学习成绩的标签(如考试成绩)是从ITS外部收集的,因此获取标签的成本很高,导致标签稀缺问题,这给采用机器学习方法进行学习成绩预测带来了挑战。为此,受到自然语言处理社区中预训练方法的最新进展的启发,我们提出了DPA,一个带有区分性预训练任务的迁移学习框架,用于学习成绩预测。DPA预训练两个模型:生成器和鉴别器,并根据学习成绩预测对鉴别器进行微调。在DPA的预训练阶段,将一系列交互(其中一些标记被屏蔽)提供给生成器,生成器经过训练以重建原始序列。然后,预测器采用交互序列,其中被屏蔽的标记被生成器的输出替换,并被训练以预测序列中所有标记的原创性。与以前最先进的生成式预训练方法相比,DPA具有更高的样本效率,导致快速收敛,从而降低学习成绩预测误差。我们对从多平台ITS应用程序中获得的真实数据集进行了广泛的实验研究,结果表明DPA优于以前最先进的生成式预训练方法,平均绝对误差降低了4.05%,并且对标签稀缺性的增加更加鲁棒。
2021-07-12 cs.AI cs.CY cs.LG
Learning Discriminative Hashing Codes for Cross-Modal Retrieval based on Multi-view Features
散列技术因其存储要求低、处理速度快等优点在检索任务中得到了广泛的应用。许多基于单一视图的散列方法已被广泛研究用于信息检索。然而,单个视图的表示能力不足,并且没有捕获一些区分信息,这导致改进有限。在本文中,我们采用多个视图来表示图像和文本,以丰富的特征信息。我们的框架利用多个视图之间的互补信息,以更好地学习有区别的紧凑哈希码。提出了一种联合进行分类器学习和子空间学习的离散散列学习框架,以同时完成多个搜索任务。我们的框架包括两个阶段,即核化过程和量化过程。核化的目的是找到一个共同的子空间,多视图功能可以融合。量化阶段被设计为学习有区别的统一散列码。在单标签数据集(WiKi和MMED)和多标签数据集(MIRFlickr和NUS-WIDE)上进行了大量的实验,实验结果表明了该方法的优越性。
2020-01-06 cs.IR cs.LG cs.MM
A Relational-learning Perspective to Multi-label Chest X-ray Classification
NEC Labs(NEC实验室)
胸部X射线图像的多标签分类经常使用判别方法来执行,即学习将图像直接映射到其二进制标签。这样的方法使得合并辅助信息(诸如标注不确定性或标签之间的依赖性)变得具有挑战性。为此,我们提出了一种新的知识图谱重新制定的多标签分类,这不仅很容易增加预测性能的编码器,但也作为一个通用框架,引入新的领域知识。具体来说,我们构建了一个多模态的知识图谱的胸部X射线图像和它的标签和构成多标签分类作为一个链接预测问题。然后,可以通过添加附加节点和它们之间的关系来简单地实现对辅助信息的描述。当在公开可用的射线照片数据集(CheXpert)上进行测试时,我们使用朴素知识图谱的关系重构通过实现83.5%的ROC曲线下的面积而优于最新技术水平,这比纯粹的判别方法提高了“sim 1”。
2021-03-10 cs.AI cs.CV cs.LG
Improved Robust Algorithms for Learning with Discriminative Feature Feedback
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
本研究针对判别性特征反馈模型提出新的鲁棒交互式学习算法,在对抗性设置中降低错误界对异常次数的依赖,并在随机设置中首次实现多项式样本复杂度收敛。
2023-02-19 cs.LG stat.ML
Discriminative Learning via Semidefinite Probabilistic Models
University of Pennsylvania(宾夕法尼亚大学);Massachusetts Institute of Technology(麻省理工学院)
判别线性模型是机器学习中的一种常用工具。这些通常可以分为两种类型:第一种是线性分类器,例如支持向量机,它们被很好地研究并提供最先进的结果。这些模型的一个缺点是,它们的输出(称为“边际”)没有校准,并且不能自然地转换为标签上的分布。因此,很难将这些模型作为更大系统的组成部分,不像基于概率的方法。第二种方法使用非线性(例如对数线性模型)构建类条件分布,但有时在分类误差方面更差。我们提出了一个监督学习方法,结合了最好的两种方法。具体来说,我们的方法提供了标签上的分布,这是模型参数的线性函数。因此,概率之间的差异是线性函数,这是大多数概率模型(例如对数线性)所不具有的属性。我们的模型假设类对应于线性子空间(而不是半空间)。使用一个宽松的投影算子,我们构建了一个衡量一个给定的向量“属于”一个子空间的程度,从而在标签上的分布。有趣的是,这种观点与量子探测理论中的类似概念密切相关。由此产生的模型可以被训练以最大化边际或优化平均似然度量。相应的优化问题是半定规划,可以有效地解决。我们说明了我们的算法在现实世界的数据集上的性能,并表明它优于二阶核方法。
2012-06-27 cs.LG stat.ML
GPMFS: Global Foundation and Personalized Optimization for Multi-Label Feature Selection
School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院);Zhongguancun Laboratory(中关村实验室);Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing(未来区块链与隐私计算北京高精尖创新中心);Beijing Academy of Blockchain and Edge Computing(北京区块链与边缘计算研究院)
针对现有多标签特征选择忽视标签个性化需求的问题,提出GPMFS方法,结合全局特征识别与个性化特征补充,在真实数据集上实现更优性能,证明个性化特征选择的必要性与适用性。
2025-04-17 cs.AI cs.LG
Learning What to Trust in Multimodal Learning under Noisy Supervision
University of Science and Technology of China(中国科学技术大学)
针对实际场景中多模态学习的噪声标签问题,提出多模态标签噪声检测框架REFINE,通过分析表示结构与噪声检测能力的关系,联合融合与单模态表示检测噪声,提升模型泛化性能。
2026-10-09 cs.CV cs.LG
Dual Pose-invariant Embeddings: Learning Category and Object-specific Discriminative Representations for Recognition and Retrieval
Purdue University(普渡大学)
本文提出基于注意力的双编码器与姿态不变排序损失,联合学习类别和对象身份嵌入,在三个多视图数据集上显著提升单视图识别与检索性能。
2024-03-01 cs.CV cs.IR cs.LG
Discriminative feature generation for classification of imbalanced data
Korea Institute of Science and Technology Europe Forschungsgesellschaft mbH(韩国科学技术院欧洲研究所);TU Kaiserslautern(凯泽斯劳滕工业大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
数据不平衡问题是影响神经网络分类性能的一个常见瓶颈。在本文中,我们提出了一种新的监督鉴别特征生成(DFG)方法的少数类数据集。DFG基于生成对抗网络的改进结构,该网络由四个独立的网络组成:生成器、特征提取器、分类器。为了通过采用注意力机制来增强少数类数据的所选判别特征,训练用于类不平衡目标任务的生成器,并且使用来自大源数据的预训练特征来正则化特征提取器和分类器。实验结果表明,DFG生成器增强了标签保留和多样性特征的增强,在目标任务上的分类结果得到了显著改善。特征生成模型可以通过区别性特征生成和监督注意方法极大地促进数据增强方法的发展。
2020-10-24 cs.CV cs.LG
Weakly-supervised Dictionary Learning
Oregon State University(俄勒冈州立大学)
我们提出了一个概率建模和推理框架的判别分析字典学习下的弱监督设置。字典学习方法已被广泛用于低级别信号去噪和恢复以及高级分类任务等任务,这些任务可应用于音频和图像分析。综合字典学习旨在联合学习字典和相应的稀疏系数,以提供准确的数据表示。这种方法对于去噪和信号恢复是有用的,但可能导致次优分类性能。相比之下,分析字典学习提供了一种将数据映射到适合分类的稀疏判别表示的变换。我们考虑了弱监督设置下的时间序列数据的分析字典学习问题,其中信号被分配有全局标签而不是瞬时标签信号。我们提出了一个歧视性的概率模型,采用基数控制的潜在瞬时标签信号的标签信息和稀疏性约束。我们提出了期望最大化(EM)的最大似然估计(MLE)的建议模型的过程。为了便于计算效率的E-步骤,我们提出了一个链和一个新的树图的图形模型的重新制定。所提出的模型的性能证明在合成和真实世界的数据。
2018-02-05 cs.LG eess.SP stat.ML
Exploit Bounding Box Annotations for Multi-label Object Recognition
Nanyang Technological University(南洋理工大学);A*STAR(新加坡科技研究局);Bioinformatics Institute A*STAR(新加坡科技研究局生物信息学研究所);Nanjing University(南京大学)
卷积神经网络(CNN)作为对象识别应用的一般特征表示已经显示出很好的性能。然而,对于包含来自不同类别、尺度和位置的多个对象的多标签图像,全局CNN特征不是最佳的。在本文中,我们将当地的信息,以提高功能的区分能力。特别是,我们首先从每个图像中提取对象建议。将每个图像视为一个包,并将从中提取的对象建议视为实例,我们将多标签识别问题转化为多类多实例学习问题。然后,除了从每个建议中提取典型的CNN特征表示之外,我们还建议使用地面实况限界框注释(强标签),通过使用局部区域的最近邻关系来添加另一个级别的局部信息,以形成多视图管道。所提出的多视图多实例框架有效地利用了弱标签和强标签,更重要的是,它具有泛化能力,甚至可以通过来自其他类别的部分强标签来提高看不见的类别的性能。我们的框架被广泛地与最先进的手工制作的基于特征的方法和基于CNN的方法在两个多标签基准数据集上进行比较。实验结果验证了该框架的鉴别能力和泛化能力。通过强大的标签,我们的框架能够在两个数据集中实现最先进的结果。
2016-06-03 cs.CV cs.LG