Unsupervised Domain Adaptation via Regularized Conditional Alignment
University of California, Los Angeles(加州大学洛杉矶分校)
我们提出了一种无监督的领域自适应方法,该方法训练共享嵌入来对齐输入(域)和输出(类)的联合分布,使任何分类器对域不可知。联合对齐确保不仅域的边缘分布对齐,而且标签也对齐。我们提出了一个新的目标函数,鼓励类条件分布在特征空间中有不相交的支持。我们进一步利用对抗正则化来提高分类器在没有注释数据的域上的性能。
2019-05-26 cs.CV cs.LG stat.ML
Deep Discriminative Learning for Unsupervised Domain Adaptation
领域自适应方法的主要目的是将知识从源领域转移到具有相似但不同数据分布的目标领域。因此,为了正确地对未标记的目标域样本进行分类,标准方法是学习源域和目标域两者的共同表示,从而间接地解决在目标域中学习分类器的问题。然而,这样的方法不直接解决目标域中的分类任务。相比之下,我们提出了一种方法,直接解决了在未标记的目标域中学习分类器的问题。特别地,我们训练分类器以正确地分类训练样本,同时以无监督的方式对目标域中的样本进行分类。相应的模型被称为用于领域自适应的鉴别编码(DEDA)。我们表明,这种简单的方法执行无监督领域自适应确实是相当强大的。我们的方法在各种图像分类基准上实现了无监督自适应任务的最新结果。我们还在Amazon评论情感分类数据集中获得了领域自适应的最新性能。我们进行额外的实验时,源数据具有较少的标记的例子,也对zero-shot领域自适应任务,其中没有目标域样本用于训练。
2019-08-09 cs.LG stat.ML
DAugNet: Unsupervised, Multi-source, Multi-target, and Life-long Domain Adaptation for Semantic Segmentation of Satellite Images
Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所);Centre National d’Études Spatiales(法国国家空间研究中心);LuxCarta Technology(LuxCarta科技公司);ACRI-ST(ACRI-ST公司)
卫星图像的领域自适应在分割大尺度卫星图像时克服了机器学习模型泛化能力的局限性,近年来得到了越来越多的关注。大多数现有的方法寻求适应模型从一个域到另一个域。然而,这样的单源和单目标设置阻止了方法成为可扩展的解决方案,因为如今具有不同数据分布的多个源和目标域通常是可用的。此外,卫星图像的不断扩散需要分类器,以适应不断增加的数据。我们提出了一种新的方法,创造DAugNet,无监督,多源,多目标,和终身的领域自适应的卫星图像。它由一个分类器和一个数据扩充器组成。数据增强器是一个浅层网络,能够以无监督的方式在多个卫星图像之间进行风格转换,即使随着时间的推移添加了新的数据。在每次训练迭代中,它为分类器提供了多样化的数据,这使得分类器对领域之间的大数据分布差异具有鲁棒性。我们广泛的实验证明,DAugNet比现有方法更好地推广到新的地理位置。
2020-06-07 cs.CV cs.LG eess.IV
Cross-Domain Gradient Discrepancy Minimization for Unsupervised Domain Adaptation
University of Electronic Science and Technology of China(电子科技大学)
无监督领域自适应(UDA)旨在将从标记良好的源领域学习到的知识推广到未标记的目标领域。最近,具有两个不同分类器(双分类器)的对抗性领域自适应已被引入到UDA中,其有效地对齐不同领域之间的分布。以前的双分类器对抗学习方法只关注两个不同分类器输出之间的相似性。然而,输出的相似性不能保证目标样本的准确性,即,即使两个分类器之间的差异很小,目标样本也可能匹配到错误的类别。为了挑战这个问题,在本文中,我们提出了一个跨域梯度差异最小化(CGDM)方法,显式地最小化由源样本和目标样本产生的梯度的差异。具体地说,梯度给出了目标样本的语义信息的线索,因此它可以作为一个很好的监督,以提高目标样本的准确性。为了计算目标样本的梯度信号,我们进一步通过基于聚类的自监督学习获得目标伪标签。在三个广泛使用的UDA数据集上进行的大量实验表明,我们的方法超越了许多以前的最先进的方法。代码可在https://github.com/lijin118/CGDM上获得。
2021-06-08 cs.AI cs.CV cs.LG
A General Upper Bound for Unsupervised Domain Adaptation
The University of Tokyo(东京大学);RIKEN(理化学研究所)
在这项工作中,我们提出了一个新的目标误差的上限,以解决无监督领域自适应的问题。最近的研究表明,深度神经网络可以学习可转移的特征,这些特征可以很好地推广到新的任务。此外,Ben-David等人(2010)提出的理论提供了在传递知识时的目标误差的上限,可以概括为同时最小化源误差和边缘分布之间的距离。然而,基于该理论的常用方法通常忽略联合误差,使得在匹配边缘分布时,来自不同类别的样本可能混合在一起。在这种情况下,无论我们如何最小化的边缘差异,目标误差是没有界的,由于一个不断增加的联合误差。为了解决这个问题,我们提出了一个一般的上限考虑联合误差,这样不理想的情况下,可以适当地惩罚。此外,我们还利用约束假设空间进一步形式化了一个更严格的边界,以及一个新的跨边界差异来衡量假设之间的差异,这在对抗性学习过程中消除了不稳定性。大量的经验证据表明,我们的建议优于相关的方法在标准的领域自适应基准的图像分类出错率。
2019-10-04 cs.CV cs.LG stat.ML
Transfer Learning via Unsupervised Task Discovery for Visual Question Answering
POSTECH(浦项科技大学);OpenAI;Seoul National University(首尔国立大学)
本文研究了在视觉问答任务中,如何利用现成的视觉和语言数据来处理词汇外答案。现有的大规模视觉数据集与注释,如图像类标签,边界框和区域描述是学习丰富多样的视觉概念的良好来源。然而,由于问题相关回答模型和没有问题的视觉数据之间的链接缺失,如何捕获视觉概念并将其转移到视觉问答模型并不简单。我们通过两个步骤来解决这个问题:1)学习任务条件视觉分类器,它能够解决各种特定于问题的视觉识别任务,基于无监督任务发现和2)将任务条件视觉分类器转移到视觉问答模型。具体来说,我们采用语言知识源,如结构化的词汇数据库(如WordNet)和视觉描述的无监督任务发现,并转移学习任务条件视觉分类器作为一个回答单元的视觉问答模型。我们的经验表明,该算法推广到词汇表外的答案成功地使用从视觉数据集转移的知识。
2019-04-07 cs.CL cs.CV cs.LG
Light-weight Calibrator: a Separable Component for Unsupervised Domain Adaptation
Institute for interdisciplinary information core technology(IIISCT)(跨学科信息核心技术研究所(IIISCT));Tsinghua University(清华大学);University of Tsukuba(筑波大学);Northeastern University(东北大学)
现有的领域自适应方法旨在学习可以在领域之间推广的特征。这些方法通常需要更新源分类器以适应目标域,并且没有正确处理源域和目标域之间的权衡。在这项工作中,而不是训练一个分类器,以适应目标域,我们使用一个可分离的组件称为数据校准器,以帮助固定的源分类器恢复在目标域的歧视权力,同时保持源域的性能。当两个域之间的差异很小时,源分类器的表示足以在目标域中表现良好,并且在数字上优于基于GAN的方法。另外,该方法可以利用GANs生成的合成图像来提高性能,并在数字数据集和驾驶场景语义分割方面实现最先进的性能。我们的方法经验表明,某些有趣的提示,这可以减轻对抗攻击域鉴别器,是域转移下的性能下降的来源之一。
2020-02-28 cs.CV cs.LG eess.IV
Information-Theoretical Learning of Discriminative Clusters for Unsupervised Domain Adaptation
U. of Southern California(南加州大学)
我们研究了无监督的领域自适应问题,其目的是使在标记源域上训练的分类器适应未标记的目标域。许多现有的方法首先学习域不变特征,然后用它们构造分类器。我们提出了一种新的方法,共同学习两者。具体地,虽然该方法识别源域和目标域中的数据类似地分布的特征空间,但它也有区别地学习特征空间,优化信息理论度量作为目标域上的预期误分类误差的代理。我们展示了如何使用简单的基于梯度的方法有效地进行这种优化,以及如何在不需要来自目标域的任何标记数据的情况下交叉验证超参数。对目标识别和情感分析的基准任务的实证研究验证了我们的建模假设,并证明了我们的方法在分类精度上比竞争对手有显着的改进。
2012-06-27 cs.LG stat.ML
Bayesian Uncertainty Matching for Unsupervised Domain Adaptation
Qiushi Academy for Advanced Studies, Zhejiang University(浙江大学求是高等研究院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);State University of New York at Buffalo(纽约州立大学布法罗分校);Zhejiang University School of Medicine(浙江大学医学院)
领域自适应是一种重要的技术,用于减轻由领域移位引起的性能下降,当训练和测试数据来自不同的域时。由于目标域标签的不可用,大多数现有的深度自适应方法都集中在通过对输入特征进行深度变换来匹配边缘特征分布来减少域偏移。我们表明,域移位可能仍然存在通过标签分布偏移在分类器,从而恶化模型的性能。为了缓解这个问题,我们提出了一个近似的联合分布匹配方案,利用预测的不确定性。具体来说,我们使用贝叶斯神经网络来量化分类器的预测不确定性。通过对特征和标签(通过不确定性)进行分布匹配,有效地缓解了源数据和目标数据中的标签分布不匹配,鼓励分类器跨域产生一致的预测。我们还提出了一些技术来改进我们的方法,通过自适应重新加权领域自适应损失,以实现非平凡的分布匹配和稳定的训练。在三个流行的基准数据集上与最先进的无监督领域自适应方法的比较表明了我们的方法的优越性,特别是在减轻负迁移的有效性。
2019-06-24 cs.CV cs.LG stat.ML
Nonparametric Unsupervised Classification
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
无监督分类方法从未标记的数据中学习判别分类器,这已被证明是同时聚类数据和从数据中训练分类器的有效方法。各种无监督分类方法通过以无监督方式学习的分类器获得吸引人的结果。然而,现有的方法没有考虑非监督分类器(非监督SVM除外)的误分类错误,因此没有充分评估非监督分类器的性能。在这项工作中,我们研究了两个流行的分类器,即最近邻分类器(NN)和插件分类器,在无监督分类的设置下的误分类错误。
2013-05-20 cs.LG stat.ML
Notes on Margin Training and Margin p-Values for Deep Neural Network Classifiers
Pennsylvania State University(宾夕法尼亚州立大学)
我们为Lipschitz连续DNN分类器提供了一个新的局部类纯度定理。此外,我们还讨论了如何获得训练样本的分类裕度。最后,我们描述如何计算测试样本的边际p值。
2019-12-05 cs.LG stat.ML
Unsupervised Real Time Prediction of Faults Using the Support Vector Machine
为了提高支持向量机(SVM)分类器的分类精度,采用序贯最小优化(SMO)训练算法对油气设备数据进行故障和正常分类。最近的应用程序的故障分析利用SVM技术,而不实施SMO训练算法,而在我们的研究中,我们表明,所提出的解决方案可以更好地执行时,使用SMO训练算法。此外,我们实现了集成方法,这是一个混合的基于规则和神经网络分类器,以提高性能的SVM分类器(SMO训练算法)。优化研究是由于分类器在处理不平衡数据集时性能不佳。通过使用堆叠集成方法将所选择的最佳性能分类器与SVM分类器(具有SMO训练算法)结合在一起,以创建可以处理不平衡数据问题的高效集成预测模型。该预测模型的分类性能明显优于支持向量机与SMO训练算法和许多其他传统的分类器。
2020-12-30 cs.LG
Scheduling to Learn In An Unsupervised Online Streaming Model
TIFR, Mumbai(孟买塔塔基础研究院);IIT-Bombay(印度理工学院孟买分校)
一个无监督的在线流模型被认为是在$T$插槽的样本到达在线的方式。存在$M$分类器,其混淆矩阵先验未知。在每个槽中,最多一个样本可以由任何分类器标记。样本的准确性是从各种分类器中为其获得的标签集的函数。样本的效用是其精度减去响应时间(离开时隙和到达时隙的差)的标量倍数,其中离开时隙也由算法决定。由于每个分类器每个时隙最多可以标记一个样本,因此在为特定样本获得更大的标签集合以提高其准确性与其响应时间之间存在折衷。最大化所有样本的效用之和的问题被认为是,学习混淆矩阵,样本分类器匹配分配,和样本离开槽决定相互依赖。该算法首先学习混淆矩阵,然后使用贪心算法进行样本分类器匹配。一旦样本的增量效用变为非正,样本就会离开。我们证明了该算法的竞争比是$\frac{1}{2}-{\mathcal O}\left(\frac{\log T}{T}\right)$。
2021-12-02 cs.LG
Learning a Fuzzy Hyperplane Fat Margin Classifier with Minimum VC dimension
Indian Institute of Technology, Delhi(德里印度理工学院)
Vapnik-Chervonenkis(VC)维度量学习机的复杂性,低VC维导致良好的泛化。最近提出的最小复杂性机器(MCM)通过最小化VC维上的精确界来学习超平面分类器。本文将MCM分类器推广到模糊域。已知使用模糊隶属度来减少离群值的影响,并且减少噪声对学习的影响。实验结果表明,在一些基准数据集上,模糊MCM分类器的泛化性能优于SVM和常规MCM,模糊MCM使用较少的支持向量。在几个基准数据集上,模糊MCM分类器在使用支持向量机所使用的十分之一的支持向量的情况下产生了出色的测试集精度。
2015-01-11 cs.LG
Unsupervised Fusion Weight Learning in Multiple Classifier Systems
Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们提出了一种无监督的方法来学习的权重,多个分类器的分数必须结合在分类器融合设置。我们还介绍了一种新的度量排名的基础上的索引,它取决于训练点的加权分数之间的加权分数的测试点的排名的实例。我们表明,优化后的索引可以用于计算的措施,如平均精度。与大多数分类器融合方法不同的是,我们的方法学习了特定于实例的权重。该问题被公式化为学习使清晰度指数最大化的权重;随后,指数本身和学习到的权重都被分别用于对所有测试点进行排名。我们的方法给出了一种在实际测试数据上优化性能的无监督方法,不像众所周知的基于堆栈的方法,其中优化是在标记的训练集上完成的。此外,我们表明,我们的方法是宽容的噪声分类器,可用于选择N-最好的分类。
2015-02-06 cs.CV cs.LG
Unsupervised Ensemble Learning with Dependent Classifiers
Weizmann Institute of Science(魏茨曼科学研究所);Yale University(耶鲁大学);Yale University School of Medicine(耶鲁大学医学院)
在无监督集成学习中,人们从多个源或分类器获得预测,但不知道每个源的可靠性和专业知识,也没有标记数据来评估它。任务是将这些可能相互冲突的预测组合成一个准确的元学习者。迄今为止,大多数作品都假设不同来源之间存在完美的多样性,这种特性被称为条件独立性。然而,在现实场景中,这一假设往往被违反,基于它的集成学习器可能是严重的次优。我们在本文中解决的关键挑战是:\(i)如何检测,在无监督的方式,强烈违反条件独立性;和(ii)构建一个合适的元学习器。为此,我们引入了一个统计模型,允许分类器之间的依赖关系。我们的主要贡献是开发新的无监督方法来检测强依赖分类器,更好地估计其准确性,并构建一个改进的元学习器。使用人工和真实数据集,我们展示了考虑分类器依赖关系的重要性以及我们方法的竞争性能。
2016-02-23 cs.LG stat.ML
Active Learning of Classifiers with Label and Seed Queries
Univ. of Milan(米兰大学);Google(谷歌);Istituto Italiano di Tecnologia(意大利技术研究院);TU Wien(维也纳工业大学)
研究了带间隔的二值和多值分类器的精确主动学习问题。给定一个$n$ -点集$X \subset \mathbb{R}^m$,我们想学习$X$上的任何未知分类器,其类具有有限的强凸包余量,这是一个扩展SVM余量的新概念。在标准的主动学习设置中,仅允许标签查询,学习具有强凸包余量$γ$的分类器在最坏情况下需要$Ω\big(1+\frac{1}γ\big)^{(m-1)/2}$查询。另一方面,使用更强大的种子查询(等价查询的变体),可以通过Littlestone的Halving算法在$O(m \log n)$查询中学习目标分类器;然而,Halving在计算上是低效的。在这项工作中,我们表明,通过仔细地结合这两种类型的查询,一个二进制分类器可以学习的时间$\operatorname{poly}(n+m)$只使用$O(m^2 \log n)$标签查询和$O\big(m \log \frac{m}γ\big)$种子查询,结果扩展到$k$类分类器的价格$k!k^2$乘法开销。当输入点具有有界位复杂度时,或者当只有一个类对其余类具有强凸壳边缘时,类似的结果也成立。我们补充的上限表明,在最坏的情况下,任何算法都需要$Ω\big(k m \log \frac{1}γ\big)$种子和标签查询学习的$k$类分类器与强凸包利润$γ$。
2022-09-08 cs.LG
Margin-Based Feed-Forward Neural Network Classifiers
Tsinghua University(清华大学)
边际收益原则提出已久,理论和实践都证明了该原则能够降低结构性风险,提高绩效。而前馈神经网络是一种传统的分类器,是目前研究的热点,具有更深层次的体系结构。而前馈神经网络的训练算法是从Widrow-Hoff原理中发展和产生的,即最小化平方误差。提出了一种基于边缘原则的前馈神经网络训练算法,该算法能够有效地提高神经网络分类器的分类精度和泛化能力,同时具有样本量少、网络灵活等特点。我们在四个UCI开放数据集上进行了实验,取得了预期的良好效果。总之,我们的模型可以处理更稀疏的标记和更高维的数据集在一个高的精度,而从旧的人工神经网络方法修改我们的方法是容易的,几乎没有工作。
2015-06-11 cs.LG
Max-Margin Stacking and Sparse Regularization for Linear Classifier Combination and Selection
Sabanci University(萨班哲大学)
堆叠泛化(或堆叠)的主要原理是使用第二级泛化器将基本分类器的输出组合在一起。在本文中,我们研究不同的组合类型下的堆叠框架,即加权和(WS),类依赖加权和(CWS)和线性堆叠推广(LSG)。为了学习权重,我们建议使用正则化的经验风险最小化与铰链损失。此外,我们建议使用组稀疏性进行正则化,以方便分类器的选择。我们使用两种不同的集合设置进行实验,在8个真实世界的数据集上进行不同的分类。结果显示了具有铰链损失函数的正则化学习的能力。使用稀疏正则化,我们能够在不牺牲准确性的情况下减少所选分类器的数量。对于非多样性集成,我们甚至通过使用稀疏正则化来获得平均精度。
2011-06-08 cs.LG
Unsupervised Feature Analysis with Class Margin Optimization
The University of Queensland(昆士兰大学);Northwestern Polytechnical University(西北工业大学);University of Technology Sydney(悉尼科技大学);The University of Adelaide(阿德莱德大学)
无监督特征选择一直是机器学习和数据采掘领域的研究热点。在本文中,我们提出了一个无监督的特征选择方法寻求一个特征系数矩阵,以选择最独特的功能。具体来说,我们提出的算法集成了最大间距准则与基于稀疏性的模型到一个联合框架,其中类的边缘和特征相关性被考虑在同一时间。为了最大限度地提高总的数据可分性,同时保持最小的类内分散,我们建议嵌入Kmeans到框架中生成伪类标签信息的情况下,无监督的特征选择。同时,基于稀疏性的模型,` 2,p-范数,施加到正则化项,以有效地发现特征系数矩阵的稀疏结构。以这种方式,通过排除其对应系数为零的那些特征来去除噪声和不相关的特征。为了缓解随机初始化K-means算法容易陷入局部最优的问题,提出了一种具有聚类指示矩阵更新策略的收敛保证算法,以迭代地追踪最优解.性能评估是在六个基准数据集上广泛进行的。大量的实验结果表明,该方法具有优于其他方法的性能。
2015-06-03 cs.LG
Identification of Protein Coding Regions in Genomic DNA Using Unsupervised FMACA Based Pattern Classifier
S.R.K Institute of Technology(S.R.K理工学院);Acharya Nagarjuna University(阿查里亚龙树大学)
基因携带着制造蛋白质的指令,蛋白质在细胞中以DNA分子中发现的特定核苷酸序列的形式存在。但是,这些基因编码蛋白质的区域可能只占据序列的一小部分。识别编码区在理解这些基因中起着至关重要的作用。在本文中,我们提出了一个无监督的模糊多吸引子元胞自动机(FMCA)的模式分类识别的DNA序列的编码区。我们提出了一个独特的K-Means算法设计FMACA分类器,这是简单的,高效的,并产生更准确的分类器比以前已经获得了一系列不同的序列长度。实验结果证实了所提出的无监督FCA分类器的可扩展性,以处理大量的数据集,而不管类,元组和属性的数量。已经建立了良好的分类精度。
2014-01-25 cs.CE cs.LG
Unsupervised Causal Binary Concepts Discovery with VAE for Black-box Model Explanation
University of Tsukuba(筑波大学);Riken AIP(日本理化学研究所革新智能综合研究中心)
我们的目的是解释一个黑盒分类器的形式:“数据X被归类为类Y,因为X \textit{has} A,B和\textit{does not have} C”,其中A,B和C是高级概念。挑战在于,我们必须以无监督的方式发现一组概念,即,A、B和C,这对解释分类器很有用。我们首先介绍了一个结构生成模型,适合表达和发现这样的概念。然后,我们提出了一个学习过程,同时学习的数据分布,并鼓励某些概念有一个很大的因果关系的分类器输出的影响。我们的方法还允许用户的先验知识,以诱导高的概念的可解释性容易集成。使用多个数据集,我们证明了我们的方法可以发现有用的二进制概念进行解释。
2021-09-09 cs.LG
Average Margin Regularization for Classifiers
University of California, Berkeley(加利福尼亚大学伯克利分校)
对抗鲁棒性已经成为一个重要的研究课题,给出了深度神经网络缺乏鲁棒性的经验证明。不幸的是,最近的理论结果表明,对抗训练在分类准确性和对抗鲁棒性之间产生了严格的权衡。在本文中,我们提出并研究了一种新的正则化方法,用于任何边缘分类器或深度神经网络。我们激励这种正则化的一个新的泛化界,表现出在分类器的准确性之间的权衡最大化其利润率和平均利润率。因此,我们将我们的方法称为平均间隔(AM)正则化,它由添加到目标的线性项组成。我们从理论上表明,对于某些分布AM正则化可以提高分类器的准确性和鲁棒性的对抗攻击。我们得出结论,使用合成和真实数据的经验表明,AM正则化可以严格提高支持向量机(SVM)的准确性和鲁棒性,相对于非正则化分类器和逆向训练分类器。
2020-03-24 cs.LG stat.ML
An Unsupervised Learning Classifier with Competitive Error Performance
本文提出一种基于判别超平面增量平移与旋转的无监督学习分类器,在ImageNet子集上取得6.2%的Top 3错误率,性能接近监督kNN并远超k-Means。
2024-09-30 cs.LG stat.ML
Tight Risk Bounds for Multi-Class Margin Classifiers
Institute of Information Transmission Problems(信息传输问题研究所);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
我们考虑一个大间隔多类分类器的风险估计问题。我们提出了一个新的风险界的多类分类问题。该界涉及分类器的边缘分布和假设类的拉德马赫复杂度。我们证明了我们的界在类数上是紧的。最后,我们比较了我们的界与相关的,并提供了一个简化版本的多类分类与核为基础的假设的界。
2016-07-02 cs.LG stat.ML
Sequential Maximum Margin Classifiers for Partially Labeled Data
University of Michigan(密歇根大学)
在许多现实世界的应用中,数据不是作为一个批次,但随着时间的推移,它往往是不可能的或可取的,直到数据被完全收集之前分析it.Thus,我们提出了一个框架,利用最大熵歧视原则顺序更新的最大间距分类器。我们的最大间隔分类器允许内核表示来表示大量的特征,并且还可以相对于平滑的子流形进行正则化,从而允许它包含未标记的观测。我们比较了我们的分类器的性能,其非连续的等价物在模拟和真实的数据集。
2018-03-07 cs.LG stat.ML
Tight Margin-Based Generalization Bounds for Voting Classifiers over Finite Hypothesis Sets
Aarhus University(奥胡斯大学)
本文提出了一种针对有限假设集的投票分类器的紧边际泛化界限,解决了在假设集大小、边际、训练点比例、样本数量和失败概率之间的权衡问题。
2025-11-25 cs.LG math.ST stat.TH
Unsupervised Representation Learning for Binary Networks by Joint Classifier Learning
Upstage AI Research(Upstage人工智能研究院);NAVER AI Lab.(NAVER人工智能实验室);Yonsei University(延世大学)
自监督学习是一种很有前途的无监督学习框架,它在大型浮点网络中取得了成功。但是这样的网络并不容易部署到边缘设备。为了加速部署模型的好处,无监督的表示学习,这样的资源有限的设备的各种下游任务,我们提出了一个自监督学习方法,使用移动目标网络的二进制网络。特别是,我们建议联合训练一个随机初始化的分类器,附加到一个预训练的浮点特征提取器,与二进制网络。此外,我们提出了一个特征相似性损失,一个动态的损失平衡和修改的多阶段训练,以进一步提高准确性,并呼吁我们的方法烧伤。我们使用七个数据集对五个下游任务进行的经验验证表明,BURN优于二进制网络的自监督基线,有时优于监督预训练。代码可在https://github.com/naver-ai/burn上获得。
2022-03-29 cs.CV cs.LG
Unsupervised Ranking and Aggregation of Label Descriptions for Zero-Shot Classifiers
Symanto Research(Symanto研究院);Universitat Politècnica de València(瓦伦西亚理工大学);PRHLT Research Center(PRHLT研究中心)
基于标签描述的Zero-shot文本分类器将输入文本和一组标签嵌入到同一空间中:然后可以使用余弦相似度等度量来选择与输入文本最相似的标签描述作为预测标签。在真正的zero-shot设置中,设计良好的标签描述是具有挑战性的,因为没有可用的开发集。受《带分歧学习》文献的启发,我们研究了重复评级分析的概率模型如何用于以无监督的方式选择最佳标签描述。我们在一组不同的数据集和任务(情感,主题和立场)上评估我们的方法。此外,我们表明,多个,嘈杂的标签描述可以聚合,以提高性能。
2022-05-24 cs.CL cs.LG
Tight bounds for maximum $\ell_1$-margin classifiers
ETH Zürich(苏黎世联邦理工学院);ETH AI Center(苏黎世联邦理工学院人工智能中心)
流行的迭代算法,如线性模型上的提升方法和坐标下降收敛到最大$\ell_1$ -边缘分类器,也称为。稀疏硬边缘SVM,在高维制度,其中数据是线性可分的。以前的作品一致表明,许多估计依赖于$\ell_1$ -范数实现硬稀疏地面真理的统计率提高。我们发现,令人惊讶的是,这种自适应性不适用于最大的$\ell_1$ -保证金分类标准的歧视性设置。特别是,对于无噪声设置,我们证明了严格的上限和下限的预测误差,以$\frac{\|w^*\|_1^{2/3}}{n^{1/3}}$一般地面真理匹配现有的利率。为了完成图片,我们表明,当插值噪声观测,误差消失的速度为$\frac{1}{\sqrt{\log(d/n)}}$。因此,我们首先展示了最大$\ell_1$边缘分类器的良性过拟合。
2023-01-20 cs.LG stat.ML
Max-Margin Works while Large Margin Fails: Generalization without Uniform Convergence
Stanford University(斯坦福大学)
现代机器学习的一个主要挑战是从理论上理解过参数化模型的泛化特性。许多现有的工具依赖于一致收敛(UC),这是一个属性,当它成立时,保证测试损失将接近训练损失,在一类候选模型上均匀一致。Nagarajan和Kolter(2019)表明,在某些简单的线性和神经网络设置中,任何一致收敛界都将是空洞的,留下了如何在UC失败的设置中证明泛化的问题。我们的主要贡献是证明新的推广界在两个这样的设置,一个线性,一个非线性。我们研究了Nagarajan和Kolter的线性分类设置,以及通过两层神经网络在非线性区域学习的二次地面真值函数。我们证明了一种新型的边缘界限,表明在一定的信噪比阈值以上,任何接近最大边缘分类器将实现几乎没有测试损失在这两个设置。我们的研究结果表明,接近最大的利润是重要的:虽然任何模型,实现至少$(1 - ε)$分数的最大利润推广良好,分类器实现一半的最大利润可能会失败可怕的。基于Nagarajan和Kolter的不可能性结果,在稍强的假设下,我们证明了单侧UC边界和经典的边缘边界在接近最大边缘的分类器上会失败。我们的分析提供了为什么记忆可以与泛化共存的见解:我们表明,在这个具有挑战性的制度,泛化发生,但UC失败,近最大利润分类器同时包含一些概括的组件和一些过拟合组件,记住的数据。过拟合分量的存在足以排除UC,但接近极值的裕度保证存在足够的可推广分量。
2023-03-13 cs.LG
From Caesar Cipher to Unsupervised Learning: A New Method for Classifier Parameter Estimation
Citadel LLC(Citadel有限责任公司);Tencent(腾讯);University at Buffalo, SUNY(纽约州立大学布法罗分校)
许多重要的分类问题,如对象分类,语音识别,和机器翻译,已经解决了监督学习范式在过去,其中训练语料库的并行输入输出对需要高成本。消除对并行训练语料库的需求对于实际应用具有重要的现实意义,也是无监督学习的主要目标之一。最近,令人鼓舞的进展,无监督学习解决这样的分类问题已经取得了进展,并澄清了挑战的性质。在这篇文章中,我们回顾了这一进展,并传播了一类有前途的新方法,以促进机器学习研究人员理解的方法。特别是,我们强调的关键信息,使无监督学习的成功-顺序统计作为分布先验的标签。利用这种顺序统计使得有可能估计分类器的参数而不需要成对的输入-输出数据。在本文中,我们首先介绍了凯撒密码及其解密的概念,这激发了我们在整个论文中使用的无监督学习的新损失函数的构造。然后,我们使用一个简单但有代表性的二进制分类任务作为一个例子,推导和描述的无监督学习算法,一步一步,易于理解的方式。我们包括两种情况,一种是使用Bigram语言模型作为无监督参数估计中使用的顺序统计,另一种是使用更简单的Unigram语言模型。对于这两种情况,包括学习算法的详细推导步骤。此外,汇总表比较了在执行用于学习二进制分类器的无监督学习算法时两种情况的计算步骤。
2019-06-06 cs.LG stat.ML
Nearest Neighbor Classifier with Margin Penalty for Active Learning
Beijing University of Posts and Telecommunications(北京邮电大学);China Telecom Corporation Limited Research Institute(中国电信股份有限公司研究院)
随着深度学习成为自然语言处理领域的主流,对合适的主动学习方法的需求变得前所未有的迫切。提出了一种基于最近邻分类器的主动学习方法,并取得了较好的效果.然而,现有的最近邻分类器不适合分类互斥类,因为类间的差异不能保证最近邻分类器。结果,边缘区域中的信息样本不能被发现,并且AL性能受损。为此,我们提出了一种新的最近邻分类器与间隔惩罚主动学习(NCMAL)。首先,在类间加入强制性的间隔惩罚,从而保证了类间的差异性和类内的紧凑性。其次,提出了一种新的样本选择策略,以发现边缘区域内的信息样本。为了证明这些方法的有效性,我们使用其他最先进的方法对数据集进行了广泛的实验。实验结果表明,我们的方法取得了更好的结果与更少的注释样本比所有的基线方法。
2022-10-05 cs.IR cs.LG
Linear Maximum Margin Classifier for Learning from Uncertain Data
Queen Mary University of London(伦敦玛丽女王大学);Information Technologies Institute/Centre for Research and Technology Hellas (CERTH)(希腊信息技术研究所/希腊研究与技术中心)
在本文中,我们提出了一个最大间距分类器,处理数据输入中的不确定性。更具体地说,我们重新制定了SVM框架,使每个训练样本可以模拟由其平均向量和协方差矩阵描述的多维高斯分布-后者建模的不确定性。我们解决的分类问题,并定义了一个成本函数,这是期望值的经典SVM成本时,数据样本是从多维高斯分布,形成一组的训练样本。当训练样本是方差趋于零的各向同性高斯时,我们的公式近似于经典的SVM公式。我们到达一个凸优化问题,我们有效地解决了原始形式使用随机梯度下降的方法。由此产生的分类器,我们命名为支持向量机与高斯样本不确定性(SVM-GSU),测试合成数据和五个公开和流行的数据集,即MNIST,WDBC,DEAP,电视新闻频道商业检测,和TRECVID MED数据集。实验结果验证了该方法的有效性。
2017-11-19 cs.LG
Finding the Needle in a Haystack: Unsupervised Rationale Extraction from Long Text Classifiers
Imperial College London(帝国理工学院);University of Cambridge(剑桥大学);King’s College London(伦敦国王学院)
长序列Transformers的设计是为了提高语言模型对较长文本的表示,以及它们在下游文档级任务上的性能。然而,人们对长模型中标记级预测的质量了解不多。我们研究了这种架构的性能在无监督的理由提取的文档分类的上下文中。我们发现,标准的软注意力方法与Longformer语言模型结合使用时,表现明显更差。我们提出了一个组成的软注意力架构,适用于Roberta明智的提取合理的理由在令牌级。我们发现这种方法在情感分类数据集上的表现明显优于Longformer驱动的基线,同时还表现出显着更低的运行时间。
2023-03-14 cs.CL cs.LG
When Will Gradient Methods Converge to Max-margin Classifier under ReLU Models?
The Ohio State University(俄亥俄州立大学)
研究了线性可分数据集上的梯度下降方法在解决二元分类问题时的隐式偏差。分类器采用非线性ReLU模型描述,目标函数采用指数损失函数。我们首先描述景观的损失函数,并表明,可以存在虚假的渐近局部极小值,除了渐近全局极小值。然后,我们表明,梯度下降(GD)可以收敛到一个全球或当地的最大利润率的方向,或可能偏离所需的最大利润率的方向在一般情况下。对于随机梯度下降(SGD),我们表明,它收敛于预期的全局或局部最大利润的方向,如果SGD收敛。我们进一步探索了这些算法在某些固定条件下学习多神经元网络时的隐式偏差,并表明学习的分类器在ReLU激活下最大化了每个样本模式分区的边缘。
2018-10-15 cs.LG stat.ML
Apportioned Margin Approach for Cost Sensitive Large Margin Classifiers
Ariel University(阿里尔大学);Ben-Gurion University(本-古里安大学)
我们考虑的问题,成本敏感的多类分类,我们想增加一个重要的类的敏感性在一个不太重要的代价。我们采用了{ \em分摊保证金}框架来解决这个问题,这使得共享相同边界的类之间的有效保证金转移。所有类别对之间的决策边界根据给定的优先级向量划分它们之间的余量,这为重要类别产生更严格的误差界限,同时还减少了总体样本外误差。除了证明我们的框架的有效实施,我们推导出泛化界限,证明Fisher一致性,适应美世的内核和神经网络的框架,并报告有前途的经验结果的所有帐户。
2020-02-04 cs.LG stat.ML
On Margins and Generalisation for Voting Classifiers
University College London(伦敦大学学院);Inria(法国国家信息与自动化研究所);ServiceNow Research(ServiceNow研究院)
我们研究了有限分类器集合上多数表决的推广性质,通过PAC贝叶斯理论证明了基于边际的推广界。这些为一些分类任务提供了最先进的保证。我们的中心结果利用了Zantedeschi等人最近研究的Dirichlet后验。[2021]用于训练投票分类器;与此相反,我们的边界通过使用边缘适用于非随机投票。我们的贡献增加了视角的“边缘理论”提出的Schapire等人的辩论。[1998]的概括合奏分类。
2022-10-20 cs.LG math.ST stat.ML
Margin-Based Generalization Lower Bounds for Boosted Classifiers
Aarhus University(奥胡斯大学);UC Berkeley(加州大学伯克利分校)
Boosting是机器学习中最成功的思想之一。对于诸如AdaBoost之类的boosting算法的低泛化误差,最广为接受的解释来自裕度理论。在提升算法的背景下对边缘的研究是由Schapire,Freund,Bartlett和Lee(1998)发起的,并且启发了许多提升算法和泛化边界。迄今为止,已知最强的推广(上界)是高和周(2013)的$k$ th边缘界。尽管在过去的二十年中已经证明了许多推广的上界,但对这些界的紧密性一无所知。在本文中,我们给出了提升分类器的泛化误差的第一个基于边缘的下界。我们的下界几乎匹配的$k$ th边缘界,从而几乎解决了提升分类器的泛化性能的边缘。
2020-05-07 cs.DS cs.LG stat.ML
Benign Overfitting in Linear Classifiers and Leaky ReLU Networks from KKT Conditions for Margin Maximization
UC Berkeley(加州大学伯克利分校);TTI-Chicago(芝加哥丰田技术研究院);Hebrew University(希伯来大学);Google(谷歌)
通过梯度流对逻辑损失进行训练的线性分类器和Leaky ReLU网络对满足Karush-Kuhn-Tucker(KKT)边际最大化条件的解决方案具有隐式偏差。在这项工作中,我们建立了一些设置,其中满足这些KKT条件意味着线性分类器和双层泄漏ReLU网络中的良性过拟合:估计器内插噪声训练数据,同时很好地推广到测试数据。这些设置包括在以前的工作中考虑的噪声类条件高斯的变体,以及以前没有观察到的良性过拟合的新分布设置。我们证明的关键因素是观察到,当训练数据接近正交时,线性分类器和泄漏ReLU网络都满足KKT条件,以解决各自的间隔最大化问题,表现得像训练样本的几乎均匀平均值。
2023-03-02 cs.LG stat.ML
Unsupervised Fuzzy eIX: Evolving Internal-eXternal Fuzzy Clustering
Federal University of Lavras (UFLA)(拉夫拉斯联邦大学(UFLA))
时变分类器,即进化分类器,在信息作为永无止境的在线数据流提供的场景中发挥着重要作用。提出了一种新的数值型数据无监督学习方法--进化内外模糊聚类方法(Fuzzy eIX)。我们发展了双边界模糊粒的概念,并阐述了它的含义。第1型和第2型模糊推理系统可以由Fuzzy eIX粒的投影得到。我们在模糊eIX分类器中执行平衡信息粒度的原则,以实现更高级别的模型可理解性。内部和外部颗粒更新的数值数据流的同时,全球的颗粒结构的分类器是自主发展的。一个称为双高斯旋转的合成非平稳问题显示了分类器的行为。在离线训练的分类器的准确性明显下降的情况下,模糊eIX分类器可以保持其准确性。
2020-03-25 cs.AI cs.LG stat.ML
Fault Diagnosis of Helical Gear Box using Large Margin K-Nearest Neighbors Classifier using Sound Signals
Indian Institute of Information Technology Design and Manufacturing Jabalpur(印度信息技术设计与制造学院);Birla Institute of Technology and Science – Pilani(比尔拉理工学院);National Institute of Technology Karnataka(卡纳塔克国立理工学院);VIT University(韦洛尔理工大学)
齿轮传动是机械中应用最广泛的传动系统之一。旋转机械的声信号包含了其健康状况的动态信息。没有太多的资料,在文献中报告适用性的声音信号的故障诊断应用。大多数文献都是基于FFT(快速傅里叶变换)分析,并且对于非平稳信号(如来自齿轮的信号)有其自身的局限性。本文尝试利用齿轮在良好和模拟故障状态下的声音信号,通过机器学习方法进行故障诊断。从采集到的声音信号中提取描述性统计特征,并利用J 48决策树技术筛选出优势特征。然后使用大间隔K-最近邻方法将所选择的特征用于分类。本文还讨论了各种参数对分类精度的影响。
2015-08-19 cs.LG
Unsupervised Evaluation and Weighted Aggregation of Ranked Predictions
Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心)
从不同基础分类器的集合中聚合预测的学习算法始终优于单个方法。这些策略中的许多已经在监督设置中开发,其中每个基础分类器的准确性可以凭经验测量,并且这些信息被纳入训练过程中。然而,对标记数据的依赖排除了集成方法应用于许多现实世界的问题,标记数据尚未策划。为此,我们开发了一个新的理论框架,二进制分类,无监督的多方法聚合(SUMMA)的战略,估计性能的基础分类器和集成学习的最佳策略,从未标记的数据。
2018-02-13 cs.LG stat.ML
Classifier Learning with Supervised Marginal Likelihood
有人认为,在监督分类任务中,在实践中,相对于一些更集中的模型选择得分(如监督(条件)边际似然),而不是相对于标准边际似然标准,执行模型选择可能更明智。然而,对于大多数贝叶斯网络模型,计算监督边际似然得分需要相对于观察到的数据量呈指数级的时间。在本文中,我们考虑诊断贝叶斯网络分类器的显着模型参数表示类变量的条件分布,给定的预测变量的值,在这种情况下,监督边际似然可以计算在线性时间相对于数据。由于模型参数的数量在这种情况下相对于预测因子的数量呈指数增长,我们专注于简单的诊断模型,其中相关的预测因子的数量是小的,并建议两种方法应用这种类型的模型分类。第一种方法是基于简单诊断模型的混合,而在第二种方法中,我们应用简单诊断模型的小预测集来增强朴素贝叶斯分类器。
2013-01-10 cs.LG stat.ML
Finding Bottlenecks: Predicting Student Attrition with Unsupervised Classifier
California State University, Northridge(加州州立大学北岭分校)
随着提高毕业率和减少高等教育学位时间的压力,及早识别有风险的学生非常重要。因此,非常需要自动化预警系统。在本文中,我们使用无监督聚类技术来预测在加州州立大学北岭分校(CSUN)的五个部门宣布的专业的毕业状态,在每个专业的最小数量的低分工课程的基础上。此外,我们使用检测到的集群,以确定隐藏的瓶颈课程。
2017-05-07 cs.AI cs.CY cs.LG
On the Two Faces of Adam in Separable Linear Classification
University of Alberta(阿尔伯塔大学)
本文定量刻画了Adam在可分离线性分类中从最大范数间隔到欧几里得间隔的转变,揭示了步长衰减指数对转变时间和泛化影响的精确规律。
2026-09-29 cs.LG
SOUL: An Energy-Efficient Unsupervised Online Learning Seizure Detection Classifier
University of California at Berkeley(加州大学伯克利分校);University of the Philippines Diliman(菲律宾大学迪利曼分校);Chan-Zuckerberg Biohub(陈-扎克伯格生物中心)
记录神经活动和检测癫痫发作的植入式装置已被采用来发出警告或触发神经刺激以抑制癫痫发作。典型的癫痫发作检测系统依赖于高精度离线训练的机器学习分类器,当癫痫发作模式在长时间内发生变化时,这些分类器需要手动重新训练。对于可植入的癫痫发作检测系统,可以采用低功率、在边缘的在线学习算法来动态地适应神经信号漂移,从而在没有外部干预的情况下保持高精度。本文提出了SOUL:基于随机梯度下降的在线无监督Logistic回归分类器。在初始离线训练阶段之后,原位应用连续在线无监督分类器更新,这提高了具有漂移癫痫发作特征的患者的灵敏度。SOUL在两个人类脑电图(EEG)数据集上进行了测试:CHB-MIT头皮EEG数据集和长(>100小时)NeuroVista颅内EEG数据集。两个数据集的平均灵敏度分别为97.5%和97.9%,特异性>95%。与典型的癫痫发作检测分类器相比,长期数据的灵敏度最多提高8.2%。SOUL是在台积电的28纳米工艺中制造的,占地0.1 mm 2,并实现了1.5 nJ/分类的能效,比最先进的能效至少高出24倍。
2022-05-17 cs.LG eess.SP
Unsupervised Visual Domain Adaptation: A Deep Max-Margin Gaussian Process Approach
Rutgers University(罗格斯大学)
在无监督领域自适应中,众所周知,目标域误差可以通过具有使源域和目标域彼此不可区分的共享输入表示来可证明地减少。最近研究表明,不仅匹配边际输入分布,而且输出(类)分布的对齐也很关键。后者可以通过最小化预测器(分类器)的最大差异来实现。在本文中,我们采用了这一原则,但提出了一个更系统和有效的方法来实现假设一致性通过高斯过程(GP)。GP允许我们从潜在随机函数的后验分布中定义/归纳分类器的假设空间,将学习变成一个简单的大边界后验分离问题,比以前基于对抗性极大极小优化的方法更容易解决。我们制定了一个学习目标,有效地推动后验,以尽量减少最大的差异。这进一步证明是等价于最大限度地提高利润和最小化的目标域中的类预测的不确定性,在经典的(半)监督学习的一个行之有效的原则。实证结果表明,我们的方法在几个基准领域自适应数据集上与现有方法相当或优于现有方法。
2019-02-23 cs.LG stat.ML
Unsupervised Ensemble Learning via Ising Model Approximation with Application to Phenotyping Prediction
Harvard T.H. Chan School of Public Health(哈佛陈曾熙公共卫生学院);Brigham and Women’s Hospital(布莱根妇女医院)
无监督集成学习一直是一个有趣但具有挑战性的问题,近年来随着各种应用中众包需求的增加而变得突出。在本文中,我们提出了一种新的方法-无监督集成学习通过伊辛模型近似(unElisa),结合了修剪步骤和预测步骤。我们专注于二进制的情况下,并使用伊辛模型来表征集成和底层的真实分类器之间的相互作用。在观察到的分类器和真实分类器之间存在边缘指示直接依赖性,而不存在边缘指示相应的边缘不提供额外的信息并且应当被消除。这种观察导致修剪步骤,其中关键是恢复真实分类器的邻域。我们表明,通过执行逐节点的$\ell_1$ -正则化的逻辑斯谛回归,可以在高维环境中以指数衰减的误差成功恢复它。修剪的集成允许我们得到用于预测的贝叶斯分类器的相合估计。我们还提出了一个增强版本的多数表决反转所有标签的一个子组的修剪合奏。我们证明了我们的方法的有效性,通过广泛的数值实验,并通过应用EHR为基础的表型预测风湿性关节炎(RA)使用的数据从合作伙伴医疗系统。
2018-10-15 cs.LG stat.ML
Learning Classifiers with Fenchel-Young Losses: Generalized Entropies, Margins, and Algorithms
NTT CS laboratories(NTT计算机科学实验室);Unbabel(Unbabel公司);Instituto de Telecomunicações(电信研究所)
本文研究了Fenchel-Young损失,这是一种从正则化函数构造凸损失函数的通用方法。我们深入分析了它们的性质,表明它们统一了许多著名的损失函数,并允许轻松创建有用的新损失函数。从广义熵(包括香农熵和Tsallis熵)构建的Fenchel-Young损失可诱导预测概率分布。我们制定的条件,广义熵产生损失的分离利润,和概率分布稀疏支持。最后,我们推导出有效的算法,使Fenchel-Young损失在理论和实践上都具有吸引力。
2019-02-22 cs.LG stat.ML
Unsupervised and Semi-supervised Learning with Categorical Generative Adversarial Networks
University of Freiburg(弗赖堡大学)
在本文中,我们提出了一种方法来学习一个判别分类器从未标记或部分标记的数据。我们的方法基于一个目标函数,该目标函数权衡了观察到的示例及其预测的分类类分布之间的互信息,以及分类器对对抗生成模型的鲁棒性。由此产生的算法可以被解释为生成对抗网络(GAN)框架的自然推广,或者作为正则化信息最大化(RIM)框架的扩展,以针对最佳对手进行鲁棒分类。我们根据经验评估了我们的方法-我们称之为分类生成对抗网络(或CatGAN)-在合成数据以及具有挑战性的图像分类任务上,证明了学习分类器的鲁棒性。我们进一步定性地评估了与判别分类器一起学习的对抗生成器生成的样本的保真度,并确定了CatGAN目标和判别聚类算法(如RIM)之间的联系。
2016-04-30 cs.LG stat.ML
Co-training an Unsupervised Constituency Parser with Weak Supervision
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
我们介绍了一种无监督的解析方法,依赖于引导分类器来确定一个节点是否占主导地位的一个句子中的特定跨度。有两种类型的分类器,一种是作用于跨度的内部分类器,另一种是作用于给定跨度之外的所有内容的外部分类器。通过两个分类器的自我训练和联合训练,我们表明它们之间的相互作用有助于提高两者的准确性,从而有效地解析。种子自举技术准备数据来训练这些分类器。我们的分析进一步验证了这种方法结合弱监督使用已知语言的先验分支知识(左/右分支)和最小的语法分析注入强归纳偏见的分析器,实现63.1 F $_1$的英语(PTB)测试集。此外,我们通过对中文树库(CTB)和日文树库(KTB)的评估,展示了我们的架构的有效性,并取得了新的最先进的结果。我们的代码和预培训模型可在https://github.com/Nickil21/weakly-supervised-parsing上获得。
2022-03-18 cs.AI cs.CL cs.LG
A Mirroring Theorem and its Application to a New Method of Unsupervised Hierarchical Pattern Classification
Aurora’s Engineering College(奥罗拉工程学院);Srinidhi Institute of Science and Technology(斯里尼德希科技学院)
本文在分析了现有文献的基础上,我们证明了一个重要的定理,称为镜像定理,它肯定了给定一个样本集合,其中有足够的信息,使它可以被分类为类和子类,然后(i)存在一个映射,分类和子分类这些样本(ii)存在一个分层分类器,可以通过使用镜像神经网络(MNNs)构建。结合可以近似该映射的聚类算法。因此,镜像定理的证明提供了一个理论基础的存在性和实际可行性的层次分类器,给定的地图。我们提出的镜像定理也可以被认为是Kolmogrovs定理的扩展,为无监督分类提供了一个现实的解决方案。我们开发的技术在本质上是通用的,并且已经导致了学习机器的构建,这些学习机器是(i)树状结构,(ii)模块化,(iii)每个模块运行在一个共同的算法(串联算法)上,以及(iv)自我监督。我们实际上已经建立了体系结构,开发了这样一个层次分类器的串联算法,并在一个示例问题上进行了演示。
2009-11-02 cs.LG
Data Augmentation by AutoEncoders for Unsupervised Anomaly Detection
本文提出了一种自动编码器(AE),用于提高一次类分类器的性能,以检测异常。传统的一类分类器(OCC)在高维和稀疏等特定条件下表现不佳。此外,训练集的大小对单类分类器的性能起着重要的作用。自编码器已被广泛用于从高维数据集获取有用的潜在变量。在所提出的方法中,AE能够从高维数据集中获得有意义的特征,同时进行数据增强。增广的数据用于训练OCC算法。实验结果表明,该方法提高了OCC算法的性能,也优于其他知名的方法。
2019-12-21 cs.LG stat.ML