Learning to generate classifiers
Araya（Araya（阿莱雅））
我们训练一个网络，通过注意力机制对整个训练集进行调节，从而生成训练集和分类策略之间的映射（“分类器生成器”）。该网络直接针对相关任务的训练集上的测试集性能进行优化，然后将其转移到看不见的“测试”任务。我们使用它来优化低数据和无监督学习机制中的性能，并在10-50个数据点机制中获得比支持向量分类器，随机森林，XGBoost和k-最近邻在一系列小数据集上更好的性能。
2018-03-30 cs.AI cs.LG stat.ML
Supervising Unsupervised Learning with Evolutionary Algorithm in Deep Neural Network
IBM Japan（IBM日本）
提出了一种利用进化算法控制深度神经网络中梯度下降无监督学习结果的方法。该算法通过逐点评估神经网络中各个节点的适应度来处理无监督训练模型的交叉问题。标记的训练数据是随机采样的，繁殖过程通过计算它们在不同采样数据集上的一致性程度来选择节点。该方法通过进化过程来监督无监督训练。本文还介绍了一种改进的限制玻尔兹曼机，它在神经网络中的节点之间含有排斥力，有助于将网络节点相互隔离，避免节点在进化过程中的意外退化。将这些新方法应用于文本分类问题，其结果比传统的线性回归算法实现的全监督分类器具有更好的准确性。
2018-03-28 cs.LG cs.NE stat.ML
Nonparametric Unsupervised Classification
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
无监督分类方法从未标记的数据中学习判别分类器，这已被证明是同时聚类数据和从数据中训练分类器的有效方法。各种无监督分类方法通过以无监督方式学习的分类器获得吸引人的结果。然而，现有的方法没有考虑非监督分类器（非监督SVM除外）的误分类错误，因此没有充分评估非监督分类器的性能。在这项工作中，我们研究了两个流行的分类器，即最近邻分类器（NN）和插件分类器，在无监督分类的设置下的误分类错误。
2013-05-20 cs.LG stat.ML
Unsupervised Speech Recognition via Segmental Empirical Output Distribution Matching
Carnegie Mellon University（卡内基梅隆大学）；Tencent AI Lab（腾讯人工智能实验室）
我们考虑的问题，训练语音识别系统，而不使用任何标记的数据，假设学习者只能访问输入的话语和音素的语言模型估计从一个非重叠的语料库。我们提出了一种完全无监督的学习算法，该算法在解决两个子问题之间交替进行：（i）针对给定的音素分割边界集学习音素分类器，以及（ii）基于给定的分类器细化音素边界。为了解决第一个子问题，我们引入了一种新的无监督代价函数，称为分段经验输出分布匹配，其概括了（Liu et al.，2017年），为集团公司。对于第二子问题，我们开发了一种近似MAP方法来细化Wang et al.（2017）获得的边界。TIMIT数据集上的实验结果表明，这种完全无监督的音素识别系统是成功的，它实现了41.6%的音素错误率（PER）。虽然与现有的有监督系统相比仍有较大差距，但通过引入oracle边界和匹配语言模型，可以将PER提高到32.5%，接近于相同模型结构的有监督系统，显示了该方法的巨大潜力.
2018-12-23 cs.CL cs.LG cs.SD
Learning from Label Proportions in Brain-Computer Interfaces: Online Unsupervised Learning with Guarantees
目的：使用传统方法，脑机接口（BCI）需要在在线使用之前收集新受试者的校准数据。可以减少或消除校准时间，例如~通过转移预先训练的分类器或无监督的自适应分类方法，这些方法从头开始学习并随着时间的推移而适应。虽然这些理论在实践中行之有效，但它们都不能提供理论保证。我们的目标是修改一个事件相关电位（ERP）的范例，以配合机器学习解码器，以实现可靠的校准少解码，保证恢复真正的类的手段。方法：我们将从标签比例（LLP）学习引入BCI社区，作为一种新的无监督，易于实现的基于ERP的BCI分类方法。LLP根据不同数据组中这两个类别的已知比例估计平均靶向和非靶向响应。我们修改了一个可视化的ERP拼写器，以满足LLP的要求。为了进行评估，我们在人工创建的数据集上进行了模拟，并进行了一项在线BCI研究，其中N=13名受试者执行了一项复制拼写任务。结果：理论上的考虑表明，LLP是保证最小化类似于相应的监督分类器的损失函数。它在模拟和在线应用程序中表现良好，平均有84.5%的字符拼写正确，无需事先校准。意义：连续自适应LLP分类器是ERP BCI的第一个无监督解码器，保证找到真正的类别均值。这使得它成为避免繁琐校准和解决数据非平稳性的理想解决方案。此外，与现有的无监督方法相比，LLP的工作原理是互补的，当与LLP相结合时，它们可以进一步增强。
2017-01-25 cs.HC q-bio.NC stat.ML
Unsupervised Ensemble Learning with Dependent Classifiers
Weizmann Institute of Science（魏茨曼科学研究所）；Yale University（耶鲁大学）；Yale University School of Medicine（耶鲁大学医学院）
在无监督集成学习中，人们从多个源或分类器获得预测，但不知道每个源的可靠性和专业知识，也没有标记数据来评估它。任务是将这些可能相互冲突的预测组合成一个准确的元学习者。迄今为止，大多数作品都假设不同来源之间存在完美的多样性，这种特性被称为条件独立性。然而，在现实场景中，这一假设往往被违反，基于它的集成学习器可能是严重的次优。我们在本文中解决的关键挑战是：\（i）如何检测，在无监督的方式，强烈违反条件独立性;和（ii）构建一个合适的元学习器。为此，我们引入了一个统计模型，允许分类器之间的依赖关系。我们的主要贡献是开发新的无监督方法来检测强依赖分类器，更好地估计其准确性，并构建一个改进的元学习器。使用人工和真实数据集，我们展示了考虑分类器依赖关系的重要性以及我们方法的竞争性能。
2016-02-23 cs.LG stat.ML
Joint Semantic Domain Alignment and Target Classifier Learning for Unsupervised Domain Adaptation
JD AI Research（京东人工智能研究院）；University of Science and Technology of China（中国科学技术大学）；Nanjing University（南京大学）
无监督领域自适应的目的是以无监督的方式将从源域学习到的分类器转移到目标域。在目标伪标签的帮助下，对齐类级分布和学习目标域中的分类器是两个广泛使用的目标。现有的方法往往分别优化这两个单独的目标，这使得他们遭受的忽视其他。然而，将这两个方面一起优化并不是微不足道的。为了缓解上述问题，我们提出了一种新的方法，以整体的方式联合优化语义域对齐和目标分类器学习。联合优化机制既可以消除它们的弱点，又可以实现它们的优势互补。理论分析也验证了联合优化机制的优越性。在基准数据集上的大量实验表明，与现有的无监督领域自适应方法相比，该方法具有最好的性能。
2019-06-10 cs.LG stat.ML
Unsupervised Evaluation and Weighted Aggregation of Ranked Predictions
Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
从不同基础分类器的集合中聚合预测的学习算法始终优于单个方法。这些策略中的许多已经在监督设置中开发，其中每个基础分类器的准确性可以凭经验测量，并且这些信息被纳入训练过程中。然而，对标记数据的依赖排除了集成方法应用于许多现实世界的问题，标记数据尚未策划。为此，我们开发了一个新的理论框架，二进制分类，无监督的多方法聚合（SUMMA）的战略，估计性能的基础分类器和集成学习的最佳策略，从未标记的数据。
2018-02-13 cs.LG stat.ML
Unsupervised Ensemble Learning via Ising Model Approximation with Application to Phenotyping Prediction
Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）；Brigham and Women’s Hospital（布莱根妇女医院）
无监督集成学习一直是一个有趣但具有挑战性的问题，近年来随着各种应用中众包需求的增加而变得突出。在本文中，我们提出了一种新的方法-无监督集成学习通过伊辛模型近似（unElisa），结合了修剪步骤和预测步骤。我们专注于二进制的情况下，并使用伊辛模型来表征集成和底层的真实分类器之间的相互作用。在观察到的分类器和真实分类器之间存在边缘指示直接依赖性，而不存在边缘指示相应的边缘不提供额外的信息并且应当被消除。这种观察导致修剪步骤，其中关键是恢复真实分类器的邻域。我们表明，通过执行逐节点的$\ell_1$ -正则化的逻辑斯谛回归，可以在高维环境中以指数衰减的误差成功恢复它。修剪的集成允许我们得到用于预测的贝叶斯分类器的相合估计。我们还提出了一个增强版本的多数表决反转所有标签的一个子组的修剪合奏。我们证明了我们的方法的有效性，通过广泛的数值实验，并通过应用EHR为基础的表型预测风湿性关节炎（RA）使用的数据从合作伙伴医疗系统。
2018-10-15 cs.LG stat.ML
Mitigating Uncertainty of Classifier for Unsupervised Domain Adaptation
Microsoft（微软）；IIT Kanpur（印度理工学院坎普尔分校）；Oracle（甲骨文公司）；University of Bath（巴斯大学）
理解无监督领域自适应一直是一个重要的任务，已经很好地探索。然而，各种各样的方法都没有详细分析分类器的性能的作用。在本文中，我们彻底研究的作用，一个分类匹配的源和目标分布。我们通过匹配a）特征分布，b）样本的概率不确定性和c）确定性激活映射来专门研究分类器的能力。我们的分析表明，使用这三种分布确实可以在所有数据集上持续提高性能。因此，我们的工作扩展了目前的知识，从分类器获得的各种分布的作用，解决无监督领域自适应。
2021-07-01 cs.CV cs.LG
Data Augmentation by AutoEncoders for Unsupervised Anomaly Detection
本文提出了一种自动编码器（AE），用于提高一次类分类器的性能，以检测异常。传统的一类分类器（OCC）在高维和稀疏等特定条件下表现不佳。此外，训练集的大小对单类分类器的性能起着重要的作用。自编码器已被广泛用于从高维数据集获取有用的潜在变量。在所提出的方法中，AE能够从高维数据集中获得有意义的特征，同时进行数据增强。增广的数据用于训练OCC算法。实验结果表明，该方法提高了OCC算法的性能，也优于其他知名的方法。
2019-12-21 cs.LG stat.ML
Unsupervised Supervised Learning II: Training Margin Based Classifiers without Labels
School of Computational Science and Engineering（计算科学与工程学院）；College of Computing（计算学院）；Georgia Institute of Technology（佐治亚理工学院）；Yahoo! Labs（雅虎实验室）
许多流行的线性分类器，如逻辑回归、boosting或SVM，都是通过优化基于边缘的风险函数来训练的。传统上，这些风险函数是基于标记数据集计算的。我们开发了一种新的技术来估计这种风险，只使用未标记的数据和边缘标签分布。我们证明了所提出的风险估计器在高维数据集上是一致的，并在合成数据和真实数据上进行了证明。特别是，我们展示了如何在迁移学习中使用估计来评估分类器，以及如何在没有标记数据的情况下训练分类器。
2010-07-21 cs.LG
Autoencoding Binary Classifiers for Supervised Anomaly Detection
NTT Secure Platform Laboratories（NTT安全平台实验室）；NTT Communication Science Laboratories（NTT通信科学实验室）；NTT Software Innovation Center（NTT软件创新中心）
我们提出了自动编码二进制分类器（ABC），一种新的监督异常检测器的基础上的自动编码器（AE）。异常检测主要有两种方法：有监督的和无监督的。监督方法可以准确地检测训练数据中包含的已知异常，但无法检测未知异常。同时，无监督方法可以检测远离正常数据点的已知和未知异常。然而，它不能像监督方法那样准确地检测已知的异常。此外，即使我们标记了正常数据点和异常数据点，无监督方法也无法利用这些标签。ABC是一种概率二元分类器，它有效地利用了标签信息，其中使用AE作为组件对正常数据点进行建模。通过最大化可能性，所提出的ABC中的AE被训练以最小化正常数据点的重建误差，并最大化已知异常的重建误差。由于我们的方法能够准确地重建正常数据点，而无法重建已知和未知的异常，因此它可以准确地将已知和未知的异常与正常数据点区分开来。实验结果表明，该算法比已有的监督和非监督方法具有更高的检测性能.
2019-03-26 cs.LG stat.ML
Towards Competitive Classifiers for Unbalanced Classification Problems: A Study on the Performance Scores
The University of the Basque Country UPV/EHU（巴斯克大学）；Basque Center for Applied Mathematics BCAM（巴斯克应用数学中心）
虽然已经投入了巨大的方法论的努力，提出有竞争力的解决方案，阶级不平衡的问题，很少努力一直在追求这个问题的理论理解。为了阐明这一主题，我们执行，通过一个新的框架，一个详尽的分析，最常用的性能分数来评估这一复杂的情况下的充分性。我们的结论是，使用未加权的Hölder平均指数$p \leq 1$的平均召回的所有类产生足够的分数，能够确定是否有竞争力的分类器。然后，我们回顾了阶级不平衡文献中提出的主要解决方案。由于任何学习任务都可以定义为一个优化问题，其中损失函数（通常与特定分数相关）最小化，因此我们的目标是找出文献中发现的学习任务是否也以最大化先前检测到的适当分数为目标。我们的结论是，他们通常最大化未加权的Hölder平均值与$p = 1$（a-平均值）。最后，我们提供了所研究的性能分数的值的界限，这保证了分类器在每个类中具有比随机分类器更高的召回率。
2016-08-31 cs.LG stat.ML
Building a Competitive Associative Classifier
Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）
随着深度学习的巨大成功，其他机器学习范式不得不退居二线。然而，其他模型，特别是基于规则的模型，更具可读性和可解释性，甚至在标记数据不丰富时具有竞争力。然而，现有的大多数基于规则的分类器都存在产生大量分类规则的问题，影响了模型的可读性。这妨碍了分类的准确性，因为噪声规则可能不会为分类添加任何有用的信息，并且还导致更长的分类时间。在这项研究中，我们提出了SigD2，它使用了一种新的，两阶段的修剪策略，修剪了大部分的噪音，冗余和无趣的规则，使分类模型更准确和可读。为了使SigDirect与最流行但不可解释的基于机器学习的分类器（如神经网络和支持向量机）相比更具竞争力，我们建议对SigDirect分类器的集成进行装袋和提升。所提出的算法的结果是相当有前途的，我们能够获得一个最小的统计上显着的分类规则，而不会危及分类精度。我们使用了15个UCI数据集，并将我们的方法与8个现有系统进行了比较。SigD2和提升的SigDirect（ACboost）集成模型不仅在分类精度方面，而且在规则数量方面都优于各种最先进的分类器。
2020-07-04 cs.LG stat.ML
Unsupervised Fusion Weight Learning in Multiple Classifier Systems
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一种无监督的方法来学习的权重，多个分类器的分数必须结合在分类器融合设置。我们还介绍了一种新的度量排名的基础上的索引，它取决于训练点的加权分数之间的加权分数的测试点的排名的实例。我们表明，优化后的索引可以用于计算的措施，如平均精度。与大多数分类器融合方法不同的是，我们的方法学习了特定于实例的权重。该问题被公式化为学习使清晰度指数最大化的权重;随后，指数本身和学习到的权重都被分别用于对所有测试点进行排名。我们的方法给出了一种在实际测试数据上优化性能的无监督方法，不像众所周知的基于堆栈的方法，其中优化是在标记的训练集上完成的。此外，我们表明，我们的方法是宽容的噪声分类器，可用于选择N-最好的分类。
2015-02-06 cs.CV cs.LG
Finding Bottlenecks: Predicting Student Attrition with Unsupervised Classifier
California State University, Northridge（加州州立大学北岭分校）
随着提高毕业率和减少高等教育学位时间的压力，及早识别有风险的学生非常重要。因此，非常需要自动化预警系统。在本文中，我们使用无监督聚类技术来预测在加州州立大学北岭分校（CSUN）的五个部门宣布的专业的毕业状态，在每个专业的最小数量的低分工课程的基础上。此外，我们使用检测到的集群，以确定隐藏的瓶颈课程。
2017-05-07 cs.AI cs.CY cs.LG
Identification of Protein Coding Regions in Genomic DNA Using Unsupervised FMACA Based Pattern Classifier
S.R.K Institute of Technology（S.R.K理工学院）；Acharya Nagarjuna University（阿查里亚龙树大学）
基因携带着制造蛋白质的指令，蛋白质在细胞中以DNA分子中发现的特定核苷酸序列的形式存在。但是，这些基因编码蛋白质的区域可能只占据序列的一小部分。识别编码区在理解这些基因中起着至关重要的作用。在本文中，我们提出了一个无监督的模糊多吸引子元胞自动机（FMCA）的模式分类识别的DNA序列的编码区。我们提出了一个独特的K-Means算法设计FMACA分类器，这是简单的，高效的，并产生更准确的分类器比以前已经获得了一系列不同的序列长度。实验结果证实了所提出的无监督FCA分类器的可扩展性，以处理大量的数据集，而不管类，元组和属性的数量。已经建立了良好的分类精度。
2014-01-25 cs.CE cs.LG
Deep Discriminative Learning for Unsupervised Domain Adaptation
领域自适应方法的主要目的是将知识从源领域转移到具有相似但不同数据分布的目标领域。因此，为了正确地对未标记的目标域样本进行分类，标准方法是学习源域和目标域两者的共同表示，从而间接地解决在目标域中学习分类器的问题。然而，这样的方法不直接解决目标域中的分类任务。相比之下，我们提出了一种方法，直接解决了在未标记的目标域中学习分类器的问题。特别地，我们训练分类器以正确地分类训练样本，同时以无监督的方式对目标域中的样本进行分类。相应的模型被称为用于领域自适应的鉴别编码（DEDA）。我们表明，这种简单的方法执行无监督领域自适应确实是相当强大的。我们的方法在各种图像分类基准上实现了无监督自适应任务的最新结果。我们还在Amazon评论情感分类数据集中获得了领域自适应的最新性能。我们进行额外的实验时，源数据具有较少的标记的例子，也对zero-shot领域自适应任务，其中没有目标域样本用于训练。
2019-08-09 cs.LG stat.ML
A Deep Learning Approach to Unsupervised Ensemble Learning
Yale University（耶鲁大学）；Weizmann Institute（魏茨曼科学研究所）
我们展示了如何在众包和无监督集成学习的背景下应用深度学习方法。首先，我们证明了流行的模型的Dawid和Skene，它假设所有的分类器是有条件独立的，是{ \em等价}的限制玻尔兹曼机（RBM）与一个单一的隐藏节点。因此，在该模型下，真实标签的后验概率可以通过训练的RBM来估计。接下来，为了解决更一般的情况，即分类器可能强烈违反条件独立性假设，我们建议应用基于RBM的深度神经网络（DNN）。在各种模拟和真实数据集上的实验结果表明，我们提出的DNN方法优于其他最先进的方法，特别是当数据违反条件独立假设时。
2016-02-06 cs.LG stat.ML
Unsupervised Domain Adaptation via Regularized Conditional Alignment
University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了一种无监督的领域自适应方法，该方法训练共享嵌入来对齐输入（域）和输出（类）的联合分布，使任何分类器对域不可知。联合对齐确保不仅域的边缘分布对齐，而且标签也对齐。我们提出了一个新的目标函数，鼓励类条件分布在特征空间中有不相交的支持。我们进一步利用对抗正则化来提高分类器在没有注释数据的域上的性能。
2019-05-26 cs.CV cs.LG stat.ML
Unsupervised Representation Learning for Binary Networks by Joint Classifier Learning
Upstage AI Research（Upstage人工智能研究院）；NAVER AI Lab.（NAVER人工智能实验室）；Yonsei University（延世大学）
自监督学习是一种很有前途的无监督学习框架，它在大型浮点网络中取得了成功。但是这样的网络并不容易部署到边缘设备。为了加速部署模型的好处，无监督的表示学习，这样的资源有限的设备的各种下游任务，我们提出了一个自监督学习方法，使用移动目标网络的二进制网络。特别是，我们建议联合训练一个随机初始化的分类器，附加到一个预训练的浮点特征提取器，与二进制网络。此外，我们提出了一个特征相似性损失，一个动态的损失平衡和修改的多阶段训练，以进一步提高准确性，并呼吁我们的方法烧伤。我们使用七个数据集对五个下游任务进行的经验验证表明，BURN优于二进制网络的自监督基线，有时优于监督预训练。代码可在https://github.com/naver-ai/burn上获得。
2022-03-29 cs.CV cs.LG
Unsupervised Ranking and Aggregation of Label Descriptions for Zero-Shot Classifiers
Symanto Research（Symanto研究院）；Universitat Politècnica de València（瓦伦西亚理工大学）；PRHLT Research Center（PRHLT研究中心）
基于标签描述的Zero-shot文本分类器将输入文本和一组标签嵌入到同一空间中：然后可以使用余弦相似度等度量来选择与输入文本最相似的标签描述作为预测标签。在真正的zero-shot设置中，设计良好的标签描述是具有挑战性的，因为没有可用的开发集。受《带分歧学习》文献的启发，我们研究了重复评级分析的概率模型如何用于以无监督的方式选择最佳标签描述。我们在一组不同的数据集和任务（情感，主题和立场）上评估我们的方法。此外，我们表明，多个，嘈杂的标签描述可以聚合，以提高性能。
2022-05-24 cs.CL cs.LG
Unsupervised Real Time Prediction of Faults Using the Support Vector Machine
为了提高支持向量机（SVM）分类器的分类精度，采用序贯最小优化（SMO）训练算法对油气设备数据进行故障和正常分类。最近的应用程序的故障分析利用SVM技术，而不实施SMO训练算法，而在我们的研究中，我们表明，所提出的解决方案可以更好地执行时，使用SMO训练算法。此外，我们实现了集成方法，这是一个混合的基于规则和神经网络分类器，以提高性能的SVM分类器（SMO训练算法）。优化研究是由于分类器在处理不平衡数据集时性能不佳。通过使用堆叠集成方法将所选择的最佳性能分类器与SVM分类器（具有SMO训练算法）结合在一起，以创建可以处理不平衡数据问题的高效集成预测模型。该预测模型的分类性能明显优于支持向量机与SMO训练算法和许多其他传统的分类器。
2020-12-30 cs.LG
Scheduling to Learn In An Unsupervised Online Streaming Model
TIFR, Mumbai（孟买塔塔基础研究院）；IIT-Bombay（印度理工学院孟买分校）
一个无监督的在线流模型被认为是在$T$插槽的样本到达在线的方式。存在$M$分类器，其混淆矩阵先验未知。在每个槽中，最多一个样本可以由任何分类器标记。样本的准确性是从各种分类器中为其获得的标签集的函数。样本的效用是其精度减去响应时间（离开时隙和到达时隙的差）的标量倍数，其中离开时隙也由算法决定。由于每个分类器每个时隙最多可以标记一个样本，因此在为特定样本获得更大的标签集合以提高其准确性与其响应时间之间存在折衷。最大化所有样本的效用之和的问题被认为是，学习混淆矩阵，样本分类器匹配分配，和样本离开槽决定相互依赖。该算法首先学习混淆矩阵，然后使用贪心算法进行样本分类器匹配。一旦样本的增量效用变为非正，样本就会离开。我们证明了该算法的竞争比是$\frac{1}{2}-{\mathcal O}\left(\frac{\log T}{T}\right)$。
2021-12-02 cs.LG
Finding the Needle in a Haystack: Unsupervised Rationale Extraction from Long Text Classifiers
Imperial College London（帝国理工学院）；University of Cambridge（剑桥大学）；King’s College London（伦敦国王学院）
长序列Transformers的设计是为了提高语言模型对较长文本的表示，以及它们在下游文档级任务上的性能。然而，人们对长模型中标记级预测的质量了解不多。我们研究了这种架构的性能在无监督的理由提取的文档分类的上下文中。我们发现，标准的软注意力方法与Longformer语言模型结合使用时，表现明显更差。我们提出了一个组成的软注意力架构，适用于Roberta明智的提取合理的理由在令牌级。我们发现这种方法在情感分类数据集上的表现明显优于Longformer驱动的基线，同时还表现出显着更低的运行时间。
2023-03-14 cs.CL cs.LG
Unsupervised Ensemble Classification with Sequential and Networked Data
University of Minnesota（明尼苏达大学）
包围学习是一种结合多种算法的机器学习范式，在各种任务中表现出了良好的性能。目前的工作重点是无监督集成分类。术语无监督是指集成组合器不知道每个分类器已经训练过的地面真实标签。数据，目前的工作介绍了一个无监督的计划，从合奏的分类器中存在的数据依赖关系的学习。两种类型的数据依赖关系被认为是：顺序数据和网络数据的依赖关系被捕获的图形。矩匹配和期望最大化算法开发上述情况下，其性能进行评估的合成和真实的数据集。
2020-12-20 cs.LG eess.SP stat.ML
Information-Theoretical Learning of Discriminative Clusters for Unsupervised Domain Adaptation
U. of Southern California（南加州大学）
我们研究了无监督的领域自适应问题，其目的是使在标记源域上训练的分类器适应未标记的目标域。许多现有的方法首先学习域不变特征，然后用它们构造分类器。我们提出了一种新的方法，共同学习两者。具体地，虽然该方法识别源域和目标域中的数据类似地分布的特征空间，但它也有区别地学习特征空间，优化信息理论度量作为目标域上的预期误分类误差的代理。我们展示了如何使用简单的基于梯度的方法有效地进行这种优化，以及如何在不需要来自目标域的任何标记数据的情况下交叉验证超参数。对目标识别和情感分析的基准任务的实证研究验证了我们的建模假设，并证明了我们的方法在分类精度上比竞争对手有显着的改进。
2012-06-27 cs.LG stat.ML
Unsupervised Domain Adaptation with Residual Transfer Networks
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）
深度神经网络最近的成功依赖于大量的标记数据。对于标记数据不可用的目标任务，领域自适应可以将学习器从不同的源域转移。在本文中，我们提出了一种在深度网络中进行领域自适应的新方法，该方法可以从源域中的标记数据和目标域中的未标记数据中联合学习自适应分类器和可转移特征。我们放松了以前的方法所做的共享分类器的假设，并假设源分类器和目标分类器的残差函数不同。我们通过将几个层插入深度网络来实现分类器自适应，以参考目标分类器显式学习残差函数。我们用张量积融合多层特征，并将其嵌入到再生核希尔伯特空间中，以匹配特征自适应的分布。在大多数前馈模型中，可以通过用新的剩余层和损失函数来扩展它们来实现自适应，所述新的剩余层和损失函数可以经由反向传播来有效地训练。经验证据表明，新的方法优于国家的最先进的方法标准领域自适应基准。
2017-02-16 cs.LG
Neural Bayesian Anomaly Mitigation: A Robust Loss that Doubles as an Unsupervised Contamination Classifier
Astrophysics Group, Cavendish Laboratory, University of Cambridge（剑桥大学卡文迪许实验室天体物理组）；Institute of Astronomy, University of Cambridge（剑桥大学天文研究所）
提出神经贝叶斯异常缓解（NBAM）损失，基于贝叶斯潜变量混合模型，既提供鲁棒监督损失又输出无监督污染后验，在CIFAR-10上优于Huber等基线。
2026-06-16 astro-ph.CO cs.LG stat.ML
Unsupervised Causal Binary Concepts Discovery with VAE for Black-box Model Explanation
University of Tsukuba（筑波大学）；Riken AIP（日本理化学研究所革新智能综合研究中心）
我们的目的是解释一个黑盒分类器的形式：“数据X被归类为类Y，因为X \textit{has} A，B和\textit{does not have} C”，其中A，B和C是高级概念。挑战在于，我们必须以无监督的方式发现一组概念，即，A、B和C，这对解释分类器很有用。我们首先介绍了一个结构生成模型，适合表达和发现这样的概念。然后，我们提出了一个学习过程，同时学习的数据分布，并鼓励某些概念有一个很大的因果关系的分类器输出的影响。我们的方法还允许用户的先验知识，以诱导高的概念的可解释性容易集成。使用多个数据集，我们证明了我们的方法可以发现有用的二进制概念进行解释。
2021-09-09 cs.LG
Co-training an Unsupervised Constituency Parser with Weak Supervision
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
我们介绍了一种无监督的解析方法，依赖于引导分类器来确定一个节点是否占主导地位的一个句子中的特定跨度。有两种类型的分类器，一种是作用于跨度的内部分类器，另一种是作用于给定跨度之外的所有内容的外部分类器。通过两个分类器的自我训练和联合训练，我们表明它们之间的相互作用有助于提高两者的准确性，从而有效地解析。种子自举技术准备数据来训练这些分类器。我们的分析进一步验证了这种方法结合弱监督使用已知语言的先验分支知识（左/右分支）和最小的语法分析注入强归纳偏见的分析器，实现63.1 F $_1$的英语（PTB）测试集。此外，我们通过对中文树库（CTB）和日文树库（KTB）的评估，展示了我们的架构的有效性，并取得了新的最先进的结果。我们的代码和预培训模型可在https://github.com/Nickil21/weakly-supervised-parsing上获得。
2022-03-18 cs.AI cs.CL cs.LG
SOUL: An Energy-Efficient Unsupervised Online Learning Seizure Detection Classifier
University of California at Berkeley（加州大学伯克利分校）；University of the Philippines Diliman（菲律宾大学迪利曼分校）；Chan-Zuckerberg Biohub（陈-扎克伯格生物中心）
记录神经活动和检测癫痫发作的植入式装置已被采用来发出警告或触发神经刺激以抑制癫痫发作。典型的癫痫发作检测系统依赖于高精度离线训练的机器学习分类器，当癫痫发作模式在长时间内发生变化时，这些分类器需要手动重新训练。对于可植入的癫痫发作检测系统，可以采用低功率、在边缘的在线学习算法来动态地适应神经信号漂移，从而在没有外部干预的情况下保持高精度。本文提出了SOUL：基于随机梯度下降的在线无监督Logistic回归分类器。在初始离线训练阶段之后，原位应用连续在线无监督分类器更新，这提高了具有漂移癫痫发作特征的患者的灵敏度。SOUL在两个人类脑电图（EEG）数据集上进行了测试：CHB-MIT头皮EEG数据集和长（>100小时）NeuroVista颅内EEG数据集。两个数据集的平均灵敏度分别为97.5%和97.9%，特异性>95%。与典型的癫痫发作检测分类器相比，长期数据的灵敏度最多提高8.2%。SOUL是在台积电的28纳米工艺中制造的，占地0.1 mm 2，并实现了1.5 nJ/分类的能效，比最先进的能效至少高出24倍。
2022-05-17 cs.LG eess.SP
InClass Nets: Independent Classifier Networks for Nonparametric Estimation of Conditional Independence Mixture Models and Unsupervised Classification
University of Florida（佛罗里达大学）
我们引入了一种新的基于机器学习的方法，我们称之为独立分类器网络（InClass网）技术，条件独立混合模型（CIMM）的非参数估计。我们将CIMM的估计视为多类分类问题，因为将数据集划分为不同类别自然会导致混合模型的估计。InClass网络由多个独立的分类器神经网络（NN）组成，每个网络处理CIMM的一个变量。通过使用合适的成本函数同时训练各个NN来执行CIMM对数据的拟合。神经网络逼近任意函数的能力使得我们的技术是非参数的。进一步利用NN的能力，我们允许模型的条件独立变量是单独的高维，这是我们的技术相对于现有的非机器学习方法的主要优势。我们得到了一些新的结果的非参数可识别的二元CIMM的形式的一个必要条件和一个（不同的）充分条件的二元CIMM是可识别的。我们提供了一个名为RainDancesVI的Python包，并通过几个示例验证了我们的InClass网技术。我们的方法在无监督和半监督分类问题中也有应用。
2020-08-31 cs.LG econ.EM hep-ph
Shuffle Augmentation of Features from Unlabeled Data for Unsupervised Domain Adaptation
Xpeng motors（小鹏汽车）；Nanyang Technological University（南洋理工大学）；University of Pennsylvania（宾夕法尼亚大学）；Microsoft（微软）
无监督领域自适应（UDA）是迁移学习的一个分支，在目标样本的标签不可用的情况下，近年来在对抗训练模型的帮助下得到了广泛的研究和发展。虽然现有的UDA算法能够引导神经网络提取可转移的和有区别的特征，但分类器仅仅是在标记的源数据的监督下训练的。由于源域和目标域之间不可避免的差异，分类器很难知道目标分类边界。在本文中，洗牌增强功能（SAF），一种新的UDA框架，提出了解决这个问题，通过提供监督信号的分类器从目标特征表示。SAF从目标样本中学习，自适应地提取类别感知的目标特征，并隐式引导分类器找到全面的类别边界。大量实验表明，SAF模块可以集成到任何现有的对抗UDA模型，以实现性能改进。
2022-01-28 cs.CV cs.LG
Training Normalizing Flows with the Information Bottleneck for Competitive Generative Classification
Heidelberg University（海德堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
信息瓶颈（IB）目标使用信息论来制定任务性能与鲁棒性的权衡。它已成功地应用于标准判别分类设置。我们提出的问题是否也可以用来训练生成的可能性模型，如正常化流的IB。由于规范化流使用可逆网络架构（INN），因此它们通过构造来保持信息。这似乎与瓶颈的概念相矛盾。在这项工作中，首先，我们开发的理论和方法的IB-INN，一类有条件的规范化流程，INN的训练使用IB目标：引入少量的{ \em控制}的信息损失允许一个渐近精确制定的IB，同时保持INN的生成能力完好无损。其次，我们研究了这些模型的实验性质，特别是作为生成分类器。该模型类提供了诸如改进的不确定性量化和分布外检测的优点，但是传统的生成式分类器解决方案在分类精度方面受到相当大的影响。我们发现IB中的权衡参数控制了接近标准分类器的生成能力和准确性的混合。从经验上讲，我们的不确定性估计在这种混合制度相比，传统的生成和歧视分类。
2021-01-12 cs.LG stat.ML
Transfer Learning via Unsupervised Task Discovery for Visual Question Answering
POSTECH（浦项科技大学）；OpenAI；Seoul National University（首尔国立大学）
本文研究了在视觉问答任务中，如何利用现成的视觉和语言数据来处理词汇外答案。现有的大规模视觉数据集与注释，如图像类标签，边界框和区域描述是学习丰富多样的视觉概念的良好来源。然而，由于问题相关回答模型和没有问题的视觉数据之间的链接缺失，如何捕获视觉概念并将其转移到视觉问答模型并不简单。我们通过两个步骤来解决这个问题：1）学习任务条件视觉分类器，它能够解决各种特定于问题的视觉识别任务，基于无监督任务发现和2）将任务条件视觉分类器转移到视觉问答模型。具体来说，我们采用语言知识源，如结构化的词汇数据库（如WordNet）和视觉描述的无监督任务发现，并转移学习任务条件视觉分类器作为一个回答单元的视觉问答模型。我们的经验表明，该算法推广到词汇表外的答案成功地使用从视觉数据集转移的知识。
2019-04-07 cs.CL cs.CV cs.LG
Classifier-to-Bias: Toward Unsupervised Automatic Bias Detection for Visual Classifiers
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
提出首个无需标注数据的偏见发现框架 Classifier-to-Bias (C2B)，利用大语言模型和图像检索，仅凭任务文本描述即可自动检测预训练视觉分类模型中的偏见，且在实验中优于依赖标注的基线方法。
2025-04-29 cs.AI cs.CV cs.LG
Unsupervised Domain Adaptation in the Absence of Source Data
CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）
当前的无监督领域自适应方法可以解决许多类型的分布偏移，但它们假设来自源域的数据是免费可用的。随着预训练模型的使用变得越来越普遍，假设源数据不可用是合理的。我们提出了一种无监督的方法，用于使源分类器适应于从源域沿自然轴（例如亮度和对比度）变化的目标域。我们的方法只需要访问未标记的目标实例和源分类器。我们验证了我们的方法在场景中的分布偏移涉及亮度，对比度和旋转，并表明它优于微调基线的情况下，有限的标记数据。
2020-07-20 cs.CV cs.LG
Unsupervised explainable activity prediction in competitive Nordic Walking from experimental data
University of Vigo（维戈大学）；Technical University of Cartagena（卡塔赫纳工业大学）
针对竞技体育人类活动识别中传统ML方法离线训练负担重、决策不透明的问题，提出基于IMU的在线无监督聚类方法，可扩充标注并实现北欧走动作的可解释预测，性能接近100%。
2024-06-18 cs.AI cs.HC cs.LG
Bayesian Uncertainty Matching for Unsupervised Domain Adaptation
Qiushi Academy for Advanced Studies, Zhejiang University（浙江大学求是高等研究院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；State University of New York at Buffalo（纽约州立大学布法罗分校）；Zhejiang University School of Medicine（浙江大学医学院）
领域自适应是一种重要的技术，用于减轻由领域移位引起的性能下降，当训练和测试数据来自不同的域时。由于目标域标签的不可用，大多数现有的深度自适应方法都集中在通过对输入特征进行深度变换来匹配边缘特征分布来减少域偏移。我们表明，域移位可能仍然存在通过标签分布偏移在分类器，从而恶化模型的性能。为了缓解这个问题，我们提出了一个近似的联合分布匹配方案，利用预测的不确定性。具体来说，我们使用贝叶斯神经网络来量化分类器的预测不确定性。通过对特征和标签（通过不确定性）进行分布匹配，有效地缓解了源数据和目标数据中的标签分布不匹配，鼓励分类器跨域产生一致的预测。我们还提出了一些技术来改进我们的方法，通过自适应重新加权领域自适应损失，以实现非平凡的分布匹配和稳定的训练。在三个流行的基准数据集上与最先进的无监督领域自适应方法的比较表明了我们的方法的优越性，特别是在减轻负迁移的有效性。
2019-06-24 cs.CV cs.LG stat.ML
On the Reliable Detection of Concept Drift from Streaming Unlabeled Data
University of Louisville（路易斯维尔大学）
部署在现实世界中的分类器在动态环境中运行，其中数据分布可能会随时间而变化。这些变化，被称为概念漂移，可能会导致分类器的预测性能随着时间的推移而下降，从而使其过时。为了真正发挥作用，这些分类器需要检测漂移，并能够随着时间的推移适应它们。传统上，检测漂移被视为一项监督任务，标记数据不断用于验证学习模型。尽管这些技术在检测漂移方面是有效的，但是这些技术是不切实际的，因为标记是困难的、昂贵的和耗时的活动。另一方面，无监督的变化检测技术是不可靠的，因为它们产生大量的假警报。无监督技术的无效性源于从检测过程中排除学习分类器的特征。在本文中，我们提出了边缘密度漂移检测（MD3）算法，它跟踪分类器的不确定区域中的样本数量，作为检测漂移的度量。MD3算法是一种独立于分布、独立于应用程序、独立于模型、无监督和增量的算法，用于可靠地检测数据流中的漂移。对来自网络安全领域的6个漂移引起的数据集和4个附加数据集的实验评估表明，MD3方法可以可靠地检测漂移，与基于无监督特征的漂移检测器相比，误报显著减少。减少的假警报使得仅当漂移最可能影响分类性能时才能用信号通知漂移。因此，MD3方法导致检测方案是可信的，标签有效的和一般的适用性。
2017-03-31 cs.AI cs.LG stat.ML
DAugNet: Unsupervised, Multi-source, Multi-target, and Life-long Domain Adaptation for Semantic Segmentation of Satellite Images
Université Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；Centre National d’Études Spatiales（法国国家空间研究中心）；LuxCarta Technology（LuxCarta科技公司）；ACRI-ST（ACRI-ST公司）
卫星图像的领域自适应在分割大尺度卫星图像时克服了机器学习模型泛化能力的局限性，近年来得到了越来越多的关注。大多数现有的方法寻求适应模型从一个域到另一个域。然而，这样的单源和单目标设置阻止了方法成为可扩展的解决方案，因为如今具有不同数据分布的多个源和目标域通常是可用的。此外，卫星图像的不断扩散需要分类器，以适应不断增加的数据。我们提出了一种新的方法，创造DAugNet，无监督，多源，多目标，和终身的领域自适应的卫星图像。它由一个分类器和一个数据扩充器组成。数据增强器是一个浅层网络，能够以无监督的方式在多个卫星图像之间进行风格转换，即使随着时间的推移添加了新的数据。在每次训练迭代中，它为分类器提供了多样化的数据，这使得分类器对领域之间的大数据分布差异具有鲁棒性。我们广泛的实验证明，DAugNet比现有方法更好地推广到新的地理位置。
2020-06-07 cs.CV cs.LG eess.IV
Cross-Domain Gradient Discrepancy Minimization for Unsupervised Domain Adaptation
University of Electronic Science and Technology of China（电子科技大学）
无监督领域自适应（UDA）旨在将从标记良好的源领域学习到的知识推广到未标记的目标领域。最近，具有两个不同分类器（双分类器）的对抗性领域自适应已被引入到UDA中，其有效地对齐不同领域之间的分布。以前的双分类器对抗学习方法只关注两个不同分类器输出之间的相似性。然而，输出的相似性不能保证目标样本的准确性，即，即使两个分类器之间的差异很小，目标样本也可能匹配到错误的类别。为了挑战这个问题，在本文中，我们提出了一个跨域梯度差异最小化（CGDM）方法，显式地最小化由源样本和目标样本产生的梯度的差异。具体地说，梯度给出了目标样本的语义信息的线索，因此它可以作为一个很好的监督，以提高目标样本的准确性。为了计算目标样本的梯度信号，我们进一步通过基于聚类的自监督学习获得目标伪标签。在三个广泛使用的UDA数据集上进行的大量实验表明，我们的方法超越了许多以前的最先进的方法。代码可在https://github.com/lijin118/CGDM上获得。
2021-06-08 cs.AI cs.CV cs.LG
Self-Supervised Test-Time Learning for Reading Comprehension
Arizona State University（亚利桑那州立大学）
最近关于无监督问答的工作表明，模型可以用程序生成的问答对进行训练，并且可以实现与监督方法竞争的性能。在这项工作中，我们考虑了无监督阅读理解的任务，并提出了一种方法，执行“测试时学习”（TTL）在一个给定的上下文（文本通道），而不需要在大规模的人类创作的数据集包含\textit{context-question-answer}三元组的培训。该方法直接在单个测试上下文上操作，使用自我监督在综合生成的问题-答案对上训练模型，然后推断出针对该上下文的看不见的人类创作的问题的答案。我们的方法实现了具有竞争力的精度与完全监督的方法，并显着优于目前的无监督方法。具有较小模型的TTL方法在无监督阅读理解中与当前最先进的方法也具有竞争力。
2021-03-20 cs.CL cs.LG
A Mirroring Theorem and its Application to a New Method of Unsupervised Hierarchical Pattern Classification
Aurora’s Engineering College（奥罗拉工程学院）；Srinidhi Institute of Science and Technology（斯里尼德希科技学院）
本文在分析了现有文献的基础上，我们证明了一个重要的定理，称为镜像定理，它肯定了给定一个样本集合，其中有足够的信息，使它可以被分类为类和子类，然后（i）存在一个映射，分类和子分类这些样本（ii）存在一个分层分类器，可以通过使用镜像神经网络（MNNs）构建。结合可以近似该映射的聚类算法。因此，镜像定理的证明提供了一个理论基础的存在性和实际可行性的层次分类器，给定的地图。我们提出的镜像定理也可以被认为是Kolmogrovs定理的扩展，为无监督分类提供了一个现实的解决方案。我们开发的技术在本质上是通用的，并且已经导致了学习机器的构建，这些学习机器是（i）树状结构，（ii）模块化，（iii）每个模块运行在一个共同的算法（串联算法）上，以及（iv）自我监督。我们实际上已经建立了体系结构，开发了这样一个层次分类器的串联算法，并在一个示例问题上进行了演示。
2009-11-02 cs.LG
Light-weight Calibrator: a Separable Component for Unsupervised Domain Adaptation
Institute for interdisciplinary information core technology(IIISCT)（跨学科信息核心技术研究所(IIISCT)）；Tsinghua University（清华大学）；University of Tsukuba（筑波大学）；Northeastern University（东北大学）
现有的领域自适应方法旨在学习可以在领域之间推广的特征。这些方法通常需要更新源分类器以适应目标域，并且没有正确处理源域和目标域之间的权衡。在这项工作中，而不是训练一个分类器，以适应目标域，我们使用一个可分离的组件称为数据校准器，以帮助固定的源分类器恢复在目标域的歧视权力，同时保持源域的性能。当两个域之间的差异很小时，源分类器的表示足以在目标域中表现良好，并且在数字上优于基于GAN的方法。另外，该方法可以利用GANs生成的合成图像来提高性能，并在数字数据集和驾驶场景语义分割方面实现最先进的性能。我们的方法经验表明，某些有趣的提示，这可以减轻对抗攻击域鉴别器，是域转移下的性能下降的来源之一。
2020-02-28 cs.CV cs.LG eess.IV
Neural Contrastive Clustering: Fully Unsupervised Bias Reduction for Sentiment Classification
工作背景：神经网络由于相关性偏差而产生有偏差的分类结果（它们学习输入和输出之间的相关性以分类样本，即使这些相关性不代表因果关系）。目的：这项研究引入了一种完全无监督的方法来减轻相关性偏差，并在COVID-19社交媒体数据上进行了情感分类。方法：情感分类中的相关偏差经常出现在关于有争议话题的对话中。因此，本研究使用对抗性学习来对比基于情感分类标签的聚类，以及由无监督主题建模产生的聚类。这阻碍了神经网络学习产生有偏见的分类结果的主题相关特征。结果如下：与基线分类器相比，神经对比聚类对人类标记的COVID-19社交媒体数据的倾向于偏见的句子的准确性大约增加了一倍，而不会对分类器的整体F1得分产生不利影响。尽管是一种完全无监督的方法，但神经对比聚类在倾向于偏见的句子上的准确性比监督掩蔽方法有更大的提高。结论：神经对比聚类减少了情感文本分类中的相关性偏差。需要进一步的研究来探索将这种技术推广到其他神经网络架构和应用领域。
2022-04-22 cs.CL cs.LG
Dynamical Mode Recognition of Coupled Flame Oscillators by Supervised and Unsupervised Learning Approaches
City University of Hong Kong（香港城市大学）；The Hong Kong Polytechnic University（香港理工大学）
本文针对耦合火焰振子的动力学模态识别问题，利用变分自编码器进行非线性降维，并提出基于Wasserstein距离的监督分类器和结合DTW与GMM的无监督分类器，在火焰动力学模态区分上取得显著效果。
2024-11-24 cs.LG
Sleep Stage Scoring Using Joint Frequency-Temporal and Unsupervised Features
如果睡眠障碍患者了解自己的特殊情况，他们可以更好地管理自己的生活方式。通常可以通过分析从患者收集的多个生命信号来检测这种睡眠障碍。为了简化这项任务，已经提出了许多自动睡眠阶段识别（ASSR）方法。这些方法中的大多数使用已经从生命信号中提取的时间-频率特征。然而，由于睡眠信号的非平稳性质，这样的方案不会导致可接受的精度。最近，人们提出了一些ASSR方法，这些方法使用深度神经网络进行无监督特征提取。在本文中，我们提出了结合这两种思想，并同时使用时频和无监督特征。为了提高时间分辨率，每个标准历元被分割成5个子历元。此外，为了提高准确率，我们采用了三个不同属性的分类器，然后使用集成方法作为最终的分类器。仿真结果表明，该方法提高了传统ASSR方法的准确性。
2020-04-10 cs.LG eess.SP
Scalable Multi-Output Label Prediction: From Classifier Chains to Classifier Trellises
Aalto University（阿尔托大学）；HIIT（赫尔辛基信息技术研究所）；University of Helsinki（赫尔辛基大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
多输出推理任务，如多标签分类，近年来变得越来越重要。多标签分类的一种流行方法是分类器链，其中各个分类器的预测沿着链级联，从而考虑到标签间的依赖性并提高整体性能。已经引入了几种分类器链方法，其中许多方法在广泛的基准数据集上表现得非常有竞争力。然而，在对完全级联的链进行建模时，可扩展性限制在较大的数据集上变得明显。特别是，发现和建模一个好的链结构的方法的策略构成了一个主要的计算瓶颈。在本文中，我们提出了分类器网格（CT）方法的可扩展的多标签分类。我们将CT与最近提出的几种分类器链方法进行比较，以表明它占据了一个重要的利基：它在标准的多标签问题上具有很强的竞争力，但它也可以扩展到数千甚至数万个标签。
2015-01-20 cs.CV cs.DS cs.LG
Discriminative Similarity for Data Clustering
School of Computing and Augmented Intelligence（计算与增强智能学院）；Arizona State University（亚利桑那州立大学）；Baidu Research（百度研究院）
基于相似性的聚类方法根据数据之间的成对相似性将数据划分为簇，而成对相似性是其性能的关键。在本文中，我们提出了{ \em聚类判别相似（CDS）}，一种新的方法，学习判别相似的数据聚类。CDS从每个数据分区学习无监督的基于相似性的分类器，并通过最小化与数据分区相关联的学习的分类器的泛化误差来搜索数据的最优分区。通过Rademacher复杂度的泛化分析，将基于相似度的无监督分类器的泛化误差界表示为不同类数据之间的判别相似度之和.证明了核密度分类的积分平方误差界也可以导出判别相似度。为了评估所提出的判别相似性的性能，我们提出了一种新的聚类方法，使用核作为相似性函数，CDS通过无监督核分类（CDSK），其有效性证明了实验结果。
2022-06-23 cs.LG
Traditional Classification Neural Networks are Good Generators: They are Competitive with DDPMs and GANs
University of Oxford（牛津大学）
分类器和生成器早就分开了。我们打破了这种分离，并展示了传统的神经网络分类器可以生成大量类别的高质量图像，与最先进的生成模型（例如，DDPM和GANs）。我们通过计算分类损失函数相对于输入的偏导数来优化输入以产生图像来实现这一点。由于众所周知，直接优化的输入是类似于有针对性的对抗攻击无法生成人类有意义的图像，我们提出了一个基于掩码的随机重建模块，使梯度语义感知合成似是而非的图像。我们进一步提出了一个渐进的分辨率技术，以保证保真度，产生逼真的图像。此外，我们引入了距离度量损失和非平凡分布损失，以确保分类神经网络可以合成多样化和高保真的图像。使用传统的神经网络分类器，我们可以在ImageNet上生成256 $\times$ 256分辨率的高质量图像。有趣的是，我们的方法也适用于文本到图像生成的图像-文本基础模型作为广义分类器。证明分类器已经学习了数据分布并准备好生成图像具有深远的意义，因为分类器比DDPM和GANs等生成模型更容易训练。我们甚至不需要训练分类模型，因为有大量的公共模型可供下载。此外，这对于分类器的可解释性和鲁棒性具有巨大的潜力。项目页面位于\url{https://classifier-as-generator.github.io/}。
2022-12-08 cs.AI cs.CV cs.LG
K-Means Kernel Classifier
我们结合K-均值聚类与最小二乘核分类方法。K-means聚类用于为每个类提取一组代表向量。最小二乘核方法使用这些代表向量作为分类任务的训练集。我们表明，这种无监督和监督学习算法的组合表现非常好，我们使用MNIST数据集说明了这种方法
2020-12-23 cs.LG physics.data-an
