Conformation Clustering of Long MD Protein Dynamics with an Adversarial Autoencoder
The Johns Hopkins University（约翰斯·霍普金斯大学）
近年来，计算机硬件的发展极大地促进了原子级分子动力学模拟的发展。单个GPU连接的集群能够在合理的时间内产生微秒长度的轨迹。多个蛋白质的状态和大量的微观状态与折叠和功能的蛋白质可以观察到的构象采样的轨迹。然而，聚类这些构象是识别蛋白质状态，评估转换速率和理解蛋白质行为所必需的。在本文中，我们提出了一种新的数据驱动的生成式构象聚类方法的基础上的对抗性自动编码器（AAE），并提供了相关的软件实现Cong。使用从D.E. Shaw Research Group.所提出的聚类算法确定了许多折叠过程中的显着特点，通过分组的构象，共享不容易识别的轨迹中的共同特征。
2018-05-31 cs.LG q-bio.QM stat.ML
Adversarially Learned Mixture Model
Imagia
逆向学习混合模型（AMM）是一种用于无监督或半监督数据聚类的生成模型。AMM是第一个逆向优化的方法来模拟推断的连续和分类潜变量之间的条件依赖性。MNIST和SVHN数据集上的实验表明，AMM允许复杂数据的语义分离时，很少或根本没有标记的数据。AMM在MNIST数据集上实现了2.86%的最先进的无监督聚类错误率。AMM的半监督扩展在SVHN数据集上产生了有竞争力的结果。
2022-04-23 cs.LG stat.ML
Attack on Grid Event Cause Analysis: An Adversarial Machine Learning Approach
University of Nevada, Reno（内华达大学雷诺分校）
随着电网中数据驱动应用（如事件原因分析）对数据的依赖程度不断增加，数据流的真实性变得至关重要。数据可能容易受到旨在操纵数据的对抗性隐身攻击，使得基于残差的坏数据检测器无法检测到它们，并且系统操作员或事件分类器对实际事件的感知发生变化。本文研究了对抗攻击对基于卷积神经网络的事件原因分析框架的影响。我们已经成功地验证了对手通过秘密数据操纵恶意错误分类事件的能力。脆弱性评估的研究与妥协的测量的数量。此外，提出了一种防御机制来增强事件原因分析的性能。利用实时数字仿真器（RTDS）在不同攻击类型和数据访问级别等场景下生成的数据，研究了对抗攻击改变框架输出的有效性。
2019-11-25 cs.LG eess.SP stat.ML
On the Optimal Number of Grids for Differentially Private Non-Interactive $K$-Means Clustering
Center of Data for Public Good, Foundation for Science Innovation and Development, Indian Institute of Science（印度科学研究所科学与创新发展基金会公共数据中心）
本文研究了差分隐私非交互K-均值聚类中网格数目的选择问题，提出了一种基于最小化K-均值目标函数期望偏差上界的新规则，改进了非交互隐私聚类的离散化策略。
2026-03-27 cs.CR cs.LG eess.SP
Adversarial confidence and smoothness regularizations for scalable unsupervised discriminative learning
Nanyang Technological University（南洋理工大学）
在本文中，我们认为一个通用的概率判别学习器从功能的观点，并认为，要使它学习好，有必要限制其假设空间的一组非平凡的分段常数函数。为了实现这一目标，我们提出了一个可扩展的无监督正则化框架。在理论方面，我们证明了这个框架有助于建立一个事实上自信和平滑的判别模型，并将其与对抗性禁忌游戏、谱聚类和虚拟对抗性训练联系起来。在实验中，我们将深度神经网络作为我们的学习者，并证明，当在无监督环境中在我们的框架下训练时，它们不仅可以实现最先进的聚类结果，而且可以很好地推广合成和真实数据。
2018-06-04 cs.LG stat.ML
Is Data Clustering in Adversarial Settings Secure?
Università di Cagliari（卡利亚里大学）；FBK-irst（布鲁诺·凯斯勒基金会-irst研究所）；Università Ca’ Foscari di Venezia（威尼斯大学）
聚类算法已经越来越多地被用于安全应用中，以发现危险或非法活动。然而，它们最初并没有被设计来处理可能旨在破坏聚类过程本身的故意攻击尝试。因此，在这种情况下是否可以安全地采用聚类仍然存在疑问。在这项工作中，我们提出了一个通用的框架，允许一个识别潜在的攻击对聚类算法，并评估其影响，通过对对手的目标，知识的攻击系统，和操作的输入数据的能力作出具体的假设。我们表明，攻击者可能会显着中毒的整个聚类过程中添加一个相对较小的百分比的攻击样本的输入数据，一些攻击样本可能会被混淆隐藏在一些现有的集群。我们提出了一个案例研究单链接层次聚类，并报告实验的恶意软件样本和手写数字的聚类。
2018-11-25 cs.CR cs.CV cs.LG
YuruGAN: Yuru-Chara Mascot Generator Using Generative Adversarial Networks With Clustering Small Dataset
Tokyo University of Agriculture and Technology（东京农工大学）
yuru-chara是地方政府和公司为宣传地区和产品信息而创造的吉祥物。由于创建yuruchara需要各种成本，因此可以预期使用机器学习技术，如生成对抗网络（GANs）。近年来，据报道，在数据集中使用类别条件进行GANs训练可以稳定学习并提高生成图像的质量。然而，当原始数据量很小时，并且当没有给出明确的类时，例如yuruchara图像，很难应用类条件GANs。本文提出了一种基于聚类和数据增强的类条件GAN。具体来说，首先，我们对yuru-chara图像数据集进行了基于K-means++的聚类，并将其转换为类条件数据集。接下来，对类条件数据集执行数据增强，使得数据量增加五倍。此外，我们建立了一个模型，将ResBlock和自注意力结合到基于类条件GAN的网络中，并训练了类条件yuru-chara数据集。作为评价生成图像的结果，确认了聚类方法的差异对生成图像的影响。
2020-04-17 cs.CV cs.LG eess.IV
MMGAN: Generative Adversarial Networks for Multi-Modal Distributions
Institute for Informatics（信息学研究所）；LMU Munich（慕尼黑大学）
在过去的几年里，生成对抗网络（GANs）已经显示出显着的生成性能，特别是在图像合成。不幸的是，它们还以具有不稳定的训练过程而闻名，并且可能会丢失异构输入数据的数据分布的部分。在本文中，我们提出了一种新的GAN扩展多模态分布学习（MM GAN）。在我们的方法中，我们将潜在空间建模为高斯混合模型，其中多个聚类是指观察空间中断开的数据流形的数量，并包括聚类网络，该网络将每个数据流形与一个高斯聚类相关联。因此，训练更加稳定。此外，MMGAN允许根据潜在空间中的学习数据流形对真实数据进行聚类。通过一系列的基准实验，我们表明，MMGAN优于竞争国家的最先进的模型在聚类性能。
2019-11-15 cs.CV cs.LG stat.ML
Strong Black-box Adversarial Attacks on Unsupervised Machine Learning Models
从视觉到自然语言建模，机器学习（ML）和深度学习（DL）模型在多个学习任务上实现了最先进的性能。随着ML和DL越来越多地被计算机科学的许多领域所采用，最近的研究也开始关注这些模型的安全属性。已经进行了大量的工作来了解（深度）神经网络架构是否能够抵御黑盒对抗攻击，黑盒攻击可以在不知道所使用的架构的情况下制作受干扰的输入样本来欺骗分类器。最近的工作也集中在对抗攻击的可转移性上，并发现对抗攻击通常很容易在模型、数据集和技术之间转移。然而，这种攻击及其分析尚未从无监督机器学习算法的角度涵盖。在本文中，我们试图通过多种贡献来弥合这一差距。我们首先提供了一个强大的（迭代）黑盒对抗攻击，可以制作对抗样本，将不正确的聚类算法的选择无关。我们选择了4个突出的聚类算法，以及一个真实世界的数据集来展示所提出的对抗算法的工作。使用这些聚类算法，我们还进行了一个简单的研究，跨技术的对抗攻击的可转移性。
2019-06-10 cs.CR cs.LG stat.ML
Learning Graph Embedding with Adversarial Training Methods
Monash University（莫纳什大学）；University of Technology Sydney（悉尼科技大学）；City University of Hong Kong（香港城市大学）
图嵌入旨在将图转换为向量，以促进后续的图分析任务，如链接预测和图聚类。图嵌入的大多数方法都集中在保持图的结构或最小化图数据的重建误差。他们大多忽略了潜在代码的嵌入分布，不幸的是，这可能会导致在许多情况下表现较差。在本文中，我们提出了一个新的逆向正则化框架图嵌入。通过采用图卷积网络作为编码器，我们的框架嵌入的拓扑信息和节点内容到一个矢量表示，从该图解码器进一步构建重建输入图。对抗性训练原则被应用于强制我们的潜码匹配先验高斯或均匀分布。基于这个框架，我们推导出两种对抗模型的变体，对抗正则化图自动编码器（ARGA）及其变分版本，对抗正则化变分图自动编码器（ARVGA），以有效地学习图嵌入。我们还利用ARGA和ARVGA的其他潜在变体来深入了解我们的设计。通过对12种链接预测算法和20种图聚类算法的实验比较，验证了本文提出的方法的有效性。
2019-07-29 cs.LG stat.ML
Gaussian Mixture Generative Adversarial Networks for Diverse Datasets, and the Unsupervised Clustering of Images
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
生成对抗网络（GANs）已被证明可以生成逼真的合成图像，并取得了显着的成功，但当训练集高度多样化时，它们的性能似乎不那么令人印象深刻。当数据集包含许多不同的类时，为了更好地拟合目标数据分布，我们提出了一种基本GAN模型的变体，称为高斯混合GAN（GM-GAN），其中潜在空间上的概率分布是高斯的混合。我们还提出了一个有监督的变体，它能够有条件的样本合成。为了评估模型的性能，我们提出了一种新的评分方法，它分别考虑到两个（通常是冲突的）措施-多样性与质量的生成数据。通过一系列的实证实验，使用合成和真实世界的数据集，我们定量地表明，GM-GAN在使用常用的Inception Score进行评估时，以及使用我们自己的替代评分方法进行评估时，都优于基线。此外，我们定性地演示了如何的\textit{unsupervised}变体的GM-GAN倾向于映射从不同的高斯在潜在空间中的样本的数据空间中的不同类别的样本的潜在向量。我们展示了如何利用这种现象进行无监督聚类的任务，并提供定量评价，显示我们的方法的图像数据集的无监督聚类的优越性。最后，我们展示了一个功能，它进一步将我们的模型与其他GAN模型区分开来：通过改变潜在空间的概率分布来控制质量多样性权衡的选项。这允许人们根据自己的需要对更高质量和更低多样性的样本进行采样，反之亦然。
2018-08-30 cs.CV cs.LG stat.ML
Clustering Degree-Corrected Stochastic Block Model with Outliers
Northwestern University（西北大学）；Cornell University（康奈尔大学）
对于度校正的随机块模型中存在的任意甚至对抗性离群点，我们开发了一个基于凸优化的聚类算法，其中包括一个惩罚项取决于一个节点的正偏差从预期的边缘数到其他内点。我们证明，在温和的条件下，这种方法实现了准确的恢复的基础集群。我们的合成实验表明，我们的算法在异构网络上表现良好，特别是那些具有Pareto度分布的网络，离群值具有广泛的可能度，可以增强其对抗能力。我们还表明，我们的方法允许恢复显着较低的出错率相比，现有的算法。
2019-06-07 cs.LG q-fin.ST stat.ML
Methods of Hierarchical Clustering
Science Foundation Ireland（爱尔兰科学基金会）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
我们调查凝聚层次聚类算法，并讨论有效的实现，可在R和其他软件环境。我们研究分层自组织映射和混合模型。我们审查基于网格的聚类，重点是层次密度为基础的方法。最后，我们描述了一个最近开发的非常有效的（线性时间）层次聚类算法，这也可以被视为一个层次网格为基础的算法。
2011-04-30 cs.CV cs.IR math.ST
Demystifying Online Clustering of Bandits: Enhanced Exploration Under Stochastic and Smoothed Adversarial Contexts
The Chinese University of Hong Kong（香港中文大学）
本文针对老虎机在线聚类中识别用户簇所需的强假设问题，提出UniCLUB和PhaseUniCLUB两种增强探索算法，并引入平滑对抗情境设置以消除i.i.d.要求，在更弱假设下取得与先前工作相当的遗憾界并提升实际性能。
2025-01-01 cs.AI cs.LG stat.ML
Logo Synthesis and Manipulation with Clustered Generative Adversarial Networks
ETH Zurich（苏黎世联邦理工学院）；Merantix GmbH（Merantix 有限公司）；KU Leuven（鲁汶大学）
为新品牌设计徽标是设计师和客户之间漫长而乏味的来回过程。在本文中，我们将探讨机器学习在多大程度上可以解决设计师的创造性任务。为此，我们建立了一个数据集- LLD -从万维网上抓取的600 k+徽标。在这种多模态数据上训练生成对抗网络（GANs）进行徽标合成并不简单，并且对于一些最先进的方法会导致模式坍塌。我们建议使用通过聚类获得的合成标签来解开和稳定GAN训练。我们能够产生一个高多样性的似是而非的标志，我们展示了潜在的空间探索技术，以减轻互动方式的标志设计任务。此外，我们在CIFAR 10上验证了所提出的聚类GAN训练，当使用通过对ImageNet分类器的特征进行聚类而获得的合成标签时，获得了最先进的Inception分数。GANs可以通过聚类实现的合成标签来处理多模态数据，我们的研究结果显示了这种技术在徽标合成和操作方面的创造性潜力。我们的数据集和模型将在https://data.vision.ee.ethz.ch/cvl/lld/上公开提供。
2017-12-12 cs.CV cs.LG stat.ML
Double cycle-consistent generative adversarial network for unsupervised conditional generation
Clemson University（克莱姆森大学）
条件生成模型在过去几年中取得了相当大的成功，但通常需要大量的标记数据。最近，聚类器GAN将GAN与编码器相结合，通过无监督条件生成来实现显著的聚类性能。然而，它忽略了数据的真实条件分布，这导致为每个类生成较少多样性的样本，并使编码器只能实现次优聚类性能。在这里，我们提出了一个新的无监督条件生成框架，双循环一致的条件GAN（DC 3-GAN），它可以生成不同的类条件样本。除了生成器-编码器对之外，我们还强制GAN的编码器和生成器形成编码器-生成器对，这使我们能够避免低多样性生成和潜在特征的琐碎性。我们使用真实数据训练编码器-生成器对，它可以间接估计真实的条件分布。同时，该框架强制编码器的输出与GAN的输入和先验噪声分布相匹配，从而将潜在空间分解为两部分：独热离散和连续潜在变量。前者可以直接表示为簇，后者表示剩余的未指定因子。这项工作表明，增强无监督条件生成样本的多样性可以提高聚类性能。在不同基准数据集上的实验结果表明，该方法优于现有的基于生成模型的聚类方法，同时也达到了最优的解纠缠性能.
2021-04-05 cs.CV cs.LG stat.ML
Improving Adversarial Robustness by Enforcing Local and Global Compactness
Monash University（莫纳什大学）；Defence Science and Technology Group（国防科技集团）
深度神经网络容易受到精心设计的扰动的事实严重影响了深度学习在某些应用领域的使用。在针对此类攻击的许多已开发的防御模型中，对抗性训练是最成功的方法，可以持续抵抗各种攻击。在这项工作中，基于先前研究中的观察，即干净数据示例及其对抗示例的表示在深度神经网络的高层中变得更加发散，我们提出了Adjuvant Divergence Reduction Network，该网络在深度神经网络的中间层上强制执行局部/全局紧致性和聚类假设。我们进行全面的实验，以了解每个组件的隔离行为（即，局部/全局紧致性和聚类假设），并将我们提出的模型与最先进的对抗训练方法进行比较。实验结果表明，使用我们提出的组件增强对抗性训练可以进一步提高网络的鲁棒性，从而获得更高的无干扰和对抗性预测性能。
2020-07-10 cs.CV cs.LG cs.NE
Unsupervised and Semi-supervised Learning with Categorical Generative Adversarial Networks
University of Freiburg（弗赖堡大学）
在本文中，我们提出了一种方法来学习一个判别分类器从未标记或部分标记的数据。我们的方法基于一个目标函数，该目标函数权衡了观察到的示例及其预测的分类类分布之间的互信息，以及分类器对对抗生成模型的鲁棒性。由此产生的算法可以被解释为生成对抗网络（GAN）框架的自然推广，或者作为正则化信息最大化（RIM）框架的扩展，以针对最佳对手进行鲁棒分类。我们根据经验评估了我们的方法-我们称之为分类生成对抗网络（或CatGAN）-在合成数据以及具有挑战性的图像分类任务上，证明了学习分类器的鲁棒性。我们进一步定性地评估了与判别分类器一起学习的对抗生成器生成的样本的保真度，并确定了CatGAN目标和判别聚类算法（如RIM）之间的联系。
2016-04-30 cs.LG stat.ML
Machine Learning for Stochastic Parameterization: Generative Adversarial Networks in the Lorenz '96 Model
National Center for Atmospheric Research（美国国家大气研究中心）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Victoria（维多利亚大学）；University of Oxford（牛津大学）
随机参数化占未解决的子网格过程的代表性的不确定性，从可能的子网格强迫分布的采样。一些现有的随机参数化利用数据驱动的方法来表征不确定性，但这些方法需要显着的结构假设，可以限制其可扩展性。机器学习模型，包括神经网络，能够表示广泛的分布，并在大量输入和子网格强迫之间建立优化的映射。最近对机器学习参数化的研究只集中在确定性参数化上。在这项研究中，我们使用生成对抗网络（GAN）机器学习框架开发了一个随机参数化。GAN随机参数化是在Lorenz '96模型的输出上训练和评估的，Lorenz '96模型是用于评估参数化和资料同化技术的通用基线模型。我们评估了不同的方法来表征模型的输入噪声，并在天气和气候时间尺度上使用GAN参数化进行模型运行。一些GAN配置在两个时间尺度上的性能都优于基线定制参数化，并且网络紧密地再现了Lorenz '96系统的时空相关性和制度。我们还发现，在一般情况下，这些模式产生熟练的预测也与最好的气候模拟。
2019-09-10 cs.LG nlin.CD physics.ao-ph
Noisy Sparse Subspace Clustering
研究了噪声环境下的子空间聚类问题。具体来说，我们研究了稀疏子空间聚类（SSC）的行为时，无论是敌对或随机噪声被添加到未标记的输入数据点，这是假设在低维子空间的联合。我们表明，修改后的版本的SSC是\emph{provably effective}在正确识别的基础子空间，即使有噪音的数据。这将该算法的理论保证扩展到更实际的设置，并为SSC在一类实际应用中的成功提供了理由。
2015-01-22 stat.ML
A provable initialization and robust clustering method for general mixture models
本文针对一般混合模型提出基于多元截尾均值质心估计的鲁棒初始化与聚类方法，在有限簇数和维度下可证明达到接近最优的误标号率，并能抵抗重尾误差和对抗离群点，同时证明Lloyd算法在多簇或重尾情形下次优。
2024-10-23 math.ST stat.ML stat.TH
