Augmenting Novelty Search with a Surrogate Model to Engineer Meta-Diversity in Ensembles of Classifiers
Imperial College London（帝国理工学院）；Edinburgh Napier University（爱丁堡龙比亚大学）
使用神经进化结合新奇搜索来促进行为多样性，能够构建用于分类的高性能集合。然而，在搜索期间使用梯度下降来训练演进的架构在计算上可能是禁止的。在这里，我们提出了一种方法来克服这一限制，通过使用一个代理模型，估计两个神经网络架构之间的行为距离计算的稀疏项在新奇搜索。我们证明了10倍的速度比以前的工作，并显着改善了以前的报告结果的三个基准数据集从计算机视觉- CIFAR-10，CIFAR-100，和SVHN。这是由于通过使用代理来促进扩展的架构搜索空间。我们的方法代表了一个改进的范例，实现水平缩放的学习算法的多样性显式搜索相当容易处理相同的有界资源。
2022-02-08 cs.CV cs.LG cs.NE
Dual Mixup Regularized Learning for Adversarial Domain Adaptation
Carleton University（卡尔顿大学）；University of Ottawa（渥太华大学）
无监督领域自适应（UDA）的最新进展依赖于对抗学习来解开领域自适应的解释性和可转移特征。然而，现有方法存在两个问题。首先，如果不考虑目标域中的类感知信息，潜在空间的可区分性就不能得到充分保证。第二，仅从源和目标域的样本是不够的域不变特征提取的潜在空间。为了缓解上述问题，我们提出了一种双重混合正则化学习（DMRL）方法UDA，它不仅指导分类器增强样本之间的一致性预测，而且还丰富了潜在空间的内在结构。DMRL在像素级上联合进行类别和域混合正则化，以提高模型的有效性。对四个领域自适应基准的一系列实证研究表明，我们的方法可以达到最先进的水平。
2020-07-16 cs.CV cs.LG stat.ML
Towards Uncovering the Intrinsic Data Structures for Unsupervised Domain Adaptation using Structurally Regularized Deep Clustering
South China University of Technology（华南理工大学）；University of Surrey（萨里大学）
无监督领域自适应（Unsupervised domain adaptation，UDA）是指在源域中有标记数据的分布偏离目标域的情况下，学习对目标域中无标记数据进行预测的分类模型。主流的UDA方法努力学习与域对齐的特征，使得在源特征上训练的分类器可以很容易地应用于目标特征。虽然已经取得了令人印象深刻的结果，这些方法有一个潜在的风险，破坏了内在的数据结构的目标歧视，提出了一个问题，特别是在归纳设置的UDA任务的泛化。为了解决这个问题，我们的动机是跨域结构相似性的UDA假设，并建议通过约束聚类直接揭示内在的目标歧视，其中我们使用结构源正则化来约束聚类解决方案，该正则化依赖于相同的假设。从技术上讲，我们提出了一种结构正则化深度聚类的混合模型，它将目标数据的正则化判别聚类与生成聚类相结合，因此我们将我们的方法称为H-SRDC。我们的混合模型基于一个深度聚类框架，该框架最大限度地减少了网络预测分布与辅助分布之间的Kullback-Leibler分歧，在该框架中，我们通过学习域共享分类器和聚类中心来实施结构正则化。通过丰富的结构相似性假设，我们能够扩展H-SRDC的像素级UDA任务的语义分割。我们进行了广泛的实验，七UDA基准的图像分类和语义分割。在没有明确的特征对齐的情况下，我们提出的H-SRDC在归纳和转换设置下都优于所有现有的方法。我们在https://github.com/huitan…
2021-04-08 cs.CV cs.LG stat.ML
Learning mappings onto regularized latent spaces for biometric authentication
Politecnico di Torino（都灵理工大学）
提出了一种基于深度神经网络的通用生物特征认证架构：RegNet。与其他方法不同的是，RegNet在一个行为良好的空间中学习输入生物特征到目标分布的映射，在这个空间中，用户可以通过简单和可调的边界来分离。更具体地说，授权和未授权的用户被映射到两个不同的和良好的行为高斯分布。学习映射而不是边界的新方法进一步避免了在典型分类器中遇到的问题，对于典型分类器，学习的边界可能是复杂的并且难以分析。RegNet在安全性指标方面实现了高性能，例如相等出错率（EER）、错误接受率（FAR）和真实接受率（GAR）。在公开的人脸和指纹数据集上进行的实验证实了该系统的有效性。
2019-11-20 cs.CV cs.LG cs.MM
Learning to Diversify via Weighted Kernels for Classifier Ensemble
University of Science and Technology Beijing（北京科技大学）；Chinese Academy of Sciences（中国科学院）
分类器集成通常应该结合不同的组件分类器。然而，很难给出多样性度量和集合精度之间的明确联系。在给定一组可用的分类器的情况下，如何自适应地、动态地集成分类器成为了一个很大的挑战。在本文中，我们认为，多样性，而不是直接多样性的样本，但自适应多样性与数据，是高度相关的集成精度，我们提出了一种新的分类器集成技术，学习多样化，学习自适应组合分类器，同时考虑精度和多样性。具体来说，我们的方法，学习多样化通过加权核（L2 DWK），通过优化一个直接但简单的标准进行分类器组合：最大限度地提高集成精度和自适应多样性，同时最小化凸损失函数。给定度量公式，利用加权核计算多样性（即，在被核化和加权的分量分类器的输出上测量多样性），并且自动学习核权重。我们最小化这个损失函数估计的内核权重结合分类器的权重，并提出了一个自我训练算法进行这种凸优化过程迭代。在32个UCI分类基准数据集上进行的大量实验表明，该方法的性能始终优于最先进的集成，如Bagging，AdaBoost，随机森林，Gasen，正则化选择性Entrance和Entrance Pruning via Semi-Definite Programming。
2014-06-04 cs.CV cs.LG
Generalized Global Ranking-Aware Neural Architecture Ranker for Efficient Image Classifier Search
Zhejiang University（浙江大学）；Fudan University（复旦大学）；Fuxi AI Lab, NetEase Games（网易游戏伏羲人工智能实验室）
神经结构搜索（NAS）是一个强大的工具，自动化有效的图像处理DNN的设计。该排序方法被用来设计一个有效的NAS性能预测器。前面的对比方法通过比较体系结构对并预测它们的相对性能来解决排名问题。然而，它只关注两个相关架构之间的排名，而忽略了搜索空间的整体质量分布，这可能会遇到泛化问题。提出了一种基于神经网络结构排序器（NAR）的预测器，该预测器集中于特定结构的全局质量层，以解决局部视角引起的问题。NAR在全局范围内探索搜索空间的质量层，并根据其全局排名将每个人分类到他们所属的层。因此，预测器获得搜索空间的性能分布的知识，这有助于更容易地将其排名能力推广到数据集。同时，全局质量分布通过根据质量等级的统计直接对候选者进行采样来促进搜索阶段，这无需训练搜索算法，例如，强化学习（RL）或进化算法（EA），因此它简化了NAS管道并节省了计算开销。建议的NAR实现更好的性能比国家的最先进的方法在两个广泛使用的数据集NAS研究。在NAS-Bench-101的巨大搜索空间上，NAR仅通过采样就可以轻松找到具有最高0.01 $\unicode{x2030}$性能的架构。它也很好地推广到NAS-Bench-201的不同图像数据集，即，CIFAR-10，CIFAR-100和ImageNet-16-120，通过识别每个架构的最佳架构。
2022-07-12 cs.CV
Unsupervised Domain Adaptation via Structurally Regularized Deep Clustering
South China University of Technology（华南理工大学）；Wushan Road, Tianhe District, Guangzhou, Guangdong, China（中国广东省广州市天河区五山路381号（注：此地址为机构具体位置，按要求仅提取到大学级别，此处原机构名称应为华南理工大学，该地址为华南理工大学地址，故仅保留华南理工大学））
无监督领域自适应（UDA）是指当源域上的标记数据与目标域上的标记数据发生分布偏移时，对目标域上的未标记数据进行预测。主流UDA方法学习两个域之间的对齐特征，使得在源特征上训练的分类器可以容易地应用于目标特征。然而，这样的转移策略具有破坏目标数据的内在区分的潜在风险。为了减轻这种风险，我们的动机是由结构域相似性的假设，并建议直接揭示内在的目标歧视通过歧视性聚类的目标数据。我们使用结构源正则化来约束聚类解决方案，该正则化取决于我们假设的结构域相似性。在技术上，我们使用基于深度网络的判别聚类的灵活框架，该框架最小化网络的预测标签分布与引入的辅助标签分布之间的KL分歧;将辅助分布替换为由源数据的地面真实标签形成的辅助分布，通过联合网络训练的简单策略实现结构源正则化。我们将我们提出的方法称为结构正则化深度聚类（SRDC），其中我们还通过中间网络特征的聚类来增强目标区分，并通过对分歧较小的源示例的软选择来增强结构正则化。仔细的消融研究显示了我们提出的SRDC的有效性。值得注意的是，没有显式的域对齐，SRDC在三个UDA基准测试中优于所有现有的方法。
2020-03-19 cs.CV
GRAC: Self-Guided and Self-Regularized Actor-Critic
Stanford University（斯坦福大学）；University of California, Los Angeles（加州大学洛杉矶分校）
深度强化学习（DRL）算法已在一系列具有挑战性的决策和控制任务中得到成功验证。最近深度强化学习算法的一个主要组成部分是目标网络，它在学习Q函数时减轻了发散。然而，由于延迟的函数更新，目标网络可能会减慢学习过程。我们在这项工作中的主要贡献是一种自正则化TD学习方法，可以在不需要目标网络的情况下解决发散问题。此外，我们提出了一个自我指导的策略改进方法，通过结合策略梯度与零阶优化，在广泛的邻域中搜索与较高Q值相关的动作。这使得学习对Q函数近似中的局部噪声更具鲁棒性，并指导我们的演员网络的更新。综合起来，这些组件定义GRAC，一种新的自我引导和自我正则化的演员评论家算法。我们在OpenAI健身房任务套件上评估GRAC，在每个测试环境中达到或超过最先进的水平。
2020-11-11 cs.AI cs.LG cs.RO
Local Search for Policy Iteration in Continuous Control
DeepMind（深度思维公司(DeepMind)）；DeepMind, London, UK（深度思维公司(DeepMind)伦敦分部）
我们提出了一种算法，用于强化学习（RL）中的局部，正则化，策略改进，使我们能够在单个框架中制定基于模型和无模型的变体。我们的算法可以被解释为KL-正则化RL工作的自然扩展，并引入了一种形式的树搜索连续动作空间。我们证明了在学习过程中花费在基于模型的策略改进上的额外计算可以提高数据效率，并确认在动作选择过程中基于模型的策略改进也是有益的。量化，我们的算法提高了几个连续控制基准测试的数据效率（当一个模型是并行学习的），它提供了显着的改善，在墙上的时钟时间在高维域（当地面真理模型可用）。统一的框架还有助于我们更好地理解基于模型和无模型算法的空间。特别是，我们证明了一些好处归因于基于模型的RL可以获得没有模型，只是通过利用更多的计算。
2020-10-12 cs.AI cs.LG stat.ML
Parallel Architecture and Hyperparameter Search via Successive Halving and Classification
Google Brain（谷歌大脑）
我们提出了一个简单而强大的并行黑盒优化算法称为连续减半和分类（SHAC）。该算法在并行函数评估的$K$阶段中操作，并训练级联的二进制分类器以迭代地剔除搜索空间的不期望区域。SHAC易于实现，不需要调整其自身的配置参数，对目标函数的尺度是不变的，并且可以使用任何选择的二元分类器来构建。我们在SHAC中采用基于树的分类器，并在优化合成函数，超参数和架构的几个强大基线上实现了具有竞争力的性能。
2018-05-25 cs.AI cs.CV cs.LG
HD-CNN: Hierarchical Deep Convolutional Neural Network for Large Scale Visual Recognition
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）；eBay Research Lab（eBay研究实验室）；The University of Hong Kong（香港大学）
在图像分类中，不同对象类别之间的视觉可分性是高度不均匀的，并且某些类别比其他类别更难区分。这样困难的分类需要更多专门的分类器。然而，现有的深度卷积神经网络（CNN）被训练为平坦N路分类器，并且很少努力利用类别的分层结构。在本文中，我们通过将深度CNN嵌入到类别层次结构中来引入分层深度CNN（HD-CNN）。HD-CNN使用粗类别分类器分离简单类别，同时使用细类别分类器区分困难类别。在HD-CNN训练过程中，组件预训练之后是全局微调，使用粗类别一致性项正则化的多项式逻辑损失。此外，精细类别分类器和层参数压缩的条件执行使HD-CNN可扩展为大规模视觉识别。我们在CIFAR 100和大规模ImageNet 1000类基准数据集上都取得了最先进的结果。在我们的实验中，我们建立了三种不同的HD-CNN，它们分别将标准CNN的前1个误差降低了2.65%、3.1%和1.1%。
2015-05-16 cs.AI cs.CV cs.LG
Inducing Generalized Multi-Label Rules with Learning Classifier Systems
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）；University of Edinburgh（爱丁堡大学）
近年来，多标签分类吸引了大量的研究，其动机是现实生活中的应用，如文本分类和医疗诊断。虽然在这方面的研究很少，学习分类器系统自然非常适合多标签分类问题，其搜索空间通常涉及多个高度特定的小生境。这是我们目前工作背后的动机，它引入了一种通用的多标签规则格式-允许灵活的标签依赖建模，不需要明确的知识来搜索哪些相关性-并将其用作进一步适应通用里根式监督学习分类器系统框架的指南。上述规则格式和框架适应的集成导致了一种新的多标签分类算法，其行为通过一组适当定义的人工问题进行研究。该算法还在一组多标签数据集上进行了全面评估，并发现与其他最先进的多标签分类方法相比具有竞争力。
2015-12-25 cs.LG cs.NE
