Graph Metanetworks for Processing Diverse Neural Architectures
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Technion（以色列理工学院）；NVIDIA（英伟达）
本文提出图元网络（GMNs），通过将神经网络参数构建为图并用图神经网络处理，以统一处理多种神经架构，具备表达力与置换等变性，并在多任务中验证有效性。
2023-12-29 cs.AI cs.LG stat.ML
Evaluation of Neural Architectures Trained with Square Loss vs Cross-Entropy in Classification Tasks
University of California San Diego（加利福尼亚大学圣地亚哥分校）
用于分类任务的现代神经架构是使用交叉熵损失来训练的，交叉熵损失被广泛认为在经验上优于平方损失。在这项工作中，我们提供的证据表明，这种信念可能是没有根据的。我们探索了几种主要的神经架构和一系列用于NLP，自动语音识别（ASR）和计算机视觉任务的标准基准数据集，以表明这些架构具有与文献中报道的相同的超参数设置，即使在均衡计算资源之后，在平方损失的情况下训练时也会表现出色或更好。事实上，我们观察到平方损失在绝大多数NLP和ASR实验中产生更好的结果。交叉熵似乎在计算机视觉任务上有一点优势。我们认为，几乎没有令人信服的经验或理论证据表明一个明确的优势，交叉熵损失。事实上，在我们的实验中，几乎所有非视觉任务的表现都可以通过切换到平方损失来提高，有时甚至是显着提高。此外，平方损失的训练似乎对初始化中的随机性不太敏感。我们认为，使用平方损失进行分类的训练需要成为现代深度学习与交叉熵平等的最佳实践的一部分。
2021-10-23 cs.LG stat.ML
Bonsai -- Diverse and Shallow Trees for Extreme Multi-label Classification
Indian Institute of Technology Mandi（曼迪印度理工学院）；Aalto University（阿尔托大学）
极端多标签分类（XMC）是指涉及数十万甚至数百万个标签的监督多标签学习。在本文中，我们开发了一套算法，称为Bonsai，它概括了XMC中的标签表示的概念，并在表示空间中划分标签来学习浅树。我们展示了这个标签表示空间的三个具体实现，包括：（i）由输入特征跨越的输入空间，（ii）基于与其他标签的同现由标签向量跨越的输出空间，以及（iii）通过组合输入和输出表示的联合空间。此外，在这些空间中迭代学习的无约束多路划分导致浅树。通过结合浅树和广义标签表示的效果，Bonsai实现了两全其美-快速训练，可与XMC中最先进的基于树的方法相媲美，并且预测精度更高，特别是在尾部标签上。在具有300万个标签的基准Amazon-3 M数据集上，\bonsai在预测准确性方面优于最先进的one-vs-rest方法，同时训练速度快约200倍。盆景的代码可在\url{https://github.com/xmc-aalto/bonsai}上获得
2019-08-10 cs.LG stat.ML
A Classification of $G$-invariant Shallow Neural Networks
University of Tennessee（田纳西大学）
当试图将深度神经网络（DNN）拟合到具有$G$组的$G$不变目标函数时，只有将DNN约束为$G$不变才有意义。然而，可以有许多不同的方法来做到这一点，从而提出了“$G$不变神经架构设计”的问题：对于给定的问题，最佳的$G$不变架构是什么？在我们考虑优化问题本身之前，我们必须理解搜索空间、搜索空间中的架构以及它们之间的关系。在本文中，我们朝着这一目标迈出了第一步;我们证明了一个定理，给出了所有$G$不变的单隐层或“浅”神经网络的分类（$G$ -SNN）架构，其具有用于任何有限正交群$G$的ReLU激活，我们证明了第二个定理，它刻画了包含映射或"在神经架构搜索（NAS）期间可以利用的架构之间的“网络形态”。该证明是基于每个$G$ -SNN的对应关系的$G$作用于隐藏的神经元的有符号的置换表示;分类等价地给出了$G$的第一上同调类，从而承认拓扑解释。$G$ -SNN结构对应于非平凡上同调类，据我们所知，从来没有明确确定在文献中以前。使用代码实现，我们列举了一些示例组$G$的$G$ -SNN架构，并可视化它们的结构。最后，我们证明了对应于不等价上同调类的结构在函数空间中只有当它们的权矩阵为零时才重合，并讨论了这对NAS的影响。
2023-01-07 cs.LG stat.ML
Examining Deep Learning Architectures for Crime Classification and Prediction
Information Technologies Institute, Centre for Research and Technology Hellas（希腊研究与技术中心信息技术研究所）
本文详细研究了使用深度学习架构进行犯罪分类和预测。我们研究了深度学习算法在这一领域的有效性，并提供了设计和训练深度学习系统预测犯罪领域的建议，使用来自警方报告的开放数据。以每个地点的犯罪类型时间序列作为训练数据，对3种不同的深度学习配置进行了10种最先进方法的比较研究。在我们对五个公开数据集的实验中，我们证明了基于深度学习的方法始终优于现有的最佳性能方法。此外，我们评估了深度学习架构中不同参数的有效性，并给出了配置它们的见解，以提高犯罪分类和最终犯罪预测的性能。
2018-12-03 cs.CY cs.LG stat.ML
Benchmarks of ResNet Architecture for Atrial Fibrillation Classification
在这项工作中，我们将ResNet架构的变体应用于房颤分类任务。变化在第一次卷积后的滤波器数量、ResNet块布局、块卷积中的滤波器数量以及下采样操作之间的ResNet块数量方面有所不同。我们已经发现了一系列的模型尺寸，其中具有相当不同的配置的模型显示出相似的性能。很可能参数的总数在模型性能中起主导作用。然而，像布局这样的配置参数具有不断导致更好结果的值，这允许建议这些参数应该首先被定义和固定，而其他参数可以在合理范围内变化以满足任何现有约束。
2018-09-30 cs.CV cs.LG stat.ML
Meta-learning Convolutional Neural Architectures for Multi-target Concrete Defect Classification with the COncrete DEfect BRidge IMage Dataset
Goethe University（歌德大学）；Egnatia Odos A. E.（埃格纳蒂亚公路公司）
识别混凝土基础设施中的缺陷，特别是桥梁中的缺陷，是评估结构完整性的关键第一步，成本高，耗时长。混凝土材料的外观变化很大，不断变化的照明和天气条件，各种可能的表面标记以及不同类型的缺陷重叠的可能性，使其成为一项具有挑战性的现实任务。在这项工作中，我们介绍了新的COncrete DEfect BRidge图像数据集（CODEBRIM）的多目标分类的五个常见的混凝土缺陷。我们研究并比较了两种基于强化学习的元学习方法，MetaQNN和高效的神经结构搜索，以找到合适的卷积神经网络架构，用于这一具有挑战性的多类多目标任务。我们发现，与在我们的应用背景下评估的文献中流行的神经架构相比，学习的架构除了产生更好的多目标准确性外，还具有更少的总体参数。
2019-04-02 cs.CV cs.LG stat.ML
Resting state fMRI functional connectivity-based classification using a convolutional neural network architecture
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；Research Centre for Natural Sciences, Hungarian Academy of Sciences（匈牙利科学院自然科学研究中心）
机器学习技术在基于静息状态fMRI（功能性磁共振成像）网络的分类领域中已经变得越来越流行。然而，卷积网络的应用只是最近才被提出，并且在很大程度上尚未被探索。在本文中，我们描述了一个卷积神经网络结构的功能连接体分类称为连接体卷积神经网络（CCNN）。我们在模拟数据集和遗忘型轻度认知障碍分类的公开数据集上的结果表明，我们的CCNN模型可以有效地区分受试者群体。我们还表明，连接体卷积网络能够结合来自不同功能连接性度量的信息，并且使用不同连接性描述符组合的模型能够优于仅使用一个度量的分类器。从这种灵活性如下，我们提出的CCNN模型可以很容易地适应广泛的基于连接体的分类或回归任务，通过改变连接描述符组合用于训练网络。
2017-07-20 cs.CV cs.LG stat.ML
CNN Architectures for Large-Scale Audio Classification
Google, Inc.（谷歌公司）
卷积神经网络（CNN）已被证明在图像分类中非常有效，并显示出对音频的承诺。我们使用各种CNN架构对70M训练视频（524万小时）的数据集的音轨进行分类，其中包含30，871个视频级别标签。我们研究了完全连接的深度神经网络（DNN），AlexNet [1]，VGG [2]，Inception [3]和ResNet [4]。我们研究了训练集和标签词汇的大小，发现图像分类中使用的CNN的类似物在我们的音频分类任务中表现良好，并且较大的训练集和标签集在一定程度上有所帮助。使用来自这些分类器的嵌入的模型在音频集[5]声学事件检测（AED）分类任务上比原始特征要好得多。
2017-01-10 cs.LG cs.SD stat.ML
Disentangling Neural Architectures and Weights: A Case Study in Supervised Classification
Royal Holloway University of London（伦敦大学皇家霍洛威学院）
深度学习的历史表明，人类设计的特定问题网络可以大大提高一般神经模型的分类性能。然而，在大多数实际情况下，为给定任务选择最佳架构仍然是一个具有挑战性的问题。最近的结构搜索方法能够自动构建具有强大性能的神经模型，但未能充分认识到神经结构和权重之间的相互作用。这项工作研究了解开神经结构及其边缘权重的作用的问题，表明训练有素的架构可能不需要任何特定于链路的权重微调。我们比较了这种无权重网络（在我们的情况下，这些是具有{0，1}值权重的二进制网络）与随机，权重不可知，修剪和标准全连接网络的性能。为了找到最优的权重不可知网络，我们使用了一种新的和计算效率高的方法，将硬架构搜索问题转化为一个可行的优化问题。更具体地说，我们将最优的任务特定架构视为具有{0，1}值权重的二进制网络的最优配置，可以通过近似梯度下降策略找到。理论上的收敛性保证所提出的算法是通过边界的梯度近似的误差和它的实际性能进行评估，在两个现实世界的数据集。为了测量不同架构之间的结构相似性，我们使用了一种新的谱方法，使我们能够强调实值网络和无权重架构之间的内在差异。
2020-09-11 cs.CV cs.LG stat.ML
Distilling Optimal Neural Networks: Rapid Search in Diverse Spaces
Qualcomm AI Research（高通人工智能研究院）
目前最先进的神经架构搜索（NAS）方法既不能有效地扩展到多个硬件平台，也不能处理不同的架构搜索空间。为了解决这个问题，我们提出了DONNA（蒸馏最佳神经网络架构），一个快速，可扩展和多样化的NAS，可扩展到许多用户场景的新管道。DONNA由三个阶段组成。首先，从参考模型中使用分块知识蒸馏来构建精度预测器。该预测器使得能够在具有变化的宏观架构参数（诸如层类型和注意力机制）以及微架构参数（诸如块重复和扩展速率）的不同网络之间进行搜索。其次，快速进化搜索使用准确度预测器和设备上的测量为任何场景找到一组帕累托最优架构。第三，优化模型可以快速微调到从头开始训练的准确性。DONNA在查找设备上最先进的架构方面比MNasNet快100倍。分类ImageNet，DONNA架构在Nvidia V100 GPU上比EfficientNet-B0和MobileNetV2快20%，在三星S20智能手机上比MobileNetV2快10%，精度高0.5%。除了NAS之外，DONNA还用于搜索空间扩展和探索，以及硬件感知的模型压缩。
2021-08-27 cs.AI cs.CV cs.LG
High Quality Prediction of Protein Q8 Secondary Structure by Diverse Neural Network Architectures
Columbia University（哥伦比亚大学）；Ben Gurion University（本古里安大学）
我们使用一个通用的任务框架来解决蛋白质二级结构预测的问题。这导致了基于最先进的构建块的神经架构的多个想法的引入，首次用于这项任务。我们采用原则性的机器学习方法，提供真实、公正的性能指标，纠正应用领域中的长期错误。我们专注于二级结构的Q8分辨率，这是一个不断改进方法的活跃领域。我们使用一个强预测器的集合来实现70.7%的准确率（在使用CB6133过滤训练集的CB513测试集上）。这些结果在统计学上与现有的顶级预测因素没有区别。本着可重复研究的精神，我们提供数据、模型和代码，旨在为训练集和测试集的纯度设定黄金标准。这种良好做法降低了进入这一领域的门槛，并促进了可复制、可扩展的研究。
2018-11-17 cs.LG q-bio.QM stat.ML
Intent Classification in Question-Answering Using LSTM Architectures
ENEA（意大利国家新技术、能源与可持续经济发展署）
问答（QA）无疑是自然语言处理（NLP）和人工智能（AI）中最著名也可能是最复杂的问题之一。由于找到一个通用答案的完整解决方案似乎还很遥远，最明智的做法是通过解决单个更简单的部分来分解问题。假设一个模块化的方法来解决这个问题，我们将我们的研究局限于一个答案的意图分类，给出一个问题。通过使用LSTM网络，我们展示了如何有效地实现这种类型的分类，以及如何在基本原型响应器中正确使用它。
2020-01-25 cs.CL cs.LG stat.ML
ChaosNet: A Chaos based Artificial Neural Network Architecture for Classification
National Institute of Advanced Studies（国家高等研究院）；PES University（PES大学）
受大脑神经元混沌放电的启发，我们提出了ChaosNet --一种新的基于混沌的人工神经网络结构，用于分类任务。ChaosNet是使用神经元层构建的，每个神经元层都是一个被称为广义Luroth系列（GLS）的1D混沌映射，在早期的工作中已经显示出具有非常有用的特性，用于压缩，密码学和计算XOR和其他逻辑运算。在这项工作中，我们设计了一种新的学习算法ChaosNet，利用混沌GLS神经元的拓扑传递性。所提出的学习算法在训练样本非常有限的情况下，在一些公知的公开数据集上的分类任务中给出了一致的良好性能精度。即使每个类只有7个（或更少）训练样本（占总可用数据的不到0.05%），ChaosNet的性能准确率也在73.89%-98.33%之间。我们证明了混沌网络对加性参数噪声的鲁棒性，并提供了一个用于提高分类精度的2层混沌网络的示例实现。我们设想在不久的将来在ChaosNet上开发其他几种新颖的学习算法。
2019-10-06 cs.LG nlin.CD stat.ML
Neural Architecture Search on Acoustic Scene Classification
Xiaomi AI Lab（小米人工智能实验室）
卷积神经网络被广泛应用于声场景分类（ASC）任务中，但它们通常具有沉重的计算负担。在这项工作中，我们提出了一个受MobileNetV 2启发的轻量级但高性能的基线网络，它用单向卷积核取代了方形卷积核，以在时间和频率维度上交替提取特征。此外，我们探索了一个动态的架构空间的基础上提出的基线与最近的神经架构搜索（NAS）范式，首先训练一个超网，包括所有候选网络，然后应用一个著名的进化算法NSGA-II发现更高效的网络，具有更高的精度和更低的计算成本。实验结果表明，我们搜索的网络能够胜任ASC任务，在DCASE 2018任务5评估集上达到90.3%的F1分数，标志着新的最先进的性能，同时与我们的基线网络相比节省了25%的FLOP。
2020-08-05 cs.LG cs.SD eess.AS
Transfer Learning for sEMG-based Hand Gesture Classification using Deep Learning in a Master-Slave Architecture
Amity University（阿米提大学）
诊断学习和基于手势的人机界面的发展的最新进展已经驱动表面肌电图（sEMG）走向显着的重要性。手势分析需要对sEMG信号进行准确评估。拟议的工作提出了一种新的顺序主从架构，由深度神经网络（DNN）组成，用于使用从多个sEMG通道记录的信号对印度手语中的符号进行分类。通过利用长短期记忆网络生成的附加合成特征数据来增强主从网络的性能。所提出的网络的性能相比，传统的DNN之前和之后添加合成数据。在传统DNN中观察到高达14%的改进，在添加合成数据的主从网络中观察到高达9%的改进，平均准确度值为93.5%，表明所提出的方法的适用性。
2020-04-27 cs.LG eess.IV eess.SP
A Layered Architecture for Active Perception: Image Classification using Deep Reinforcement Learning
Lehigh University（理海大学）
为了解决图像分类问题，我们提出了一种机器人（代理）的规划和感知机制，它只能部分地观察底层环境。一个三层架构的建议，包括一个元层，决定中间目标，一个行动层，选择本地行动的代理导航到一个目标，和一个分类层，评估奖励，并作出预测。我们使用深度强化学习来设计和实现这些层。一个广义的策略梯度算法被用来学习这些层的参数，以最大化期望的回报。我们提出的方法进行测试的MNIST数据集的手写数字，这为我们提供了一个层次的解释，同时解释代理的中间目标和行动过程。
2019-09-20 cs.AI cs.LG cs.RO
