A self consistent theory of Gaussian Processes captures feature learning effects in finite CNNs
Hebrew University（希伯来大学）；Edmond and Lily Safra Center for Brain Sciences（埃德蒙和莉莉·萨夫拉脑科学中心）；Racah Institute of Physics（拉卡物理研究所）
无限宽度/通道限制的深度神经网络（DNN）最近受到了广泛关注，因为它们通过映射到高斯过程（GP）为深度学习提供了一个清晰的分析窗口。尽管这种观点在理论上很有吸引力，但它缺乏有限DNN中深度学习的关键要素，而这正是它们成功的核心--特征学习。在这里，我们考虑在大型训练集上使用噪声梯度下降训练的DNN，并推导出一个自洽的高斯过程理论，该理论考虑了强大的有限DNN和特征学习效果。将其应用于双层线性卷积神经网络（CNN）的玩具模型，显示出与实验的良好一致性。我们进一步确定，无论是分析和数值，在这个模型中的特征学习制度和懒惰的学习制度之间的急剧转变。强有限DNN效应也来自一个非线性的两层全连接网络。我们的自洽理论为研究有限DNN中的特征学习和其他非懒惰效应提供了一个丰富而通用的分析框架。
2021-06-08 cond-mat.stat-mech cs.LG stat.ML
SA-CNN: Application to text categorization issues using simulated annealing-based convolutional neural network optimization
École Centrale de Nantes（南特中央理工学院）
卷积神经网络（CNN）是一类代表性的深度学习算法，包括基于其分层架构对输入数据执行卷积不变分类的卷积计算。然而，经典的卷积神经网络学习方法使用最速下降算法进行训练，学习性能受卷积层和全连接层初始权重设置的影响很大，需要重新调整以在不同的模型结构和数据下获得更好的性能。结合模拟退火算法在全局搜索方面的优势，提出将其应用于超参数搜索过程，以提高卷积神经网络（CNN）的有效性。本文在Text-CNN神经网络的基础上引入SA-CNN神经网络用于文本分类任务，并实现了用于超参数搜索的模拟退火算法。实验表明，我们可以实现更高的分类精度比早期的模型与手动调整，并在时间和空间上的改进，探索相对于人类调整是实质性的。
2023-03-13 cs.LG
DSXplore: Optimizing Convolutional Neural Networks via Sliding-Channel Convolutions
University of California, Santa Barbara（加州大学圣巴巴拉分校）
作为卷积神经网络（CNN）的重要进展，深度可分离卷积（DSC）技术在保持模型精度的同时，减少了CNN的计算量和参数大小，成为最流行的技术之一。它还带来了深远的影响，以提高计算和内存密集型CNN的适用性，以广泛的应用，如移动设备，这是通常缺乏计算能力和内存。然而，以前的DSC研究主要集中在合成有限的现有DSC设计，因此，错过了探索更多潜在设计的机会，可以实现更好的精度和更高的计算/参数减少。此外，现成的卷积实现提供有限的计算方案，因此，缺乏对具有不同卷积模式的DSC的支持。为此，我们介绍了DSXplore，这是第一个用于在CNN上探索DSC的优化设计。具体而言，在算法层面，DSXplore采用了一种新的因子分解内核-滑动通道卷积（SCC），其特征在于输入通道重叠，以平衡精度性能和计算和内存成本的降低。SCC还通过引入可调节的内核参数为设计探索提供了巨大的空间。此外，在实现层面上，我们进行了优化的GPU实现定制SCC利用几个关键技术，如输入为中心的向后设计和通道循环优化。在主流CNN的不同数据集上进行的密集实验表明，DSXplore在平衡准确性和计算/参数减少方面优于标准卷积和现有DSC。
2021-01-04 cs.CV cs.LG
A Graph-CNN for 3D Point Cloud Classification
McGill University（麦吉尔大学）
图卷积神经网络（Graph-CNN）扩展了传统的CNN来处理图上支持的数据。在处理图上的数据时的主要挑战是支持集（图的顶点）通常不具有自然排序，并且一般来说，图的拓扑不规则（即，顶点并不都具有相同数目的邻居）。因此，Graph-CNN在处理从流形采样获得的3D点云数据方面具有巨大的潜力。在本文中，我们开发了一个用于分类3D点云数据的Graph-CNN，称为PointGCN。该架构将局部图卷积与两种类型的图下采样操作（也称为池化）相结合。通过使用Graph-CNN对点云局部结构的有效探索，所提出的架构在3D对象分类基准ModelNet上实现了具有竞争力的性能，并且我们的架构比竞争方案更稳定。
2018-11-28 cs.CV cs.LG stat.ML
Interpretation of 3D CNNs for Brain MRI Data Classification
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
深度学习在许多医学图像分析任务中显示出很高的潜力。神经网络可以处理全尺寸数据，而无需大量的预处理和特征生成，因此不会丢失信息。最近的研究表明，利用卷积神经网络（CNN）可以在MRI上发现特定脑区的形态差异。然而，现有模型的解释是基于感兴趣的区域，不能扩展到整个图像上的体素图像解释。在目前的工作中，我们考虑了年轻健康受试者的大规模开源数据集的分类任务-探索男性和女性之间的大脑差异。在本文中，我们扩展了以前的研究结果在性别差异的扩散张量成像T1脑MRI扫描。我们提供了逐体素的3D CNN解释，比较了三种解释方法的结果：有意义的扰动，Grad CAM和引导反向传播，并与开源库一起贡献。
2020-10-14 cs.CV cs.LG eess.IV
Improving Multi-fidelity Optimization with a Recurring Learning Rate for Hyperparameter Tuning
Lunit Inc.（Lunit公司）
尽管卷积神经网络（CNN）不断发展，但它们的性能令人惊讶地依赖于超参数的选择。然而，由于现代CNN的训练时间很长，因此有效地探索大型超参数搜索空间仍然具有挑战性。多保真度优化使得能够通过提前终止不希望的配置来探索更多的超参数配置。然而，这通常导致选择次优配置，因为使用高性能配置的训练通常在早期阶段收敛缓慢。在本文中，我们提出了具有循环学习率的多保真度优化（MORL），它将CNN的优化过程融入多保真度优化中。MORL消除了慢启动器的问题，并实现了更精确的低保真度近似。我们在一般图像分类、迁移学习和半监督学习上的综合实验证明了MORL相对于其他多保真度优化方法（如连续减半算法（SHA）和Hyperband）的有效性。此外，它实现了显着的性能改进，手动调整超参数配置在一个实际的预算。
2022-09-26 cs.CV cs.LG math.OC
Adaptive Bounded Exploration and Intermediate Actions for Data Debiasing
Ohio State University（俄亥俄州立大学）；UC, Santa Cruz（加州大学圣克鲁兹分校）；UC, San Diego（加州大学圣迭戈分校）
本文提出通过自适应有界探索和低成本中间动作对训练数据进行顺序去偏的算法，以在降低探索风险的同时提升决策的准确性与公平性，并通过理论分析和数值实验验证其有效性。
2025-04-10 cs.LG
Morph: Flexible Acceleration for 3D CNN-based Video Understanding
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在过去的几年里，卷积神经网络（CNN）的使用和加速器的设计都出现了爆炸式的增长，使CNN推理变得实用。在架构社区中，最大的努力是针对图像识别的CNN推理。与此密切相关的视频识别问题作为加速器目标受到的关注要少得多。这是令人惊讶的，因为视频识别比图像识别的计算密集度更高，预计视频流量将在未来几年成为互联网流量的主要部分。本文填补了视频识别算法和硬件进步之间的差距，为加速3D卷积神经网络（3D CNN）提供了设计空间探索和灵活的架构-现代视频理解的核心内核。与用于图像识别的（2D）CNN相比，有效加速3D CNN带来了重大的工程挑战，因为它们的内存占用量很大（并且随时间变化）并且维数更高。为了解决这些挑战，我们设计了一种新的加速器，称为Morph，它可以根据每个目标3D CNN的每一层的需求自适应地支持不同的空间和时间平铺策略。我们与Morph硬件共同设计了一个软件基础设施，以找到合适的参数来控制硬件。在最先进的3D CNN上进行评估，与基线3D CNN加速器相比，Morph实现了高达3.4倍（平均2.5倍）的能耗降低，并将性能/功耗提高了5.1倍（平均4倍），面积开销为5%。与Eyeriss相比，Morph在3D CNN上进一步实现了15.9倍的平均能量降低。
2018-10-16 cs.AR cs.LG cs.NE
Enhancing Cognitive Workload Classification Using Integrated LSTM Layers and CNNs for fNIRS Data Analysis
Institute for Intelligent Systems Research and Innovation（智能系统研究与创新研究所）；Faculty of Computing and Information Technology (FoCIT)（计算与信息技术学院）；School of Engineering（工程学院）；Swinburne University of Technology（斯威本科技大学）；Swinburne Research（斯威本研究）
本文通过集成LSTM层和CNN，解决fNIRS数据中CNN空间特征过拟合和缺乏时间依赖性的问题，将认知工作负荷分类准确率从97.40%提升至97.92%。
2026-06-23 cs.AI cs.LG
Enhancing Small Dataset Classification Using Projected Quantum Kernels with Convolutional Neural Networks
University of Moratuwa（莫勒图沃大学）；University of Colombo（科伦坡大学）
本研究通过投影量子核增强卷积神经网络，有效提升了小数据集分类的准确率，展示了量子计算在克服数据稀缺问题中的潜力。
2026-01-06 cs.LG quant-ph
Obsidian: Cooperative State-Space Exploration for Performant Inference on Secure ML Accelerators
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；ARM Inc.（ARM公司）
Obsidian 框架通过协同使用解析模型与周期精确模型进行状态空间探索，为安全 ML 加速器寻找最优内核映射，在云和边缘部署中显著降低推理延迟并改善能耗。
2024-09-04 cs.CR cs.LG
Design of High-Throughput Mixed-Precision CNN Accelerators on FPGA
RWTH Aachen University（亚琛工业大学）
卷积神经网络（CNN）在各个应用领域都达到了高精度，但需要大量的计算并导致昂贵的数据移动。在交易准确性的同时降低这些成本的一种方法是减少权重和/或激活字长。因此，逐层混合精度量化允许更有效的结果，同时膨胀设计空间。在这项工作中，我们提出了一个深入的定量方法，有效地探索设计空间，考虑到有限的硬件资源，一个给定的FPGA。我们的整体探索方法垂直遍历从架构到逻辑级别的各种设计入口级别，并横向涵盖从处理元件到低功耗的优化，以实现高效的混合精度CNN加速器。我们得到的硬件加速器实现了真正的混合精度运算，能够有效执行逐层和逐通道量化CNN。映射前馈和身份快捷连接混合精度CNN导致竞争性的准确性-吞吐量权衡：ResNet-18的245帧/秒和87.48%的Top-5准确性，ResNet-152的92.9%的Top-5准确性和1.13 TOps/s。因此，与相应的浮点基线相比，参数所需的内存占用减少了4.9倍和9.4倍。
2022-08-09 cs.AI cs.AR cs.LG
Exploring the Design Space of Deep Convolutional Neural Networks at Large Scale
University of California, Berkeley（加州大学伯克利分校）
近年来，研究界发现，深度神经网络（DNN）和卷积神经网络（CNN）可以产生比以前所有解决广泛机器学习问题的解决方案更高的准确性。据我们所知，没有单一的CNN/DNN架构可以最佳地解决所有问题。相反，“正确的”CNN/DNN架构取决于手头的应用。CNN/DNN包括巨大的设计空间。定量地，我们发现CNN设计空间的一个小区域包含300亿个不同的CNN架构。在本论文中，我们开发了一种方法，使CNN的设计空间的系统探索。我们的方法包括以下四个主题。1.明智地选择基准和指标。2.快速训练CNN模型。3.定义和描述CNN设计空间。4.探索CNN架构的设计空间。综合起来，这四个主题构成了一个有效的方法，用于发现“正确的”CNN架构，以满足实际应用的需求。
2016-12-20 cs.CV cs.LG cs.NE
Dataflow Aware Mapping of Convolutional Neural Networks Onto Many-Core Platforms With Network-on-Chip Interconnect
RWTH Aachen University（亚琛工业大学）
机器智能，特别是使用卷积神经网络（CNN），在过去几年中已经成为一个大的研究领域。提出了越来越复杂的硬件加速器，其利用例如计算中的稀疏性并利用降低精度的算术来按比例缩小能耗。然而，未来的平台需要的不仅仅是能源效率：可扩展性正在成为一个越来越重要的因素。物理实现所需的努力随着加速器的大小而增加，使得更难以满足目标约束。使用由多个同构核组成的众核平台可以减轻上述关于物理实现的限制，但代价是增加了低映射工作。虽然CNN中的卷积是确定性的，因此可以离线优化，但找到一个最小化运行时间和片外存储器访问的合适方案的问题是一项具有挑战性的任务，如果涉及互连系统，则会变得更加复杂。这项工作提出了一种自动映射策略，从单核级别开始，具有不同的优化目标，用于最小的运行时间和最小的片外内存访问。然后，该策略扩展到一个合适的众核映射方案，并使用可扩展的系统级仿真与片上网络互连进行评估。设计空间探索是通过将著名的CNN AlexNet和VGG-16映射到不同核心数量和每个核心计算能力的平台来执行的，以便研究权衡。我们的映射策略和系统设置从单核级别扩展到128个核心，从而显示了所选方法的局限性。
2020-06-18 cs.DC cs.LG
CNN2Gate: Toward Designing a General Framework for Implementation of Convolutional Neural Networks on FPGA
Polytechnique Montreal（蒙特利尔高等理工学院）
卷积神经网络（CNN）对我们的社会产生了重大影响，因为它们提供了许多服务。另一方面，它们需要相当大的计算能力。为了满足这些要求，可以使用图形处理单元（GPU）。然而，高功耗和有限的外部IO限制了它们在工业和关键任务场景中的可用性和适用性。最近，利用FPGA实现CNN的研究数量正在迅速增加。这是由于这些平台提供的较低功耗和易于重新配置。由于对诸如架构、综合和优化等主题的研究努力，将这些硬件解决方案集成到高级机器学习软件库中出现了一些新的挑战。本文介绍了一个集成框架（CNN 2Gate），支持FPGA目标的CNN模型的编译。CNN 2Gate利用商业供应商提供的FPGA的OpenCL合成工作流程。CNN 2Gate能够从几个流行的高级机器学习库（如Keras，Pytorch，Caffe 2等）中解析CNN模型。CNN 2Gate提取层的计算流，以及权重和偏置，并应用“给定”定点量化。此外，它以适当的格式为OpenCL合成工具编写此信息，然后用于在FPGA上构建和运行项目。CNN 2Gate使用强化学习代理执行设计空间探索，并自动将设计适合于具有有限逻辑资源的不同FPGA。本文报告了AlexNet和VGG-16在各种英特尔FPGA平台上的自动合成和设计空间探索结果。CNN 2Gate在FPGA上实现了VGG-16的205 ms延迟和AlexNet的18 ms延迟。
2020-04-10 cs.CV cs.LG eess.SP
Adaptive Data Debiasing through Bounded Exploration
Ohio State University（俄亥俄州立大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
用于训练算法决策规则的现有数据集中的偏见可能会引起伦理和经济问题，因为这会导致对不同群体的不同对待。我们提出了一种算法，通过自适应和有界探索在一个昂贵的和审查反馈的分类问题，顺序去偏置这样的数据集。在这种情况下，探索意味着决策者有时会在明智选择的程度上偏离其（当前）损失最小化规则，而是接受一些否则会被拒绝的个体，以减少统计数据偏差。我们提出的算法包括可用于在消除数据偏差的最终目标（这反过来又会导致更准确和公平的决策）与实现这一目标所带来的探索风险之间进行平衡的参数。我们分析表明，这样的探索可以帮助debias数据在某些分布。我们进一步研究如何公平的标准可以与我们的数据去偏置算法。我们说明了我们的算法使用合成和真实世界的数据集上的实验的性能。
2023-01-10 cs.CY cs.LG
Data-Augmented Game Starts for Accelerating Self-Play Exploration in Imperfect Information Games
本文提出数据增强游戏起始策略，通过离线数据采样加速策略梯度方法在不完全信息游戏中的探索，降低可利用性并提高策略效果。
2026-05-14 cs.AI cs.GT cs.LG
Machine Learning aided Computer Architecture Design for CNN Inferencing Systems
University of Bremen（不来梅大学）
本文提出利用机器学习方法加速CNN推理系统的设计空间探索，通过快速精确预测GPGPU的功耗与性能，帮助架构师在早期阶段做出设计决策，减少原型迭代并缩短上市时间。
2023-08-10 cs.AI cs.AR cs.DC
DBA bandits: Self-driving index tuning under ad-hoc, analytical workloads with safety guarantees
University of Melbourne（墨尔本大学）
自动化物理数据库设计一直是数据库研究中的一个长期兴趣，因为优化的结构提供了大量的性能增益。尽管取得了重大进展，但当今的大多数商业解决方案都是高度手动的，需要数据库管理员（DBA）进行离线调用，他们需要识别和提供代表性的培训工作负载。不幸的是，像查询存储这样的最新进展只提供了对动态环境的有限支持。这种现状是站不住脚的：识别代表性静态工作负载不再现实;物理设计工具仍然容易受到查询优化器的成本错误估计的影响（源于不切实际的假设，如属性值独立性和数据分布的均匀性）。我们提出了一种自驱动的在线索引选择方法，避开了DBA和查询优化器，而是通过战略探索和直接的性能观察来学习可行结构的好处。我们认为这个问题是一个不确定性下的顺序决策，特别是在强盗学习设置。多武装土匪平衡探索和利用，以可证明地保证平均性能收敛到一个固定的政策，这是最佳的完美后见之明。我们全面的实证结果表明，与最先进的商业调优工具相比，移动和临时工作负载的速度提高了75%，静态工作负载的速度提高了28%。
2020-10-20 cs.DB cs.LG
Queryable Self-Organizing Maps: A Database Abstraction for Topology-Driven Data Exploration
University of Sao Paulo（圣保罗大学）；University of Münster（明斯特大学）
研究针对现代数据系统中SOM与关系数据脱节问题，引入可查询数据映射概念，通过MapDB原型实现，使SOM工件可查询，经实验验证其在适度规模下训练可行、查询具交互性且为探索性SQL提供有意义目标。
2026-07-28 cs.DB cs.LG
SHAPO: Sharpness-Aware Policy Optimization for Safe Exploration
Université de Montréal（蒙特利尔大学）；Mila - Québec AI Institute（蒙特利尔人工智能研究所）；Université Laval（拉瓦尔大学）；IID - Institut Intelligence et Données（智能与数据研究所）；LawZero；CIFAR AI Chair（CIFAR人工智能主席）
提出SHAPO算法，通过锐度感知策略更新隐式重加权梯度，放大罕见不安全动作的影响，抑制安全动作的贡献，从而在欠探索区域实现保守行为，提升安全性与任务性能。
2026-06-08 cs.AI cs.LG cs.RO
Concorde: Fast and Accurate CPU Performance Modeling with Compositional Analytical-ML Fusion
Google（谷歌公司）；MIT（麻省理工学院）；University of Washington（华盛顿大学）；Rutgers University（罗格斯大学）；Google DeepMind（谷歌DeepMind）
提出Concorde性能建模方法，利用分析模型估计性能边界并融合机器学习，比传统模拟器快五个数量级且CPI误差约2%，实现快速设计空间探索。
2025-03-29 cs.AR cs.LG cs.PF
Universal Multilayer Network Exploration by Random Walk with Restart
Aix-Marseille Univ（艾克斯-马赛大学）；INSERM（法国国家健康与医学研究院）；CNRS（法国国家科学研究中心）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
近年来，数据的数量和种类急剧增加。这些数据通常被表示为网络，然后用网络理论产生的方法进行探索。近年来，网络探索方法已经扩展到利用更复杂和更丰富的网络框架。例如，随机漫步已经被扩展到探索多层网络。然而，目前的随机游走方法在它们可以处理的网络层的组合和异构性方面受到限制。新的分析和数值随机游走方法，需要应付日益增加的多样性和复杂性的多层网络。我们在这里提出了MultiXrank，一个Python包，它可以在任何类型的多层网络上使用优化的实现来启用重启随机游走（RWR）。该软件包由RWR的通用数学公式支持。我们用留一法交叉验证和链接预测评估了MultiXrank，并引入了协议来测量添加或删除多层网络数据对预测性能的影响。通过深入探索参数空间，我们进一步测量了MultiXrank对输入参数的敏感性。最后，我们说明了MultiXrank的多功能性，在人类遗传疾病的背景下，无监督节点优先级排序和监督分类的不同用例。
2022-10-03 cs.LG physics.soc-ph q-bio.MN
