Assessing Intelligence in Artificial Neural Networks
National Center for the Advancement of Translational Sciences（国家转化科学促进中心）；National Institutes of Health（美国国立卫生研究院）；Axle Informatics（Axle信息学公司）
这项工作的目的是开发衡量标准，以评估平衡神经网络大小和任务性能的网络架构。为此，引入神经效率的概念来衡量神经层利用率，并创建了第二个称为人工智能商数（aIQ）的指标来平衡神经网络性能和神经网络效率。为了研究aIQ和神经效率，在MNIST上训练了两个简单的神经网络：全连接网络（LeNet-300-100）和卷积神经网络（LeNet-5）。具有最高aIQ的LeNet-5网络的准确度低2.32%，但包含的参数比最高准确度网络少30，912倍。批量归一化和dropout层都被发现可以提高神经效率。最后，高aIQ网络被证明是记忆和过度训练抵抗，能够学习正确的数字分类，准确率为92.51%，即使75%的类标签是随机的。这些结果证明了aIQ和神经效率作为平衡网络性能和大小的指标的实用性。
2020-06-03 cs.AI cs.CV cs.LG
Foundations and Architectures of Artificial Intelligence for Motor Insurance
Thaivivat Insurance Public Company Limited（泰维瓦特保险公共公司）
本文系统阐述了机动车保险中人工智能的基础与架构，结合大规模实际应用，提出统一的垂直整合AI范式，整合感知、多模态推理和生产基础设施，实现汽车风险评估和理赔流程的端到端自动化。
2026-03-19 cs.AI cs.CV
Visual Explanations for Convolutional Neural Networks via Latent Traversal of Generative Adversarial Networks
Northwestern University（西北大学）
人工智能，特别是深度神经网络缺乏可解释性，仍然是在实践中实现模型的瓶颈。诸如梯度加权类激活映射（Grad-CAM）之类的流行技术提供了图像中显著特征的粗略映射，这很少能讲述卷积神经网络（CNN）学习的全部内容。使用COVID-19胸部X射线，我们提出了一种方法，用于解释CNN通过利用生成对抗网络（GANs）学习到的内容。我们的GAN框架将肺部结构与COVID-19特征分开。使用该GAN，我们可以通过在GAN的潜在空间中进行插值来可视化胸部X射线照片中的一对COVID阴性肺到COVID阳性肺的过渡，这提供了CNN如何响应肺内的不同特征的细粒度可视化。
2021-11-02 cs.AI cs.CV cs.LG
Recursion, Probability, Convolution and Classification for Computations
CEA（法国原子能与替代能源委员会）；Nano-Inov（纳米创新实验室）
这项工作的主要动机是实用的，提供计算和理论上可扩展的方法来构建大型计算类。它开始于尝试优化R代码，用于机器学习/人工智能算法，用于巨大的数据集，由于其大小，应该以增量（在线）方式处理。我们的目标是大类的关系（基于属性），数学（基于索引）或图形计算。我们希望使用AI（人工智能）/ML（机器学习）中出现的强大计算表示，如BN（贝叶斯网络）和CNN（卷积神经网络）。对于我们所处理的计算类别，以及我们的HPC（高性能计算）需求，需要扩展将计算转换为这种表示的当前解决方案。我们的研究结果表明，我们所针对的计算类，可以是树结构的，和一个概率分布（定义一个DBN，即动态贝叶斯网络）与之相关联。更重要的是，这个DBN可以被看作是一个递归的CNN（卷积神经网络）。在该树状结构内，可以执行具有（通过可参数化的）大小界限的类中的分类。这些结果是非常强大的核心，但高度实用的算法重组和并行计算。深入介绍和揭示我们方法的全部通用性所需的数学背景）是随后论文的主题。在本文中，我们工作在一个有限的（但重要的）框架，可以理解与线性代数和图论的基础知识。重点是在适用性，本文的大部分讨论的有用性，我们的方法来解决硬编译问题的自动并行。
2019-07-22 cs.AI cs.PL
How Artificial Intelligence Leads to Knowledge Why: An Inquiry Inspired by Aristotle's Posterior Analytics
German University of Digital Science（德国数字科学大学）
本研究受亚里士多德《后分析篇》启发，引入因果系统理论框架，区分人工智能中“是什么”与“为什么”的知识，论证仅“为什么”的知识能预测外部干预效果，填补相关正式理论空白。
2025-11-11 cs.AI cs.LO
Deep Learning Architect: Classification for Architectural Design through the Eye of Artificial Intelligence
Massachusetts Institute of Technology（麻省理工学院）
本文应用最先进的深度学习和计算机视觉技术来衡量不同建筑师的建筑设计之间的视觉相似性。使用由网络抓取图像和建筑作品图像的原始集合组成的数据集，我们首先训练一个深度卷积神经网络（DCNN）模型，该模型能够在属于34个不同建筑师的作品分类中达到73%的准确率。通过检查训练好的DCNN模型中的权重，我们能够定量地测量模型隐式学习的建筑师之间的视觉相似性。使用这种方法，我们集群的建筑师被确定为是相似的，并比较我们的研究结果传统的分类由建筑历史学家和理论家。我们对建筑设计的聚类与传统的建筑历史观有着显著的印证，而所学到的建筑特征也与传统的建筑设计理解相一致。
2018-12-03 cs.AI cs.CV
Artificial intelligence based prediction on lung cancer risk factors using deep learning
College of Artificial Intelligence and Computing, Tianjin University（天津大学人工智能与计算学院）；School of Medicine, University of Tasmania（塔斯马尼亚大学医学院）
本文提出一种基于卷积神经网络的肺癌风险因素预测模型，通过对比 VGG16、InceptionV3 和 Resnet50，取得 94% 准确率和 0.1% 最小损失，并识别出鳞状细胞癌、腺癌和大细胞癌等关键风险因素。
2023-04-11 cs.AI cs.CV eess.IV
From Interpretable Filters to Predictions of Convolutional Neural Networks with Explainable Artificial Intelligence
Atlantic Technological University（大西洋理工大学）
卷积神经网络（CNN）以其出色的特征提取能力而闻名，可以从数据中学习模型，但却被用作黑箱。对卷积滤波器和相关特征的解释可以帮助建立对CNN的理解，以区分各种类别。在这项工作中，我们专注于用于Covid-19和非Covid-19分类的称为cnnexplain的CNN模型的可解释性，重点关注卷积滤波器对特征的可解释性，以及这些特征如何有助于分类。具体来说，我们使用了各种可解释的人工智能（XAI）方法，如可视化，SmoothGrad，Grad-CAM和LIME，以提供卷积滤波器和相关特征的解释，以及它们在分类中的作用。我们已经分析了使用干咳频谱图检测Covid-19的这些方法的解释。从LIME、SmoothGrad和Grad-CAM获得的解释结果突出了不同谱图的重要特征及其与分类的相关性。
2022-07-26 cs.LG
EdgeConvEns: Convolutional Ensemble Learning for Edge Intelligence
Bogazici University（博阿齐奇大学）
提出EdgeConvEns卷积集成学习方法，在异构FPGA边缘设备上独立训练弱模型并传输特征至中央服务器进行集成，以更少通信和数据超越现有性能。
2023-07-25 cs.AI cs.DC cs.LG
Derivation of Back-propagation for Graph Convolutional Networks using Matrix Calculus and its Application to Explainable Artificial Intelligence
University of Connecticut（康涅狄格大学）
本文用矩阵微积分推导支持任意激活函数与层数的 GCN 反向传播闭式解，并通过节点分类与链接预测实验验证其等价于反向模式自动微分且误差极低。
2024-08-02 cs.LG
DeepSwarm: Optimising Convolutional Neural Networks using Swarm Intelligence
Department of Computing Science, University \ Aberdeen, Aberdeen AB24 3UE, UK
在本文中，我们提出了DeepSwarm，一种基于群体智能原理的新型神经结构搜索（NAS）方法。DeepSwarm的核心是使用蚁群优化（ACO）来生成蚂蚁种群，蚂蚁种群使用信息素信息来集体搜索最佳神经架构。此外，通过使用局部和全局信息素更新规则，我们的方法确保开发和探索之间的平衡。最重要的是，为了使我们的方法更有效，我们将渐进式神经架构搜索与权重可重用性相结合。此外，由于ACO的性质，我们的方法可以结合启发式信息，可以进一步加快搜索过程。经过系统和广泛的评估，我们发现，在三个不同的数据集（MNIST，Fashion-MNIST和CIFAR-10）相比，现有的系统，我们提出的方法表现出竞争力的性能。最后，我们将DeepSwarm开源为NAS库，希望它能被更多的深度学习研究者和实践者使用。
2019-05-17 cs.LG cs.NE stat.ML
Enabling Long FFT Convolutions on Memory-Constrained FPGAs via Chunking
通过分块技术在内存受限的FPGA上实现长FFT卷积，提升长上下文推理性能
2025-12-28 cs.AR cs.LG
FTTE: Enabling Federated and Resource-Constrained Deep Edge Intelligence
本文提出FTTE框架，通过稀疏参数更新和基于年龄和方差的滞后期加权聚合，解决联邦学习在资源受限边缘节点上的部署难题，实现更快收敛和更低资源消耗。
2026-03-23 cs.LG
Informing Artificial Intelligence Generative Techniques using Cognitive Theories of Human Creativity
Simon Fraser University（西蒙弗雷泽大学）；University of British Columbia（不列颠哥伦比亚大学）
我们的创造力是使我们成为独特人类的共同观点表明，将对人类创造力的研究纳入生成深度学习技术可能是一条富有成效的途径，可以使其输出更引人注目，更像人类。使用基于Deep Dream的卷积神经网络和基于认知的计算艺术渲染系统的原始合成，我们展示了如何通过计算实现磨练理论，内在动机和“种子事件”的概念，并展示了它们对生成艺术的影响。我们讨论了深度学习卷积神经网络生成系统的探索如何帮助我们理解人类的创造力。最后，我们总结了基于人工智能的计算创造力和创造力心理学之间进一步交叉的想法。
2019-07-05 cs.AI cs.LG q-bio.NC
Interpreting convolutional networks trained on textual data
Oklahoma State University（俄克拉荷马州立大学）
由于深度学习的出现，人工智能领域取得了许多进展。在几乎所有的子领域，人工神经网络都达到或超过了人类水平的性能。然而，大多数模型是不可解释的。因此，很难相信他们的决定，特别是在生死场景中。近年来，出现了一种创建可解释的人工智能的运动，但迄今为止大多数工作都集中在图像处理模型上，因为人类更容易感知视觉模式。在其他领域，如自然语言处理，几乎没有什么工作。在本文中，我们训练一个卷积模型的文本数据和分析的全局逻辑模型，通过研究其过滤值。最后，我们找到语料库中对我们的模型逻辑最重要的词，并删除其余的词（95%）。仅使用5%最重要的单词训练的新模型可以实现与原始模型相同的性能，同时将训练时间减少一半以上。这样的方法将帮助我们理解NLP模型，根据他们的单词选择解释他们的决定，并通过发现盲点和偏见来改进它们。
2020-10-20 cs.AI cs.CL cs.LG
Efficient Hybrid Network Architectures for Extremely Quantized Neural Networks Enabling Intelligence at the Edge
Purdue University（普渡大学）
最近“物联网”（IOT）的出现增加了对基于AI的边缘计算的需求。这就需要在计算和存储方面寻找神经网络的有效实现。虽然极端量化已被证明是在全精度网络上实现显著压缩的强大工具，但它可能导致性能显著下降。在这项工作中，我们提出了具有二进制和全精度部分的极度量化的混合网络架构，以模拟全精度网络的分类性能，同时确保显着的能源效率和内存压缩。我们探讨了几种混合网络架构，并分析了网络的准确性，能源效率和内存压缩方面的性能。我们对ResNet和VGG网络架构进行了分析。在提出的网络架构中，我们证明了具有全精度剩余连接的混合网络是最佳的，它可以获得接近全精度网络的精度，同时实现出色的内存压缩，在VGG-19的情况下高达21.8倍。这项工作展示了一种混合网络的有效方法，这种方法可以实现接近全精度网络的性能，同时实现显著的压缩，进一步提高了在基于物联网的边缘设备中使用此类网络进行节能神经计算的可行性。
2019-02-01 cs.LG stat.ML
Partial Differential Equations is All You Need for Generating Neural Architectures -- A Theory for Physical Artificial Intelligence Systems
Beijing Normal University（北京师范大学）；Duke Kunshan University（昆山杜克大学）；Harbin Institute of Technology at ShenZhen（哈尔滨工业大学（深圳））
本文将物理方程推广为神经偏微分方程（NPDE），通过有限差分法离散化生成深度神经网络基础架构及学习策略，为可解释神经网络和物理人工智能奠定理论基础。
2024-10-10 cs.AI cs.LG
Epistemic Deep Learning: Enabling Machine Learning Models to Know When They Do Not Know
Oxford Brookes University（牛津布鲁克斯大学）
本论文提出认知深度学习范式，通过随机集神经网络量化认知不确定性，使模型在不确定时弃权（不执行），并适配大语言模型及自动驾驶天气分类，经统一评估框架验证，提升可靠性。
2025-10-25 cs.AI cs.LG
Enabling Machine Learning Algorithms for Credit Scoring -- Explainable Artificial Intelligence (XAI) methods for clear understanding complex predictive models
Warsaw University of Technology（华沙理工大学）；University of Warsaw（华沙大学）；Data Juice Lab sp. z o.o.（Data Juice Lab 有限责任公司）；Polish Credit Bureau S. A. (Biuro Informacji Kredytowej S.A.)（波兰信贷局）
先进建模技术的快速发展为开发越来越精确的工具提供了机会。然而，通常情况下，一切都是有代价的，在这种情况下，付出的代价是在提高模型准确性和精确度的同时放松模型的可解释性。对于管理者来说，要控制和有效管理信用风险，对于监管者来说，要让他们相信模型的质量，付出的代价太高了。在本文中，我们展示了如何将信用评分分析提升到一个新的水平，即我们提出了各种预测模型（逻辑回归，具有证据权重转换的逻辑回归和现代人工智能算法）的比较，并表明基于树的高级模型在预测客户违约方面具有最佳效果。更重要和更有价值的是，我们还展示了如何使用允许解释它们并使它们更容易为信用风险从业者访问的技术来提升高级模型，解决了广泛部署更复杂的“黑箱”模型的关键障碍，如随机森林，梯度提升或极端梯度提升树。所有这一切都将显示在从波兰信贷局获得的大型数据集上，该国所有银行和大多数贷款公司都向其报告信用档案。本文使用了贷款公司的数据。然后，本文比较了信用风险建模的最佳实践与新的先进的现代统计工具的最新发展的人工智能算法的可解释性和可解释性。我们认为，这是一个有价值的贡献，当涉及到不同的建模工具的介绍，但更重要的是，它显示了哪些方法可以用来获得洞察力和理解人工智能方法在信用风险的背景下。
2021-04-14 cs.AI cs.LG q-fin.RM
Edge Artificial Intelligence: A Systematic Review of Evolution, Taxonomic Frameworks, and Future Horizons
University of the Basque Country（巴斯克大学）；Lebanese International University (LIU)（黎巴嫩国际大学）；The International University of Beirut（贝鲁特国际大学）；IKERBASQUE
本综述遵循PRISMA指南，通过多维度分类体系系统梳理边缘人工智能的演进、现状与未来，剖析核心技术与挑战，点明新兴机遇，为相关研究者与从业者提供全面框架。
2025-10-01 cs.LG
Artificial Intelligence Algorithms for the Detection of Pathologies Related to Lung Cancer through Image Analysis using Convolutional Neural Networks and Data Augmentation: a systematic mapping of the literature
Universidad Abierta Interamericana（美洲开放大学）
本文系统映射了2015年以来96篇文献，综述AI和深度学习结合CNN、迁移学习及数据增强在肺癌影像检测中的应用，显示其高灵敏度与特异性，但面临数据标准化、可解释性等挑战。
2026-09-11 cs.CL cs.LG
Applications of blockchain and artificial intelligence technologies for enabling prosumers in smart grids: A review
University of Oxford（牛津大学）；KPMG Huazhen LLP Shanghai Branch（毕马威华振会计师事务所上海分所）；Cardiff University（卡迪夫大学）；University of Northumbria（诺森比亚大学）；Durham University（杜伦大学）
各国政府的净零排放目标旨在增加可再生能源的份额，并影响消费者的行为，以支持能源供需的成本效益平衡。这些将通过智能电网的先进信息和控制基础设施来实现，这些基础设施允许各种利益相关者之间的互操作性。在这种情况下，越来越多的消费者生产、储存和消费能源，使他们成为产消者的新角色。产消者的一体化以及所产生的能源和信息的双向流动依赖于两个关键因素：能源市场的灵活结构和电力系统的智能运营。区块链和人工智能（AI）是满足这两个因素的创新技术，通过区块链为能源市场提供分散的交易平台，人工智能支持电力系统的最佳运行控制。本文试图解决如何将区块链和人工智能纳入智能电网，以促进生产消费者参与能源市场。为了实现这一目标，本文首先回顾了政策设计如何定价化石燃料发电所造成的碳排放，以促进产消者与可再生能源的整合。其次，讨论了在区块链技术支持下的能源市场的潜在结构。最后，介绍了如何应用人工智能技术来加强电力系统运行过程中的状态监测和决策。
2022-02-21 cs.AI cs.IT cs.LG
Edge Artificial Intelligence for 6G: Vision, Enabling Technologies, and Applications
The Hong Kong University of Science and Technology（香港科技大学）；Peng Cheng Laboratory（鹏城实验室）；ShanghaiTech University（上海科技大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）；Tsinghua University（清华大学）
本文提出面向6G的可扩展、可信边缘AI愿景，阐述通信策略与去中心化机器学习协同设计、资源优化及端到端架构，并展望标准化、软硬件平台与应用落地。
2021-11-24 cs.IT cs.LG cs.NI
Artificial intelligence application in lymphoma diagnosis: from Convolutional Neural Network to Vision Transformer
The University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心）
本研究探索 Vision Transformer 模型用于诊断间变性大细胞淋巴瘤与经典型霍奇金淋巴瘤，在相同的小规模数据集上与 Convolutional Neural Network 进行了直接比较，结果显示两者均达到 100% 的优异诊断准确率。
2025-04-05 cs.CV cs.LG
AdderNet and its Minimalist Hardware Design for Energy-Efficient Artificial Intelligence
Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；the University of Sydney（悉尼大学）
卷积神经网络（CNN）已被广泛用于提高许多机器智能任务的性能。然而，CNN模型通常是计算密集型和能量消耗型的，因为出于准确性原因，它们通常被设计成具有许多乘法运算和相当大的参数。因此，很难将它们直接应用于资源受限的环境中，例如“物联网”（IoT）设备和智能手机。为了降低计算复杂性和能量负担，提出了一种基于加法器卷积神经网络（AdderNet）的最小硬件架构，将原卷积替换为仅使用加法的加法器核。为了最大限度地挖掘潜在的能量消耗，本文采用共享比例因子的方法对AdderNet的低位量化算法进行了探索，并设计了专用和通用的AdderNet硬件加速器。实验结果表明，采用int 8/int 16量化的加法器内核也具有高性能，同时消耗更少的资源（理论上约81%）。此外，本文还将量化后的AdderNet部署在FPGA（Field Programmable门阵列）平台上。在相同的电路结构下，整个AdderNet与CNN相比，速度提高了16%，逻辑资源利用率降低了67.6%-71.4%，功耗降低了47.85%-77.9%.通过对性能、功耗、硬件资源消耗和网络泛化能力的综合比较，我们得出结论：AdderNet能够超越经典的CNN、新型忆阻网络、XNOR-Net和基于移位核的网络等所有竞争对手，表明其在未来高性能和节能的人工智能应用中具有巨大的潜力。
2021-02-03 cs.AR cs.CV cs.LG
Review of Deep Learning
近年来，中国、美国等国家、谷歌等高科技公司都加大了对人工智能的投入。深度学习是当前人工智能研究的重点领域之一。本文对深度学习的最新进展和未来研究方向进行了分析和总结。首先，概述了深度学习的三种基本模型，包括多层感知器、卷积神经网络和递归神经网络。在此基础上，我们进一步分析了卷积神经网络和递归神经网络等新兴模型。然后总结了深度学习在语音处理、计算机视觉、自然语言处理等人工智能领域的应用，最后讨论了深度学习存在的问题，并给出了相应的可能解决方案。
2018-08-28 cs.CV cs.LG cs.NE
Generative artificial intelligence in ophthalmology: multimodal retinal images for the diagnosis of Alzheimer's disease with convolutional neural networks
本研究利用生成式AI（DDPM）合成多模态视网膜图像，预训练CNN以预测阿尔茨海默病相关AmyloidPET状态，结合元数据将AUPR提升至0.634。
2024-06-26 cs.CV cs.LG eess.IV
FathomNet: A global image database for enabling artificial intelligence in the ocean
Monterey Bay Aquarium Research Institute（蒙特雷湾水族馆研究所）；California Institute of Technology（加州理工学院）；Smithsonian Institution（史密森尼学会）；NOAA（美国国家海洋和大气管理局）；CVision AI Inc.（CVision人工智能公司）；Ocean Discovery League（海洋探索联盟）
海洋正在经历前所未有的快速变化，在负责任的管理所需的时空尺度上直观地监测海洋生物群是一项艰巨的任务。随着研究界寻求基线，所需的数据汇集的数量和速度迅速超过了我们处理和分析它们的能力。机器学习的最新进展使视觉数据的快速，复杂的分析成为可能，但由于缺乏数据标准化，格式不足以及对大型标记数据集的需求，在海洋中的成功有限。为了满足这一需求，我们构建了FathomNet，这是一个开源的图像数据库，它可以收集和聚合专业策划的标记数据。FathomNet已经植入了海洋动物，水下设备，碎片和其他概念的现有标志性和非标志性图像，并允许来自分布式数据源的未来贡献。我们演示了如何FathomNet数据可用于训练和部署模型在其他机构的视频，以减少注释工作，并实现自动跟踪水下概念时，与机器人车辆。随着FathomNet的不断发展，并从社区中整合更多标记数据，我们可以加速视觉数据的处理，以实现健康和可持续的全球海洋。
2022-09-07 cs.CV cs.LG eess.IV
CoinRobot: Generalized End-to-end Robotic Learning for Physical Intelligence
ZhiCheng AI（智成人工智能）；Peking University（北京大学）；Stanford University（斯坦福大学）
本文提出通用端到端机器人学习框架CoinRobot，通过统一架构和多任务学习实现跨平台部署，在七个操作任务上验证其优于LeRobot的性能与泛化能力。
2025-03-07 cs.LG cs.RO
Agentic AI-RAN: Enabling Intent-Driven, Explainable and Self-Evolving Open RAN Intelligence
G/6GIC, Institute for Communication Systems (ICS), University of Surrey（5G/6G研究所，通信系统研究所（ICS），萨里大学）；G Research Center, Khalifa University（6G研究中心，卡利法大学）
探讨如何将智能体控制器引入开放式RAN，介绍相关架构，对比传统ML/RL xApps，围绕网络切片生命周期等任务分类，引入智能体原语并展示其在多小区O-RAN模拟中提升性能，还讨论了安全等挑战。
2026-07-07 cs.LG
Spatial-Winograd Pruning Enabling Sparse Winograd Convolution
University of Michigan（密歇根大学）；Facebook Inc.（脸书公司）
深度卷积神经网络（CNN）被部署在各种应用中，但需要巨大的计算需求。剪枝技术和Winograd卷积是减少CNN计算量的两种典型方法。但是，它们不能直接组合，因为Winograd变换填充了修剪产生的稀疏性。Li et al.（2017）提出了稀疏Winograd卷积，其中权重直接在Winograd域中修剪，但这种技术不是很实用，因为Winograd域再训练需要较低的学习率，因此需要更长的训练时间。此外，Liu等人（2018）将ReLU函数移动到Winograd域中，这可以帮助增加权重稀疏性，但需要改变网络结构。为了在不改变网络结构的情况下实现Winograd域的高权值稀疏性，提出了一种新的剪枝方法-空间Winograd剪枝。首先，对空间域权值进行结构化修剪，有效地将空间域稀疏性转移到Winograd域，避免了Winograd域的再训练。对于下一步，我们还直接在Winograd域中执行修剪和再训练，但建议使用重要性因子矩阵来调整权重重要性和权重梯度。这种调整使得在不改变网络结构的情况下有效地重新训练修剪的Winograd-domain网络成为可能。对于CIFAR 10，CIFAR-100和ImageNet数据集上的三个模型，我们提出的方法可以分别实现63%，50%和74%的Winograd域稀疏度。
2019-01-08 cs.CV cs.LG cs.NE
Enabling equivariance for arbitrary Lie groups
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；University of Adelaide（阿德莱德大学）
虽然可证明对平移扰动具有鲁棒性，但已知卷积神经网络（CNN）在测试时对输入进行更一般的几何变换时会遭受极端的性能下降。最近，这种限制促使人们将焦点从CNN转移到胶囊网络（CapsNets）。然而，CapsNet的缺点是承认相对较少的理论保证不变性。我们引入了一个严格的数学框架，允许不变性的任何李群的经线，专门使用卷积（李群），而不需要胶囊。以前关于群卷积的工作受到了关于群的强假设的阻碍，这排除了将此类技术应用于计算机视觉中常见的扭曲，如仿射和单应性。我们的框架使任何有限维李群上的群卷积的实现。我们在基准仿射不变分类任务上经验性地验证了我们的方法，在该任务中，我们的准确率比传统CNN提高了30%，同时优于大多数CapsNet。为了进一步说明我们框架的通用性，我们训练了一个单应性卷积模型，该模型在单应性扰动数据集上实现了卓越的鲁棒性，其中CapsNet结果会降级。
2022-03-30 cs.CV cs.LG cs.NE
Automatic COVID-19 disease diagnosis using 1D convolutional neural network and augmentation with human respiratory sound based on parameters: cough, breath, and voice
NIT Tiruchirappalli（印度国立理工学院蒂鲁吉拉帕利分校）
呼吸音分类的问题在过去一年中得到了临床科学家和医学研究小组的高度关注，以诊断COVID-19疾病。迄今为止，各种人工智能（AI）模型进入现实世界，从人类产生的声音（如语音/语音，咳嗽和呼吸）中检测COVID-19疾病。卷积神经网络（CNN）模型是在人工智能（AI）的基础上实现的，用于解决许多现实问题。在此背景下，提出并实施一维（1D）CNN，以从诸如语音、咳嗽和呼吸的人类呼吸声音诊断COVID-19的呼吸疾病。应用基于增强的机制来提高COVID-19声音数据集的预处理性能，并使用1D卷积网络自动进行COVID-19疾病诊断。此外，DDAE（数据去噪自动编码器）技术被用来生成深度声音特征，如输入函数的1D CNN，而不是采用标准的输入MFCC（梅尔频率倒谱系数），它是执行比以前的模型更好的精度和性能。
2021-12-14 cs.LG cs.SD eess.AS
SwarmFusion: Revolutionizing Disaster Response with Swarm Intelligence and Deep Learning
Microsoft（微软）
SwarmFusion结合粒子群优化与卷积神经网络处理实时多源数据，优化灾害响应中的资源分配与路径规划，仿真显示其显著提升了响应速度与幸存者覆盖率。
2025-06-10 cs.LG cs.NE
EMMI: Edge Multi-Modal Intelligence for Communication-Efficient MLLM Inference via Fused Representation Compression
Texas A&M University（德克萨斯A&M大学）
EMMI通过边缘端模态编码、融合与压缩，传输紧凑表示而非原始数据，实现通信高效的MLLM推理，减少32倍通信量并降低3.4倍延迟。
2026-09-11 cs.DC cs.LG
Search Intelligence: Deep Learning For Dominant Category Prediction
Ebay Inc.（亿贝公司）
深度神经网络，特别是全连接的卷积神经网络，在各种领域都取得了显著的成果。他们经过训练，在应用于语音识别、图像分类、自然语言处理和生物信息学等问题时，能够达到最先进的性能。这些深度学习模型中的大多数在应用于分类时使用softmax激活函数进行预测，并旨在最小化交叉熵损失。在本文中，我们提出了一种用于主导类别预测的监督模型，以提高所有eBay分类平台的搜索召回率。在过去90天内，每个查询的主要类别标签首先通过对所有类别之间的协作点击总数求和来计算。对于给定查询具有最高协作点击数的类别将被认为是其主导类别。其次，通过将查询文档中的每个唯一单词映射到唯一的整数值，将每个查询转换为数字向量;根据预定义词汇大小内的最大文档长度，将所有查询填充为相等长度。然后应用完全连接的深度卷积神经网络（CNN）进行分类。与其他最先进的机器学习技术相比，所提出的模型实现了非常高的分类准确度。
2017-02-06 cs.IR cs.LG stat.ML
Toward Enabling a Reliable Quality Monitoring System for Additive Manufacturing Process using Deep Convolutional Neural Networks
Southern University and A&M College（南方大学与农工学院）；Louisiana State University（路易斯安那州立大学）
增材制造（AM）是智能工业的重要组成部分。在本文中，我们提出了一个自动质量分级系统的AM过程中使用的深度卷积神经网络（CNN）模型。利用材料逐层沉积过程中的内部和表面缺陷图像对CNN模型进行离线训练，并通过研究在不同挤出机速度和温度下AM过程中故障检测和分类的性能对模型进行在线测试。该模型证明了94%的准确性和96%的特异性，以及在Fscore，灵敏度和精度的三个分类器的测量在五个等级的实时分类印刷过程的质量在75%以上。所提出的在线模型为AM过程添加了自动化、一致性和非接触式质量控制信号，从而消除了在完全构建后对部件的手动检查。质量监测信号还可以被机器用于通过实时调整参数来建议补救措施。所提出的质量预测模型可作为任何类型的AM机器的概念验证，以生产具有较少质量打嗝的可靠部件，同时限制时间和材料的浪费。
2020-03-06 cond-mat.mtrl-sci cs.CV cs.LG
Superpixels and Graph Convolutional Neural Networks for Efficient Detection of Nutrient Deficiency Stress from Aerial Imagery
University of Pittsburgh（匹兹堡大学）；Intelinair Inc.（Intelinair公司）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
遥感技术的进步导致捕获了大量数据。图像分辨率的提高、更频繁的重访次数以及更多的光谱通道，使得可用于跨领域（包括农业）提供分析和情报的数据量激增。然而，这些数据的处理伴随着计算时间和金钱方面的成本，当算法的目标是提供实时智能以提高效率时，必须考虑这两者。具体而言，我们寻求从遥感数据中识别营养缺乏地区，以提醒农民注意需要注意的地区;检测营养缺乏地区是精准农业的一项关键任务，因为农民必须迅速应对困难地区，以保护他们的收成。过去的方法集中在该领域的像素级分类（即语义分割）以实现这些任务，通常使用具有数千万参数的深度学习模型。相比之下，我们提出了一个更轻的基于图的方法来执行基于节点的分类。我们首先使用简单线性迭代聚类（SLIC）来产生整个场的超像素。然后，为了跨超像素的非欧几里德域执行分割，我们利用图卷积神经网络（GCN）。该模型的参数比CNN模型少4个数量级，并在几分钟内训练。
2022-11-15 cs.CV cs.LG
Convolutional Neural Networks over Tree Structures for Programming Language Processing
Peking University（北京大学）；Stanford University（斯坦福大学）
程序设计语言处理（类似于自然语言处理）是软件工程领域的研究热点，也引起了人工智能界越来越多的关注。然而，不同于自然语言句子，程序包含丰富、明确和复杂的结构信息。因此，传统的NLP模型可能不适合程序。在本文中，我们提出了一种新的基于树的卷积神经网络（TBCNN）的程序设计语言处理，其中卷积核的设计程序的抽象语法树，以捕捉结构信息。TBCNN是一个通用的架构程序设计语言处理，我们的实验表明，它的有效性在两个不同的程序分析任务：根据功能分类程序，并检测某些模式的代码片段。TBCNN优于基线方法，包括几个NLP神经模型。
2015-12-08 cs.LG cs.NE cs.SE
An Introduction to Convolutional Neural Networks
Aberystwyth University（阿伯里斯特威斯大学）；Lancaster University（兰卡斯特大学）
随着人工神经网络（ANN）的兴起，机器学习领域近年来发生了巨大的变化。这些受生物启发的计算模型能够在常见的机器学习任务中远远超过以前形式的人工智能的性能。卷积神经网络（CNN）是ANN架构中最令人印象深刻的形式之一。CNN主要用于解决困难的图像驱动的模式识别任务，其精确而简单的架构提供了一种简化的ANN入门方法。本文简要介绍了CNN，讨论了最近发表的论文和开发这些出色的图像识别模型的新技术。本介绍假设您熟悉人工神经网络和机器学习的基础知识。
2015-12-02 cs.CV cs.LG cs.NE
Convergence of Edge Computing and Deep Learning: A Comprehensive Survey
Tianjin University（天津大学）；Shenzhen University（深圳大学）；University of British Columbia（不列颠哥伦比亚大学）；Nanyang Technological University（南洋理工大学）；Huawei Technologies（华为技术有限公司）；Sun Yat-sen University（中山大学）
来自工厂和社区的无处不在的传感器和智能设备正在产生海量数据，不断增长的计算能力正在推动计算和服务的核心从云端向网络边缘转移。从人脸识别到雄心勃勃的智能工厂和城市，作为广泛改变人们生活的重要推动力，基于人工智能（特别是深度学习，DL）的应用和服务的发展正在蓬勃发展。然而，由于效率和延迟问题，当前的云计算服务架构阻碍了“在任何地方为每个人和每个组织提供人工智能”的愿景。因此，使用数据源附近的网络边缘处的资源来释放DL服务已经成为期望的解决方案。因此，旨在通过边缘计算促进DL服务部署的边缘智能受到了极大的关注。此外，深度学习作为人工智能的代表技术，可以融入边缘计算框架，构建智能边缘，实现动态、自适应的边缘维护和管理。关于互利的边缘智能和智能边缘，本文介绍和讨论：1）两者的应用场景; 2）实际实现方法和使能技术，即定制边缘计算框架中的DL训练和推理; 3）更普遍和细粒度智能的挑战和未来趋势。我们相信，通过整合分散在通信，网络和DL领域的信息，这项调查可以帮助读者了解使能技术之间的联系，同时促进对边缘智能和智能边缘融合的进一步讨论，即，边缘DL。
2020-01-28 cs.LG cs.NI
Early Diagnosis of Retinal Blood Vessel Damage via Deep Learning-Powered Collective Intelligence Models
Vellore Institute of Technology（韦洛尔理工学院）
糖尿病视网膜病变等视网膜疾病的早期诊断已经引起了许多研究者的关注。通过引入卷积神经网络的深度学习已成为分类和分割等图像相关任务的重要解决方案。图像分类中的大多数任务都由在imagenet数据集上预训练和评估的深度CNN处理。然而，这些模型并不总是转化为其他数据集上的最佳结果。基于遗传学从头开始手动设计神经网络可能不会导致最佳模型，因为有许多超参数在起作用。在本文中，我们使用两个自然启发的群算法：粒子群优化（PSO）和蚁群优化（ACO），以获得TDCN模型进行眼底图像的严重程度类的分类。群算法的强大功能用于搜索卷积层、池化层和归一化层的各种组合，以提供任务的最佳模型。据观察，TDCN-PSO优于imagenet模型和现有文献，而TDCN-ACO实现更快的架构搜索。最佳TDCN模型的准确度为90.3%，AUC ROC为0.956，Cohen kappa评分为0.967。与以往的研究结果进行了比较，表明所提出的TDCN模型表现出优越的性能。
2022-10-17 cs.CV cs.LG cs.NE
Evolution of Convolutional Neural Network (CNN): Compute vs Memory bandwidth for Edge AI
MagicLeap Inc.（MagicLeap公司）
本文探讨了边缘AI背景下CNN计算需求与内存带宽的关系，分析架构演进中的权衡，为高效架构与硬件加速器设计提供见解。
2023-09-24 cs.CV cs.LG
Convolutional neural network compression for natural language processing
AGH University of Science and Technology（AGH科技大学）
卷积神经网络是一种在许多分类任务中非常有效的现代模型。它们最初是为了图像处理而创建的。然后进行了一些试验，将它们用于不同的领域，如自然语言处理。人工智能系统（如人形机器人）通常是基于嵌入式系统的内存，功耗等的限制，因此，卷积神经网络，因为它的内存容量应减少映射到给定的硬件。在本文中，压缩的有效卷积神经网络的情感分析的结果。主要步骤是量化和修剪过程。给出了压缩网络到FPGA的映射方法和实现结果。所描述的模拟表明，5位宽度足以使网络的浮点版本的准确性没有下降。此外，还实现了显著的内存占用减少（从85%减少到93%）。
2018-05-28 cs.CL cs.LG cs.NE
LunaTP: Enabling Efficient and Scalable Tensor Product for Equivariant MLIPs
State Key Lab of Processors, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所处理器重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
LunaTP通过以节点为中心的执行模式，利用路径组并行性与多级复用加速CGTP卷积，在NVIDIA H100 GPU上较e3nn、OpenEquivariance实现显著的内核速度与训练吞吐量提升，为等变MLIP的训练及原子模拟提供高效可扩展的加速方案。
2026-10-14 cs.DC cs.LG
Supercharging Federated Intelligence Retrieval
Flower Labs
本文提出一个安全的联邦RAG系统，通过本地数据检索和服务器端加密环境实现隐私保护的远程LLM推理，并引入非保密第三方模型作为辅助上下文。
2026-03-26 cs.CL cs.CR cs.IR
NL-CNN: A Resources-Constrained Deep Learning Model based on Nonlinear Convolution
Polytechnic University of Bucharest（布加勒斯特理工大学）
提出了一种新的卷积神经网络模型，简称NL-CNN，其中非线性卷积在卷积+非线性层的级联中仿真。其实施代码和一些经过训练的模型已公开提供。提供了几个广为人知的数据集的性能评估，显示了几个相关的特征：i）对于小/中等输入图像尺寸，所提出的网络给出了非常好的测试精度，给出了低的实现复杂度和模型尺寸; ii）与其他广为人知的资源约束模型相比，例如，与MobileNetv 2相比，它提供了更好的准确性，训练时间减少了几倍，参数减少了多达十倍（模型占用的内存）; iii）具有一组相关的超参数，由于其特定的快速训练，可以轻松快速地进行调整。所有这些特征使得NL-CNN适用于物联网，智能传感，生物医学便携式仪器和其他必须在能量受限环境中部署人工智能的应用。
2021-01-30 cs.CV cs.LG cs.NE
Using MLIR Transform to Design Sliced Convolution Algorithm
1 IBM Research 2 Celera Systems 3 Instituto de Computaç\ a o, Universidade Estadual de Campinas Campinas -- SP, Brazil；1 IBM Research
本文提出SConvTransform，通过MLIR转换方言优化卷积算法，实现高效性能和模块化扩展。
2025-11-22 cs.CV cs.LG cs.PF
Explainable Artificial Intelligence in Retinal Imaging for the detection of Systemic Diseases
可解释的人工智能（AI）以可解释和半自动方法的形式对眼部病变进行分期分级，如糖尿病视网膜病变，高血压视网膜病变和主要系统性疾病背景下的其他视网膜病变。该实验研究旨在评估一个可解释的分级过程，而不直接使用深度卷积神经网络（CNN）。目前许多用于诊断视网膜疾病的基于CNN的深度神经网络可能具有可观的性能，但无法确定驱动其决策的基础。为了提高这些决策的透明度，我们提出了一种临床医生在环辅助智能工作流程，该工作流程对眼底图像进行视网膜血管评估，以获得可量化和描述性的参数。视网膜血管参数元数据用作超参数，用于更好地解释和解释决策。半自动方法旨在为医疗保健应用中的AI提供一种联邦方法，并从临床医生那里获得更多的输入和解释。基线过程涉及机器学习管道，通过图像处理技术进行视盘检测、血管分割和小动脉/小静脉识别。
2022-12-14 cs.CV cs.LG eess.IV
Is the use of Deep Learning and Artificial Intelligence an appropriate means to locate debris in the ocean without harming aquatic wildlife?
University of Northumbria（诺森比亚大学）
随着全球塑料垃圾问题的不断扩大，是时候让科技行业介入了。这项研究旨在评估深度学习是否可以成功区分海洋生物和水下人造碎片。目的是发现我们是否能够安全地用人工智能清理海洋，而不破坏水生生态系统的微妙平衡。该研究从保护生态系统的角度探索了卷积神经网络的使用，而不是主要收集垃圾。我们通过构建一个定制的深度学习模型来做到这一点，原始数据库包括1,644张水下图像，并使用二进制分类来对水生生物的合成材料进行分类。我们的结论是，虽然有可能安全地区分碎片和生命，但进一步探索更大的数据库和更强的CNN结构有可能获得更有希望的结果。
2021-12-01 cs.CV cs.LG eess.IV
Comparing the Accuracy of Deep Neural Networks (DNN) and Convolutional Neural Network (CNN) in Music Genre Recognition (MGR): Experiments on Kurdish Music
University of Kurdistan Hewlêr（库尔德斯坦赫勒大学）
音乐学家使用不同的标签来将相似的音乐风格归类在一个共同的标题下。但是，非专业人士可能会对音乐进行不同的分类。这可能是通过在和声、乐器和音乐形式中找到模式。人们通常只通过听来识别音乐类型，但现在计算机和人工智能（AI）可以自动化这一过程。最近，将人工智能应用于音乐类型分类的工作越来越多，但没有证据表明对库尔德音乐类型进行了此类研究。在这项研究中，我们开发了一个数据集，其中包含来自八种不同的库尔德音乐流派的880个样本。我们评估了两种机器学习方法，深度神经网络（DNN）和卷积神经网络（CNN），以识别流派。结果显示，CNN模型的准确率分别为92%和90%，优于DNN。
2021-11-22 cs.LG cs.SD eess.AS
Escoin: Efficient Sparse Convolutional Neural Network Inference on GPUs
University of Texas at Austin（德克萨斯大学奥斯汀分校）
深度神经网络在许多人工智能应用（例如计算机视觉）中已经实现了显著的准确性，但代价是大量参数和高计算复杂性。权值修剪可以通过去除网络中的冗余参数来压缩DNN模型，但它会带来权值矩阵的稀疏性，从而使GPU上的计算效率低下。虽然修剪可以去除80%以上的权重，但在GPU上运行模型时，它实际上会损害推理性能（速度）。两个主要问题导致GPU上的性能不令人满意。首先，降低矩阵乘法上的卷积减少了数据重用机会并浪费了内存带宽。其次，修剪带来的稀疏性使得计算不规则，这导致在大规模并行GPU上运行时效率低下。为了克服这两个限制，我们提出了Escort，一个有效的稀疏卷积神经网络的GPU。我们选择直接计算稀疏卷积，而不是使用降低方法。然后，我们为直接稀疏卷积内核编排并行性和局部性，并应用定制的优化技术来进一步提高性能。在NVIDIA GPU上的测试表明，与CUBLAS和SPARSE相比，Escort可以分别将稀疏卷积速度提高2.63倍和3.07倍，推理速度提高1.43倍和1.69倍。
2019-04-03 cs.CV cs.DC cs.LG
