Bridging Declarative, Procedural, and Conditional Metacognitive Knowledge Gap Using Deep Reinforcement Learning
North Carolina State University（北卡罗来纳州立大学）
提出用DRL在智能辅导系统中实施适应性元认知干预，帮助学生掌握后向链接策略的陈述性、程序性与条件性知识，并显著提升跨领域后续学习表现和决策自主性。
2023-04-23 cs.AI cs.CY cs.HC
Deep Declarative Dynamic Time Warping for End-to-End Learning of Alignment Paths
Queensland University of Technology（昆士兰科技大学）；Australian National University（澳大利亚国立大学）
本文讨论了学习端到端模型的时间序列数据，包括通过动态时间规整（DTW）的时间对齐步骤。现有的可微DTW方法要么通过固定的扭曲路径进行区分，要么将可微松弛应用于用于解决DTW问题的递归步骤中的min算子。相反，我们提出了一个基于双层优化和深度声明网络的DTW层，我们将其命名为DecDTW。通过将DTW公式化为一个连续的不等式约束优化问题，我们可以使用隐式微分来计算最优对齐（相对于底层时间序列）的解的梯度。这个公式的一个有趣的副产品是，DecDTW输出两个时间序列之间的最佳扭曲路径，而不是软近似，可从Soft-DTW恢复。我们表明，这个属性是特别有用的下游损失函数的最佳对齐路径本身定义的应用程序。这自然发生，例如，当学习提高预测比对相对于地面实况比对的准确度时。我们评估DecDTW在两个这样的应用程序，即音频到分数对齐任务在音乐信息检索和视觉位置识别任务在机器人技术，展示国家的最先进的结果。
2023-03-19 cs.CV cs.LG cs.RO
DeepEverest: Accelerating Declarative Top-K Queries for Deep Neural Network Interpretation
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
DeepEverest 是一个通过高效索引和查询执行算法加速深度神经网络激活值上声明式 Top-K 查询的系统，使用不到 20% 的存储实现高达 63 倍的查询加速。
2023-04-02 cs.DB cs.LG
Learning Structured Declarative Rule Sets -- A Challenge for Deep Discrete Learning
JKU Linz（林茨约翰·开普勒大学）；Paderborn University（帕德博恩大学）；TU Darmstadt（达姆施塔特工业大学）
可以说，深度神经网络成功的关键原因是它们能够自主形成输入特征的非线性组合，这些组合可以用于网络的后续层。在归纳规则学习中，类似于这种能力的是学习一个结构化的规则库，其中输入被组合以学习新的辅助概念，然后可以将其用作后续规则的输入。然而，对具有这种能力的规则学习算法的研究仍处于起步阶段，我们认为这是该领域取得实质性进展的关键障碍之一。在这份立场文件中，我们希望引起对这个未解决问题的关注，特别关注谓词发明和多标签规则学习方面的先前工作
2020-12-08 cs.LG
EdnaML: A Declarative API and Framework for Reproducible Deep Learning
Georgia Institute of Technology（佐治亚理工学院）；University of Sao Paulo（圣保罗大学）
机器学习已经成为文本、图像、视频和音频处理和生成方面最新进展的基石。大多数生产系统在部署和训练过程中处理多个模型，每个模型都有各种调优的超参数。此外，ML管道的数据汇集和处理方面由于其在创建可持续的高质量分类器方面的重要性而受到越来越多的关注。我们提出了EdnaML，一个具有声明式API的框架，用于可重复的深度学习。EdnaML提供了可以手动组合的低级构建块，以及高级管道编排API，以自动化数据汇集、数据处理、分类器训练、分类器部署和模型监控。我们的分层API允许用户在高级组件抽象中管理ML管道，同时提供通过构建块修改其任何部分的灵活性。我们展示了几个使用EdnaML的ML管道示例，包括一个大规模的假新闻标签和分类系统，其中有六个子管道由EdnaML管理。
2022-11-13 cs.LG cs.SY eess.SY
HiQ -- A Declarative, Non-intrusive, Dynamic and Transparent Observability and Optimization System
OCI Cloud AI（甲骨文云人工智能部门）
本文提出非侵入式、声明式的动态透明系统 HiQ，用于追踪 Python 及分布式程序运行时信息并定位性能瓶颈，且已在深度学习生命周期管理中落地并开源。
2023-04-26 cs.AI cs.DC cs.LG
Accelerating 3D Deep Learning with PyTorch3D
Facebook AI Research（Facebook AI研究院）
深度学习显著改善了2D图像识别。扩展到3D可能会推动许多新的应用，包括自动驾驶汽车，虚拟和增强现实，创作3D内容，甚至改进2D识别。然而，尽管人们的兴趣越来越大，3D深度学习仍然相对不足。我们认为，这种差异部分是由于3D深度学习涉及的工程挑战，例如有效处理异构数据和重新构建图形操作以使其可区分。我们通过引入PyTorch 3D来解决这些挑战，PyTorch 3D是一个用于3D深度学习的模块化，高效和可微运算符库。它包括一个用于网格和点云的快速、模块化可微分渲染器，支持合成分析方法。与其他可区分的渲染器相比，PyTorch3D更加模块化和高效，允许用户更容易地扩展它，同时也可以优雅地扩展到大型网格和图像。我们将PyTorch3D运算符和渲染器与其他实现进行了比较，并展示了显着的速度和内存改进。我们还使用PyTorch3D来改进ShapeNet上2D图像的无监督3D网格和点云预测的最新技术。PyTorch3D是开源的，我们希望它有助于加速3D深度学习的研究。
2020-07-16 cs.CV cs.GR cs.LG
Hilbert Operator for Progressive Encoding (HOPE): A Mathematical Framework for Deconstructing Learned Representations in Deep Networks
研究旨在解构深度网络内部知识，提出HOPE数学框架，将网络压缩从离散域转至希尔伯特空间，统一剪枝与神经元合并为低秩子空间投影，引入宏块逐出涵盖多层结构，通过实验验证该无数据无超参数框架的实用潜力。
2026-07-24 cs.AI cs.LG stat.ML
HOPE: High-order Polynomial Expansion of Black-box Neural Networks
Tsinghua University（清华大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出 HOPE，通过复合函数高阶导数法则快速计算神经网络导数并构造参考输入处的 Taylor 多项式，为黑盒模型提供局部显式解释，并支持函数发现、快速推理与特征选择。
2023-07-17 cs.AI cs.LG
A Shallow High-Order Parametric Approach to Data Visualization and Compression
NEC Labs America（NEC美国实验室）；National Research Council Canada（加拿大国家研究委员会）
显式高阶特征交互有效地捕获感兴趣数据的基本结构知识，并已用于构建生成模型。我们提出了一个监督判别高阶参数嵌入（HOPE）的方法来数据可视化和压缩。与具有复杂深层架构的深层嵌入模型相比，HOPE通过极其简单的浅层模型生成更有效的高阶特征映射。此外，提出了两种方法来生成少量的样本传达高阶相互作用，以代表大规模的数据集。这些范例与HOPE学习的特征映射相结合，有效地捕获了基本的数据变化。此外，通过HOPE，这些样本被用来提高计算效率的kNN分类快速信息检索的数千倍。对于MNIST和USPS数据集上的二维嵌入空间中的分类，我们的具有简单Sigmoid变换的浅层方法HOPE显著优于基于深度神经网络的最先进的监督深度嵌入模型，甚至在MNIST上的二维空间中实现了历史最低的测试出错率0.65%，其展示了具有高阶特征交互的监督浅模型的表示效率和能力。
2016-08-16 cs.AI cs.LG stat.ML
From Hope to Safety: Unlearning Biases of Deep Models via Gradient Penalization in Latent Space
Fraunhofer Heinrich Hertz Institut（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；Berlin Institute for the Foundations of Learning and Data (BIFOLD)（柏林学习与数据基础研究所（BIFOLD））
针对深度模型依赖虚假关联的问题，提出基于概念激活向量与潜在空间梯度惩罚的概念级校正方法，以鲁棒方向降低偏见敏感性，并在多数据集和架构上验证有效。
2023-12-18 cs.AI cs.CV cs.CY
Towards Regulated Deep Learning
institutetext（机构）
本文针对深度学习引发的安全、隐私与伦理问题，提出机构神经网络（INN）概念，并利用 $I^*$ 语言实现受监管深度学习（RDL）的概念验证，以监管神经网络执行及其与人工教师的交互。
2025-07-18 cs.AI cs.LG cs.LO
High hopes for "Deep Medicine"? AI, economics, and the future of care
School of Philosophical, Historical, and International Studies, Monash University（哲学、历史与国际研究学院，墨尔本大学）；Center for the Philosophy of AI, University of Copenhagen（人工智能哲学中心，哥本哈根大学）
本文针对《Deep Medicine》中提出的AI将助力医生投入更多共情护理的乐观观点，指出多因素将导致医疗AI反而削弱医患关系、降低双方满意度，反驳了对医疗AI的过度乐观预期。
2025-04-15 cs.AI cs.CY cs.HC
Harnessing Deep Neural Networks with Logic Rules
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）
将深度神经网络与结构化逻辑规则相结合是期望的，以利用灵活性并减少神经模型的不可解释性。我们提出了一个能够增强各种类型的神经网络（例如，CNN和RNN）与声明性一阶逻辑规则。具体来说，我们开发了一种迭代蒸馏方法，将逻辑规则的结构化信息转换为神经网络的权重。我们将框架部署在用于情感分析的CNN和用于命名实体识别的RNN上。通过一些高度直观的规则，我们获得了实质性的改进，并实现了最先进的或与以前性能最好的系统相当的结果。
2020-08-08 cs.AI cs.CL cs.LG
Consciousness is entailed by compositional learning of new causal structures in deep predictive processing systems
National Institute of Standards and Technology（美国国家标准与技术研究院）
本文提出意识源于预测处理系统中通过分层绑定未预测推断实现的在线单示例组合学习，该机制统一了特征绑定、递归处理、预测处理和全局工作空间理论。
2024-11-07 cs.AI cs.LG cs.NE
Beyond Graph Neural Networks with Lifted Relational Neural Networks
Czech Technical University in Prague（布拉格捷克理工大学）
我们展示了一个声明式可微编程框架的语言的提升关系神经网络，其中小的参数化逻辑程序被用来编码关系学习的情况下。当呈现诸如各种形式的图形的关系数据时，程序解释器动态地展开可微计算图形以通过标准手段用于程序参数优化。从使用的声明式数据库抽象，这导致到紧凑和优雅的学习程序，与现有的程序方法直接操作的计算图的水平。我们说明了这个想法如何用于现有各种先进神经架构的有效编码，特别关注图神经网络（GNN）。此外，我们还展示了当代GNN模型如何轻松扩展到更高的关系表达能力。在实验中，我们通过与专门的GNN深度学习框架进行比较来证明正确性和计算效率，同时对现有GNN模型的学习性能进行了一些说明。
2020-07-13 cs.AI cs.LG cs.LO
On a Built-in Conflict between Deep Learning and Systematic Generalization
在本文中，我们假设内部功能共享是削弱o.o.d.的原因之一。或者在用于分类任务的深度学习中的系统泛化。在等效预测下，模型将输入空间划分为由边界分隔的多个部分。功能共享更倾向于重用边界，导致新输出的部分更少，这与系统泛化相冲突。我们在标准的深度学习模型中展示了这种现象，例如全连接、卷积、残差网络、LSTM和（Vision）Transformers。我们希望这项研究提供了新的见解系统的推广，并形成新的研究方向的基础。
2022-08-24 cs.AI cs.LG
Functional Protein Structure Annotation Using a Deep Convolutional Generative Adversarial Network
Drexel University（德雷塞尔大学）
识别新的功能蛋白质结构是分子工程和分子生物学的核心，需要经常计算穷举搜索。我们介绍了使用深度卷积生成对抗网络（DCGAN）根据其功能对蛋白质结构进行分类，方法是使用每个对象中的三个特征对网格对象结构中的每个样本进行编码：通用原子类型，位置原子类型及其相对于给定原子的占用率。我们训练DCGAN的三维（3D）诱饵和天然蛋白质结构，以产生和区分3D蛋白质结构。在训练结束时，损失收敛到局部最小值，我们的DCGAN可以针对对抗性蛋白质样本稳健地注释功能蛋白质。在未来，我们希望用更多的样本来扩展我们在DCGAN中从生成器中发现的新颖结构，以探索具有不同功能的更细粒度的功能。我们希望我们的努力将推动蛋白质结构预测领域的发展。
2021-04-18 cs.LG q-bio.BM
State of Compact Architecture Search For Deep Neural Networks
University of Waterloo（滑铁卢大学）；DarwinAI Corp.（DarwinAI公司）
紧凑型深度神经网络的设计是使深度神经网络能够在现实世界中广泛采用的关键任务，特别是对于边缘和移动场景。由于手动设计紧凑型深度神经网络的耗时性和挑战性，最近对自动搜索紧凑型网络架构的算法有很大的研究兴趣。一类特别有趣的紧凑架构搜索算法是那些由基线网络架构指导的算法。这样的算法已被证明是显着更有效的计算比无指导的方法。在这项研究中，我们通过对四种不同的最先进的紧凑架构搜索算法进行理论和实证分析来探索深度神经网络的紧凑架构搜索的现状：i）组套索正则化，ii）变分丢弃，iii）MorphNet和iv）生成合成。我们基于许多不同的因素，如效率，有效性和可扩展性，详细研究这些方法。此外，经验评估进行比较这些紧凑的架构搜索算法在三个著名的基准数据集的功效。虽然绝不是一个详尽的探索，我们希望这项研究有助于提供洞察这个相对较新的研究领域的多样性和真正的，有形的收益已经在建筑设计改进方面取得的有趣状态。此外，我们希望这项研究将有助于推动对话向前发展，以更深入的理论和实证理解研究界目前站在紧凑的架构搜索深度神经网络的景观，以及利用这种方法进行操作使用的实际挑战和考虑。
2019-10-15 cs.CV cs.LG cs.NE
Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks
indico Research（indico研究公司）；Facebook AI Research（脸书人工智能研究院）
近年来，使用卷积网络（CNN）的监督学习在计算机视觉应用中得到了广泛采用。相比之下，使用CNN的无监督学习受到的关注较少。在这项工作中，我们希望帮助弥合CNN在监督学习和无监督学习中的成功之间的差距。我们介绍了一类称为深度卷积生成对抗网络（DCGAN）的CNN，它们具有一定的架构约束，并证明它们是无监督学习的强有力候选者。在各种图像数据集上进行训练，我们展示了令人信服的证据，证明我们的深度卷积对抗对在生成器和生成器中学习了从对象部分到场景的表示层次。此外，我们将学习到的功能用于新的任务-证明它们作为一般图像表示的适用性。
2016-01-07 cs.CV cs.LG
Deep Learning Tools for Audacity: Helping Researchers Expand the Artist's Toolkit
Northwestern University（西北大学）；Audacity Team（Audacity团队）
我们提出了一个软件框架，集成神经网络到流行的开源音频编辑软件，Audacity，与开发人员的工作量最小。在本文中，我们为最终用户和神经网络开发人员展示了一些示例用例。我们希望这项工作能够促进深度学习实践者和最终用户之间的互动达到一个新的水平。
2021-10-28 cs.LG cs.SD eess.AS
i-Algebra: Towards Interactive Interpretability of Deep Neural Networks
Pennsylvania State University（宾夕法尼亚州立大学）；Zhejiang University（浙江大学）
为深度神经网络（DNN）提供解释对于它们在决策的可解释性是关键先决条件的领域中的使用至关重要。尽管有大量关于解释DNN的工作，但大多数现有的解决方案都以临时、一次性和静态的方式提供可解释性，而没有考虑最终用户的感知、理解或响应，导致其在实践中的可用性较差。在本文中，我们认为DNN的可解释性应该实现为用户和模型之间的交互。我们提出了i-Algebra，这是第一个用于解释DNN的交互式框架。它的核心是一个原子的、可组合的运算符库，这些运算符在不同的输入粒度、不同的推理阶段以及不同的解释角度解释模型行为。利用声明性查询语言，用户能够构建各种分析工具（例如，“下钻”、“比较”、“假设”分析）。我们对i-Algebra进行了原型设计，并在一组具有代表性的分析任务中进行了用户研究，包括检查对抗性输入，解决模型不一致性，以及清理受污染的数据，所有这些都证明了它有前途的可用性。
2021-01-22 cs.HC cs.LG
Deep learning: Technical introduction
本文以技术性的方式介绍了三种最常见的神经网络架构形式：前馈、卷积和递归。对于每个网络，详细介绍了它们的基本构建块。反向传播算法的前向传递和更新规则，然后推导出完整的。
2017-09-11 cs.LG stat.ML
Deep Convolutional Neural Network Design Patterns
U.S. Naval Research Laboratory（美国海军研究实验室）；University of Maryland, Baltimore County（马里兰大学巴尔的摩分校）
最近在深度学习领域的研究已经产生了大量的新架构。与此同时，越来越多的团体将深度学习应用到新的应用中。其中一些群体可能由缺乏经验的深度学习从业者组成，他们对令人眼花缭乱的架构选择感到困惑，因此选择使用较旧的架构（即，Alexnet）。在这里，我们试图通过挖掘最近深度学习研究中包含的集体知识来弥合这一差距，以发现设计神经网络架构的基本原则。此外，我们描述了几个架构创新，包括Fractal of FractalNet网络，Stagewise Boosting Networks和Taylor Series Networks（我们的Caffe代码和prototxt文件可在https：//github.com/iPhysicist/CNNDesignPatterns上获得）。我们希望其他人受到启发，在我们初步工作的基础上再接再厉。
2016-11-14 cs.CV cs.LG cs.NE
Function space analysis of deep learning representation layers
GE Research（通用电气研究院）；Tel-Aviv University（特拉维夫大学）；WIX AI（WIX人工智能）
在本文中，我们提出了一种函数空间方法来表示学习和分析深度学习架构中的表示层。我们展示了如何计算一个弱型Besov平滑指数，量化的几何形状的聚类特征空间。这种方法已经成功地应用于提高机器学习算法的性能，如随机森林和基于树的梯度提升。我们的实验表明，在众所周知的和性能良好的训练网络中，在相应的隐藏层特征图表示中测量的训练集的Besov平滑度从一层到另一层增加。我们还有助于理解泛化的表示，如何Besov平滑，减少我们添加更多的错误标记的训练数据。我们希望这种方法将有助于揭开深度学习某些方面的神秘面纱。
2017-10-09 cs.AI cs.LG stat.ML
Frank-Wolfe optimization for deep networks
深度神经网络是当今分类、回归和函数逼近中最受欢迎的选择之一。然而，这种深度网络的训练远非微不足道，因为通常有数百万个参数需要调整。通常，人们使用一些希望收敛到某个最小值的优化方法。最流行和最成功的方法是基于梯度下降。本文将另一种优化方法Frank-Wolfe优化应用于小型深度网络，并与梯度下降进行了比较。虽然优化确实收敛，但它收敛得很慢，并且不接近梯度下降的速度。此外，在随机设置中，优化变得非常不稳定，并且似乎不收敛，除非使用线搜索方法。
2020-06-06 cs.LG stat.ML
A Review of Deep Learning Techniques for Protein Function Prediction
Delhi Technological University（德里理工大学）
近年来，深度学习和大数据在生物信息学和计算生物学方面取得了巨大成功;人工智能方法也在蛋白质功能分类任务中做出了重大贡献。本文分析了使用深度学习预测蛋白质功能的方法的最新进展。我们解释了确定蛋白质功能的重要性以及为什么自动化以下任务至关重要。然后，在回顾了广泛使用的深度学习技术之后，我们继续回顾并强调了现代最先进的（SOTA）深度学习模型的出现，这些模型在过去几年中在计算机视觉，自然语言处理和多模态学习领域取得了突破性的成果。我们希望这篇综述将为深度学习在生物科学中的当前作用和进展提供一个广泛的视角，特别是在预测蛋白质功能任务方面，并鼓励新的研究人员为这一领域做出贡献。
2022-10-27 cs.AI cs.LG q-bio.BM
Can we avoid Double Descent in Deep Neural Networks?
Institut Polytechnique de Paris（巴黎综合理工学院）
本研究探讨深度神经网络中双重下降现象的可避免性，提出通过适当条件化和正则化（如$\ell_2$）可潜在规避该现象，但最终答案未定。
2023-07-04 cs.AI cs.LG
MXNet: A Flexible and Efficient Machine Learning Library for Heterogeneous Distributed Systems
U. Washington（华盛顿大学）；CMU（卡内基梅隆大学）；Stanford（斯坦福大学）；NUS（新加坡国立大学）；TuSimple（图森未来）；NYU（纽约大学）；Microsoft（微软）；U. Alberta（阿尔伯塔大学）；MIT（麻省理工学院）；NYU Shanghai（上海纽约大学）
MXNet是一个多语言机器学习（ML）库，用于简化ML算法的开发，特别是深度神经网络。嵌入在宿主语言中，它混合了声明性符号表达式和命令式张量计算。它提供自动微分来导出梯度。MXNet具有计算和内存效率，可在各种异构系统上运行，从移动设备到分布式GPU集群。本文描述了MXNet的API设计和系统实现，并解释了如何以统一的方式处理符号表达式和张量运算的嵌入。我们的初步实验表明，使用多个GPU机器的大规模深度神经网络应用程序的结果很有希望。
2015-12-03 cs.DC cs.LG cs.MS
Applying Deep Learning To Airbnb Search
Airbnb Inc.（爱彼迎公司）
搜索排名应用是Airbnb最大的机器学习成功案例之一。大部分初始收益是由梯度提升决策树模型驱动的。然而，随着时间的推移，收益趋于稳定。本文讨论了在应用神经网络，试图打破高原所做的工作。我们提出我们的观点并不是为了推动新建模技术的前沿。相反，我们的故事是一个元素，我们发现有用的应用神经网络到现实生活中的产品。深度学习对我们来说是一种陡峭的学习。对于其他踏上类似旅程的团队，我们希望我们的斗争和胜利的叙述将提供一些有用的指针。一路顺风！
2018-10-24 cs.AI cs.IR cs.LG
Incorporating Deep Learning Design in Database Queries
University of Washington（华盛顿大学）
提出一种将深度学习自然集成到数据库查询中的方法，通过为元组关联可学习的向量嵌入，使查询同时操作数据和嵌入，实现关系深度学习。
2026-05-22 cs.DB cs.LG
A Taxonomy of Deep Convolutional Neural Nets for Computer Vision
Indian Institute of Science（印度科学学院）
解决计算机视觉问题的传统架构及其成功程度严重依赖于手工制作的功能。然而，最近，深度学习技术提供了一种引人注目的替代方案-自动学习特定问题的特征。有了这种新的范式，计算机视觉中的每一个问题现在都在从深度学习的角度重新审视。因此，了解什么样的深度网络适合特定问题变得非常重要。虽然存在对这种快速发展的范式（即深度网络）的一般调查，但缺少针对计算机视觉的调查。我们特别考虑了广泛用于计算机视觉的一种形式的深度网络-卷积神经网络（CNN）。我们从“AlexNet”作为我们的基础CNN开始，然后研究随着时间的推移提出的广泛变化，以适应不同的应用。我们希望我们的食谱式调查将作为指导，特别是对于打算将深度学习技术用于计算机视觉的新手从业者。
2016-01-25 cs.CV cs.LG cs.MM
Deep Convolutional Neural Networks to Diagnose COVID-19 and other Pneumonia Diseases from Posteroanterior Chest X-Rays
Imperial College London（帝国理工学院）
本文探讨了不同的深度卷积神经网络架构，这些架构在327名健康患者（152名患者）、诊断为COVID-19（125名）和其他类型肺炎（48名）的后前胸X光片上进行了训练和测试。特别是，本文研究了深度卷积神经网络VGG16和VGG19，InceptionResNetV2和InceptionV3，以及Xception，所有这些都是平面多层感知器和最后30%的drop-out。该论文发现，性能最好的网络是VGG 16，其最终$30$ %退出率在3个类（COVID-19，无发现，其他肺炎）上训练。其内部交叉验证准确度为$93.9(\pm3.4)$ %，COVID-19灵敏度为$87.7(-1.9,+2)$ %，无结果灵敏度为$96.8(\pm0.8)$ %。相应的外部交叉验证值为$84.1(\pm13.5)$ %、$87.7(-1.9,2)$ %和$96.8(\pm0.8)$ %。模型优化器是Adam，具有1e-4学习率和分类交叉熵损失。希望一旦这项研究在医院付诸实践，医疗保健专业人员将能够在中长期内通过机器学习工具诊断可能的肺炎，如果发现，它是否与COVID-19感染有关，允许在可能的"走走停停"结束后检测新的可能的COVID-19门厅在疫苗被发现并广泛传播之前，此外，在短期内，希望从业者能够将深度卷积神经网络的诊断与可能的RT-PCR检测结果进行比较，如果发生冲突，可以进行计算机断层扫描…
2020-05-02 cs.LG eess.IV stat.ML
D2RL: Deep Dense Architectures in Reinforcement Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of California Berkeley（加州大学伯克利分校）
虽然深度学习架构的改进在改善计算机视觉和自然语言处理中的监督和无监督学习状态方面发挥了至关重要的作用，但用于强化学习的神经网络架构选择仍然相对不足。我们从计算机视觉和生成建模的成功架构选择中汲取灵感，并在各种模拟机器人学习基准环境中研究使用更深的网络和密集连接进行强化学习。我们的研究结果表明，目前的方法从密集的连接和更深的网络中受益匪浅，在一系列操纵和运动任务中，无论是本体感受还是基于图像的观察。我们希望我们的结果可以作为一个强有力的基线，并进一步激励未来对强化学习神经网络架构的研究。该项目的网站与代码是在这个链接https://sites.google.com/view/d2rl/home。
2020-11-27 cs.LG
Lipschitz Properties for Deep Convolutional Networks
University of Maryland（马里兰大学）；Verisk Analytics（韦里斯克分析公司）
本文讨论了卷积神经网络的稳定性。卷积神经网络广泛应用于机器学习中。在分类中，它们主要用作特征提取器。理想情况下，当输入来自同一个类时，我们预计会有类似的功能。也就是说，我们希望看到特征向量相对于输入信号的变形的小变化。这可以在数学上建立，关键的一步是推导出Lipschitz性质。此外，我们建立的稳定性结果可以扩展到更一般的网络。我们给出了一个计算Lipschitz界的公式，并与其他方法进行了比较，表明它更接近于最优值。
2017-01-18 cs.LG math.FA
Spiking Deep Networks with LIF Neurons
Centre for Theoretical Neuroscience（理论神经科学中心）；University of Waterloo（滑铁卢大学）
我们使用Leaky Integrate-and-Fire（LIF）神经元训练尖峰深度网络，并在CIFAR-10和MNIST数据集上实现了尖峰网络的最新结果。这表明，生物学上合理的尖峰脉冲LIF神经元可以集成到深度网络中，可以像其他尖峰脉冲模型（例如整合和激发）一样执行。我们通过软化LIF响应函数来实现这一结果，使得其导数保持有界，并通过使用噪声训练网络来提供对尖峰引入的可变性的鲁棒性。我们的方法是通用的，可以应用于其他神经元类型，包括现代神经形态硬件上使用的。我们的工作为现代图像分类模型带来了更多的生物现实主义，希望这些模型可以告知大脑如何执行这项艰巨的任务。它还提供了训练深度网络在神经形态硬件上运行的新方法，目的是为机器人应用提供快速，节能的图像分类。
2015-10-29 cs.LG cs.NE
Empirical Studies on the Properties of Linear Regions in Deep Neural Networks
Huazhong University of Science and Technology（华中科技大学）
具有分段线性激活的深度神经网络（DNN）可以将输入空间划分为许多小的线性区域，其中拟合不同的线性函数。据信，这些区域的数量代表了DNN的表达能力。本文提供了一个新颖而细致的视角来研究DNN：我们不仅仅计算线性区域的数量，而是研究它们的局部属性，例如内球面，相应超平面的方向，决策边界以及周围区域的相关性。我们根据经验观察到，不同的优化技术导致完全不同的线性区域，即使它们导致相似的分类精度。我们希望我们的研究可以启发新的优化技术的设计，并帮助发现和分析DNN的行为。
2020-04-28 cs.LG stat.ML
Deep limits and cut-off phenomena for neural networks
University of Uppsala（乌普萨拉大学）；Université de Genève（日内瓦大学）
我们考虑了深度学习的动力学和几何学方面。对于层映射的许多标准选择，我们显示半不变度量，这些度量量化数据或决策函数之间的差异。这使得我们在考虑随机层映射和使用非交换遍历定理时，可以推导出当层数趋于无穷大时存在某些限制。我们还研究了标准网络的随机初始化，在那里我们观察到一个令人惊讶的截止现象，即网络的层数和深度。当为给定的学习任务选择适当的层数时，或者为了选择良好的初始化过程时，这可以是相关的参数。更一般地说，我们希望本文中的概念和结果可以提供一个框架，特别是几何框架，为深度神经网络的理论理解的一部分。
2021-04-21 cs.LG math.DS stat.ML
Prognosis and Treatment Prediction of Type-2 Diabetes Using Deep Neural Network and Machine Learning Classifiers
Noakhali Science and Technology University（诺阿卡利科学与技术大学）；Comilla University（库米拉大学）；University of Alberta（阿尔伯塔大学）
2型糖尿病是一种由于胰岛素活性不平衡而导致的快速增长的慢性代谢紊乱。本研究的运动是对七种机器学习分类器和人工神经网络方法的比较研究，以高精度地阐明糖尿病的检测和治疗，为了在早期识别和治疗糖尿病患者。我们的训练和测试数据集是9483名糖尿病患者信息的积累。训练数据集足够大，可以消除过度拟合，并提供高度准确的测试性能。我们使用准确度和精度等性能指标来找出最佳算法深度ANN，该算法在所有其他经过测试的机器学习分类器中具有95.14%的准确率。我们希望我们的高性能模型可以被医院用于预测糖尿病，并推动研究更准确的预测模型。
2023-01-08 cs.LG
Goldbach's Function Approximation Using Deep Learning
Department of Computer Science, Ariel University（计算机科学系， Ariel大学（Ariel University））
哥德巴赫猜想是著名的数学公开问题之一。它指出，每个大于2的偶数都可以表示为2个素数的和。在这项工作中，我们提出了一个基于深度学习的模型，该模型预测给定偶数的哥德巴赫分区的数量。令人惊讶的是，我们的模型优于所有最先进的分析得出的估计数的夫妇，而不需要给定的数字的素数分解。我们相信，建立一个可以准确预测夫妻数量的模型，可以让我们更接近解决世界上最著名的开放性问题之一。据我们所知，这是第一次尝试考虑基于机器学习的数据驱动方法来近似数论领域的开放数学问题，并希望这项工作将鼓励这种尝试。
2018-03-25 cs.LG stat.ML
Error Bounds for a Matrix-Vector Product Approximation with Deep ReLU Neural Networks
National Institute of Standards and Technology (NIST)（美国国家标准与技术研究院）；École de Technologie Supérieure (ÉTS)（高等技术学院）
在人工智能（AI）或机器学习（ML）的几种范式中，一个非常成功的范式是深度学习。人们希望通过对深度学习理论的基础研究来解释深度学习的巨大成功。相应地，对深度学习的应用研究也推动了面向深度学习理论的深度和广度的发展。受这些发展的启发，我们提出了这些基本问题：我们能否使用深度整流线性单元（ReLU）前馈神经网络（FNN）准确地近似任意矩阵向量乘积？如果是这样，我们能限制由此产生的近似误差吗？鉴于这些问题，我们推导出误差界Lebesgue和Sobolev规范，包括我们开发的深度逼近理论。在这一理论的指导下，我们成功地训练了深度ReLU FNN，其测试结果证明了我们开发的理论。开发的理论也适用于指导和简化教师深度ReLU FNN的培训，因为新兴的师生AI或ML范式对于解决无线通信和信号处理中的几个AI或ML问题至关重要;网络科学和图形信号处理;以及网络神经科学和脑物理学。
2021-11-25 cs.LG stat.ML
Deep Learning Meets SAR
German Aerospace Center (DLR)（德国航空航天中心）；Technical University of Munich (TUM)（慕尼黑工业大学）
本文针对深度学习在SAR数据处理中潜力未充分挖掘的问题，综述相关模型、SAR数据特性陷阱、领域研究现状与基准，提出未来方向，推动该领域研究与应用落地。
2021-01-05 cs.LG eess.IV stat.ML
Grassmannian Learning: Embedding Geometry Awareness in Shallow and Deep Learning
The University of Hong Kong（香港大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
现代机器学习算法已被广泛应用于计算机视觉、自然语言处理和人工智能等信号处理领域。许多相关的问题涉及子空间结构的功能，正交约束或低秩约束的目标函数，或子空间距离。这些数学特征可以用格拉斯曼流形自然地表达出来。不幸的是，这一事实还没有在许多传统的学习算法探索。在过去的几年里，人们对研究格拉斯曼流形以解决新的学习问题的兴趣越来越大。经典学习和使用深度神经网络的学习中的实质性性能改进使这些尝试得到了保证。我们称前者为浅层格拉斯曼学习，后者为深层格拉斯曼学习。本文的目的是通过调查常见的数学问题和主要的解决方法，并概述各种应用，介绍格拉斯曼学习的新兴领域。我们希望能启发不同领域的实践者在他们的研究中采用格拉斯曼学习的强大工具。
2018-08-13 cs.CV cs.IT cs.LG
A Selective Overview of Deep Learning
Princeton University（普林斯顿大学）
可以说，深度学习近年来取得了巨大的成功。简而言之，深度学习使用许多非线性函数的组合来建模输入特征和标签之间的复杂依赖关系。虽然神经网络有着悠久的历史，但最近的进展大大提高了它们在计算机视觉、自然语言处理等方面的性能。与经典方法相比，深度学习有哪些新特点？深度学习的理论基础是什么？为了回答这些问题，我们介绍常见的神经网络模型（例如，卷积神经网络、递归神经网络、生成对抗网络）和训练技术（例如，随机梯度下降、丢弃、批量归一化）。在此过程中，我们强调了深度学习的新特征（包括深度和过度参数化），并解释了它们的实践和理论优势。我们还对深度学习理论的最新结果进行了抽样，其中许多只是建议性的。虽然对深度学习的全面理解仍然难以实现，但我们希望我们的观点和讨论能够刺激新的统计研究。
2019-04-15 cs.LG math.ST stat.ME
Deep Convolutional Neural Networks for Map-Type Classification
地图是一种重要的媒介，使人们能够全面了解不同时间和地点的文化活动和自然要素的配置。虽然在数字时代有大量的地图可用，但如何有效和准确地访问所需的地图仍然是当今的挑战。以前的工作部分涉及地图类型分类主要集中在地图比较和地图匹配在本地尺度。从当地地图区域得出的特征可能不足以描述地图内容。为了便于建立访问所需地图的自动方法，本文报告了我们使用深度学习技术识别七种类型地图的研究，包括地形图，地形图，物理图，城市场景图，国家地图，3D地图，夜间地图，正射影像图和土地覆盖分类图。实验结果表明，最先进的深度卷积神经网络可以支持自动地图类型分类。此外，分类精度根据不同的地图类型而变化。我们希望我们的工作能够有助于深度学习技术在制图领域的应用，并推动地理人工智能（GeoAI）的发展。
2018-05-26 cs.LG stat.ML
Variational Probability Flow for Biologically Plausible Training of Deep Neural Networks
Singapore University of Technology and Design（新加坡科技设计大学）
对生物学上合理的深度学习的追求不仅是为了解释生物神经网络的实验观察特性，而且还希望发现更有效的方法来训练人工网络。在本文中，我们提出了一个新的算法命名为变分可能流（VPF），最小概率流的扩展训练二进制深度玻尔兹曼机（DBMs）。我们发现，在VPF的权重更新是本地的，只取决于相邻神经元的状态和发射率。与对比发散不同，不需要吉布斯虚构;与反向传播不同，不需要交替的前馈和反馈阶段。此外，学习算法是有效的训练DBM与层内连接之间的隐藏节点。MNIST和Fashion MNIST的实验表明，VPF快速学习合理的特征，更准确地重建受损图像，并生成具有高估计对数似然的样本。最后，我们注意到，有趣的是，如果存在VPF的不对称版本，则权重更新直接解释了尖峰定时依赖可塑性（STDP）的实验结果。
2017-11-21 cs.LG cs.NE stat.ML
