Mechanisms of dimensionality reduction and decorrelation in deep neural networks
Sun Yat-sen University（中山大学）；RIKEN Center for Brain Science（理化学研究所脑科学中心）
深度神经网络广泛应用于各个领域。然而，深度网络每一层的计算本质还远未被很好地理解。因此，提高深度神经网络的可解释性非常重要。在这里，我们构建了一个平均场框架，以了解如何跨层开发紧凑表示，不仅在具有随机权重的确定性深度网络中，而且在进行无监督学习的生成式深度网络中。我们的理论表明，深度计算实现了降维，同时保持神经元之间有限水平的弱相关性，以进行可能的特征提取。降维和去相关的机制统一在同一个框架中。这项工作可能为理解感觉层次结构如何工作铺平道路。
2018-11-27 cond-mat.stat-mech cs.LG stat.ML
Deep Dimension Reduction for Supervised Representation Learning
University of Iowa（爱荷华大学）；Wuhan University（武汉大学）；Duke-NUS Medical School（杜克-新加坡国立大学医学院）；East China Normal University（华东师范大学）
有监督表示学习的目标是构建有效的数据表示用于预测。在高维复杂数据的理想非参数表示的所有特征中，充分性、低维性和去纠缠性是最基本的特征。我们提出了一种深度降维方法来学习具有这些特征的表示。该方法是充分降维方法的非参数推广。我们制定了理想的表示学习任务，找到一个非参数表示，最大限度地减少了目标函数的特征条件独立性和促进解开人口水平。然后，我们使用深度神经网络在样本水平上非参数地估计目标表示。我们证明了估计的深度非参数表示在其超额风险收敛到零的意义上是一致的。我们使用模拟和真实基准数据进行的广泛数值实验表明，在分类和回归背景下，所提出的方法比几种现有的降维方法和标准深度学习模型具有更好的性能。
2022-09-01 cs.LG stat.ML
Deep Manifold Transformation for Nonlinear Dimensionality Reduction
Westlake University（西湖大学）
基于流形学习的编码器在数据挖掘的非线性降维（NLDR）中发挥着重要作用。然而，现有的方法通常不能保持数据的几何、拓扑和/或分布结构。在本文中，我们提出了一个深度流形学习框架，称为深度流形变换（DMT），用于无监督NLDR和嵌入学习。DMT通过使用跨层局部几何保持（LGP）约束来增强深度神经网络。LGP约束构成了深度流形学习的损失，并作为NLDR网络训练的几何正则化器。对合成数据和真实数据的大量实验表明，DMT网络在保留数据结构方面优于现有领先的基于流形的NLDR方法。
2021-05-03 cs.CV cs.HC cs.LG
Pilot Interval Reduction by Deep Learning Based Detectors in Uplink NOMA
Zonguldak Bülent Ecevit Üniversitesi（宗古尔达克布伦特埃杰维特大学）
非正交多址接入（NOMA）技术比正交多址接入（OMA）技术具有更高的频谱效率。在接收端未知信道的上行链路通信系统中，每个用户在不同的时间间隔内发送的导频信号降低了NOMA的频谱效率。在本研究中，在上行链路通信系统中，研究了已知响应于从基站处的用户发送的导频信号的基于DL-深度学习的检测器。它的目的是通过从用户发送单个导频来保持NOMA的频谱效率，从而减少DL检测器中的时间间隔。
2020-04-26 cs.IT cs.LG math.IT
Deep Variational Sufficient Dimensionality Reduction
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
我们考虑充分降维（SDR）的问题，其中高维观测被转换到一个低维的子空间，在该子空间中，关于标签变量的观测信息被保留。我们提出了DVSDR，一个深度变分方法，充分降维。我们模型中的深层结构有一个瓶颈，代表数据的低维嵌入。我们使用图形模型解释SDR问题，并使用变分自编码器的框架来最大化观察和标签的联合分布的对数似然的下限。我们表明，这样的最大化问题可以解释为解决SDR问题。DVSDR可以很容易地应用到半监督学习环境中。在我们的实验中，我们表明，DVSDR在分类任务上具有竞争力，同时能够生成新的数据样本。
2018-12-18 cs.LG stat.ML
Towards Testing of Deep Learning Systems with Training Set Reduction
Simula Research Laboratory（Simula研究实验室）
测试深度学习系统及其训练例程的实现对于维护可靠的代码库至关重要。现代软件开发采用诸如持续集成之类的过程，在该过程中，对软件的更改被频繁地集成和测试。然而，测试训练例程需要运行它们，并且当使用完整的数据集时，完全训练深度学习模型可能是资源密集型的。仅使用训练数据的子集可以缩短测试运行时间，但也会降低其有效性。我们评估了不同的训练集缩减方法及其利用原始完整数据集模仿模型训练特征的能力。我们的研究结果强调了训练集减少的有用性，特别是在资源受限的环境中。
2019-01-14 cs.LG cs.NE cs.SE
Stochastic Variance Reduction for Deep Q-learning
Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
深度强化学习的最新进展已经在各种现实世界的应用中实现了人类水平的性能。然而，目前的算法仍然遭受差的梯度估计与过多的方差，导致不稳定的训练和低的样本效率。在我们的论文中，我们提出了一个创新的优化策略，利用随机方差降低梯度（SVRG）技术。通过对Atari域的广泛实验，我们的方法在20个游戏中的18个上优于深度q学习基线。
2019-05-20 cs.LG stat.ML
Approximating Martingale Process for Variance Reduction in Deep Reinforcement Learning with Large State Space
Cornell University（康奈尔大学）
近似鞅过程（AMP）被证明是有效的方差减少强化学习（RL）在特定情况下，如多类神经网络。然而，在已经证明的情况下，状态空间相对较小，所有可能的状态转换都可以迭代。在本文中，我们考虑系统的状态空间是大的，有不确定性时，考虑状态转移，从而使AMP的RL的广义方差减少方法。具体而言，我们将研究AMP在Uber等网约车系统中的应用，其中加入了近端策略优化（PPO），以优化司机和客户的匹配策略。
2022-11-29 cs.LG cs.MA math.OC
Deep frequency principle towards understanding why deeper learning is faster
Shanghai Jiao Tong University（上海交通大学）
理解深度对深度学习的影响是一个关键问题。在这项工作中，我们利用傅立叶分析来经验性地提供一种有前途的机制，以理解为什么前馈深度学习更快。为此，我们在分析期间将通过正常随机梯度下降训练的深度神经网络分成两部分，即，一个前置条件组件和一个学习组件，其中前置条件组件的输出是学习组件的输入。我们使用滤波方法来表征高维函数的频率分布。基于深度网络和真实数据集的实验，我们提出了深度频率原则，即在训练过程中，更深隐藏层的有效目标函数偏向更低的频率。因此，如果前置条件组件具有更多层，则学习组件有效地学习较低频率函数。根据频率原理，即深度神经网络学习低频函数的速度更快，深度频率原理为为什么深度学习更快提供了合理的解释。我们相信，这些实证研究将是有价值的深度在深度学习的影响未来的理论研究。
2020-12-20 cs.LG stat.ML
Fast Scenario Reduction for Power Systems by Deep Learning
University of Denver（丹佛大学）
情景约简是随机规划问题中的一个重要课题。由于负荷和可再生能源的随机性，随机规划成为电力系统优化的有效方法。因此，情景约简在近年来得到了越来越多的关注。为了快速减少场景集，已经提出了许多场景缩减方法。但是，场景还原的速度仍然很慢，至少需要几秒钟到几分钟才能完成还原。这种速度的限制，防止随机规划，以实现实时最优控制问题。本文提出了一种基于深度学习的快速场景约简方法来解决这一问题。受基于深度学习的图像处理、识别和生成方法的启发，场景数据被转换为2D图像数据，然后被馈送到深度卷积神经网络（DCNN）中。DCNN的输出将是简化场景集的“图像”。由于神经网络可以以非常高的速度处理图像，因此神经网络的场景缩减也可以非常快。仿真结果表明，所提出的DCNN方法可以在非常高的速度完成场景约简。
2019-08-30 cs.LG eess.SP
Weakly-correlated synapses promote dimension reduction in deep neural networks
Sun Yat-sen University（中山大学）
通过控制突触和神经相关性，深度学习在提高分类性能方面取得了经验性成功。突触相关性如何影响神经相关性以产生解开的隐藏表征仍然是难以捉摸的。在这里，我们提出了一个简化的降维模型，考虑到突触之间的成对相关性，揭示突触相关性如何影响降维的机制。我们的理论确定的突触相关缩放形式只需要数学的自洽性，二进制和连续突触。该理论还预测，弱相关的突触与正交的突触相比，会促进维度的降低。此外，这些突触减缓了沿网络深度的去相关过程。这两个计算的角色解释所提出的平均场方程。理论预测与数值模拟非常一致，并且通过使用Hebbian规则的深度学习也捕获了关键特征。
2020-06-20 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Dimensionality reduction and width of deep neural networks based on topological degree theory
School of Mathematics and Statistics, Huazhong University of Science and Technology（数学与统计学学院，华中科技大学）；Hubei Key Laboratory of Engineering Modeling and Scientific Computing , Huazhong University of Science and Technology（工程建模与科学计算湖北省重点实验室，华中科技大学）
本文基于拓扑度理论建立紧致空间嵌入链接与降维可分离性的数学框架，并借此为深度神经网络的分类与逼近问题提供新见解。
2025-11-10 cs.LG math.GN
On the Reduction of Variance and Overestimation of Deep Q-Learning
University of Khartoum（喀土穆大学）；African Institute for Mathematical Sciences（非洲数学科学研究院）
针对深度Q学习的目标值方差高与过估计问题，提出将Dropout技术应用于该算法，经基准环境实验验证，该方法可提升稳定性并降低方差与过估计。
2024-04-14 cs.LG stat.ML
NoPeek: Information leakage reduction to share activations in distributed deep learning
Massachusetts Institute of Technology（麻省理工学院）
对于具有敏感数据的分布式机器学习，我们演示了如何最小化原始数据和中间表示之间的距离相关性，从而减少敏感原始数据模式在客户端通信中的泄漏，同时保持模型的准确性。泄漏（使用输入和中间表示之间的距离相关性进行测量）是与中间表示的原始数据的可逆性相关的风险。这可以防止持有敏感数据的客户端实体使用分布式深度学习服务。我们证明了我们的方法对这种重建攻击具有弹性，并且基于在图像数据集的训练和推理过程中减少原始数据和学习表示之间的距离相关性。我们防止这种重建的原始数据，同时保持所需的信息，以维持良好的分类精度。
2020-08-20 cs.DC cs.LG stat.ML
Theory of the Frequency Principle for General Deep Neural Networks
Department of Mathematics, Purdue University（普渡大学数学系）；New York University Abu Dhabi and Courant Institute（纽约大学阿布扎比分校及柯朗研究所）
本文严格研究了通用深度神经网络在训练过程中从低频到高频学习目标函数的频率原理，并给出了三个阶段的定理。
2026-06-26 cs.LG math.OC stat.ML
A deep learning-based model reduction (DeePMR) method for simplifying chemical kinetics
Shanghai Jiao Tong University（上海交通大学）；Shanghai Center for Brain Science and Brain-Inspired Technology（上海脑科学与类脑研究中心）；Princeton University（普林斯顿大学）；Peking University（北京大学）；AI for Science Institute（北京科学智能研究院）
提出了一种基于深度学习的模型降阶（DeePMR）方法用于简化化学动力学，并使用高温自燃、完全搅拌反应器（PSR）和正庚烷/空气混合物的一维自由传播火焰进行了验证。机构简化被建模为布尔空间上的优化问题，其中布尔向量，每个条目对应于一个物种，代表一个简化的机构。优化目标是在给定一组预先选定的基准量的误差容限的情况下，最小化减小的机构尺寸。DeePMR的关键思想是采用深度神经网络（DNN）来制定优化问题中的目标函数。为了有效地探索高维布尔空间，实现了迭代DNN辅助的数据采样和DNN训练过程。结果表明，DNN辅助显著提高了采样效率，仅从DNN的$10^{34}$可能样本中选择$10^5$样本以实现足够的准确性。结果表明，DNN识别关键物种的能力，并合理地预测减少机构的性能。经过良好训练的DNN通过解决逆优化问题来保证最佳简化机制。通过比较点火延迟时间，层流火焰速度，温度在PSR中，所得到的骨架机制具有较少的物种（45种），但相同的精度水平的骨架机制（56种）通过路径通量分析（PFA）方法获得。此外，如果仅考虑大气、近化学计量条件（当量比在0.6和1.2之间），骨架机制可以进一步减少到28种。DeePMR提供了一种执行模型简化的创新方法，并展示了数据驱动方法在燃烧领域的巨大潜力。
2022-09-08 cs.LG math.OC
Depth separation for reduced deep networks in nonlinear model reduction: Distilling shock waves in nonlinear hyperbolic problems
Courant Institute, New York University（纽约大学柯朗研究所）
经典的降阶模型是一种使用固定基的低秩近似，旨在实现大规模系统的降维。在这项工作中，我们引入了简化的深度网络，这是经典降阶模型的推广，被公式化为深度神经网络。我们证明深度分离的结果表明，减少深网络近似解的参数化双曲型偏微分方程的近似误差$ε$与$\mathcal{O}(|\log(ε)|)$自由度，即使在非线性设置的解决方案表现出冲击波。我们还表明，经典的降阶模型实现指数差的逼近率，通过建立相关的Kolmogorov $N$ -宽度的下界。
2020-07-28 cs.LG cs.NA math.NA
Averaged-DQN: Variance Reduction and Stabilization for Deep Reinforcement Learning
Department of Electrical Engineering（电气工程系）
深度强化学习（DRL）算法的不稳定性和可变性往往会对其性能产生不利影响。Averaged-DQN是DQN算法的一个简单扩展，基于对先前学习的Q值估计进行平均，通过减少目标值中的近似误差方差，从而实现更稳定的训练过程和改进的性能。为了了解该算法的效果，我们研究了价值函数估计误差的来源，并提供了一个简化模型内的分析比较。我们进一步提出了实验的街机学习环境的基准，证明显着提高稳定性和性能，由于所提出的扩展。
2017-03-10 cs.AI cs.LG stat.ML
Noise Reduction Technique for Raman Spectrum using Deep Learning Network
Prince of Songkla University（宋卡王子大学）
在正常的室内环境中，拉曼光谱遇到噪声往往掩盖了光谱峰，导致光谱解释困难。本文提出了一种基于深度学习（DL）的拉曼光谱降噪技术。建议的DL网络开发了几个训练和测试集的噪声拉曼光谱。该技术被应用到去噪和比较不同的小波降噪方法的性能。输出信噪比（SNR）、均方根误差（RMSE）和平均绝对百分比误差（MAPE）是性能评价指标。实验结果表明，该降噪方法的输出信噪比比小波降噪方法高10.24 dB，均方根误差（RMSE）和最大平均误差（MAPE）分别为292.63和10.09，明显优于小波降噪方法。
2020-09-09 cs.LG eess.SP physics.chem-ph
Nonlinear model reduction for operator learning
Technical University of Clausthal（克劳斯塔尔工业大学）；ISSE
本文提出KPCA-DeepONet框架，将核主成分分析与神经网络结合用于算子学习中的非线性模型降阶，实验证明其性能优于POD-DeepONet。
2024-03-27 cs.LG cs.NA math.NA
On Feature Reduction using Deep Learning for Trend Prediction in Finance
University of Sannio（桑尼奥大学）
将深度学习用于金融的主要优势之一是将大量信息嵌入到投资决策中。一种方法是通过压缩，这导致我们考虑更小的特征空间。一些研究证明，深度学习工具执行的非线性特征约简在价格趋势预测中是有效的。重点主要放在限制玻尔兹曼机（RBM）和它们所获得的输出。很少有人注意到自动编码器（AE）作为一种替代手段来执行特征约简。在本文中，我们调查的应用RBM和AE在更一般的条款，试图勾勒出建筑和输入空间的特性如何影响预测的质量。
2017-04-11 cs.LG q-fin.TR
Deep Autoencoders for Dimensionality Reduction of High-Content Screening Data
University of Toronto（多伦多大学）
高内容筛选使用大量未标记的细胞图像数据来推理遗传学或细胞生物学。两个重要的任务是鉴定具有感兴趣的表型的那些细胞，以及鉴定富集这些表型的亚群。这种探索性数据分析通常涉及降维，然后进行聚类，希望聚类代表一种表型。我们建议使用堆叠去噪自动编码器来执行高内容筛选的降维。我们证明了我们的方法优于PCA，局部线性嵌入，核PCA和Isomap的性能。
2015-01-07 cs.LG
Principled Pruning of Bayesian Neural Networks through Variational Free Energy Minimization
Eindhoven University of Technology（埃因霍温理工大学）；GN Hearing（GN听力公司）
本文基于变分自由能最小化将贝叶斯模型归约应用于贝叶斯神经网络剪枝，提出一种新颖的迭代剪枝算法以缓解近似误差，在UCI数据集上验证了其优于现有方法的性能。
2023-11-09 cs.LG eess.SP
Weight Matrix Dimensionality Reduction in Deep Learning via Kronecker Multi-layer Architectures
Scientific Computing and Imaging Institute（科学计算与成像研究所）；University of Utah（犹他大学）；School of Computing（计算学院）；Department of Mathematics（数学系）
使用神经网络的深度学习是生成复杂数据模型的有效技术。然而，当网络具有由大量层和节点导致的大模型容量时，训练这样的模型可能是昂贵的。对于在这种计算上禁止的制度中进行训练，降维技术减轻了计算负担，并允许实现更鲁棒的网络。我们提出了一种新型的降维，通过一种新的深度学习架构的基础上快速矩阵乘法的克罗内克积分解，特别是我们的网络建设可以被视为一个克罗内克产品引起的稀疏化的“扩展”全连接网络。分析和实际例子表明，这种架构允许一个神经网络的训练和实施的计算时间和资源显着减少，同时实现了类似的错误水平相比，传统的前馈神经网络。
2023-01-17 cs.LG cs.NA math.NA
Computational complexity reduction of deep neural networks
United States Naval Academy（美国海军学院）；U.S. Army Combat Capabilities Development Command（美国陆军作战能力发展司令部）；U.S. Army Research Laboratory（美国陆军研究实验室）
深度神经网络（DNN）在计算机视觉和自主导航领域得到了广泛的应用并发挥了重要作用。然而，这些DNN在计算上是复杂的，并且如果没有额外的优化和定制，它们在资源受限的平台上的部署是困难的。在本文中，我们描述了DNN架构的概述，并提出了降低计算复杂性的方法，以加快训练和推理速度，使其适合计算资源较低的边缘计算平台。
2022-07-29 cs.CC cs.CV cs.LG
Practical Deep Learning with Bayesian Principles
Tokyo Institute of Technology（东京工业大学）；University of Cambridge（剑桥大学）；Indian Institute of Technology (ISM)（印度理工学院（印度矿业学院））；RIKEN Center for AI Project（理化学研究所人工智能项目中心）；University of Osnabrück（奥斯纳布吕克大学）
贝叶斯方法有望解决深度学习的许多缺点，但它们不切实际，很少能与标准方法的性能相匹配，更不用说改进它们了。在本文中，我们演示了使用自然梯度变分推断对深度网络进行实际训练。通过应用批处理规范化、数据增强和分布式训练等技术，我们在与Adam优化器相同的时期内实现了类似的性能，即使在ImageNet这样的大型数据集上也是如此。重要的是，贝叶斯原理的好处得到了保留：预测概率得到了很好的校准，分布外数据的不确定性得到了改善，连续学习性能得到了提高。这项工作能够实现实用的深度学习，同时保留贝叶斯原则的优点。PyTorch实现可作为即插即用的优化器。
2019-10-30 cs.LG stat.ML
Frequency Principle in Deep Learning Beyond Gradient-descent-based Training
Wuhan University（武汉大学）；Shanghai Jiao Tong University（上海交通大学）
频率视角最近在理解深度学习方面取得了进展。在经验和理论研究中都得到了广泛验证，深度神经网络（DNN）往往从低频到高频拟合目标函数，即频率原理（F-Principle）。F-Principle揭示了DNN的优点和缺点，并激发了一系列后续工作，包括理论研究，实证研究和高效DNN结构的设计等。目前还不清楚基于梯度下降的训练是否是F原则的必要条件。在本文中，我们证明了F原则在非梯度下降训练的DNN的训练过程中稳定存在，包括具有梯度信息的优化算法，如共轭梯度和BFGS，以及没有梯度信息的算法，如Powell方法和粒子群优化。这些实证研究表明了F-原则的普遍性，并为进一步研究F-原则提供了启示。
2021-01-04 cs.LG
Solving stochastic optimal control problem via stochastic maximum principle with deep learning method
Shandong University（山东大学）；Shandong University-Zhongtai Securities Institute for Financial Studies（山东大学-中泰证券金融研究院）
本文从随机最大值原理的角度出发，通过深度学习来解决高维随机最优控制问题。通过引入扩展的哈密顿系统，它本质上是一个具有极大条件的FBM，我们将原来的控制问题转化为一个新的问题。提出了三种算法来解决新的控制问题。不同算例的数值结果表明了所提算法的有效性，特别是在高维情况下。该方法的一个重要应用是计算次线性期望，它对应于一类完全非线性的偏微分方程。
2021-06-22 cs.LG math.OC
Frequency Principle in Deep Learning with General Loss Functions and Its Potential Application
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；New York University Abu Dhabi（纽约大学阿布扎比分校）
以往的研究表明，具有共同设置的深度神经网络（DNN）往往会从低频到高频捕捉目标函数，这就是所谓的频率原理（F-Principle）。研究还表明，F-原理可以为DNN经常观察到的良好泛化能力提供理解。但以往的研究主要集中在均方误差的损失函数上，而实际中却使用了各种各样的损失函数。在这项工作中，我们表明，F原则适用于一般的损失函数（例如，均方误差、交叉熵等）。此外，DNN的F-原理可以应用于开发用于解决各种问题的数值方案，这些问题将受益于低频的快速收敛。作为F-原理潜在用途的一个例子，我们将DNN应用于求解微分方程，其中传统方法（例如，Jacobi方法由于由高频向低频收敛，通常求解速度较慢。
2018-11-26 cs.AI cs.LG stat.ML
Variance Reduction in Deep Learning: More Momentum is All You Need
TU Braunschweig（不伦瑞克工业大学）；Google Research（谷歌研究院）
方差缩减（VR）技术已经显著地促进了在平滑和强凸设置中利用大规模数据集的学习（Schmidt等人，2017; Johnson & Zhang，2013; Roux等人，2012年）。然而，由于各种因素，例如使用数据增强或dropout等正则化方法，这些技术尚未在大规模深度学习领域取得同样的成功（Defazio & Bottou，2019）。这一挑战最近激发了为深度学习明确定制的新颖方差减小技术的设计（Arnold等人，2019; Ma & Yarats，2018）。这项工作是朝着这个方向迈出的又一步。特别地，我们利用深度学习中使用的丰富数据集的普遍存在的聚类结构，通过组合现有的优化器（例如，SGD+动量、准双曲动量、隐式梯度传输）与多动量策略（Yuan等人，2019年）。我们的建议导致比标准基准数据集上的普通方法更快的收敛（例如，CIFAR和ImageNet）。它对标签噪声是鲁棒的，并且适合于分布式优化。我们在JAX中提供了一个并行实现。
2021-11-23 cs.CV cs.LG
Performance Analysis of Deep Autoencoder and NCA Dimensionality Reduction Techniques with KNN, ENN and SVM Classifiers
International University of Business Agriculture and Technology（国际商业农业技术大学）；Islamic University of Technology（伊斯兰科技大学）
本文的主要目的是在Matlab中实现Deep Autoencoder和Neighborhood Components Analysis（NCA）降维方法，并观察这些算法在UCI机器学习库中9个不同数据集上的应用。这些数据集包括CNAE 9、Movement Libras、Pima Indians diabetes、Parkinsons、Knowledge、Segmentation、Seeds、Mammographic Masses和Ionosphere。首先，通过使用Deep Autoencoder和NCA降维技术选择和提取最相关和最合适的特征或属性，这些数据集的维度已经减少到原始维度的50%。然后，每个数据集分类应用K-最近邻（KNN），扩展最近邻（ENN）和支持向量机（SVM）分类算法。所有的分类算法都是在Matlab环境下开发的。在每个分类中，训练测试数据比率始终设置为90%：10%。在分类时，观察和分析精度之间的变化，以找到每个降维技术与每个分类器的兼容程度，并评估每个分类器在每个数据集上的性能。
2019-12-24 cs.LG
CLCNet: Deep learning-based Noise Reduction for Hearing Aids using Complex Linear Coding
Sivantos GmbH（西万拓有限公司）
降噪是现代助听器的重要组成部分，并且包括在大多数市售设备中。然而，基于深度学习的最先进算法要么不考虑实时和频率分辨率约束，要么在非常嘈杂的条件下导致质量差。为了改善噪声环境下的单声道语音增强，我们提出了CLCNet，一个基于复值线性编码的框架。首先，我们定义了复线性编码（CLC）的线性预测编码（LPC），这是应用在复频域的动机。其次，我们提出了一个框架，结合复杂的频谱图输入和系数输出。第三，我们定义了一个参数归一化复值频谱图，符合低延迟和在线处理。我们的CLCNet进行了评估的混合EUROM数据库和现实世界的噪声数据集记录与助听器，并与传统的实值维纳滤波器增益。
2020-01-28 cs.LG cs.SD eess.AS
Motion Artifact Reduction in Quantitative Susceptibility Mapping using Deep Neural Network
Cornell University（康奈尔大学）；Weill Medical College of Cornell University（康奈尔大学威尔医学院）
提出了一种使用深度学习来减少定量敏感性映射中的运动伪影的方法。我们使用仿射运动模型与随机创建的运动轮廓来模拟运动损坏的QSM图像。将模拟的QSM图像与其无运动参考配对，以使用监督学习来训练神经网络。训练的网络在健康志愿者和帕金森病患者中对看不见的模拟运动损坏的QSM图像进行测试。结果表明，运动伪影，如振铃和重影，被成功地抑制。
2021-05-04 cs.LG eess.IV physics.med-ph
Parameter-free Reduction of the Estimation Bias in Deep Reinforcement Learning for Deterministic Policy Gradients
在基于值的深度强化学习中，价值函数的近似会导致高估偏差，从而导致次优策略。我们发现，当代理人收到的强化信号有很高的方差，深演员批评的方法，克服高估偏见导致大量低估偏见。我们首先解决现有的方法，旨在克服这种低估错误的有害问题。然后，通过广泛的统计分析，我们引入了一种新的、无参数的深度Q学习变体，以减少确定性策略梯度中的这种低估偏差。通过从高度收缩的估计偏差区间中对两个近似批评者的线性组合的权重进行采样，我们的Q值更新规则不受代理在整个学习过程中收到的奖励方差的影响。我们测试了一组MuJoCo和Box2D连续控制任务的性能改进，并证明它大大优于现有的方法，并提高了国家的最先进的显着保证金。
2022-05-19 cs.AI cs.LG stat.ML
Compression Method for Deep Diagonal State Space Model Based on $H^2$ Optimal Reduction
Department of Mathematical Informatics, Graduate School of Information Science and Technology, The University of Tokyo（数学信息学系，信息科学与技术研究生院，东京大学）
针对融合线性SSM的深度学习模型参数量大难部署的问题，提出将控制论$H^2$模型阶次约简技术用于其线性SSM组件的参数约简方法，在LRA基准上表现优于平衡截断法，可在保性能的前提下将SSM参数量缩至1/32。
2025-07-30 cs.LG cs.SY eess.SY
Data Consistent Artifact Reduction for Limited Angle Tomography with Deep Learning Prior
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Siemens Healthcare GmbH（西门子医疗有限公司）；Shanghai Jiao Tong University（上海交通大学）；Erlangen Graduate School in Advanced Optical Technologies (SAOT)（埃尔朗根先进光学技术研究生院（SAOT））
有限角度断层扫描的深度学习方法的鲁棒性受到两个主要因素的挑战：a）由于训练数据不足，网络可能无法很好地推广到看不见的数据; b）深度学习方法对噪声敏感。因此，直接从神经网络生成重建图像似乎是不够的。我们建议约束重建图像与测量的投影数据一致，而未测量的信息是由基于学习的方法补充。为此，引入了数据一致性伪影减少（DCAR）方法：首先，通过深度学习从初始有限角度重建生成先验图像作为缺失信息的替代。然后，应用常规的迭代重建算法，将测量角度范围内的数据一致性和缺失角度范围内的先验信息相结合。这确保了测量区域的数据完整性，而深度学习先验知识所包含的不准确性仅存在于未获取信息的区域。所提出的DCAR方法实现了显着的图像质量的改善：120度锥束有限角断层扫描超过10%的RMSE减少在无噪声的情况下，超过24%的RMSE减少在有噪声的情况下相比，一个国家的最先进的基于U-Net的方法。
2019-08-28 cs.CV cs.LG eess.IV
TensorProjection Layer: A Tensor-Based Dimension Reduction Method in Deep Neural Networks
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
本文提出 TensorProjection 层，通过可学习的按模态投影对张量特征进行降维，可替代池化或卷积层用于图像汇总和通道压缩，并在医学图像分类与分割任务中优于传统下采样方法。
2024-10-22 cs.CV cs.LG stat.ML
Deep-HyROMnet: A deep learning-based operator approximation for hyper-reduction of nonlinear parametrized PDEs
Politecnico di Milano（米兰理工大学）
为了加速参数化微分问题的解决方案，多年来已经开发了降阶模型（ROM），包括基于投影的ROM，例如缩减基（RB）方法，基于深度学习的ROM以及通过机器学习方法获得的代理模型。由于其基于物理的结构，通过使用全阶模型（FOM）到线性低维子空间上的Galerkin投影来确保，RB方法产生满足手头物理问题的近似。然而，为了使ROM的组装独立于FOM维度，通常需要侵入性和昂贵的超简化阶段，例如离散经验插值方法（DEIM），从而使得这种策略对于以（高阶多项式或非多项式）非线性为特征的问题不太可行。为了克服这个瓶颈，我们提出了一种使用深度神经网络（DNN）学习非线性ROM算子的新策略。由此产生的由深度神经网络增强的超降阶模型，我们称之为Deep-HyROMnet，是一个基于物理的模型，仍然依赖于RB方法，但是一旦执行了Galerkin投影，就使用DNN架构来近似减少的残差向量和雅可比矩阵。非线性结构力学快速模拟的数值结果表明，Deep-HyROMnets比POD-Galerkin-DEIM ROM快几个数量级，保持相同的精度水平。
2022-02-05 cs.LG cs.NA math.NA
Augmenting Organizational Decision-Making with Deep Learning Algorithms: Principles, Promises, and Challenges
ETH Zurich（苏黎世联邦理工学院）
当前人工智能在管理和组织研究中的理论和研究的扩展使组织决策的理论和研究重新焕发了活力。特别是，深度学习（DL）算法的最新进展有望为组织内的决策带来好处，例如帮助员工进行信息处理，从而增强他们的分析能力，并可能帮助他们过渡到更具创造性的工作。
2020-11-02 cs.LG
Deep learning for gradient flows using the Brezis-Ekeland principle
Università di Trento（特伦托大学）；University College London（伦敦大学学院）
我们提出了一种深度学习方法，用于梯度流中出现的偏微分方程的数值解。该方法依赖于Brezis-Ekeland原理，该原理自然地定义了要最小化的目标函数，因此非常适合使用深度神经网络的机器学习方法。我们描述了我们的方法在一个一般的框架，并说明了方法的帮助下，在空间维度2至7的热方程的一个例子实现。
2022-09-28 cs.LG cs.NA math.NA
An In-Depth Analysis of Data Reduction Methods for Sustainable Deep Learning
University of Seville（塞维利亚大学）；University of Loyola（洛约拉大学）；Biocentis
本文针对深度学习训练的能耗与存储效率问题，提出八种表格数据集缩减方法及Python包，引入基于拓扑的代表性度量，并扩展至图像目标检测任务，实验评估了各方法对代表性、能耗和预测性能的影响。
2024-03-22 cs.CV cs.LG
Synthesizing Optimal Parallelism Placement and Reduction Strategies on Hierarchical Systems for Deep Learning
University of Cambridge（剑桥大学）；DeepMind
我们提出了一种新的表征的映射到分层加速器系统的多个并行形式（例如，数据和模型并行）是层次意识，大大减少了空间的软件到硬件的映射。我们通过实验验证了这些映射对全归约性能的实质性影响（高达448倍）。我们提供了一个新的语法指导的程序合成框架，能够分解减少一个或多个并行轴的集体序列的层次结构和映射感知的方式。对于69%的并行放置和用户请求的减少，我们的框架合成的程序在不同的GPU层次结构上进行评估时，性能优于默认的所有减少实现（最大2.04倍，平均1.27倍）。我们补充了我们的合成工具，模拟器超过90%的前10名的准确性，因此减少了对合成结果进行大量评估以确定一小部分最佳程序和映射的需要。
2021-11-16 cs.DC cs.LG cs.PL
Overview frequency principle/spectral bias in deep learning
School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院）；CMA-Shanghai, Shanghai Jiao Tong University（上海交通大学中国精算研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文概述了深度学习中的频率原理（F-Principle/谱偏置），指出 DNNs 在训练时倾向于从低频到高频拟合函数，揭示了其学习低频函数的优势和高频函数的不足，并提出了未来研究的开放问题。
2024-11-12 cs.LG
Memory Requirement Reduction of Deep Neural Networks Using Low-bit Quantization of Parameters
University of Pisa（比萨大学）；Tampere University（坦佩雷大学）
深度神经网络（DNN）在移动设备和嵌入式系统中的有效应用受到内存和计算能力要求的阻碍。本文提出了一种非均匀量化方法，该方法允许对不同层和同一层内的DNN参数进行动态量化。为了提高该方案的准确性，还提出了一种虚拟比特移位（VBS）方案。我们的方法降低了内存需求，保持了网络的性能。在一个语音增强应用中，我们的方法的性能得到了验证，其中一个完全连接的DNN被用来从输入的噪声语音频谱预测干净的语音频谱。DNN被优化，其内存占用和性能使用短时客观可懂度（STOI）指标进行评估。低位量化的应用允许DNN内存占用减少50%，而STOI性能仅下降2.7%。
2019-11-01 cs.LG cs.PF cs.SD
The Free Energy Principle for Perception and Action: A Deep Learning Perspective
Ghent University（根特大学）；imec（校际微电子中心）
自由能原理及其必然的主动推理构成了一种生物启发理论，该理论假设生物制剂的行为保持在世界的一组受限的优选状态中，即，它们最大限度地减少了自由能。根据这一原则，生物代理学习世界的生成模型，并计划未来的行动，以保持代理处于满足其偏好的稳态。这个框架适合于在硅片上实现，因为它包含了使其在计算上负担得起的重要方面，例如变分推理和摊销规划。在这项工作中，我们调查的工具，深度学习设计和实现人工智能体的基础上主动推理，提出了一个面向深度学习的介绍自由能原则，调查工作，相关的机器学习和主动推理领域，并讨论了设计的选择，在实施过程中所涉及的。本手稿探讨了主动推理框架的新视角，将其理论方面与更实用的事务相结合，为主动推理新手提供了实用指南，并为希望研究自由能原理实现的深度学习实践者提供了起点。
2022-07-13 cs.AI cs.LG q-bio.NC
Dimensionality Reduction in Deep Learning for Chest X-Ray Analysis of Lung Cancer
Huizhou University（惠州学院）
通过深度学习方法评估了一些降维技术（如肺分割、骨影排除和用于排除离群值的t分布随机邻居嵌入（t-SNE））用于分析胸部X射线（CXR）2D图像的效率，以帮助放射科医生识别CXR中的肺癌标记。对开放JSRT数据集（数据集#01）、骨影排除后的JSRT- BSE-JSRT（数据集#02）、肺分割后的JSRT（数据集#03）、肺分割后的BSE-JSRT（数据集#04）和通过t-SNE方法排除离群值后的分割BSE-JSRT（数据集#05）进行简单卷积神经网络（CNN）的训练和验证。结果表明，与其他预处理数据集相比，在肺分割、骨影排除和通过t-SNE过滤出离群值之后获得的预处理数据集（数据集#05）表现出最高的训练率和最佳的准确性。
2018-01-19 cs.CY cs.LG
DeepReDuce: ReLU Reduction for Fast Private Inference
New York University（纽约大学）
最近对隐私问题的担忧导致研究人员设计出私人神经推理的方法-直接在加密数据上进行推理，而不会看到输入。私有推理面临的主要挑战是，对加密数据进行计算会带来不切实际的高延迟惩罚，主要来自ReLU等非线性运算符。实现实用和私有的推理需要新的优化方法，以最大限度地减少网络ReLU计数，同时保持准确性。本文提出了DeepReduce：一组明智地删除ReLU以减少私有推理延迟的优化。关键的见解是，并非所有的ReLU对准确性的贡献都是一样的。我们利用这一洞察力从经典网络中删除或删除ReLU，以显著降低推理延迟并保持高准确性。给定一个目标网络，DeepReduce输出一个网络的帕累托边界，权衡ReLU的数量和准确性。与最先进的私有推理相比，DeepReduce提高了准确性，并将ReLU计数分别减少了3.5%（iso-ReLU计数）和3.5 $\times$（iso-accuracy）。
2021-06-22 cs.CR cs.LG
A two stages Deep Learning Architecture for Model Reduction of Parametric Time-Dependent Problems
SISSA（的里雅斯特国际高等研究院）；University of Urbino（乌尔比诺大学）；University of Urbino Carlo Bo（卡洛·博乌尔比诺大学）
参数化不定常系统在模拟真实现象中具有重要意义，通常也具有非线性行为。这些解决方案通常难以在足够宽的参数空间中推广，同时依靠有限的可用计算资源。因此，我们提出了一个通用的两阶段深度学习框架，能够以较低的计算工作量及时执行该泛化。它包括两个管道预测模型的单独训练。首先，用取自参数空间的不同子集的数据集训练一定数量的独立神经网络。随后，第二个预测模型被专门用于正确组合第一阶段的猜测并计算正确的预测。将该框架应用于腔（Rayleigh-Bernard腔）中的不可压Navier-斯托克斯方程，得到了令人满意的结果，与新的Grashof数相比，计算时间减少了97%.
2023-01-25 cs.LG cs.NA math.NA
The model reduction of the Vlasov-Poisson-Fokker-Planck system to the Poisson-Nernst-Planck system via the Deep Neural Network Approach
Pohang University of Science and Technology (POSTECH)（浦项科技大学）；University of Bonn（波恩大学）
自希尔伯特以来，将介观动力学模型约化为宏观连续动力学模型一直是数学物理的基本问题之一。本文考虑了有界区间上的Vlasov-Poisson-Fokker-Planck（VPFP）系统在镜面反射边界条件下到Poisson-Nernst-Planck（PNP）系统在无通量边界条件下的扩散极限图.我们提供了一种深度学习算法，通过计算解和物理量的时间渐近行为来模拟VPFP系统和PNP系统。通过渐近保持（AP）方案，我们分析了VPFP系统的神经网络解收敛到PNP系统的神经网络解。此外，我们提供了几个理论证据，证明如果总损失函数为零，则VPFP和PNP系统的深度神经网络（DNN）解决方案收敛于每个系统的先验经典解。
2020-09-28 cs.LG cs.NA math.AP
Neural Lattice Reduction: A Self-Supervised Geometric Deep Learning Approach
Royal Institute of Technology (KTH)（皇家理工学院（KTH））；Qualcomm AI Research（高通人工智能研究中心）
本文提出一种自监督几何深度学习方法用于格基约简，通过等变与不变参数化设计深度神经模型，在无需监督数据的情况下取得与LLL算法相当的复杂度和性能，并扩展至卷积架构以联合约简空间相关格。
2025-02-10 cs.AI cs.DM cs.LG
A Primer on Motion Capture with Deep Learning: Principles, Pitfalls and Perspectives
Swiss Federal Institute of Technology (EPFL)（瑞士联邦理工学院（EPFL））；The Rowland Institute at Harvard, Harvard University（哈佛大学哈佛罗兰研究所）；University of Tübingen（图宾根大学）；International Max Planck Research School for Intelligent Systems（国际马克斯·普朗克智能系统研究学院）
非侵入性地从视频中提取行为测量是一个困难的计算问题。深度学习的最新进展极大地促进了直接从视频中预测姿势，这迅速影响了神经科学和生物学。在这篇入门文章中，我们回顾了使用深度学习进行运动捕捉的新兴领域。特别是，我们将讨论这些新算法的原理，强调它们的潜力以及实验主义者的陷阱，并提供对未来的一瞥。
2020-09-02 cs.CV cs.LG q-bio.NC
