An optical diffractive deep neural network with multiple frequency-channels
衍射深度神经网络（DNNet）是一种新型的光传输调制机器学习框架。衍射网络将以光速进行预测。它是纯无源架构，没有额外的功耗。我们用不同频率的光波提高了衍射网络的精度。每个层具有多个频率通道（在不同频率处的光学分布）。这些通道在输出平面合并以获得最终输出。在fasion-MNIST和EMNIST数据集上的实验表明，多频率通道将大大提高准确率。我们还详细分析了DNNet和MLP之间的差异。DNNet中的调制过程实际上是光学激活函数。我们开发了一个开源软件包ONNet。源代码可在https://github.com/closest-git/ONNet上获得。
2019-12-23 cs.LG cs.NE physics.optics
Sparsity Meets Robustness: Channel Pruning for the Feynman-Kac Formalism Principled Robust Deep Neural Nets
University of California, Irvine（加州大学欧文分校）；University of California, Los Angeles（加州大学洛杉矶分校）
深度神经网络（DNN）压缩对于适应移动设备至关重要。虽然存在许多成功的算法来压缩自然训练的DNN，但为健壮训练的DNN开发高效和稳定的压缩算法仍然是一个很大的问题。在本文中，我们专注于高效DNN压缩算法和稀疏神经架构的协同设计，以实现鲁棒和准确的深度学习。这样的协同设计使我们能够推进同时容纳稀疏性和鲁棒性的目标。考虑到这一目标，我们利用基于松弛增广拉格朗日的算法来修剪结构化和非结构化级别上的对抗训练DNN的权重。使用Feynman-Kac形式主义原则的鲁棒和稀疏DNN，我们可以将对抗训练的ResNet 20的信道稀疏度至少提高一倍用于CIFAR 10分类，同时将自然准确率提高$8.69$ \%，并将IFGSM攻击的基准$20$迭代下的鲁棒准确率提高$5.42$ \%。代码可在\url{https://github.com/BaoWangMath/rvsm-rgsm-admm}上获得。
2020-03-02 cs.AI cs.LG stat.ML
Wahkon: A Statistically Principled Deep RKHS Superposition Network
Harvard University（哈佛大学）；University of Georgia（佐治亚大学）
Wahkon结合Kolmogorov超位置原理与RKHS正则化，提供有限维深度表示定理，实现训练可行性与层间复杂度控制，通过统计保证提升预测准确性与解释性。
2026-05-13 cs.LG stat.ME
An Explainable FFT-Based Spatial-Frequency Fusion Framework for Deepfake Detection
针对深度伪造检测问题，提出基于快速傅里叶变换的MSCA-FFT框架，结合Xception空间分支与FFT频率分支，经变压器编码器细化、交叉注意力融合后由MLP分类，性能优于DCT方法及基线模型，且频率分支能提供互补线索并给出可解释证据。
2026-07-27 cs.CV cs.LG
Multi-scale Deep Neural Network (MscaleDNN) for Solving Poisson-Boltzmann Equation in Complex Domains
Beijing Computational Science Research Center（北京计算科学研究中心）；Southern Methodist University（南卫理公会大学）；Shanghai Jiao Tong University（上海交通大学）
在本文中，我们提出了多尺度深度神经网络（MscaleDNNs），使用频域中的径向缩放思想和具有紧支持的激活函数。径向缩放将偏微分方程解的高频内容的近似问题转换为学习低频函数的问题，并且紧凑支持激活函数便于分离要由相应的DNN近似的目标函数的频率内容。因此，MscaleDNN在多个尺度上实现快速一致收敛。所提出的MscaleDNN被证明是优于传统的全连接DNN，是一个有效的无网格数值方法的泊松-玻尔兹曼方程具有丰富的频率内容在复杂和奇异域。
2020-09-28 cs.LG cs.NA math.NA
Deep frequency principle towards understanding why deeper learning is faster
Shanghai Jiao Tong University（上海交通大学）
理解深度对深度学习的影响是一个关键问题。在这项工作中，我们利用傅立叶分析来经验性地提供一种有前途的机制，以理解为什么前馈深度学习更快。为此，我们在分析期间将通过正常随机梯度下降训练的深度神经网络分成两部分，即，一个前置条件组件和一个学习组件，其中前置条件组件的输出是学习组件的输入。我们使用滤波方法来表征高维函数的频率分布。基于深度网络和真实数据集的实验，我们提出了深度频率原则，即在训练过程中，更深隐藏层的有效目标函数偏向更低的频率。因此，如果前置条件组件具有更多层，则学习组件有效地学习较低频率函数。根据频率原理，即深度神经网络学习低频函数的速度更快，深度频率原理为为什么深度学习更快提供了合理的解释。我们相信，这些实证研究将是有价值的深度在深度学习的影响未来的理论研究。
2020-12-20 cs.LG stat.ML
Frequency Principle in Deep Learning with General Loss Functions and Its Potential Application
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；New York University Abu Dhabi（纽约大学阿布扎比分校）
以往的研究表明，具有共同设置的深度神经网络（DNN）往往会从低频到高频捕捉目标函数，这就是所谓的频率原理（F-Principle）。研究还表明，F-原理可以为DNN经常观察到的良好泛化能力提供理解。但以往的研究主要集中在均方误差的损失函数上，而实际中却使用了各种各样的损失函数。在这项工作中，我们表明，F原则适用于一般的损失函数（例如，均方误差、交叉熵等）。此外，DNN的F-原理可以应用于开发用于解决各种问题的数值方案，这些问题将受益于低频的快速收敛。作为F-原理潜在用途的一个例子，我们将DNN应用于求解微分方程，其中传统方法（例如，Jacobi方法由于由高频向低频收敛，通常求解速度较慢。
2018-11-26 cs.AI cs.LG stat.ML
Frequency Principle in Deep Learning Beyond Gradient-descent-based Training
Wuhan University（武汉大学）；Shanghai Jiao Tong University（上海交通大学）
频率视角最近在理解深度学习方面取得了进展。在经验和理论研究中都得到了广泛验证，深度神经网络（DNN）往往从低频到高频拟合目标函数，即频率原理（F-Principle）。F-Principle揭示了DNN的优点和缺点，并激发了一系列后续工作，包括理论研究，实证研究和高效DNN结构的设计等。目前还不清楚基于梯度下降的训练是否是F原则的必要条件。在本文中，我们证明了F原则在非梯度下降训练的DNN的训练过程中稳定存在，包括具有梯度信息的优化算法，如共轭梯度和BFGS，以及没有梯度信息的算法，如Powell方法和粒子群优化。这些实证研究表明了F-原则的普遍性，并为进一步研究F-原则提供了启示。
2021-01-04 cs.LG
Explicitizing an Implicit Bias of the Frequency Principle in Two-layer Neural Networks
New York University Abu Dhabi（纽约大学阿布扎比分校）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）；Purdue University（普渡大学）
深度神经网络（DNN）的参数比样本多，为什么它的泛化能力很好，这仍然是一个谜。理解这个难题的一个尝试是发现DNN训练过程中的隐含偏见，例如频率原则（F原则），即，DNN通常适合从低频到高频的目标函数。受F原则的启发，我们提出了一个有效的线性F原则（LFP）动力学模型，该模型可以准确预测大宽度的双层ReLU神经网络（NN）的学习结果。这种LFP动力学是合理化的线性平均场剩余动力学的神经网络。重要的是，这个LFP动态的长时间限制的解决方案是等价的约束优化问题的解决方案，明确地最小化FP-范数，其中更高频率的可行的解决方案更严重的惩罚。使用这种优化配方，提供了一个先验估计的泛化误差界，揭示了更高的FP-范数的目标函数增加的泛化误差。总的来说，通过将F原则的隐式偏差明确化为双层NN的显式惩罚，我们的工作朝着定量理解一般DNN的学习和泛化迈出了一步。
2019-05-24 cs.LG stat.ML
Overview frequency principle/spectral bias in deep learning
School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院）；CMA-Shanghai, Shanghai Jiao Tong University（上海交通大学中国精算研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文概述了深度学习中的频率原理（F-Principle/谱偏置），指出 DNNs 在训练时倾向于从低频到高频拟合函数，揭示了其学习低频函数的优势和高频函数的不足，并提出了未来研究的开放问题。
2024-11-12 cs.LG
Practical Deep Learning with Bayesian Principles
Tokyo Institute of Technology（东京工业大学）；University of Cambridge（剑桥大学）；Indian Institute of Technology (ISM)（印度理工学院（印度矿业学院））；RIKEN Center for AI Project（理化学研究所人工智能项目中心）；University of Osnabrück（奥斯纳布吕克大学）
贝叶斯方法有望解决深度学习的许多缺点，但它们不切实际，很少能与标准方法的性能相匹配，更不用说改进它们了。在本文中，我们演示了使用自然梯度变分推断对深度网络进行实际训练。通过应用批处理规范化、数据增强和分布式训练等技术，我们在与Adam优化器相同的时期内实现了类似的性能，即使在ImageNet这样的大型数据集上也是如此。重要的是，贝叶斯原理的好处得到了保留：预测概率得到了很好的校准，分布外数据的不确定性得到了改善，连续学习性能得到了提高。这项工作能够实现实用的深度学习，同时保留贝叶斯原则的优点。PyTorch实现可作为即插即用的优化器。
2019-10-30 cs.LG stat.ML
Is the Frequency Principle always valid?
School of Mathematics, Sichuan University（数学学院，四川大学）
本文研究单位球面S²上浅层ReLU网络的学习动态，发现固定或可训练神经元方向下频率原理（FP）通常成立但在特定条件下可被违反，FP是趋势而非规则，可训练方向影响学习复杂度与频率优势。
2025-08-24 cs.LG cs.NA math.NA
Deep Active Learning: Unified and Principled Method for Query and Training
Université Laval（拉瓦尔大学）；Mila, Canada CIFAR AI Chair（Mila（加拿大）CIFAR人工智能主席）；University of Western Ontario（西安大略大学）；Vector Institute（Vector研究所（注：该机构常见译名为“Vector研究院”））
在本文中，我们提出了一个统一的和原则性的方法，查询和训练过程中的深批主动学习。我们通过采用Wasserstein距离，将主动学习中的交互过程建模为分布匹配，从而提供理论见解。因此，我们从理论分析中推导出一个新的训练损失，通过交替优化将其分解为优化深度神经网络参数和批量查询选择。此外，通过利用未标记的数据信息，训练深度神经网络的损失自然地被公式化为最小-最大优化问题。此外，所提出的原则也表明了一个明确的不确定性多样性的权衡在查询批量选择。最后，我们评估我们提出的方法在不同的基准，一贯表现出更好的经验性能和更好的时间效率的查询策略相比，基线。
2020-02-26 cs.LG stat.ML
Solving stochastic optimal control problem via stochastic maximum principle with deep learning method
Shandong University（山东大学）；Shandong University-Zhongtai Securities Institute for Financial Studies（山东大学-中泰证券金融研究院）
本文从随机最大值原理的角度出发，通过深度学习来解决高维随机最优控制问题。通过引入扩展的哈密顿系统，它本质上是一个具有极大条件的FBM，我们将原来的控制问题转化为一个新的问题。提出了三种算法来解决新的控制问题。不同算例的数值结果表明了所提算法的有效性，特别是在高维情况下。该方法的一个重要应用是计算次线性期望，它对应于一类完全非线性的偏微分方程。
2021-06-22 cs.LG math.OC
Simple and Principled Uncertainty Estimation with Deterministic Deep Learning via Distance Awareness
Google Research（谷歌研究院）；Harvard University（哈佛大学）
贝叶斯神经网络（BNN）和深度集成是估计深度学习模型的预测不确定性的原则性方法。然而，它们的实用性在实时，工业规模的应用是有限的，由于其沉重的内存和推理成本。这促使我们研究只需要单个深度神经网络（DNN）的高质量不确定性估计的原则方法。通过将不确定性量化形式化为极大极小学习问题，我们首先识别输入距离感知，即，模型量化测试示例与输入空间中的训练数据的距离的能力，作为DNN实现高质量的必要条件（即，最小最大最优）不确定性估计。然后，我们提出了频谱归一化神经高斯过程（SNGP），这是一种简单的方法，通过在训练过程中添加权重归一化步骤并将输出层替换为高斯过程，提高了现代DNN的距离感知能力。在一系列视觉和语言理解任务以及现代架构（Wide-ResNet和BERT）上，SNGP在预测，校准和域外检测方面与深度集成具有竞争力，并且优于其他单模型方法。
2020-10-26 cs.LG stat.ML
Deep Networks from the Principle of Rate Reduction
Department of EECS, University of California, Berkeley（加州大学伯克利分校电气工程与计算机科学系）；Department of Electrical Engineering and Data Science Institute, Columbia University（哥伦比亚大学电气工程与数据科学研究所）；Department of Applied Physics and Applied Mathematics, Columbia University（哥伦比亚大学应用物理与应用数学系）
这项工作试图从速率降低和（移位）不变分类的原理来解释现代深度（卷积）网络。我们发现，用于优化学习特征的速率降低的基本迭代梯度上升方案自然会导致多层深度网络，每层一次迭代。分层结构，线性和非线性算子，甚至网络的参数都是通过模拟梯度方案以前向传播方式逐层显式构建的。这个“白盒”网络的所有组件都具有精确的优化、统计和几何解释。这个原则性框架也揭示和证明了多通道提升和稀疏编码在深度网络早期阶段的作用。此外，当我们强制分类为严格的平移不变时，由此导出的网络的所有线性算子自然成为多通道卷积。推导还表明，这样的卷积网络在谱域中的构造和学习效率要高得多。我们的初步模拟和实验表明，即使没有任何反向传播训练，这样构建的深度网络也已经可以学习到良好的区分表示。
2020-10-27 cs.IT cs.LG math.IT
Deep Probabilistic Modelling of Price Movements for High-Frequency Trading
University College London（伦敦大学学院）
在本文中，我们提出了一个深经常性的架构，高频市场价格的概率建模，重要的自动交易系统的风险管理。我们提出的架构将概率混合模型纳入深度递归神经网络。由此产生的深度混合模型同时解决了几个实际的挑战，重要的自动化高频交易策略的发展，以前被忽视的文献：1）概率预测的价格变动; 2）单一目标预测的方向和大小的价格变动。我们对高频比特币市场数据进行训练，并根据从文献中获得的基准模型对其进行评估。我们表明，我们的模型优于基准模型在基于指标的测试和模拟交易情况
2020-03-31 cs.LG q-fin.ST q-fin.TR
Integer Quantization for Deep Learning Inference: Principles and Empirical Evaluation
NVIDIA（英伟达）；Georgia Institute of Technology（佐治亚理工学院）
量化技术可以通过利用高吞吐量整数指令来减小深度神经网络的大小并改善推理延迟和吞吐量。在本文中，我们回顾了量化参数的数学方面，并评估他们的选择范围广泛的神经网络模型，用于不同的应用领域，包括视觉，语音和语言。我们专注于量化技术，适合加速处理器与高吞吐量整数数学管道。我们还提出了一个8位量化的工作流程，该工作流程能够在所研究的所有网络上将精度保持在浮点基线的1%以内，包括更难以量化的模型，如MobileNets和BERT-large。
2020-04-20 cs.LG stat.ML
An Information-Theoretic Optimality Principle for Deep Reinforcement Learning
我们从方法上解决了深度强化学习中Q值高估的问题，以有效地处理高维状态空间。从信息论的概念，我们引入了一个内在的惩罚信号，鼓励减少Q值估计。由此产生的算法包含广泛的学习结果，其中包含深度Q网络作为特例。不同的学习成果可以通过相应地调整拉格朗日乘数来展示。此外，我们提出了一种新的调度方案，这个拉格朗日乘子，以确保有效和强大的学习。在Atari上的实验中，我们的算法在游戏性能和样本复杂度方面都优于其他算法（例如深度和双深度Q网络）。这些结果仍然有效，根据最近提出的决斗架构。
2018-11-20 cs.AI cs.LG stat.ML
Maximum Principle Based Algorithms for Deep Learning
Institute of High Performance Computing（高性能计算研究所）；Agency for Science, Technology and Research（科学技术研究局）；Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）；Princeton University（普林斯顿大学）
探讨了深度学习的连续动力系统方法，以便为训练算法设计替代框架。训练被改写为一个控制问题，这使我们能够使用庞特里亚金最大值原理（PMP）在连续时间内制定必要的最优性条件。然后使用逐次逼近方法的修改来求解PMP，从而产生用于深度学习的替代训练算法。这种方法的优点是可以建立严格的误差估计和收敛结果。我们还表明，它可以避免一些基于梯度的方法，如鞍点附近的平坦景观收敛缓慢的陷阱。此外，我们证明，它获得了良好的初始收敛速度每迭代，提供汉密尔顿最大化可以有效地进行-这一步仍然需要改进。总的来说，该方法为解决与深度学习相关的问题开辟了新的途径，例如在缓慢流形中的捕获以及基于梯度的方法对离散可训练变量的不适用性。
2018-06-02 cs.LG stat.ML
Multi-scale DeepOnet (Mscale-DeepOnet) for Mitigating Spectral Bias in Learning High Frequency Operators of Oscillatory Functions
Hunan Normal University（湖南师范大学）；Dartmouth College（达特茅斯学院）；Southern Methodist University（南卫理公会大学）
针对DeepOnet学习高振荡函数高频映射时的频谱偏差问题，提出在分支和主干网络引入多尺度神经网络的Mscale-DeepOnet，应用于亥姆霍兹方程系数与解的非线性映射，在高频波散射问题中较普通DeepOnet有显著改进。
2025-04-15 cs.LG cs.NA math.NA
Augmenting Organizational Decision-Making with Deep Learning Algorithms: Principles, Promises, and Challenges
ETH Zurich（苏黎世联邦理工学院）
当前人工智能在管理和组织研究中的理论和研究的扩展使组织决策的理论和研究重新焕发了活力。特别是，深度学习（DL）算法的最新进展有望为组织内的决策带来好处，例如帮助员工进行信息处理，从而增强他们的分析能力，并可能帮助他们过渡到更具创造性的工作。
2020-11-02 cs.LG
Deep regression learning from dependent observations with minimum error entropy principle
Institut Camille Jordan, Université Jean Monnet（让·莫内大学卡米尔·乔丹研究所）；THEMA, CY Cergy Paris Université（巴黎中央理工-高教大学THEMA）
本文提出基于最小误差熵原理的深度神经网络方法，用于强混合观测的非参数回归，通过建立上界证明了该方法在Hölder函数类中的最优收敛速率。
2026-03-11 cs.LG math.ST stat.ML
Deep learning for gradient flows using the Brezis-Ekeland principle
Università di Trento（特伦托大学）；University College London（伦敦大学学院）
我们提出了一种深度学习方法，用于梯度流中出现的偏微分方程的数值解。该方法依赖于Brezis-Ekeland原理，该原理自然地定义了要最小化的目标函数，因此非常适合使用深度神经网络的机器学习方法。我们描述了我们的方法在一个一般的框架，并说明了方法的帮助下，在空间维度2至7的热方程的一个例子实现。
2022-09-28 cs.LG cs.NA math.NA
PhaseDNN - A Parallel Phase Shift Deep Neural Network for Adaptive Wideband Learning
Southern Methodist University（南卫理公会大学）；Hunan Normal University（湖南师范大学）
在本文中，我们提出了一种相移深度神经网络（PhaseDNN），它在网络训练期间提供了近似高维函数的宽带收敛。PhaseDNN利用了许多DNN首先在低频范围内实现收敛的事实，因此，一系列中等大小的DNN被构建并并行训练用于更高频率的范围。在频域相移的帮助下，通过对训练数据进行简单的相位因子乘法来实现，系列中的每个DNN将被训练以近似目标函数在特定范围内的较高频率内容。由于相移，每个DNN实现了在低频范围内的收敛速度。因此，所提出的PhaseDNN系统能够将宽带频率学习转换为低频学习，从而允许通过频率自适应训练对宽带高维函数进行均匀学习。数值实验结果表明，PhaseDNN能够从低频到高频均匀地学习目标函数的信息。
2019-05-10 cs.LG eess.SP stat.ML
Parallel frequency function-deep neural network for efficient complex broadband signal approximation
Xi'an University of Architecture and Technology（西安建筑科技大学）
神经网络本质上是一个通过调整网络权重进行特征拟合的高维复杂映射模型。然而，在网络训练中的频谱偏差导致难以忍受的训练时期，以适应宽带信号中的高频成分。为了提高高频分量的拟合效率，最近通过结合复频段提取和频移技术提出了PhaseDNN [Cai et al. SIAM J. SCI. Comput. 42，A3285（2020）]。我们的论文致力于一个替代的候选人拟合复杂的信号与高频分量。在这里，提出了一种并行频率函数-深度神经网络（PFF-DNN），通过利用宽带信号的快速傅立叶分析和神经网络的频谱偏置特性，在确保拟合精度的同时抑制计算开销。通过对6种典型宽带信号的数值实验，验证了PFF-DNN方法的有效性。
2021-06-19 cs.LG eess.SP
Embedding Principle in Depth for the Loss Landscape Analysis of Deep Neural Networks
MOE-LSC, Shanghai Jiao Tong University（上海交通大学教育部科学工程计算重点实验室）；CMA-Shanghai, Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Center for Brain Science and Brain-Inspired Technology（上海脑科学与类脑研究中心）
该研究发现深度嵌入原理，即深层神经网络损失景观包含浅层所有临界点，通过临界提升算子映射临界点并保留输出，为深度网络易训练性、批量归一化加速等行为提供新解释，揭示损失景观深度层次结构。
2025-04-14 cs.LG
The Free Energy Principle for Perception and Action: A Deep Learning Perspective
Ghent University（根特大学）；imec（校际微电子中心）
自由能原理及其必然的主动推理构成了一种生物启发理论，该理论假设生物制剂的行为保持在世界的一组受限的优选状态中，即，它们最大限度地减少了自由能。根据这一原则，生物代理学习世界的生成模型，并计划未来的行动，以保持代理处于满足其偏好的稳态。这个框架适合于在硅片上实现，因为它包含了使其在计算上负担得起的重要方面，例如变分推理和摊销规划。在这项工作中，我们调查的工具，深度学习设计和实现人工智能体的基础上主动推理，提出了一个面向深度学习的介绍自由能原则，调查工作，相关的机器学习和主动推理领域，并讨论了设计的选择，在实施过程中所涉及的。本手稿探讨了主动推理框架的新视角，将其理论方面与更实用的事务相结合，为主动推理新手提供了实用指南，并为希望研究自由能原理实现的深度学习实践者提供了起点。
2022-07-13 cs.AI cs.LG q-bio.NC
DeepLofargram: A Deep Learning based Fluctuating Dim Frequency Line Detection and Recovery
Northwestern Polytechnical University（西北工业大学）；Institute of Navy Research of China（中国海军研究院）
本文研究了对数坐标图中弱频线的检测和恢复问题。理论上，足够长的时间积分总是可以提高检测特性。但这并不适用于不规则波动的线。深度学习已被证明在复杂的视觉推理任务中表现非常好。通过多个处理层的组成，可以学习非常复杂的高级表示，这些表示放大了输入的重要方面，同时抑制了不相关的变化。因此，我们提出了一种新的DeepLofargram，由深度卷积神经网络及其可视化对应物组成。插入专门设计的多任务丢失，端到端训练联合学习检测和恢复潜在线的空间位置。利用这种深度架构，性能边界平均为-24dB，某些为-26dB。这远远超出了人类视觉的感知，大大提高了最先进的水平。
2019-12-02 cs.LG eess.SP
A principled approach for energy-efficient training via phase-aware GPU frequency tuning
INESC TEC（葡萄牙系统与计算机工程研究所（北葡萄牙分部））；U. Minho（米尼奥大学）；McGill University（麦吉尔大学）
PAFT通过相位感知的动态GPU频率调优，在训练瓶颈期降低时钟频率，以最小性能开销实现高达46%的能耗节省。
2026-09-22 cs.DC cs.LG
Addressing Spectral Bias of Deep Neural Networks by Multi-Grade Deep Learning
Old Dominion University（奥多明尼昂大学）
本文针对深度神经网络的频谱偏差问题，提出利用多层级深度学习（MGDL）逐级组合浅层网络，以低频复合逼近高频，并在多个含高频特征的数据集上验证了其有效性。
2024-10-21 cs.AI cs.LG
An Upper Limit of Decaying Rate with Respect to Frequency in Deep Neural Network
Shanghai Jiao Tong University（上海交通大学）；CMA-Shanghai（CMA上海分部）；Shanghai Center for Brain Science and Brain-Inspired Technology（上海脑科学与类脑研究中心）
深度神经网络（DNN）通常从低频到高频学习目标函数，这被称为频率原理或谱偏。这个频率原则揭示了DNN的高频诅咒-难以学习高频信息。受频率原理的启发，本文进行了一系列的工作来研究克服高频诅咒的算法。一个自然的问题出现了：衰减率的上限是多少？当一个人训练一个DNN时，频率是多少？在这项工作中，我们的理论，证实了数值实验，表明有一个临界衰减率w.r.t. DNN训练的频率。在衰减率的上限之下，DNN通过具有一定规律性的函数对训练数据进行插值。然而，在上限之上，DNN通过平凡函数来内插训练数据，即，函数仅在训练数据点处为非零。我们的研究结果表明，克服高频诅咒的一个更好的方法是设计一个适当的预条件的方法，将高频信息转移到低频信息，这与以前开发的快速学习高频信息的算法相吻合。更重要的是，这项工作严格证明了高频诅咒是DNN的内在困难。
2022-08-21 cs.LG cs.NA math.NA
FrePGAN: Robust Deepfake Detection Using Frequency-level Perturbations
Samsung SDS（三星SDS）；Chung-Ang University（中央大学）
已经提出了各种deepfake检测器，但是在训练设置之外检测未知类别或GAN模型的图像仍然存在挑战。这些问题源于过拟合问题，我们从自己的分析和以前的研究中发现，过拟合问题源于生成图像中的频率级伪影。我们发现，忽略频率级伪影可以提高检测器在各种GAN模型中的泛化能力，但它会降低训练后的GAN模型的模型性能。因此，我们设计了一个框架来概括已知和未知GAN模型的deepfake检测器。我们的框架生成的频率级扰动映射，使生成的图像与真实图像难以区分。通过更新deepfake检测器以及扰动生成器的训练，我们的模型被训练为在初始迭代时检测频率级伪影，并在最后迭代时考虑图像级不规则性。对于实验，我们设计了新的测试场景，这些场景与GAN模型中的训练设置、颜色操作和对象类别不同。大量实验验证了我们的deepfake检测器的最先进性能。
2022-02-07 cs.CV cs.LG eess.IV
Bootstrapping deep music separation from primitive auditory grouping principles
Illinois Institute of Technology（伊利诺伊理工学院）
将音频场景（如鸡尾酒会）分离成组成的、有意义的分量是计算机试听中的核心任务。深度网络是最先进的方法。它们在由隔离的声源录音制成的音频合成混合物上进行训练，以便知道分离的基础事实。然而，绝大多数可用的音频并不是孤立的。大脑使用独立于任何特定声源的特性的原始线索来执行音频场景的初始分割。我们提出了一种通过使用多个原始线索来引导用于音乐声源分离的深度模型的方法，而无需地面实况。我们将我们的方法应用于训练来自YouTube的大量未标记音乐录音的网络，以将人声与伴奏分离，而不需要地面实况隔离源或人工训练混合物。
2019-10-23 cs.LG cs.SD eess.AS
On the Principles of Deep Feedforward ReLU Networks
Shuitu Institute of Applied Mathematics（水土应用数学研究所）
本文以两层ReLU网络为基础，研究多隐藏层深度前馈ReLU网络机制，借助路径概念揭示其黑箱奥秘，表明其单元可形成分段线性流形划分输入空间，还将两层原理推广到更深情况，揭示了该网络黑箱。
2026-07-09 cs.AI cs.LG
Advancing Deep Active Learning & Data Subset Selection: Unifying Principles with Information-Theory Intuitions
Exeter College（埃克塞特学院）
该研究以信息论为基础，提出更具原理性的深度主动学习与数据子集选择方法，拆解不确定性并关联多种方法与信息量近似，提升深度学习的标注与训练效率。
2024-03-08 cs.IT cs.LG math.IT
Exploring the Relationship between Brain Hemisphere States and Frequency Bands through Classical Machine Learning and Deep Learning Optimization Techniques with Neurofeedback
Innopolis University（因诺波利斯大学）；Higher School of Economics（高等经济大学）
研究通过经典和深度学习方法比较EEG频段分类器性能，发现Adagrad和RMSprop在不同频段表现优异，经典方法在离线分类中效率更高，而深度学习在实时神经反馈中表现更佳。
2026-04-01 cs.LG
A Phase Shift Deep Neural Network for High Frequency Approximation and Wave Problems
Southern Methodist University（南卫理公会大学）；Hunan Normal University（湖南师范大学）
在本文中，我们提出了一个相移深度神经网络（PhaseDNN），它提供了一个统一的宽带收敛近似高频函数和波动方程的解决方案。PhaseDNN利用了常见DNN通常首先在低频范围内实现收敛的事实，并针对选定的高频范围构建和训练一系列中等大小的DNN。在频域相移的帮助下，每个DNN将被训练为以与低频范围相同的收敛速度在特定范围内近似函数的高频内容。因此，所提出的PhaseDNN能够将高频学习转换为低频学习，从而允许对宽带函数进行统一学习。PhaseDNN然后将被应用于通过具有最小二乘剩余损失函数的微分和积分方程公式来找到非均匀介质中的高频波动方程的解。数值结果表明，PhaseDNN在学习高频函数和内部和外部Helmholtz方程的振荡解的能力。
2019-12-13 cs.LG cs.NA math.NA
A Primer on Motion Capture with Deep Learning: Principles, Pitfalls and Perspectives
Swiss Federal Institute of Technology (EPFL)（瑞士联邦理工学院（EPFL））；The Rowland Institute at Harvard, Harvard University（哈佛大学哈佛罗兰研究所）；University of Tübingen（图宾根大学）；International Max Planck Research School for Intelligent Systems（国际马克斯·普朗克智能系统研究学院）
非侵入性地从视频中提取行为测量是一个困难的计算问题。深度学习的最新进展极大地促进了直接从视频中预测姿势，这迅速影响了神经科学和生物学。在这篇入门文章中，我们回顾了使用深度学习进行运动捕捉的新兴领域。特别是，我们将讨论这些新算法的原理，强调它们的潜力以及实验主义者的陷阱，并提供对未来的一瞥。
2020-09-02 cs.CV cs.LG q-bio.NC
Design of Resistive Frequency Selective Surface based Radar Absorbing Structure-A Deep Learning Approach
ADE, DRDO（印度国防研究与发展组织电子与雷达发展研究院）
本文提出一种基于深度学习的电阻性频率选择表面雷达吸波结构设计方法，以反射系数为输入预测耶路撒冷十字单元尺寸，实现L至Ka波段多频段吸波器设计，并与全波仿真结果高度吻合，支持低成本设计。
2025-02-26 cond-mat.mtrl-sci cs.LG physics.app-ph
Theoretically Principled Deep RL Acceleration via Nearest Neighbor Function Approximation
University of California, Los Angeles（加州大学洛杉矶分校）
最近，深度强化学习（RL）通过将深度神经网络集成到RL框架中，取得了显著的经验成功。然而，这些算法往往需要大量的训练样本，并承认很少的理论理解。为了缓解这些问题，我们提出了一种理论上有原则的最近邻（NN）函数近似器，可以改善深度RL方法中的价值网络。受人类相似性判断的启发，NN近似器使用对过去观察的滚动来估计动作值，并且可以证明获得仅取决于环境的内在复杂性的小遗憾界。我们提出了（1）最近邻行为者-评论家（NNAC），一种在线策略梯度算法，证明了将函数近似与深度RL相结合的实用性，以及（2）一个即插即用的NN更新模块，有助于训练现有的深度RL方法。经典控制和MuJoCo运动任务的实验表明，神经网络加速代理实现更高的样本效率和稳定性比基线代理。基于其理论上的优势，我们相信NN逼近器可以进一步应用于其他复杂领域，以加快学习。
2021-10-09 cs.AI cs.LG
Principles and Practice of Deep Representation Learning: or a Mathematical Theory of Memory
本书通过表示学习视角，用优化和信息论解释现代神经网络架构设计原理，旨在打开黑箱，提高可解释性、可靠性和可控性。
2026-06-08 cs.LG
Investigating the Gestalt Principle of Closure in Deep Convolutional Neural Networks
KU Leuven（鲁汶大学）；Leuven.AI KU Leuven Institute for AI（鲁汶人工智能研究所（鲁汶大学））
本研究探究深度卷积神经网络是否具备人类的格式塔闭合感知原则，通过边缘逐步缺失的多边形分类实验发现模型性能随边缘缺失比例升高而下降，说明其分类高度依赖完整边缘信息。
2024-11-01 cs.CV cs.LG
Deep Learning and the Information Bottleneck Principle
The Edmond and Lilly Safra Center for Brain Sciences, Hebrew University of Jerusalem（耶路撒冷希伯来大学埃德蒙与莉莉·萨夫拉脑科学中心）；School of Engineering and Computer Science, Hebrew University of Jerusalem（耶路撒冷希伯来大学工程与计算机科学学院）
深度神经网络（DNN）是通过信息瓶颈（IB）原理的理论框架进行分析的。我们首先证明了任何DNN都可以通过层与输入和输出变量之间的互信息来量化。使用这种表示，我们可以计算DNN的最佳信息论极限，并获得有限样本泛化界。接近理论极限的优点可以通过泛化界和网络的简单性来量化。我们认为，这两个最佳的架构，层数和功能/连接在每一层，有关的信息瓶颈权衡的分叉点，即，相对于输出层的输入层的相关压缩。分层网络中的分层表示自然对应于沿着信息曲线的结构相变。我们相信，这种新的见解可以带来新的最优性界限和深度学习算法。
2015-03-09 cs.LG
Encoding Frequency Constraints in Preventive Unit Commitment Using Deep Learning with Region-of-Interest Active Sampling
Argonne National Laboratory（阿贡国家实验室）；School of Electrical and Computer Engineering, Oklahoma State University（俄克拉荷马州立大学电气与计算机工程学院）；University of Tennessee（田纳西大学）
随着可再生能源的日益普及，频率响应及其安全性是电力系统可靠运行的重要问题。频率约束机组组合（FCUC）的建议，以解决这一挑战。尽管现有的努力，在机组组合（UC）的频率特性建模，目前的策略只能处理过于简化的低阶频率响应模型，不考虑广泛的操作条件。本文提出了一种适用于高可再生能源渗透率下FCUC的通用数据驱动框架。深度神经网络（DNN）被训练为使用真实数据或高保真仿真数据来预测频率响应。接下来，DNN被重新制定为一组混合整数线性约束，以纳入普通UC制定。在数据生成阶段，考虑了所有可能的功率注入，并提出了一个区域的利益主动采样，包括功率注入样本的频率最低点接近UFLC阈值，这显着提高了频率约束的准确性FCUC。在IEEE 39节点系统上验证了所提出的FCUC。利用PSS/E全阶动态模型仿真验证了FCUC在频率安全投入中的有效性。
2021-10-13 cs.LG cs.SY eess.SY
Deep OFDM Channel Estimation: Capturing Frequency Recurrence
Purdue University（普渡大学）；InterDigital Communications, Inc.（InterDigital通信公司）
本文提出SisRafNet，通过在单个OFDM时隙内利用循环神经网络捕捉频率间信道相关性，克服传统递推方法的时延与内存限制，并在多种3GPP信道场景下验证了优于现有深度学习方法的信道估计性能。
2024-01-07 cs.LG cs.NI eess.SP
Comparing Time and Frequency Domain for Audio Event Recognition Using Deep Learning
University of Luebeck（吕贝克大学）
识别声学事件对于机器来说是一个复杂的问题，也是一个新兴的研究领域。深度神经网络取得了令人信服的结果，是目前许多任务的最先进方法。一个优点是它们的隐式特征学习，与输入信号的显式特征提取相反。在这项工作中，我们分析了是否可以从音频信号的时域或频域表示中学习更多的区别性特征。为此，我们在Freiburg-106和ESC-10数据集上训练了具有不同架构的多个深度网络。我们的研究结果表明，从频域的特征学习优于时域。此外，另外使用卷积和池化层来探索音频信号的局部结构，显著提高了识别性能并实现了最先进的结果。
2016-03-18 cs.LG cs.NE cs.SD
Generalized Planning With Deep Reinforcement Learning
Technion - Israel Institute of Technology（以色列理工学院）
智能的一个标志是能够从例子中推导出一般原则，这些原则在观察到的范围之外都是正确的。广义规划处理为一类规划问题找到这样的原则，这样使用域的小实例发现的原则可以用于解决同一域的更大实例。在这项工作中，我们研究了使用深度强化学习和图神经网络来学习这种广义策略，并证明它们可以推广到比它们训练时大几个数量级的实例。
2020-05-05 cs.AI cs.LG
End to End Deep Neural Network Frequency Demodulation of Speech Signals
Technion Israel Institute of Technology（以色列理工学院）
调频（FM）是一种无线电广播形式，目前已广泛使用，并已近一个世纪。我们提出了一种用于FM解调的软件定义无线电（SDR）接收机，该接收机采用基于端到端学习的方法，并在解调过程中利用所传输的语音消息的先验信息。接收机从其基带版本的同相和正交分量检测和增强语音。新的系统产生高性能的检测声干扰，和通信信道噪声，并预见到要优于已建立的方法，为低信噪比（SNR）条件下的均方误差和语音质量分数的感知评价。
2017-10-07 cs.LG cs.SD
Stress and Adaptation: Applying Anna Karenina Principle in Deep Learning for Image Classification
Institute of Computer Science University of Tartu Estonia（塔尔图大学计算机科学研究所）；Institute of Molecular and Cell Biology University of Tartu Estonia（塔尔图大学生物分子与细胞生物学研究所）；School of Artificial Intelligence Korea Advanced Institute of Science and Technology Korea（韩国科学技术院人工智能学院）
使用深度神经网络的图像分类已经达到了高精度的最新水平。这一成功归功于良好的内部表示功能，绕过了非凸优化问题的困难。我们对这些内部表征知之甚少，更不用说量化它们了。最近的研究工作集中在替代理论和解释这些深层网络的普遍性。我们提出了在训练过程中对深度模型的替代扰动会引起导致过渡到不同家族的变化。其结果是深度学习的安娜·卡列尼娜原则AKP，其中较难概括的模型不幸福的家庭在其表示方面比更易概括的模型幸福的家庭变化更大，这与列夫·托尔斯泰的格言相似，即所有幸福的家庭看起来都一样，每个不幸的家庭都以自己的方式不幸福。安娜·卡列尼娜原则在广泛的系统中被发现：从暴露在恶劣天气下的濒危珊瑚表面到患有致命艾滋病的患者的肺部。在我们的论文中，我们通过在训练过程中热交换激活和损失函数来对我们的模型产生人工扰动。在本文中，我们建立了一个模型来分类癌细胞和非癌细胞。我们给出了理论证明，可推广的快乐模型的内部表示在渐近极限上是相似的。我们的实验验证了类似的可推广的模型表示。
2023-02-22 cs.AI cs.LG
Deep Parallel Spectral Neural Operators for Solving Partial Differential Equations with Enhanced Low-Frequency Learning Capability
College of Computer Science and Technology（计算机科学与技术学院）；China University of Petroleum (East China)（中国石油大学（华东））；State Key Laboratory of Chemical Safety（化学安全国家重点实验室）
针对现有神经算子求解偏微分方程时低频学习能力不足、非线性学习易丢失高频信息的问题，提出带并行模块的深度并行谱神经算子DPNO，结合卷积映射平滑降高频误差，在多数据集上表现优异且具备分辨率不变性。
2025-02-21 cs.LG cs.NA math.NA
