Traffic Queue Length and Pressure Estimation for Road Networks with Geometric Deep Learning Algorithms
由于城市化和个人流动性的增加，世界上大多数大都市地区都出现了拥堵和交通管理效率低下的情况。智能交通控制系统是减少城市交通拥堵的重要手段，它依赖于对城市道路网和高速公路交通状况的测量。不幸的是，用于精确流量测量的仪器是昂贵的，并且没有被广泛实施。本文针对这一问题，使用相对便宜且易于安装的环路检测器，通过几何深度学习算法，该算法在道路网络的空间背景下使用环路检测器数据，来估计信号交叉口前的队列长度，然后可以用于后续的交通控制任务。因此，在本工作的第一部分中，实现了基于逐秒循环检测器数据的用于队列长度的常规估计方法（其不使用机器学习技术），其使用队列中检测到的冲击波来估计最大队列的长度和时间点。该方法稍后用作参考，但也用作几何深度学习方法的附加输入信息。在第二部分中，开发了几何深度学习算法，该算法通过新的注意力机制利用道路网络中的空间相关性以及检测器数据时间序列中的时间相关性，以克服传统方法的局限性，如过度交通需求，车道变换和走走停停的交通。因此，有必要将道路网络的拓扑结构抽象为一个图。这两种方法进行了比较，就其性能，可靠性以及限制和验证使用的交通仿真软件SUMO（模拟城市移动性）。最后，在结论中对结果进行了讨论，并提出了进一步研究的建议。
2019-05-09 cs.LG eess.SP
LFQ: Online Learning of Per-flow Queuing Policies using Deep Reinforcement Learning
Technische Universität Wien（维也纳工业大学）
不同的、不兼容的拥塞控制算法数量的增加导致了公平排队部署的增加。公平排队隔离每个网络流，并且因此即使流的拥塞控制不是固有公平的，也可以保证每个流的公平性。到目前为止，公平排队系统中的每个队列要么有一个固定的、静态的最大长度，要么由一个主动队列管理（AQM）算法（如CoDel）管理。在本文中，我们设计了一个主动队列管理机制（学习公平Qdisc（LFQ）），动态学习的最佳缓冲区大小为每个流根据一个指定的奖励函数在线。我们表明，我们的基于深度学习的算法可以动态分配最佳队列大小，每个流取决于其拥塞控制，延迟和带宽。与竞争公平的AQM队列管理器相比，它提供了显着更小的队列，同时实现相同或更高的吞吐量。
2020-10-15 cs.LG cs.NI
V2I Connectivity-Based Dynamic Queue-Jump Lane for Emergency Vehicles: A Deep Reinforcement Learning Approach
New York University Tandon School of Engineering（纽约大学坦登工程学院）；C2SMART University Transportation Center（C2SMART大学交通中心）
应急车辆（EMV）服务是城市的一项重要功能，由于城市交通拥堵，因此极具挑战性。EMV服务延迟背后的一个主要原因是阻塞EMV的车辆之间缺乏沟通和合作。本文研究了V2 I连接下EMV业务的改进。我们认为，建立动态队列跳转车道（DQJLs）的基础上实时协调连接的车辆。我们开发了一种新的马尔可夫决策过程制定的DQJL问题，明确占接近EMV的司机的反应的不确定性。我们提出了一种基于深度神经网络的强化学习算法，可以有效地计算最优协调指令。我们还验证了我们的方法在微观仿真试验台上使用模拟城市交通（SUMO）。验证结果表明，与我们提出的方法，集中控制系统节省了约15%的EMV通过时间比基准系统。
2021-05-29 cs.AI cs.LG cs.SY
Queue up for takeoff: a transferable deep learning framework for flight delay prediction
Cranfield University（克兰菲尔德大学）
本文提出结合排队论与注意力机制的QT-SimAM深度学习框架，用于预测航班延误，跨数据集验证表明其具有高准确率与强可迁移性，有助于改善运营决策。
2025-07-12 cs.AI cs.LG
A Learning-Based Superposition Operator for Non-Renewal Arrival Processes in Queueing Networks
Industrial Engineering（工业工程）
本文提出了一种基于深度学习的叠加算子，用于处理非再生到达过程在排队网络中的叠加问题，通过合成数据训练模型，实现对合并流的矩和依赖结构的准确重建，并在不同变异性及相关性条件下优于传统方法。
2026-03-11 cs.LG math.PR
Multilevel Picard approximations and deep neural networks with ReLU, leaky ReLU, and softplus activation overcome the curse of dimensionality when approximating semilinear parabolic partial differential equations in $L^p$-sense
Division of Mathematical Sciences, School of Physical and Mathematical Sciences, Nanyang Technological University, Singapore（数学科学系，物理与数学科学学院，南洋理工大学，新加坡）；Faculty of Mathematics, Bielefeld University, Germany（数学学院，比勒菲尔德大学，德国）
研究证明，多级皮卡尔近似与具有ReLU、leaky ReLU和softplus激活函数的深度神经网络能以L^p意义近似半线性Kolmogorov PDE解，且计算复杂度和参数数量随维度和精度要求呈多项式增长。
2026-03-23 cs.LG cs.NA math.NA
Can machines solve general queueing systems?
在本文中，我们分析了如何以及一台机器可以解决一般问题的排队论。为了回答这个问题，我们使用深度学习模型来预测$M/G/1$队列的静态队列长度分布（泊松到达，一般服务时间，一个服务器）。据我们所知，这是第一次将机器学习模型应用于一般的排队论问题。我们选择$M/G/1$队列，因为它位于“尖点”的分析前沿：一方面，这个模型的精确解是可用的，这是计算和数学复杂。另一方面，问题（特别是服务时间分布）是普遍的。这使我们能够比较深度学习方法与分析解决方案的准确性和效率。将机器学习应用于该问题的两个关键挑战是（1）生成一组不同的训练样本，这些样本提供“通用”正值分布的良好表示，以及（2）将服务时间的连续分布表示为输入。我们将展示我们如何克服这些挑战。我们的结果表明，我们的模型确实能够非常准确地预测$M/G/1$队列的静态行为：我们的度量在整个测试集上的平均值是$0.0009$。此外，我们的机器学习模型非常高效，可以在几分之一秒内计算出非常精确的平稳分布（基于模拟建模的方法需要更长的时间才能收敛）。我们还提出了一个案例研究，模仿现实生活中的设置，并表明我们的方法是更强大的，并提供更准确的解决方案相比，现有的方法。这显示了将我们的方法扩展到解析可解系统之外的前景（例如，$G/G/1$或$G/G/c$）。
2022-02-03 cs.LG
Theory of Deep Convolutional Neural Networks III: Approximating Radial Functions
City University of Hong Kong（香港城市大学）
我们考虑一个由两组卷积层、一个下采样算子和一个全连接层组成的深度神经网络家族。网络结构取决于两个结构参数，这两个参数决定了卷积层的数量和全连接层的宽度。我们建立了一个近似理论与显式逼近率时，近似函数采取复合形式$f\circ Q$的特征多项式$Q$和一个单变量函数$f$。特别是，我们证明了这样的网络可以优于全连接浅网络在逼近径向函数与$Q(x) =|x|^2$，当从$\mathbb{R}^d$的数据的尺寸$d$是大的。这为深度卷积神经网络在逼近具有特殊结构的函数方面的优越性提供了第一个严格的证明。然后，我们在回归框架中使用$f\circ Q$形式的回归函数对这样的深度网络进行经验风险最小化的泛化分析。我们的网络结构不使用任何复合信息或函数$Q$和$f$可以自动提取特征，并通过调整结构参数来利用回归函数的复合性质。我们的分析提供了一个误差界，随着网络深度的最小值，然后增加，从理论上验证了在许多实际应用中观察到的网络深度的权衡现象。
2021-07-02 cs.LG
Approximating Optimisation Solutions for Travelling Officer Problem with Customised Deep Learning Network
RMIT University（皇家墨尔本理工大学）
深度学习已经扩展到许多新的领域，并取得了巨大的成功，尽管一些传统的定向问题，如旅行推销员问题（TSP）及其变体，通常并不使用这些技术来解决。深度神经网络（DNN）由于其强大的函数逼近能力和快速的前馈计算，是解决这些问题的潜在有前途和未开发的解决方案。在本文中，我们概述了一种将定向运动问题转化为分类问题的方法，并设计了一个定制的多层深度学习网络来近似传统的优化解决方案。我们在真实世界的停车违规数据集上测试了网络的性能，并进行了一项通用研究，以经验为基础展示了影响网络性能的关键架构组件。
2019-03-08 cs.LG stat.ML
On the capacity of deep generative networks for approximating distributions
The Hong Kong University of Science and Technology（香港科技大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
本文从理论上分析了深度生成网络逼近分布的能力，证明在Wasserstein距离和最大均值差异下低维源分布可逼近高维目标分布且误差上界由网络宽度与深度决定，而在f-散度下源分布维度不能低于目标分布的内在维度。
2021-10-17 cs.LG math.PR math.ST
On the approximation of rough functions with deep neural networks
ETH Zürich（苏黎世联邦理工学院）；University of Southern California（南加州大学）
深度神经网络和ENO过程都是近似粗糙函数的有效框架。我们证明，在任何阶数下，ENO插值过程都可以被转换为深度ReLU神经网络。这一令人惊讶的事实使ENO过程的几个理想属性能够转移到深度神经网络，包括其近似Lipschitz函数的高阶精度。数值试验结果表明，神经网络的非线性守恒律近似解和数据压缩性能优异。
2020-10-08 cs.LG cs.NA math.NA
On Approximating the Dynamic Response of Synchronous Generators via Operator Learning: A Step Towards Building Deep Operator-based Power Grid Simulators
Purdue University（普渡大学）
提出基于算子学习的框架，利用DeepONet逼近同步发电机的动态响应，并设计递归模拟方案及残差DeepONet方案，结合数据聚合策略实现与电网交互的模拟。
2026-06-12 cs.AI cs.LG math.DS
Approximating Poker Probabilities with Deep Learning
许多扑克系统，无论是用数学还是机器学习创建的，都依赖于获胜的概率作为关键输入。然而，使用组合数学计算精确的概率是一个棘手的问题，所以我们近似它。蒙特卡洛模拟是一种有效的技术，可以用来近似的概率，一个球员将赢得和/或平局。然而，如果不使用内存密集型查找表或超级计算机，在训练具有自我游戏的代理时，运行数百万次是不可行的。为了克服时空权衡，我们使用深度学习来近似从蒙特卡洛模拟中获得的高精度概率。学习的模型被证明是蒙特卡罗模拟的轻量级替代方案，最终允许我们在自我游戏期间有效地使用概率作为输入。源代码和优化的神经网络可以在https://github.com/brandinho/Poker-Probability-Approximation上找到
2018-08-23 cs.AI cs.LG stat.ML
DPPNet: Approximating Determinantal Point Processes with Deep Networks
Massachusetts Institute of Technology（麻省理工学院）；Google Brain（谷歌大脑）
确定性点过程（DPPs）提供了一种优雅而通用的方法来对项目集进行采样，该方法平衡了所选项目的逐点质量和逐集多样性。由于这个原因，它们在许多依赖子集选择的机器学习应用中获得了突出地位。然而，在大小为$N$的基集上从DPP采样是昂贵的操作，通常需要$O(N^3)$预处理成本和大小为$k$的子集的$O(Nk^3)$采样成本。我们通过引入DPPNets来解决这个问题：生成深度模型，为任意基集生成类似DPP的样本。我们开发了一个抑制注意力机制的基础上，Transformer网络，捕捉特征向量之间的相异性的概念。我们从理论上表明，这样的近似是明智的，因为它保持了抑制或相异性，使DPP如此强大和独特的保证。从经验上讲，我们证明了我们的模型中的样本在更昂贵的DPP替代方案下获得了很高的可能性。
2019-01-07 cs.LG stat.ML
Fast Fishing: Approximating BAIT for Efficient and Scalable Deep Active Image Classification
University of Kassel, Intelligent Embedded Systems（卡塞尔大学智能嵌入式系统）
本文提出通过近似信息论提升BAIT的计算效率和可扩展性，使其能高效应用于大规模图像分类任务。
2024-08-30 cs.CV cs.LG
Training Memory in Deep Neural Networks: Mechanisms, Evidence, and Measurement Gaps
Athena RC（雅典娜研究中心）
本文探讨深度神经网络训练中的记忆机制，提出可移植扰动原语和测量协议，以量化训练历史对模型性能的影响。
2026-01-29 cs.LG
Applying Graph-based Deep Learning To Realistic Network Scenarios
Barcelona Neural Networking Center（巴塞罗那神经网络中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
机器学习（ML）的最新进展已经显示出为大量网络相关问题构建数据驱动解决方案的巨大潜力。在这种情况下，构建快速准确的网络模型对于实现网络功能优化工具至关重要。然而，国家的最先进的ML为基础的网络建模技术是不能够提供准确的估计重要的性能指标，如延迟或抖动，在现实的网络场景与复杂的队列调度配置。本文提出了一种新的基于图的深度学习模型，能够准确地估计网络中的每条路径的平均延迟。该模型可以成功地推广到拓扑结构，路由配置，队列调度策略和交通矩阵在训练阶段看不见。
2021-03-15 cs.LG cs.NI
Sample Efficient Reinforcement Learning in Mixed Systems through Augmented Samples and Its Applications to Queueing Networks
Washington State University（华盛顿州立大学）；ShanghaiTech University（上海科技大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
针对包含随机与伪随机状态的混合系统强化学习样本效率低的问题，提出通过生成增强样本的方法，在FQI下证明可降低样本复杂度，并在排队网络实验中验证其能显著加速深度Q学习和深度策略梯度的学习。
2023-11-08 cs.LG
Approximating smooth functions by deep neural networks with sigmoid activation function
Technische Universität Darmstadt（达姆施塔特工业大学）
我们研究了具有sigmoid激活函数的深度神经网络（DNN）的能力。最近，研究表明，DNN近似于紧致集上的任何$d$维光滑函数，其阶数为$W^{-p/d}$，其中$W$是网络中非零权重的数量，$p$是函数的光滑度。不幸的是，这些比率仅适用于一类特殊的稀疏连接DNN。我们问自己，对于更简单和更一般的类，我们是否可以显示相同的近似率，即，DNN仅由其宽度和深度定义。在这篇文章中，我们证明了具有固定深度和$M^d$阶宽度的DNN实现了$M^{-2p}$的近似率。作为结论，我们定量地描述了DNN的逼近能力在网络中的总权重$W_0$方面，并显示了$W_0^{-p/d}$的逼近率。这个更一般的结果最终帮助我们理解哪种网络拓扑保证了特定的目标精度。
2020-10-08 cs.LG math.ST stat.TH
Approximating two value functions instead of one: towards characterizing a new family of Deep Reinforcement Learning algorithms
Montefiore Institute（蒙特菲奥雷研究所）；Université de Liège（列日大学）；University of Groningen（格罗宁根大学）
本文朝着表征一个新的\textit{model-free}深度强化学习（DRL）算法家族前进了一步。这些算法的目的是联合学习状态-价值函数（$V$）的近似以及状态-动作价值函数（$Q$）的近似。我们的分析从深入研究深度质量-价值学习（DQV）算法开始，DRL算法已被证明优于流行的技术，如深度Q学习（DQN）和双深度Q学习（DDQN）\cite{sabatelli2018deep}。为了研究为什么DQV的学习动态允许该算法执行得如此之好，我们制定了一组研究问题，帮助我们表征一个新的家庭的DRL算法。在我们的研究结果中，我们提出了一些具体的情况下，DQV的性能可能会受到损害，并介绍了一种新的\textit{off-policy} DRL算法，称为DQV-Max，它可以优于DQV。然后，我们研究的行为的$V$和$Q$功能，学习DQV和DQV-Max，并表明，这两种算法可能在几个DRL测试台上表现得很好，因为他们不太容易遭受高估偏差的$Q$功能。
2019-10-14 cs.AI cs.LG stat.ML
An Efficient Deep Learning Approach for Approximating Parameter-to-Solution Maps of PDEs
School of Mathematical Sciences, Shanghai Key Laboratory for Contemporary Applied Mathematics, Fudan University（数学系、当代应用数学上海重点实验室、复旦大学）
本文提出结合降配点方法和深度神经网络的高效方法逼近参数化偏微分方程的参数到解映射，理论推导了仅依赖降基维数的网络复杂度上界，并开发了POD-DNN算法，在保持精度的同时显著提升了计算效率。
2025-08-15 cs.LG cs.NA math.NA
Approximating a deep reinforcement learning docking agent using linear model trees
Norwegian University of Science and Technology（挪威科技大学）；TrønderEnergi（特伦德拉格能源公司）
深度强化学习在机器人领域取得了许多显著的成果。然而，深度神经网络（DNN）是不直观的，这使得人们很难理解它们的预测，并由于经济，安全和保证的原因，极大地限制了它们在现实世界中的应用潜力。为了解决这个问题，已经提出了许多可解释的人工智能方法，例如SHAP和LIME，但这些方法要么成本太高，无法用于实时机器人应用，要么只能提供本地解释。在本文中，主要的贡献是使用线性模型树（LMT）近似DNN策略，最初通过近端策略优化（PPO）训练，为自主水面车辆进行对接操作的五个控制输入。所提出的方法的两个主要优点是：a）LMT是透明的，这使得可以直接将输出（在我们的情况下，控制动作）与输入特征的特定值相关联，b）LMT在计算上是高效的，并且可以实时提供信息。在我们的模拟中，不透明的DNN策略控制车辆，LMT并行运行，以特征属性的形式提供解释。我们的研究结果表明，LMT可以成为自主船舶数字保证框架中的一个有用组成部分。
2022-03-01 cs.LG cs.RO
Functional Connectome: Approximating Brain Networks with Artificial Neural Networks
University College London（伦敦大学学院）
我们的目的是探索深度学习的能力，以近似生物神经回路的功能-功能连接体。使用深度神经网络，我们使用从综合构建的神经回路以及从经验支持的边界向量单元-位置单元网络中提取的发射率观察值进行监督学习。使用一系列标准和任务量化训练网络的性能。我们的研究结果表明，深度神经网络能够以高精度捕获合成生物网络执行的计算，并且具有高度的数据效率和对生物可塑性的鲁棒性。我们表明，经过训练的深度神经网络能够在新的环境中执行zero-shot概括，并允许执行大量任务，例如高精度地解码动物在空间中的位置。我们的研究揭示了系统神经科学中一个新颖而有前途的方向，并且可以扩展到许多下游应用，例如目标导向的强化学习。
2022-11-23 cs.LG cs.NE q-bio.NC
VAEs and GANs: Implicitly Approximating Complex Distributions with Simple Base Distributions and Deep Neural Networks -- Principles, Necessity, and Limitations
HKPU（香港理工大学）
本教程探讨VAE和GAN如何利用简单分布与神经网络非线性变换隐式逼近复杂分布，并分析了高斯先验等简单隐变量选择在计算便利性与模型表达能力间带来的局限。
2025-02-28 cs.LG stat.ML
On-board Deep Q-Network for UAV-assisted Online Power Transfer and Data Collection
Real-Time and Embedded Computing Systems Research Centre（实时与嵌入式计算系统研究中心）；Commonwealth Scientific and Industrial Research Organization（联邦科学与工业研究组织）
具有微波功率传输（MPT）能力的无人机（UAV）提供了将大量无线供电传感设备部署到无法访问持久电源的区域的实用手段。无人机可以远程为传感设备充电并收集它们的数据。一个关键的挑战是在线MPT和数据汇集，在存在UAV的机载控制的情况下（例如，巡逻速度），以防止电池耗尽和传感设备的数据队列溢出，而关于设备的电池电量和数据队列的最新知识在UAV处不可用。在本文中，机载深度Q网络的开发，以最大限度地减少传感设备的整体数据包丢失，通过最佳地决定设备被充电和询问的数据汇集，和瞬时巡逻速度的无人机。具体来说，我们制定了一个马尔可夫决策过程（MDP）的状态的电池水平和传感设备的数据队列长度，信道条件，以及航路点给定的无人机的轨迹;并解决它与Q学习最佳。此外，我们提出了机载深度Q网络，可以扩大MDP的状态空间，以及基于深度强化学习的调度算法，即使无人机只有过时的MDP状态知识，也可以在线渐进地获得最优解。数值结果表明，所提出的深度强化学习算法减少了至少69.2%的数据包丢失，相比现有的非学习贪心算法。
2019-06-04 cs.LG cs.NI
PinnDE: Physics-Informed Neural Networks for Solving Differential Equations
Department of Mathematics and Statistics（数学与统计学系）
本文提出开源Python库PinnDE，结合物理信息神经网络与深度算子网络求解微分方程，并通过实例验证其有效性。
2025-08-26 cs.LG
Train Feedfoward Neural Network with Layer-wise Adaptive Rate via Approximating Back-matching Propagation
Micorosoft Research Asia（微软亚洲研究院）
随机梯度下降（SGD）在训练深度神经网络方面取得了巨大成功，其中梯度是通过反向传播计算的。然而，不同层的反向传播值差异很大。这种跨不同层的梯度幅度的不一致性使得具有单一学习率的深度神经网络的优化成问题。我们引入了反向匹配传播，它通过匹配层输出上的反向值来计算层参数和输入上的反向值。这导致解决一堆最小二乘问题，这需要很高的计算成本。然后，我们减少了近似的后匹配传播，并提出了一种算法，变成了定期SGD与逐层自适应学习率策略。这使得我们的算法在当前的机器学习框架配备了自动微分容易实现。我们将我们的算法应用于训练现代深度神经网络，并取得了优于SGD的结果。
2018-02-27 cs.LG stat.ML
Queue-Learning: A Reinforcement Learning Approach for Providing Quality of Service
University of Toronto（多伦多大学）
端到端时延是云计算、计算机网络等应用领域中服务质量（QoS）的关键属性。该度量在汇接服务系统中尤其重要，在汇接服务系统中，端到端服务通过服务链提供。服务速率控制是服务系统中提供QoS保证的常用机制。在本文中，我们介绍了一个基于强化学习（RL为基础）的服务速率控制器，提供概率上界的端到端的系统延迟，同时防止过度使用的服务资源。为了有一个通用的框架，我们使用排队论对服务系统进行建模。然而，我们采用了基于RL的方法，以避免的限制，嵌入式理论的方法。特别是，我们使用深度确定性策略梯度（DDPG）学习的服务速率（行动）作为串联服务系统中的队列长度（状态）的函数。与现有的基于RL的方法相比，这些方法通过实现的整体奖励来量化其性能，这可能很难解释甚至误导，我们提出的控制器提供了明确的概率保证系统的端到端延迟。对具有非指数到达间隔和服务时间的串联排队系统进行了评估，结果验证了我们的控制器满足QoS约束的能力。
2021-01-12 cs.AI cs.LG cs.NI
Approximating Latent Manifolds in Neural Networks via Vanishing Ideals
Zuse Institute Berlin（柏林楚泽研究所）
本文提出一种基于消失理想多项式生成元逼近深度网络潜在流形的新架构，通过截断预训练网络并用单个多项式层实现线性可分，在保持准确率的同时减少层数与参数、提升吞吐量，并获得更紧的泛化界。
2025-06-06 cs.LG
Approximating Matrix Functions with Deep Neural Networks and Transformers
Department of Mathematics and Statistics（数学与统计学系）
本文研究了用深度神经网络和变换器近似矩阵函数，证明了ReLU网络的精度界限，并展示了变换器在近似矩阵函数中的有效性。
2026-02-08 cs.LG cs.NA cs.NE
Deep Learning for Markov Chains: Lyapunov Functions, Poisson's Equation, and Stationary Distributions
Columbia Business School（哥伦比亚商学院）；Stanford University（斯坦福大学）
本文提出利用深度学习训练神经网络满足首达分析导出的积分方程，自动构造Lyapunov函数，并扩展用于求解Poisson方程和估计平稳分布，在非紧致状态空间上依然有效。
2025-08-22 cs.LG math.PR
RetroGNN: Approximating Retrosynthesis by Graph Neural Networks for De Novo Drug Design
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Westfälische Wilhelms-Universität Münster（明斯特大学）；McGill University（麦吉尔大学）；Jagiellonian University（雅盖隆大学）
从头分子生成通常导致化学上不可行的分子。缓解这个问题的一个自然的想法是使用合成可及性的代理将搜索过程偏向于更容易合成的分子。然而，使用目前可用的代理仍然导致高度不现实的化合物。我们研究了训练深度图神经网络来近似逆合成规划软件的输出的可行性，以及它们用于偏置搜索过程的可行性。我们评估我们的方法的基准涉及寻找具有抗生素特性的药物样分子。与从ZINC数据库中枚举超过500万个现有分子相比，我们的方法发现预测更有可能是抗生素的分子，同时保持良好的药物样特性并且易于合成。重要的是，我们的深度神经网络可以成功地过滤掉难以合成的分子，同时实现比使用逆合成规划软件快$10^5$倍的速度。
2020-11-25 cs.LG
SimLLM: Fine-Tuning Code LLMs for SimPy-Based Queueing System Simulation
Institute of Statistics and Big Data, Renmin University of China（中国人民大学统计与大数据研究院）；School of Information, Renmin University of China（中国人民大学信息学院）；School of Management and Economics, University of Electronic Science and Technology of China（电子科技大学管理学院）
SimLLM通过微调开源LLM提升SimPy排队系统模拟代码生成能力，提供替代闭源模型的可行方案。
2026-01-10 cs.AI cs.CL cs.LG
Reinforcement Learning in Queue-Reactive Models: Application to Optimal Execution
ORFE, Princeton University（ORFE，普林斯顿大学）；CMAP, École Polytechnique（CMAP，巴黎高等学院）；Scuola Normale Superiore（高等师范大学）；Intesa Sanpaolo（意昂萨帕洛）
针对元订单最优执行问题，本文结合队列反应模型的限价订单簿模拟，训练双重深度Q网络智能体，其策略可适应订单簿状态，在多种配置下表现优于标准方法。
2025-11-19 cs.LG q-fin.TR
Depth-Width Tradeoffs in Approximating Natural Functions with Neural Networks
Weizmann Institute of Science（魏茨曼科学研究所）
我们为前馈神经网络提供了几个新的基于深度的分离结果，证明了各种类型的简单和自然的函数可以更好地近似使用更深的网络比浅的网络，即使浅的网络要大得多。这包括球和椭圆的指示符;相对于$L_1$范数为径向的非线性函数;以及平滑非线性函数。我们还表明，这些差距可以通过实验观察到：当训练神经网络学习单位球的指示器时，增加深度确实比增加宽度更好地学习。
2020-05-13 cs.LG cs.NE stat.ML
Approximating the solution to wave propagation using deep neural networks
Imperial College London（帝国理工学院）
人类通过观察和与世界的互动，获得了对物理定律的内在理解。通过经验和观察赋予一个自主的主体对物理定律的理解是不切实际的：我们应该寻求替代方案。幸运的是，物理世界的许多行为定律可以从动力系统的先验知识中推导出来，通过使用偏微分方程来表达。在这项工作中，我们提出了一种能够理解特定物理现象的神经网络：二维介质中的波传播。我们定义的“理解”在这种情况下，从一个相对较小的初始观测预测渲染波振幅的空间模式的未来演变的能力。波动方程固有的复杂性--再加上反射和干扰的存在--使得预测问题变得重要。一个能够进行近似预测的网络也为加速波传播的数值模拟提供了机会。为此，我们创建了一个新的模拟波动数据集，并构建了一个预测深度神经网络，该网络由三个主要模块组成：编码器，由3个LSTM组成的传播器和解码器。结果显示，在训练过程中没有看到的数据集上，对未来长达80个时间步长的合理预测。此外，该网络能够泛化到与训练过程中所见的初始条件在性质上不同的初始条件。
2018-12-04 cs.LG physics.comp-ph stat.ML
Deep neural networks for smooth approximation of physics with higher order and continuity B-spline base functions
AGH University of Science and Technology（AGH科技大学）；Jagiellonian University（雅盖隆大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文主要研究以下几个重要问题。传统上，神经网络采用与线性算子级联的非线性激活函数来近似给定的物理现象。他们用激活函数和线性算子的串联“填充空间”，并调整它们的系数以近似物理现象。我们主张，最好是“填充空间”的光滑高阶B样条基函数的线性组合，采用等几何分析，并利用神经网络来调整线性组合的系数。也就是说，评估了用神经网络逼近B样条基函数系数和直接逼近解的可能性。Maziar Raissi等人在2017年通过引入物理信息神经网络（PINN）提出了用神经网络求解微分方程，PINN自然地将潜在的物理定律编码为先验信息。使用函数作为输入的系数的近似利用了神经网络作为通用函数近似器的公知能力。本质上，在PINN方法中，网络近似于给定点处给定字段的值。本文提出了一种新的方法，将物理量近似为光滑B样条基函数的线性组合，用神经网络逼近B样条基函数的系数。本研究比较了DNN逼近B样条基函数的线性组合系数与DNN直接逼近解的结果。我们表明，我们的方法是更便宜，更准确的近似光滑的物理场。
2022-01-03 cs.LG cs.NA math.NA
Approximating CNNs with Bag-of-local-Features models works surprisingly well on ImageNet
Eberhard Karls University of Tübingen（埃伯哈德·卡尔斯图宾根大学）；Werner Reichardt Centre for Integrative Neuroscience（维尔纳·赖希哈特综合神经科学中心）；Bernstein Center for Computational Neuroscience（伯恩斯坦计算神经科学中心）
深度神经网络（DNN）在许多复杂的感知任务上表现出色，但众所周知，很难理解它们是如何做出决定的。我们在这里介绍ImageNet上的高性能DNN架构，其决策更容易解释。我们的模型是ResNet-50架构的一个简单变体，称为BagNet，它根据小的局部图像特征的出现对图像进行分类，而不考虑它们的空间顺序。这种策略与深度学习出现之前流行的特征袋（BoF）模型密切相关，并且在ImageNet上达到了令人惊讶的高准确率（33 x 33 px特征的前5名为87.6%，Alexnet性能为17 x 17 px特征）。对局部特征的约束使得分析图像的每个部分如何准确地影响分类变得简单。此外，BagNet在特征灵敏度、错误分布和图像部分之间的交互方面的行为类似于最先进的深度神经网络，如VGG-16、ResNet-152或DenseNet-169。这表明，在过去几年中，DNN相对于以前的特征袋分类器的改进主要是通过更好的微调实现的，而不是通过定性不同的决策策略。
2019-03-20 cs.CV cs.LG stat.ML
Approximating Langevin Monte Carlo with ResNet-like Neural Network architectures
Centrale Nantes（南特中央理工学院）；Nantes Université（南特大学）；Laboratoire de Mathématiques Jean Leray（让·勒雷数学实验室）
本文提出受 LMC 启发、类似深度残差网络的采样架构，证明其对光滑对数凹目标分布在 Wasserstein-2 距离下的逼近速率与表达能力。
2024-12-10 cs.LG math.PR math.ST
WeaveNet for Approximating Two-sided Matching Problems
OMRON SINIC X Corporation（欧姆龙 SINIC X 公司）；Tohoku University（东北大学）
本文提出专为二分图设计的新型图神经网络WeaveNet，通过保留边信息避免过度平滑，在公平稳定匹配这一强NP难问题上达到与专用最先进算法相当的性能。
2023-10-19 cs.LG
On Convergence of Moments for Approximating Processes and Applications to Surrogate Models
RWTH Aachen University（亚琛工业大学）
通过推广已知的关于$ Y_n = Y $对所有$n$和$ X_n $依概率收敛于$Y$的特殊情形的结果，研究了一对保证矩接近的逼近过程对$ (\{ X_n \} $，$ \{ Y_n \}) $的判别准则.这个问题在使用替代模型时尤其会出现，例如，通过模拟数据来丰富观测数据，其中替代$Y_n$的构造是为了证明它们近似于$ X_n $。本文的结果涉及随机变量序列。由于这个框架不包括许多应用程序，代理模型，如深神经网络被用来近似更一般的随机过程，我们的结果扩展到更一般的框架随机过程的随机场。该框架尤其涵盖图像数据和图像序列。我们表明，一致可积性是充分的，这甚至适用于过程的情况下，他们满足弱平稳性条件。
2018-04-28 cs.LG math.ST stat.ML
Approximating exponential family models (not single distributions) with a two-network architecture
Dept. of Neuroscience Columbia University（哥伦比亚大学神经科学系）；Dept. of Statistics Columbia University（哥伦比亚大学统计系）；Columbia University（哥伦比亚大学）
最近，深度生成模型受到了很多关注，因为它们已经在变分推断、复杂数据类型的生成等方面取得了巨大成功。在大多数这些设置中，目标一直是找到该模型家族的特定成员：优化参数索引（通过发散或分类度量）接近目标分布的分布。然而，很少有人关注学习模型本身的问题。在这里，我们介绍了一个双网络架构和优化过程，用于学习棘手的指数族模型（而不是来自这些模型的单一分布）。这些指数族被准确地学习，允许像后验推理这样的操作直接和一般地使用自然参数的输入选择来执行，而不是通过对该模型中的每个特定分布进行优化来执行推理。
2019-03-18 cs.LG stat.ML
Parametric Complexity Bounds for Approximating PDEs with Neural Networks
Carnegie Mellon University（卡内基梅隆大学）
最近的实验表明，深度网络可以近似高维偏微分方程的解，似乎逃脱了维数灾难。然而，关于这种近似的理论基础的问题，包括所需的网络规模，仍然悬而未决。本文研究了用神经网络逼近Dirichlet边界条件下线性椭圆型偏微分方程解的表示能力。我们证明了，当一个偏微分方程的系数表示的小神经网络，所需的参数近似其解决方案的规模多项式的输入尺寸$d$和成比例的系数网络的参数计数。为此，我们最终开发了一种证明技术，通过生长一个神经网络架构来模拟梯度下降（在适当的Hilbert空间中），该架构的迭代每个都作为子网络参与其（稍大）的后继者，并收敛到PDE的解。我们绑定的解决方案的大小，显示多项式依赖于$d$和没有依赖于域的体积。
2021-07-06 cs.LG cs.NA math.NA
Approximating Optimal Morphing Attacks using Template Inversion
Université de Lausanne (UNIL)（洛桑大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Idiap Research Institute（伊迪亚普研究所）
本文提出基于模板反演的新型深度变形攻击方法，通过反演源图像嵌入均值获得理论最优变形嵌入，实验证明其在白盒和黑盒场景下可超越现有方法且速度更快。
2024-02-01 cs.CR cs.CV cs.LG
Traffic Light Control with Reinforcement Learning
Hangzhou Foreign Language School（杭州外国语学校）
本研究提出一种基于深度Q学习的实时交通信号灯控制方法，通过相位门结构、记忆宫殿机制及多因素奖励函数优化配时，在杭州交叉口数据验证中较固定配时显著降低车辆等待时间、队列长度与总行程时间。
2023-08-28 cs.AI cs.LG
Approximating Trajectory Constraints with Machine Learning -- Microgrid Islanding with Frequency Constraints
Argonne National Laboratory（阿贡国家实验室）；Oak Ridge National Laboratory（橡树岭国家实验室）
在本文中，我们引入了一种深度学习辅助约束编码方法来解决频率约束的微电网调度问题。利用神经网络逼近系统工作状态与频率最低点之间的非线性函数，该函数具有精确的混合整数形式。然后将该公式与调度问题相结合，对频率约束进行编码。由于神经网络具有更强的表示能力，因此除了孤岛成功之外，所产生的命令还可以确保在现实设置中具有足够的频率响应。在一个改进的33节点系统上验证了该方法的有效性。在Simulink中使用详细的三相模型在预定命令下模拟具有安全响应的成功孤岛。当考虑风力发电机的惯性仿真功能时，我们的模型的优点尤其显著。
2020-11-29 cs.LG cs.SY eess.SY
Momentum Based Reward Design for Low Emission Traffic Signal Control
Institute of Technology, University of Tartu（塔尔图大学技术学院）
提出一种基于动量的奖励函数（MBRF），通过鼓励车辆持续移动而非单纯惩罚拥堵，在SUMO仿真中实现更好的吞吐量-排放权衡和更稳定的学习行为。
2026-07-09 cs.LG cs.RO
Decentralized Deep Reinforcement Learning for Network Level Traffic Signal Control
UNIVERSITY OF CALIFORNIA DAVIS（加州大学戴维斯分校）
在这篇论文中，我提出了一系列完全分散的深度多智能体强化学习（MARL）算法，以实现网络级交通信号控制的高实时性能。在这种方法中，每个交叉口被建模为一个代理，发挥马尔可夫博弈对其他交叉口节点的交通信号网络建模为无向图，以接近最佳的减少延误。遵循部分可观察马尔可夫决策过程（POMDPs），相邻学习代理之间有3个级别的通信方案：独立深度Q学习（IDQL），共享状态强化学习（S2 RL）和S2 RL的共享状态和奖励版本-S2 R2 L。在这3种分散式MARL方案中，个体代理分别训练其本地深度Q网络（DQN），通过双DQN，优先经验重放，多步自举等保证收敛的技术来增强。为了测试所提出的三种MARL算法的性能，开发了一个基于SUMO的仿真平台来模拟现实世界的流量演变。以允许OD对之间的随机交通需求为输入，建立了一个4 × 4的曼哈顿式网格网络作为实验平台，生成两种不同的车辆到达率用于模型的训练和测试。实验结果表明，S2 R2 L在训练过程中比IDQL和S2 RL具有更快的收敛速度和更好的收敛性能。此外，三个MARL计划都表现出卓越的推广能力。在平均车辆延误、网络级排队长度和燃料消耗率等指标下，其测试结果优于基准的最大压力（MP）算法。值得注意的是，S2 R2 L具有最好的测试性能，与MP相比，减少了34.55%的业务延迟和10.91%的队列长度。
2020-07-17 cs.AI cs.LG eess.SP
Approximating meta-heuristics with homotopic recurrent neural networks
Cortexica Vision Systems Ltd.（Cortexica视觉系统有限公司）；Imperial College London（伦敦帝国理工学院）
许多组合优化问题构成非多项式（NP）硬优化问题，即，它们不能在多项式时间内解决。一个这样的问题是找到图上两个节点之间的最短路径。元启发式算法，如$A^{*}$与混合整数规划（MIP）的方法，经常采用这些问题。我们的工作表明，使用深度递归神经网络来近似由元启发式算法生成的解决方案是可能的。我们比较了基于强化学习（RL）和循环神经网络（RNN）的不同方法，以衡量各自的近似质量。我们在一个有超过300个节点的图上展示了递归神经网络解决方案的可行性，并认为序列到序列网络而不是其他递归网络提高了近似质量。此外，我们认为同伦延续-增加了达到极值的机会-进一步提高了由香草RNN生成的估计。
2017-09-07 cs.DM cs.LG stat.ML
Frequency-adaptive Multi-scale Deep Neural Networks
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）
本文针对多尺度深度神经网络对降尺度映射参数敏感的问题，提出频率自适应 MscaleDNNs，通过后验误差估计自适应调整参数，在波传播和薛定谔方程算例中实现精度提升两到三个数量级。
2024-09-28 cs.LG
Approximating Probability Distributions by using Wasserstein Generative Adversarial Networks
The University of Hong Kong（香港大学）
本文研究了以GroupSort神经网络为判别器的WGANs，建立了生成分布与目标分布间Wasserstein距离的量化泛化界限，揭示了判别器容量不足时高容量生成器反而表现更差的现象，并通过Swiss roll和MNIST数据集验证了理论。
2023-06-30 cs.LG stat.ML
Deep Learning with Low Precision by Half-wave Gaussian Quantization
UC San Diego（加州大学圣地亚哥分校）；Microsoft Research Redmond（微软雷德蒙德研究院）；Megvii Inc.（旷视科技）
研究了深度神经网络的激活量化问题。流行的二进制量化方法的检查表明，这包括近似一个经典的非线性，双曲正切，由两个函数：一个分段常数符号函数，用于前馈网络计算，和一个分段线性硬双曲正切函数，用于网络学习过程中的反向传播步骤。然后考虑了在最近的深度学习文献中广泛使用的近似ReLU非线性的问题。提出了一种半波高斯量化器（HWGQ）的前向近似和高效的实现，利用统计的网络激活和批量归一化操作中常用的文献。为了克服梯度失配的问题，由于使用不同的前向和后向近似，几个分段向后逼近器，然后研究。所得到的量化网络（表示为HWGQ-Net）的实现被证明比以前可用的低精度网络（具有1位二进制权重和2位量化激活）实现更接近全精度网络（如AlexNet，ResNet，GoogLeNet和VGG-Net）的性能。
2017-02-03 cs.AI cs.CV cs.LG
Deep Geometric Prior for Surface Reconstruction
New York University（纽约大学）
从点云数据重建离散曲面是一个基本的几何处理问题，已经研究了几十年，有很多方法。我们建议使用一个深神经网络作为几何表面重建的先验。具体来说，我们过拟合的神经网络表示局部图表参数化的输入点云的一部分，使用Wasserstein距离作为近似的措施。通过将许多这样的网络联合拟合到点云的重叠部分，同时强制执行一致性条件，我们计算出一个流形图集。通过对该图谱进行采样，我们可以生成近似输入云的表面的密集重建。整个过程不需要任何训练数据或显式正则化，然而，我们表明，它能够表现得非常好：不引入典型的过拟合工件，并在同一时间接近尖锐的功能。我们的实验表明，这种几何先验产生良好的结果，人造物体包含尖锐的功能和平滑的有机物体，以及嘈杂的输入。我们比较我们的方法与一些著名的重建方法在一个标准的表面重建基准。
2019-04-05 cs.CV cs.GR cs.LG
Exploiting weight-space symmetries for approximating curvature
DeepMind, London, UK（伦敦DeepMind）
本文通过解析平均化保持损失不变的群作用，从单个梯度构建结构化的Hessian近似，从而利用权重空间对称性来近似损失函数的曲率。
2026-05-30 cs.LG math.OC stat.ML
