Optimistic Reinforcement Learning by Forward Kullback-Leibler Divergence Optimization
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
将强化学习（RL）中的传统优化方法解释为使用反向KL发散的优化问题，并推导出一种使用前向KL发散代替反向KL发散的优化方法。虽然强化学习最初的目标是通过优化策略间接地最大化收益，但Levine最近的工作提出了一个不同的推导过程，明确考虑了作为随机变量的最优性。本文遵循这一概念，将传统的价值函数和策略的学习律都表示为包含最优性的逆KL发散优化问题。针对KL散度的不对称性，导出了具有前向KL散度的新的优化问题。值得注意的是，这种新的优化问题可以被视为乐观RL。这种乐观情绪直观地由一个从不确定性参数转换而来的超参数来表示。此外，当它与优先经验重放和资格跟踪集成时，它可以得到增强，这两者都可以加速学习。这种预期的乐观的影响进行了研究，通过学习倾向的数值模拟使用Pybullet。结果，适度的乐观加速了学习，并带来了更高的回报。在一个现实的机器人仿真中，所提出的方法与适度的乐观优于国家的最先进的RL方法之一。
2022-04-22 cs.LG
Empirical Study on Robustness and Resilience in Cooperative Multi-Agent Reinforcement Learning
State Key Laboratory of Complex & Critical Software Environment（复杂与关键软件环境国家重点实验室）；Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）；Institute of Artificial Intelligence, Peking University（北京大学人工智能研究院）；Institute of data space, Hefei Comprehensive National Science Center（合肥综合国家科学中心数据空间研究院）；Nanyang Technological University（南洋理工大学）
通过82,620次实验，系统评估合作MARL在多种不确定性下的鲁棒性与韧性，发现优化合作在轻度扰动下有益，但超参数调优（如早停、高学习率）对构建可信赖系统至关重要。
2025-10-23 cs.AI cs.LG cs.MA
How to Train Your Super-Net: An Analysis of Training Heuristics in Weight-Sharing NAS
EPFL（洛桑联邦理工学院）
权重共享有望使神经架构搜索（NAS）即使在商品硬件上也易于处理。现有的方法在这个空间依赖于一个不同的集合的设计和训练的共享权重骨干网络，也称为。超级网。由于不同的方法之间的几何学和超参数有很大的差异，因此只有通过系统地分析这些因素的影响才能实现它们之间的公平比较。因此，在本文中，我们提供了一个系统的评估的权重共享NAS算法经常采用的算法和超参数。我们的分析揭示了一些常用的超网训练算法对超网和单机性能之间的相关性产生了负面影响，并证明了某些超参数和架构选择的强烈影响。我们的代码和实验设定了一个强大的和可重复的基线，未来的工作可以建立在此基础上。
2020-06-17 cs.CV cs.LG stat.ML
Gradient-based Hyperparameter Optimization Over Long Horizons
University of Edinburgh（爱丁堡大学）
基于一致性的超参数优化在Few-Shot元学习的上下文中获得了广泛的普及，但由于内存缩放和梯度退化问题，对于具有长视野（许多梯度步骤）的任务仍然是广泛不切实际的。一个常见的解决方法是在线学习超参数，但这会引入贪婪，从而导致性能显著下降。我们提出了前向模式差分与共享（FDS），一个简单而有效的算法，解决内存扩展问题与前向模式差分，和梯度退化问题，通过共享超参数，在时间上是连续的。我们提供了理论保证我们的算法的降噪性能，并证明其效率的经验，通过$\sim 10^4$梯度步骤展开优化区分。我们考虑在CIFAR-10上大的超参数搜索范围，在那里我们显著优于基于贪婪梯度的替代方案，同时与最先进的黑盒方法相比，实现了$\times 20$加速。代码可在：\url{https://github.com/polo5/FDS}
2021-09-30 cs.CV cs.LG stat.ML
Adaptive Services Function Chain Orchestration For Digital Health Twin Use Cases: Heuristic-boosted Q-Learning Approach
University of Amsterdam（阿姆斯特丹大学）
本文提出启发式增强的 Q-Learning 自适应 SFC 编排框架，依据数据共享政策、性能需求与资源状态动态部署 VNF 和路由，服务数字健康孪生场景。
2023-04-25 cs.CR cs.LG cs.NI
Deep Learning to Predict Late-Onset Breast Cancer Metastasis: the Single Hyperparameter Grid Search (SHGS) Strategy for Meta Tuning Concerning Deep Feed-forward Neural Network
University of Pittsburgh（匹兹堡大学）
针对预测乳腺癌转移的DFNN模型在网格搜索超参数时面临的耗时与资源限制问题，提出了单超参数网格搜索（SHGS）预选策略，通过分析八个目标超参数缩小取值范围，为后续低预算网格搜索提供先验经验以提升模型性能。
2024-08-28 cs.AI cs.LG cs.NE
DrMAD: Distilling Reverse-Mode Automatic Differentiation for Optimizing Hyperparameters of Deep Neural Networks
National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）
众所周知，深度神经网络的性能对其超参数的设置很敏感。反向模式自动微分的最新进展允许用梯度优化超参数。计算这些梯度的标准方法涉及向前和向后的计算过程。然而，反向传递通常需要消耗无法承受的内存来存储所有中间变量，以准确地逆转正向训练过程。在这项工作中，我们提出了一种简单但有效的方法DrMAD，将向前传递的知识提取到一个捷径路径中，通过它我们近似地逆转了训练轨迹。在几个图像基准数据集上的实验表明，与最先进的优化超参数的方法相比，DrMAD至少快45倍，占用的内存少100倍，同时对其有效性的影响最小。据我们所知，DrMAD是第一次尝试自动调整深度神经网络的数千个超参数的研究。代码可以从https://github.com/bigaidream-projects/drmad下载
2016-04-06 cs.LG cs.NE
Hyperparameter Transfer for Dense Associative Memories
Rudolf Peierls Centre for Theoretical Physics, University of Oxford, Oxford OX1 3PU, UK（鲁道夫·皮尔士理论物理中心，牛津大学，牛津 OX1 3PU, 英国）；Dynamical Mind, IBM Research（动态思维，IBM研究）；Princeton ORFE（普林斯顿ORFE）
本文研究了密集关联记忆模型中超参数转移方法的开发，提出了从小型模型到大规模模型的超参数转移准则，并验证了理论与实证结果的一致性。
2026-05-11 cs.LG stat.ML
Neural Velocity for hyperparameter tuning
University of Turin（都灵大学）
本文提出基于神经速度的动态训练方法NeVe，用于调整学习率和定义停止标准，减少对验证集的依赖，提升训练效率。
2025-07-07 cs.AI cs.LG
SHINE: SHaring the INverse Estimate from the forward pass for bi-level optimization and implicit models
CEA（法国原子能和替代能源委员会）；Inria（法国国家信息与自动化研究所）；University of Graz（格拉茨大学）；Carnegie Mellon University（卡内基梅隆大学）；AIM（天体物理、宇宙学与天体粒子研究所）；CNRS（法国国家科学研究中心）
近年来，隐式深度学习已经成为一种增加深度神经网络有效深度的方法。虽然它们的训练是记忆高效的，但它们的训练仍然比显式对应物慢得多。在深度均衡模型（DEQs）中，训练作为双层问题执行，并且其计算复杂性部分地由巨大雅可比矩阵的迭代求逆驱动。在本文中，我们提出了一种新的策略来解决这个计算瓶颈，许多双层问题遭受。主要思想是使用来自前向传递的拟牛顿矩阵来在梯度计算所需的方向上有效地近似逆雅可比矩阵。我们提供了一个定理，激励使用我们的方法与原来的前向算法。此外，通过修改这些前向算法，我们进一步提供了理论保证，我们的方法渐近估计真正的隐式梯度。我们在不同的设置下实证研究了这种方法和最近的Jacobian Free方法，从超参数优化到应用于CIFAR和ImageNet的大型多尺度DEQ（MDEQ）。这两种方法都大大降低了向后传递的计算成本。虽然SHINE在超参数优化问题上具有明显的优势，但与原始模型相比，这两种方法在有限的性能下降的代价下，对于更大规模的问题（如MDEQ）获得了相似的计算性能。
2023-03-10 cs.LG stat.ML
Fast Hyperparameter Optimization of Deep Neural Networks via Ensembling Multiple Surrogates
深度神经网络的性能关键取决于良好的超参数配置。贝叶斯优化是优化DNN超参数的强大框架。这些方法需要足够的评估数据来近似和最小化超参数的验证误差函数。然而，DNN昂贵的评估成本导致在有限的时间内评估数据很少，这大大降低了贝叶斯优化的效率。此外，以往的研究主要集中在使用完整的评估数据进行贝叶斯优化，而忽略了早期停止方法产生的中间评估数据。为了缓解评估数据不足的问题，我们提出了一种快速超参数优化方法HOIST，该方法利用完整和中间评估数据来加速DNN的超参数优化。具体来说，我们训练多个基本代理人收集信息的混合评估数据，然后结合所有的基本代理人使用加权装袋提供一个准确的合奏代理。我们的实证研究表明，HOIST在广泛的DNN上优于最先进的方法，包括前馈神经网络、卷积神经网络、递归神经网络和变分自编码器。
2021-07-21 cs.LG stat.ML
Physics-informed Neural Networks for Solving Nonlinear Diffusivity and Biot's equations
Technical University of Denmark（丹麦技术大学）；The Danish Hydrocarbon Research and Technology Centre（丹麦碳氢化合物研究与技术中心）
本文介绍了应用物理信息神经网络解决非线性多物理问题的潜力，这是必不可少的许多领域，如生物医学工程，地震预报，地下能源收集。具体来说，我们研究如何扩展的物理信息的神经网络的方法来解决有关的非线性扩散系数和Biot方程的正问题和逆问题。我们探索的准确性的物理信息神经网络与不同的训练样本大小和超参数的选择。各种训练实现之间的随机变化的影响也进行了研究。在相反的情况下，我们还研究了噪声测量的影响。此外，我们解决了选择逆模型的超参数的挑战，并说明了这个挑战是如何链接到超参数选择执行的前一个。
2020-02-19 cs.CE cs.LG cs.NA
DC and SA: Robust and Efficient Hyperparameter Optimization of Multi-subnetwork Deep Learning Models
University of Texas Southwestern Medical Center（德克萨斯大学西南医学中心）
我们提出了两种新的超参数优化策略，用于优化具有多个子网络构建的模块化架构的深度学习模型。随着具有多个子网络的复杂网络越来越频繁地应用于机器学习，需要超参数优化方法来有效地优化其超参数。现有的超参数搜索是通用的，可以用来优化这样的网络，然而，通过利用多子网络架构，这些搜索可以大大加快。所提出的方法提供了更快的收敛到一个更好的表现最终模型。为了证明这一点，我们提出了两种独立的方法来增强这些先前的算法：1）分而治之的方法，其中最佳性能模型的最佳子网络被组合在一起，允许更快速地对超参数搜索空间进行采样。2)一种子网自适应方法，根据每个子网的重要性分配计算资源，从而实现更智能的资源分配。这些方法可以灵活地应用于许多超参数优化算法中。为了说明这一点，我们结合我们的方法与常用的贝叶斯优化方法。然后，我们的方法进行了测试，对合成的例子和现实世界的例子，并适用于多种网络类型，包括卷积神经网络和密集前馈神经网络。与类似的BO方法相比，我们的方法显示出高达23.62倍的优化效率，以及高达3.5%的分类准确率和4.4 MSE的回归最终性能提升。
2022-02-24 cs.LG
Field theory for optimal signal propagation in ResNets
Institute for Advanced Simulation (IAS-6), Jülich Research Centre（先进模拟研究所（IAS-6）、尤利希研究中心）；RWTH Aachen University（亚琛工业大学）；Department of Physics, Faculty 1, RWTH Aachen University（物理系，亚琛工业大学）
本文为残差网络推导有限尺寸场论，解析得出响应函数与最优缩放参数，解释其跨超参数普适性，并表明经验最优值位于最大敏感度范围。
2025-10-23 cond-mat.dis-nn cs.LG stat.ML
A Fully Tensorized Recurrent Neural Network
Mila - McGill University（Mila - 麦吉尔大学）；Ubenwa Health；Google DeepMind（谷歌DeepMind）
递归神经网络（RNN）是序列建模的强大工具，但通常需要显著的过度参数化和正则化来实现最佳性能。这导致在资源有限的环境中部署大型RNN的困难，同时也在超参数选择和训练中引入了复杂性。为了解决这些问题，我们引入了一个“完全张量化”的RNN架构，该架构使用轻量级张量训练（TT）因子分解对每个递归单元内的单独权重矩阵进行联合编码。这种方法代表了一种新的权重共享形式，它将模型大小降低了几个数量级，同时与标准RNN相比仍然保持类似或更好的性能。在图像分类和说话人确认任务上的实验证明了减少推理时间和稳定模型训练和超参数选择的进一步好处。
2021-11-10 cs.LG stat.ML
Unlocking Feature Learning in Gated Delta Networks at Scale
University of California Los Angeles（加州大学洛杉矶分校）
本文通过推导门控Delta网络的缩放规则，实现了超参数（尤其是学习率）在不同模型宽度下的零样本迁移，验证了Maximal Update Parametrization在结构化状态空间模型中的有效性。
2026-06-02 cs.AI cs.LG
ShellElastic: Scalable Elastic Pretraining with Simultaneous Maximal Updates and Hyperparameter Transfer
Rutgers University（罗格斯大学）；Adobe Research（奥多比研究院）
本文提出ShellElastic弹性Transformer架构，结合\textmu E超参数迁移方法，实现超网内多子网络同步最大更新，生成的子网络性能优于基线且接近单独训练的模型。
2026-10-14 cs.AI cs.LG
Extending the Forward Forward Algorithm
本文复现 Forward Forward 的 MNIST 实验，首次将其用于 IMDb 情感分析，并提出损失阈值的金字塔式优化策略，使测试误差最高改善 8%。
2023-07-14 cs.LG
Split-Boost Neural Networks
Politecnico di Milano（米兰理工大学）；Dalle Molle Institute for Artificial Intelligence（达勒莫勒人工智能研究所）
提出一种名为 split-boost 的前馈神经网络训练策略，自动引入正则化，减少超参数数量并加速调参，在真实匿名医疗保险数据集上验证了性能提升。
2023-09-06 cs.AI cs.LG
How Does Supernet Help in Neural Architecture Search?
Microsoft Research（微软研究院）
权值共享作为一种加速体系结构性能评估的方法受到了广泛的关注。权重共享不是单独训练每个架构，而是构建一个将所有架构组装为其子模型的超网。然而，由于超网优化和NAS目标之间的差距，NAS过程是否真的受益于权重共享一直存在争议。为了进一步了解权重共享对NAS的影响，我们对NAS-Bench-101、NAS-Bench-201、DARTS-CIFAR 10、DARTS-PTB和ProxylessNAS五个搜索空间进行了全面分析。我们发现，权重共享工作在某些搜索空间，但在其他人失败。进一步，我们进一步确定了解释这种现象的偏差和权重共享的能力。我们的工作有望激励未来的NAS研究人员更好地利用体重分担的力量。
2021-05-05 cs.CV cs.LG cs.NE
Community-Based Model Sharing and Generalisation: Anomaly Detection in IoT Temperature Sensor Networks
Institute of New Imaging Technologies（新成像技术研究所）；Universitat Jaume I（Jaime I 大学）
本文提出基于兴趣社区的物联网温度传感器网络异常检测框架，通过融合时间、空间和海拔相似性分组传感器，利用自编码器训练与贝叶斯优化检测异常，验证了社区模型共享在减少计算开销和提升模型泛化能力上的有效性。
2026-01-09 cs.LG
Investigating the Impact of Weight Sharing Decisions on Knowledge Transfer in Continual Learning
University of Maine（缅因大学）；Cisco Systems Inc.（思科系统公司）
该研究聚焦持续学习中权重共享决策对前向知识迁移的影响，通过三个差异化序列数据集在ResNet-18和VGG-16上实验，揭示任务复杂度与相似性对最优共享决策的作用，可提升任务准确率。
2023-12-18 cs.LG
Distributed Fine-Grained Traffic Speed Prediction for Large-Scale Transportation Networks based on Automatic LSTM Customization and Sharing
Norwegian University of Science and Technology（挪威科技大学）；Simula Research Laboratory（西穆拉研究院）
短时交通速度预测是近十年来的一个重要研究课题，目前已提出了许多方法。然而，提供细粒度，准确，高效的交通速度预测的大规模交通网络中部署了大量的交通检测器还没有得到很好的研究。在本文中，我们提出了DistPre，这是一个分布式的细粒度交通速度预测方案的大规模交通网络。为了实现细粒度和准确的交通速度预测，DistPre为检测器定制了一个具有适当超参数配置的长短期记忆（LSTM）模型。为了使这种定制过程高效并适用于大规模交通网络，DistPre在计算节点集群上进行LSTM定制，并允许任何经过训练的LSTM模型在不同的检测器之间共享。如果一个检测器观察到与另一个检测器相似的流量模式，DistPre直接在两个检测器之间共享现有的LSTM模型，而不是为每个检测器定制LSTM模型。基于加利福尼亚州I5-N高速公路的交通数据进行了实验，以评估DistPre的性能。结果表明，DistPre为大规模交通网络提供了高效的LSTM定制和精确的细粒度交通速度预测。
2020-06-03 cs.LG stat.ML
Searching the Space of Feed-Forward Neural-Network Weight-Update Rules with Fixed Depth Symbolic Regression
UCI（加州大学欧文分校）
研究符号回归能否发现优于标准优化器的神经网络权重更新规则，通过固定深度符号表达式表示候选规则，在30个组合中25次找到更好规则，总均方误差降低44.47%，表明其可发现紧凑优化器变体但需大规模验证。
2026-07-27 cs.LG
A Closed-Form Upper Bound for Admissible Learning-Rate Steps in Belief-Space Dynamics
Datawhale
本文提出信念空间动力学中可接受学习率步骤的闭式上界公式，通过概率简单集的投影前向步骤建模更新，并在自然KL/Bregman几何中定义可接受性。
2026-05-07 cs.LG
Robust learning with implicit residual networks
UT-Battelle, LLC（UT-巴特尔有限责任公司）；US Department of Energy (DOE)（美国能源部）
在这项工作中，我们提出了一种新的深度架构，利用隐式离散化方案的启发残差块。相对于标准的前馈网络，建议的隐式残差块的输出被定义为适当选择的非线性变换的不动点。我们表明，这种选择导致向前和向后传播的稳定性得到改善，对泛化能力产生了有利的影响，并且允许仅用几个超参数来控制网络的鲁棒性。此外，所提出的ResNet的重新表述不会引入新参数，并且由于改进的前向稳定性，可能会导致所需层数的减少。最后，我们推导出内存有效的训练算法，提出了一种随机正则化技术，并提供了支持我们的研究结果的数值结果。
2021-02-22 cs.LG stat.ML
RKSC: Reasoning-Aware KV Cache Sharing and Confident Early Exit for Multi-Step LLM Inference
Anirudh Sekar（安尼鲁德·塞卡）
提出RKSC框架，通过注意力相似性KV共享、置信门控提前退出和推理选择性块缓存管理，消除多分支LLM推理中的结构冗余，实现平均3.008倍加速，错误率仅0.37%。
2026-06-07 cs.AI cs.CL cs.LG
Lookahead Optimizer: k steps forward, 1 step back
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）
绝大多数成功的深度神经网络都是使用随机梯度下降（SGD）算法的变体进行训练的。最近对SGD的改进尝试可以大致分为两种方法：（1）自适应学习率方案，如AdaGrad和Adam，以及（2）加速方案，如重球和Nesterov动量。在本文中，我们提出了一个新的优化算法，前瞻性，这是正交的这些以前的方法和迭代更新两套权重。直观地说，该算法通过前瞻另一个优化器生成的快速权重序列来选择搜索方向。我们表明，前瞻性提高了学习的稳定性和降低其内部优化的方差可以忽略不计的计算和内存成本。我们通过经验证明，Lookahead可以显著提高SGD和Adam的性能，即使在ImageNet、CIFAR-10/100、神经机器翻译和Penn Treebank上使用它们的默认超参数设置。
2019-12-03 cs.LG cs.NE stat.ML
ForecastNet: A Time-Variant Deep Feed-Forward Neural Network Architecture for Multi-Step-Ahead Time-Series Forecasting
Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；Agriculture & Food, CSIRO（澳大利亚联邦科学与工业研究组织农业与食品部）
递归和卷积神经网络是深度学习文献中用于时间序列预测的最常见架构。这些网络通过在时间或空间上重复具有固定参数的一组固定架构来使用参数共享。其结果是，整个架构是时不变的（在空间域中的平移不变）或静止的。我们认为，时间不变性可以降低执行多步预测的能力，其中需要在一系列尺度和分辨率下对动态进行建模。我们提出了ForecastNet，它使用深度前馈架构来提供时变模型。ForecastNet的另一个新颖之处是交错输出，我们显示它有助于减轻消失的梯度。ForecastNet在几个数据集上的表现优于统计和深度学习基准模型。
2020-06-27 cs.LG stat.ML
Is Differentiable Architecture Search truly a One-Shot Method?
可区分结构搜索（DAS）是一种被广泛研究的发现新结构的工具，由于其有前途的结果为图像分类。DAS的主要好处是通过权重共享的一次性范例实现的有效性，这允许高效的架构搜索。在这项工作中，我们调查DAS的反问题，这使我们能够分析这些潜在的好处在一个控制的方式系统的案例研究。我们证明了DAS的成功可以从图像分类扩展到信号重建。然而，我们的实验也暴露了三个基本的困难，在反问题的DAS为基础的方法进行评估：第一，结果显示在所有的测试用例的方差很大。其次，最终的性能很大程度上取决于优化器的超参数。第三，在训练期间使用的权重共享架构的性能并不能很好地反映所找到的架构的最终性能。虽然图像重建的结果证实了DAS范式的潜力，但它们挑战了DAS作为一次性方法的普遍理解。
2023-02-20 cs.CV cs.LG
Reducing the Prior Mismatch of Stochastic Differential Equations for Diffusion-based Speech Enhancement
University of Hamburg（汉堡大学）；DESY（德国电子同步加速器研究所）；Center for Free-Electron Laser Science（自由电子激光科学中心）
本文针对扩散语音增强中前向过程终止分布与反向过程先验不匹配的问题，提出基于布朗桥的前向过程，在减少不匹配的同时以一半迭代步数和更少超参数提升客观指标。
2023-05-30 cs.LG cs.SD eess.AS
Kronecker-Factored Approximate Curvature for Modern Neural Network Architectures
University of Cambridge（剑桥大学）；ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）
本文针对现代神经网络中带权重共享的线性层，提出 K-FAC-expand 和 K-FAC-reduce 两种二阶优化变体，证明其在深度线性网络中的精确性，并在图神经网络和视觉 Transformer 上验证了显著加速训练的效果。
2024-01-11 cs.LG stat.ML
Generative Neural Network based Spectrum Sharing using Linear Sum Assignment Problems
Big data Institute（大数据研究所）；School of Computer Science（计算机学院）；Shenzhen University（深圳大学）；Benha University（本哈大学）；Peng Cheng Laboratory（鹏城实验室）
频谱管理和资源分配（RA）问题在诸如无线通信和计算机网络的大量研究领域中是具有挑战性和关键性的。传统的方法求解此类问题通常需要耗费大量的时间和内存，尤其是对于大规模的问题。近年来，不同的机器学习方法被认为是解决组合优化问题的潜在技术，特别是深层神经网络的生成模型。在这项工作中，我们提出了一个资源分配深自动编码器网络，作为一个有前途的生成模型，使频谱共享的无线设备到设备（D2 D）通信通过解决线性和分配问题（LSAP）。具体来说，我们研究了三种不同的架构的条件变分自编码器（CVAE）的性能。提出的三种架构是卷积神经网络（CVAE-CNN）自动编码器、前馈神经网络（CVAE-FNN）自动编码器和混合（H-CVAE）自动编码器。仿真结果表明，该方法可以用来作为传统的RA技术，如匈牙利算法的替代，由于其能够找到不同大小的LASP的解决方案，具有高精度和非常快的执行时间。此外，仿真结果表明，所提出的混合自动编码器架构的准确性优于其他提出的架构和最先进的DNN技术。
2019-10-12 cs.LG cs.NI stat.ML
Solving Forward and Inverse Problems of Contact Mechanics using Physics-Informed Neural Networks
Institute for Mathematics and Computer-Based Simulation (IMCS), University of the Bundeswehr Munich（慕尼黑联邦国防军大学数学与计算机模拟研究所）；Institute for the Protection of Terrestrial Infrastructures, German Aerospace Center (DLR)（德国航空航天中心陆地基础设施保护研究所）
本研究探索物理信息神经网络（PINNs）求解小变形弹性接触力学正反问题的能力，采用混合变量公式结合输出变换处理边界硬约束，用Fischer-Burmeister函数将KKT条件作为软约束纳入损失，验证了PINNs的多种应用场景及优化器组合的重要性。
2023-08-24 cs.LG cs.NA math.NA
Training CNNs faster with Dynamic Input and Kernel Downsampling
University of Toronto（多伦多大学）
我们使用一种方法来减少卷积网络（CNN）的训练时间，对于一些小批量：a）通过下采样降低输入图像的分辨率，b）通过卷积滤波器上的池化减少前向通操作。训练以交错的方式进行;一些批次使用原始网络参数进行常规的前向和反向传播，而其他批次则使用池化滤波器和下采样输入进行前向传递。由于池化是可微的，因此池化滤波器的梯度传播到原始网络参数以进行标准参数更新。后一阶段需要更少的浮点运算和更少的存储，因为减少了特征图和过滤器的空间维度。其关键思想是，这个阶段会导致更小和近似的更新，因此学习速度更慢，但成本大大降低，然后是使用原始网络参数作为细化阶段的通道。决定下采样发生的频率和批次可以随机或确定性地完成，并且可以定义为训练超参数本身。在残差架构上的实验表明，我们可以在验证准确性损失最小的情况下，实现高达23%的训练时间减少。
2019-10-15 cs.CV cs.LG stat.ML
