Principled Approaches for Extending Neural Architectures to Function Spaces for Operator Learning
NVIDIA；Caltech（加州理工学院）
针对科学问题多定义于无限维函数空间、现有神经算子多为独立模型未基于已有架构扩展的问题，本文提炼了构建函数空间映射的关键原则，提出以最小修改将流行神经架构转为神经算子的方案，助力算子学习落地应用。
2025-06-12 cs.AI cs.LG cs.NA
Principled Data Augmentation for Learning to Solve Quadratic Programming Problems
Department of Computer Science（计算机科学系）；RWTH Aachen University（亚琛工业大学）
本文提出一种基于理论依据的数据增强方法，结合自监督对比学习预训练MPNNs，以提升在数据稀缺场景下学习求解二次规划任务的泛化与迁移性能。
2025-10-24 cs.AI cs.LG
Simple and Principled Uncertainty Estimation with Deterministic Deep Learning via Distance Awareness
Google Research（谷歌研究院）；Harvard University（哈佛大学）
贝叶斯神经网络（BNN）和深度集成是估计深度学习模型的预测不确定性的原则性方法。然而，它们的实用性在实时，工业规模的应用是有限的，由于其沉重的内存和推理成本。这促使我们研究只需要单个深度神经网络（DNN）的高质量不确定性估计的原则方法。通过将不确定性量化形式化为极大极小学习问题，我们首先识别输入距离感知，即，模型量化测试示例与输入空间中的训练数据的距离的能力，作为DNN实现高质量的必要条件（即，最小最大最优）不确定性估计。然后，我们提出了频谱归一化神经高斯过程（SNGP），这是一种简单的方法，通过在训练过程中添加权重归一化步骤并将输出层替换为高斯过程，提高了现代DNN的距离感知能力。在一系列视觉和语言理解任务以及现代架构（Wide-ResNet和BERT）上，SNGP在预测，校准和域外检测方面与深度集成具有竞争力，并且优于其他单模型方法。
2020-10-26 cs.LG stat.ML
Deep Active Learning: Unified and Principled Method for Query and Training
Université Laval（拉瓦尔大学）；Mila, Canada CIFAR AI Chair（Mila（加拿大）CIFAR人工智能主席）；University of Western Ontario（西安大略大学）；Vector Institute（Vector研究所（注：该机构常见译名为“Vector研究院”））
在本文中，我们提出了一个统一的和原则性的方法，查询和训练过程中的深批主动学习。我们通过采用Wasserstein距离，将主动学习中的交互过程建模为分布匹配，从而提供理论见解。因此，我们从理论分析中推导出一个新的训练损失，通过交替优化将其分解为优化深度神经网络参数和批量查询选择。此外，通过利用未标记的数据信息，训练深度神经网络的损失自然地被公式化为最小-最大优化问题。此外，所提出的原则也表明了一个明确的不确定性多样性的权衡在查询批量选择。最后，我们评估我们提出的方法在不同的基准，一贯表现出更好的经验性能和更好的时间效率的查询策略相比，基线。
2020-02-26 cs.LG stat.ML
Principled Confidence Estimation for Deep Computed Tomography
ETH Zürich（苏黎世联邦理工学院）；Swiss Data Science Center（瑞士数据科学中心）
本文提出了一种原理性的置信度估计框架，用于深度学习CT重建，通过理论覆盖保证和更紧的置信区域，提高医学影像的不确定性感知能力。
2026-02-05 cs.LG stat.ML
Optimal Control Theoretic Neural Optimizer: From Backpropagation to Dynamic Programming
FAIR, Meta（FAIR、Meta）；the School of Aerospace Engineering, Georgia Institute of Technology（航空航天工程学院、佐治亚理工学院）；Apple MLR
本文提出最优控制理论神经优化器（OCNOpt），利用反向传播与动态规划的算法相似性，通过高阶Bellman方程展开实现高效鲁棒的深度网络优化，支持逐层反馈和连续时间模型训练。
2025-10-15 cs.LG stat.ML
Nonlinear Independent Component Analysis for Principled Disentanglement in Unsupervised Deep Learning
University College London（伦敦大学学院）；RIKEN AIP（理化学研究所先进智能项目中心）；University of Helsinki（赫尔辛基大学）
本文综述非线性独立成分分析（ICA）的理论与算法，其作为无监督深度学习中解缠问题的原则性方法，利用时间结构或辅助信息实现可识别性，并涵盖自监督算法的最新进展。
2023-09-05 cs.LG stat.ML
Towards Principled Uncertainty Estimation for Deep Neural Networks
Sophos PLC（Sophos PLC（索福斯公司））
当错误分类样本的成本很高时，对该样本的预测中的不确定性进行准确估计是有用的。还有多种类型的不确定性，它们以不同的方式进行最佳估计，例如，训练集固有的不确定性可以通过贝叶斯方法很好地处理，而由训练和查询分布之间的偏移引入的不确定性可以通过密度/支持估计更好地解决。在本文中，我们研究了三种类型的不确定性：模型容量的不确定性，内在的数据不确定性，和开放集的不确定性，并审查技术，已得出解决每一个。然后，我们引入了一个统一的分层模型，该模型将贝叶斯推理，可逆潜在密度推理和判别分类的方法结合在一个端到端的深度神经网络拓扑结构中，以在检测环境中产生有效的每样本不确定性估计。这种方法解决了所有三种不确定性类型，可以很容易地适应二进制检测的先验/基本速率。然后，我们将讨论如何将此模型扩展到更通用的多类识别环境。
2019-03-14 cs.LG stat.ML
Towards Principled Causal Effect Estimation by Deep Identifiable Models
The Graduate University for Advanced Studies（综合研究大学院大学）；The Institute of Statistical Mathematics（统计数学研究所）
作为因果推断中的一个重要问题，我们讨论了处理效应（TE）的估计。代表作为一个潜在变量的混杂因素，我们提出了完整的VAE，变分自动编码器（VAE）的一个新的变种，动机的预后评分，足以识别TE。我们的VAE也自然地使用其先验知识为治疗组提供了平衡的表示。在（半）合成数据集上的实验显示了在不同设置下的最新性能，包括未观察到的混淆。我们的模型的可识别性的基础上，我们证明了识别TE unconfoundedness下，也讨论了（可能的）扩展到更难的设置。
2021-11-01 cs.LG econ.EM stat.ME
Theoretically Principled Deep RL Acceleration via Nearest Neighbor Function Approximation
University of California, Los Angeles（加州大学洛杉矶分校）
最近，深度强化学习（RL）通过将深度神经网络集成到RL框架中，取得了显著的经验成功。然而，这些算法往往需要大量的训练样本，并承认很少的理论理解。为了缓解这些问题，我们提出了一种理论上有原则的最近邻（NN）函数近似器，可以改善深度RL方法中的价值网络。受人类相似性判断的启发，NN近似器使用对过去观察的滚动来估计动作值，并且可以证明获得仅取决于环境的内在复杂性的小遗憾界。我们提出了（1）最近邻行为者-评论家（NNAC），一种在线策略梯度算法，证明了将函数近似与深度RL相结合的实用性，以及（2）一个即插即用的NN更新模块，有助于训练现有的深度RL方法。经典控制和MuJoCo运动任务的实验表明，神经网络加速代理实现更高的样本效率和稳定性比基线代理。基于其理论上的优势，我们相信NN逼近器可以进一步应用于其他复杂领域，以加快学习。
2021-10-09 cs.AI cs.LG
Optimization under Uncertainty in the Era of Big Data and Deep Learning: When Machine Learning Meets Mathematical Programming
Cornell University（康奈尔大学）
本文通过现代数据镜头回顾了不确定性优化领域的最新进展，强调了数据驱动优化的关键研究挑战和前景，该优化将机器学习和数学规划有机地集成到不确定性决策中，并确定了潜在的研究机会。首先简要回顾了经典的数学规划技术对冲不确定性，以及它们在过程系统工程中的广泛应用。然后对数据驱动的分布鲁棒优化、数据驱动的机会约束规划、数据驱动的鲁棒优化和数据驱动的基于分布鲁棒优化的相关出版物进行了全面的回顾和分类。本文还为未来的研究确定了丰富的途径，重点是闭环数据驱动的优化框架，该框架允许从数学编程到机器学习的反馈，以及利用深度学习技术的力量进行基于神经网络的优化。展望在线学习基于数据驱动的多级优化与学习，同时优化计划。
2019-04-03 cs.LG math.OC stat.ML
Network-principled deep generative models for designing drug combinations as graph sets
Texas A&M University（德州农工大学）
联合治疗已显示出提高疗效，同时减少副作用。重要的是，它已成为克服抗生素、抗微生物药物和抗癌药物耐药性的不可或缺的策略。面对巨大的化学空间和小分子组合的设计原则不明确，计算药物组合设计还没有看到生成模型，以满足其加速耐药药物组合发现的潜力。我们开发了第一个用于药物组合设计的深度生成模型，通过联合嵌入图结构的领域知识并迭代训练基于强化学习的化学图集设计器。首先，我们开发了分层变分图自动编码器（HVGAE），经过端到端训练，共同嵌入基因-基因、基因-疾病和疾病-疾病网络。这里引入了新的注意力池，用于从相关基因的表征中学习疾病表征。其次，针对学习表征中的疾病，我们将药物组合设计问题重新定义为图集生成，并开发了一个具有新奖励的基于深度学习的模型。具体来说，除了化学有效性奖励外，我们还引入了一种新的生成对抗性奖励，即广义切片Wasserstein，用于具有与已知药物相似分布的化学多样性分子。我们还为药物组合设计了一个基于网络原理的奖励。数值结果表明，与图嵌入方法相比，HVGAE学习到更多信息和可推广的疾病表示。对四种疾病的案例研究表明，网络原则的药物组合往往具有低毒性。生成的药物组合共同涵盖了与FDA批准的药物组合类似的疾病模块，并可能提出新的系统药理学策略。
2020-04-22 cs.LG q-bio.MN stat.ML
Principled Analysis of Deep Reinforcement Learning Evaluation and Design Paradigms
本文聚焦强化学习研究进展关键要素，分析典型评估与设计范式，介绍缩放定律理论基础，通过大规模实验表明相关研究结论有误，为深度强化学习的缩放、能力和复杂性提供核心分析。
2026-07-10 cs.AI cs.LG
Deep Policy Dynamic Programming for Vehicle Routing Problems
University of Amsterdam（阿姆斯特丹大学）；ORTEC
路由问题是一类有着广泛应用的组合优化问题。最近，已经提出了端到端的深度学习方法来学习这些问题的近似解算法。相比之下，经典的动态规划（DP）算法保证最优解，但规模与问题的大小。我们提出了深度策略动态规划（DPDP），其目的是结合学习神经网络与DP算法的优势。DPDP使用从深度神经网络导出的策略对DP状态空间进行优先级排序和限制，该深度神经网络被训练为从示例解决方案预测边缘。我们评估我们的框架上的旅行商问题（TSP），车辆路径问题（VRP）和TSP与时间窗口（TSPTW），并表明，神经政策提高了性能（限制）DP算法，使他们有竞争力的强有力的替代品，如LKH，同时也优于大多数其他的“神经方法”解决TSP，VRP和TSPTW与100个节点。
2021-12-02 cs.LG stat.ML
Exploring a Principled Framework for Deep Subspace Clustering
Beijing University of Posts and Telecommunications（北京邮电大学）；Intellifusion（云天励飞）
针对现有深度子空间聚类框架存在特征崩溃、缺乏理论保证的问题，提出带正则项的PRO-DSC框架，可防止特征崩溃且有理论支撑，实验验证其性能优越。
2025-03-21 cs.CV cs.LG
What You See is What You Get: Principled Deep Learning via Distributional Generalization
EPFL（洛桑联邦理工学院）；UC San Diego（加州大学圣地亚哥分校）；UC Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）
在机器学习中，在训练时间和测试时间具有类似的行为$-$，我们称之为“所见即所得”（WYSIWYG）属性$-$。然而，使用标准随机梯度下降（SGD）训练的模型不一定具有此属性，因为它们的复杂行为（如鲁棒性或子群性能）在训练和测试时间之间可能会有很大差异。相比之下，我们证明了差分私有（DP）训练可证明确保了高级别的WYSIWYG属性，我们使用分布式泛化的概念对其进行量化。应用这种联系，我们引入了新的概念工具，通过将泛化问题减少到优化问题来设计深度学习方法：为了减轻测试时的不必要行为，可以证明在训练数据上减轻这种行为是足够的。通过应用这种新颖的设计原理，它绕过了SGD的“病态”，我们构建了简单的算法，在几个分布式鲁棒性应用中与SOTA竞争，显着提高了DP-SGD的隐私与不同影响的权衡，并减轻了对抗训练中的鲁棒过拟合。最后，我们还改进了DP，稳定性和分布推广的理论界限。
2022-10-17 cs.AI cs.CR cs.CV
DDPNOpt: Differential Dynamic Programming Neural Optimizer
Georgia Institute of Technology（佐治亚理工学院）
深度神经网络（DNN）训练作为一个非线性动力系统的最优控制问题，最近受到了相当大的关注，但算法的发展仍然相对有限。在这项工作中，我们沿着这条线进行了尝试，从轨迹优化的角度重新制定的训练过程。我们首先表明，大多数广泛使用的DNN训练算法可以链接到差分动态规划（DDP），一个著名的二阶方法植根于近似动态规划。在这方面，我们提出了一类新的优化器，DDP神经优化器（DDPNOpt），用于训练前馈和卷积网络。DDPNOpt具有逐层反馈策略，可以提高收敛性并降低对超参数的敏感性。它在收敛性和复杂性方面优于其他最优控制启发的训练方法，并且与最先进的一阶和二阶方法相比具有竞争力。我们还观察到DDPNOpt在防止梯度消失方面具有令人惊讶的益处。我们的工作开辟了新的途径，原则算法设计的基础上的最优控制理论。
2021-05-08 cs.LG cs.NE math.OC
Borch: A Deep Universal Probabilistic Programming Language
Desupervised ApS
自从多层感知器首次被引入以来，连接主义社区一直在努力解决不确定性的概念以及如何在这些类型的模型中表示。在过去的十年里，人们做了很多努力，试图将概率建模的原则性方法与深度神经网络的可扩展性结合起来。虽然这种整合的理论好处是显而易见的，但这些努力也有几个重要的实践方面;即迫使我们创建的模型在每次预测中表示，学习和报告不确定性。其中许多努力都是以增加结构来扩展现有框架。我们介绍了Borch，一种可扩展的深度通用概率程序设计语言，构建在PyTorch之上。代码可以在我们的存储库https://gitlab.com/desupervised/borch中下载和使用。
2022-09-13 cs.AI cs.LG cs.PL
Pyro: Deep Universal Probabilistic Programming
Uber AI Labs（优步人工智能实验室）；Uber Technologies, Inc.（优步科技公司）；Stanford University（斯坦福大学）
Pyro是一种基于Python的概率程序设计语言，作为在AI研究中开发高级概率模型的平台。为了扩展到大型数据集和高维模型，Pyro使用基于PyTorch（一种现代GPU加速的深度学习框架）的随机变分推理算法和概率分布。为了适应复杂或特定于模型的算法行为，Pyro利用Poutine，这是一个用于修改概率程序行为的可组合构建块库。
2018-10-18 cs.LG cs.PL stat.ML
Model-based Programming: Redefining the Atomic Unit of Programming for the Deep Learning Era
本文提出基于模型的编程范式及M语言，将模型作为基本计算单元，简化深度学习应用开发，提升效率，为模型驱动未来奠定基础。
2023-05-12 cs.CL cs.LG cs.SE
GraphNorm: A Principled Approach to Accelerating Graph Neural Network Training
Princeton University（普林斯顿大学）；Zhongguancun Haihua Institute for Frontier Information Technology（中关村海华前沿信息技术研究院）；Peking University（北京大学）；Pazhou Lab（琶洲实验室）；Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）
已知归一化有助于深度神经网络的优化。奇怪的是，不同的架构需要专门的规范化方法。在本文中，我们研究了什么样的归一化对图神经网络（GNNs）是有效的。首先，我们调整和评估现有的方法从其他领域的GNN。与BatchNorm和LayerNorm相比，InstanceNorm实现了更快的收敛。我们通过展示InstanceNorm作为GNN的预处理器来提供解释，但是由于图数据集中的批量噪声，BatchNorm的预处理效果较弱。其次，我们证明了InstanceNorm中的移位操作会导致高度正则图的GNNs的表达能力下降。我们通过提出具有可学习转变的GraphNorm来解决这个问题。经验上，与使用其他归一化的GNN相比，使用GraphNorm的GNN收敛得更快。GraphNorm还提高了GNN的泛化能力，在图分类基准测试中实现了更好的性能。
2021-06-11 cs.LG math.OC stat.ML
A Visual Programming Paradigm for Abstract Deep Learning Model Development
深度学习是计算机科学中发展最快的技术之一，具有大量的应用。但这种前所未有的增长迄今为止仅限于深度学习专家的消费。主要的挑战是学习编程库的学习曲线陡峭，以及缺乏直观的系统，使非专家能够使用深度学习。为了实现这一目标，我们研究了无代码范式设计深度学习模型的有效性。特别是，一个可视化的拖放界面相比，传统的编程和替代的可视化编程范式更有效。我们对不同专业水平的用户进行研究，以衡量不同编程范式的入门级障碍和开发人员负载。我们获得了系统可用性量表（SUS）的90和NASA的任务负荷指数（TLX）得分为21的建议的可视化编程相比，68和52，分别为传统的编程方法。
2019-08-19 cs.HC cs.LG
Improving Deep Learning through Automatic Programming
Hiof（奥斯特福德大学学院）
深度学习和深度架构正在成为迄今为止在许多实际应用中最好的机器学习方法，例如减少数据的维度，图像分类，语音识别或对象分割。事实上，许多领先的技术公司，如谷歌、微软或IBM，都在研究并在其系统中使用深度架构来取代其他传统模式。因此，提高这些模型的性能可能会对机器学习领域产生重大影响。然而，深度学习是一个快速发展的研究领域，在过去几年中发现了许多核心方法和范式。本文首先对深度学习做一个简短的总结，试图包含这个研究领域中所有最重要的思想。基于这些知识，我们提出并进行了一些实验，以研究改进基于自动编程的深度学习（ADATE）的可能性。虽然我们的实验确实产生了很好的结果，但由于时间有限以及当前ADATE版本的一些限制，我们仍然无法尝试更多的可能性。希望本文能对今后的工作起到一定的推动作用，尤其是在下一个版本的ADATE软件问世之后。本文还对ADATE系统的功能进行了简要的分析，这对于其他想知道它能做什么的研究人员来说是有用的。
2018-07-08 cs.LG stat.ML
Towards A Visual Programming Tool to Create Deep Learning Models
Politecnico di Torino（都灵理工大学）
深度学习（DL）开发人员来自不同的背景，例如，医学、基因组学、金融和计算机科学。要创建DL模型，他们必须学习和使用高级程序设计语言（例如，Python），因此需要处理相关的设置并解决编程错误。本文介绍了DeepBlocks，一个可视化的编程工具，允许DL开发人员设计，训练和评估模型，而不依赖于特定的程序设计语言。DeepBlocks通过构建典型的模型结构来工作：一系列可学习的函数，其排列定义了模型的特定特征。我们从5名参与者的形成性访谈中得出了DeepBlocks的设计目标，并通过典型用例验证了该工具的首次实现。结果是有希望的，并表明开发人员可以可视化地设计复杂的DL架构。
2023-03-22 cs.AI cs.HC cs.LG
DP-Net: Dynamic Programming Guided Deep Neural Network Compression
Tsinghua University（清华大学）；Beijing University of Technology（北京工业大学）；Case Western Reserve University（凯斯西储大学）；BNRist（（无常见中文名，保留英文））；Dept. Computer Science & Tech., Tsinghua University（清华大学计算机科学与技术系）；Beijing Engineering Research Center for IoT Software and Systems, Beijing University of Technology（北京工业大学物联网软件与系统北京市工程研究中心）；Department of Electrical Engineering and Computer Science, Case Western Reserve University（凯斯西储大学电气工程与计算机科学系）
在这项工作中，我们提出了一个有效的方案（称为DP-网络），用于压缩深度神经网络（DNN）。它包括一个新的动态规划（DP）为基础的算法，以获得最佳的解决方案的权重量化和优化过程训练集群友好的DNN。实验表明，DP-Net允许比最先进的同行更大的压缩，同时保持准确性。Wide ResNet上最大的77倍压缩比是通过将DP-Net与其他压缩技术相结合来实现的。此外，DP-Net被扩展用于压缩具有可忽略精度损失的鲁棒DNN模型。最后，在FPGA上设计了一个自定义的加速器来加速DP-Net的推理计算。
2020-03-21 cs.LG stat.ML
Parameter Tuning with Generalization Guarantees for GPU-Accelerated Linear Programming
Siddharth Prasad；Dravyansh Sharma
针对GPU加速线性规划求解器PDLP的超参数调优，基于数据驱动算法设计理论，首次给出学习步长、原始权重等超参数的样本复杂度保证，并通过实验验证了调优必要性。
2026-06-07 cs.LG math.OC
Principled Weight Initialization for Hypernetworks
Columbia University（哥伦比亚大学）
针对经典权重初始化方法直接用于超网络时无法生成尺度正确的主网络权重的问题，该研究提出了有原则的超网络权重初始化技术，可提升主网络权重稳定性、降低训练损失并加快收敛速度。
2023-12-13 cs.LG
Are Statistical Methods Obsolete in the Era of Deep Learning? A Study of ODE Inverse Problems
Stanford University（斯坦福大学）；Georgia Institute of Technology（佐治亚理工学院）；Harvard University（哈佛大学）
本文通过SEIR和洛伦茨模型案例表明，统计方法在稀疏噪声数据下仍具优势，能以更少参数和超参数调优实现更低偏差和方差，且在无相关数据的外推预测中表现更优。
2026-04-03 cs.LG stat.CO stat.ML
Differentiable programming: Generalization, characterization and limitations of deep learning
CNRS（法国国家科学研究中心）
在过去的几年里，深度学习模型已经成功地应用于几个认知任务。这些模型最初受到神经科学的启发，是可微程序的具体例子。在本文中，我们定义和激励微分规划，以及指定一些程序的特点，使我们能够将结构的问题在一个微分程序。我们分析了不同类型的可微程序，从更一般到更具体，并针对具有图数据集的特定问题，使用这些特征的多个可微程序来评估其结构和知识。最后，我们讨论了深度学习和可微分程序的一些固有局限性，这些局限性是推进人工智能的关键挑战，然后分析了可能的解决方案
2022-05-13 cs.LG
Multi-label Classification for Automatic Tag Prediction in the Context of Programming Challenges
Delft University of Technology（代尔夫特理工大学）
对于开发人员来说，以一种有趣和具有挑战性的方式测试和提高他们的技能的最佳方法之一是编程挑战，由大量的网站提供。对于没有经验的人来说，有些问题可能看起来太具有挑战性，需要一些建议来实施解决方案。另一方面，标记问题对于问题创建者来说可能是一项乏味的任务。在本文中，我们专注于使用机器和深度学习方法自动化标记编程挑战描述的任务。我们观察到，所实现的深度学习方法优于tf-idf等知名的IR方法，从而为进一步研究该任务提供了起点。
2019-11-27 cs.LG stat.ML
A Capsule-unified Framework of Deep Neural Networks for Graphical Programming
College of Computer Science（计算机学院）；Faculty of Information Technology（信息技术学院）；Beijing University of Technology（北京工业大学）
最近，深度学习的发展产生了大量的深度神经网络。如何统一地描述这些网络成为一个重要的问题。本文首先给出了神经网络的数学定义，给出了神经网络的有向图表示，并证明了连通有向无环图的诱导网络的生成定理。然后，利用胶囊的概念对神经网络进行扩展，建立了一个胶囊统一的深度学习框架，包括胶囊的数学定义、胶囊网络的诱导模型和用于训练胶囊网络的通用反向传播算法。最后，我们讨论了潜在的应用框架的图形编程与标准的图形符号的胶囊，神经元和连接。
2019-03-13 cs.LG
Compiling Stan to Generative Probabilistic Languages and Extension to Deep Probabilistic Programming
INRIA Paris（法国国家信息与自动化研究所巴黎）；École normale supérieure – PSL University（巴黎高等师范学院 – PSL大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
Stan是一种概率程序设计语言，在统计学社区中很流行，具有用于表达概率模型的高级语法。Stan在本质上不同于Church、Anglican或Pyro等生成概率程序设计语言。本文提出了一种将任意Stan模型编译成生成语言的综合编译方案，并证明了其正确性。我们使用我们的编译方案为Stanc3编译器构建两个新的后端，目标是Pyro和NumPyro。实验结果表明，NumPyro后端在26个基准测试中的几何平均值比Stan提高了2.3倍。在Pyro的基础上，我们扩展了Stan，支持显式变分推理指南和深度概率模型。这样，熟悉Stan的用户就可以访问新功能，而无需学习一门全新的语言。
2021-04-11 cs.AI cs.LG cs.PL
Geometrically Principled Connections in Graph Neural Networks
Imperial College London（帝国理工学院）；Twitter（推特）；USI Lugano（卢加诺大学）
图卷积运算符将深度学习的优势带到了以前被认为遥不可及的各种图形和网格处理任务中。随着他们的持续成功，人们希望设计更强大的架构，通常是通过使现有的深度学习技术适应非欧几里得数据。在本文中，我们认为几何应该仍然是新兴的几何深度学习领域创新的主要驱动力。我们将图神经网络与广泛成功的计算机图形和数据近似模型：径向基函数（RBF）联系起来。我们推测，像RBF一样，图卷积层将受益于向强大的卷积内核添加简单函数。我们引入仿射跳跃连接，这是一种通过将全连接层与任何图卷积算子相结合而形成的新型构建块。我们的实验证明了我们的技术的有效性，并表明改进的性能是比参数的数量增加的后果。配备仿射跳跃连接的操作员在我们评估的每个任务上都明显优于其基本性能，即，形状重建、密集形状对应和图形分类。我们希望我们简单而有效的方法将作为一个坚实的基线，并有助于简化图神经网络的未来研究。
2020-04-06 cs.CV cs.LG
Deep Learning for Dynamic Programming with Recursive Utility
HSBC Business School, Peking University（汇丰商学院，北京大学）
提出确定性等价学习（CEL）算法解决高维离散时间含递归效用的动态规划问题，直接用神经网络学习确定性等价值，联合逼近价值、策略和确定性等价函数，适用于多种相关问题，效果良好。
2026-07-07 cs.LG econ.EM math.OC
DeeP-Mod: Deep Dynamic Programming based Environment Modelling using Feature Extraction
针对深度Q学习中状态信息丢失问题，提出DeeP-Mod框架：通过DP训练DDPN保留状态信息，利用其特征构建环境模型，简化版DDPN噪声下收敛更快且无需外部环境模型，适用于多种环境。
2025-08-24 cs.LG
Principled Curriculum Learning using Parameter Continuation Methods
Department of Data Science, Worcester Polytechnic Institute, USA（数据科学系，沃斯特理工学院，美国）；Department of Mathematics, Computer and Data Science, Worcester Polytechnic Institute, USA（数学、计算机与数据科学系，沃斯特理工学院，美国）
本研究提出一种基于参数延拓法的有原则课程学习神经网络优化方法，具备理论依据，在有监督与无监督学习任务中泛化性能优于ADAM等现有最优优化技术。
2025-07-29 cs.AI cs.LG
Principled Exploration via Optimistic Bootstrapping and Backward Induction
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）；Tencent Robotics X（腾讯 Robotics X）；Tianjin University（天津大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
一种可证明有效的探索的原则方法是将置信上限（UCB）作为奖励并入价值函数中。然而，UCB被指定用于处理线性和表格设置，并且与深度强化学习（DRL）不兼容。在本文中，我们提出了一个原则性的探索方法DRL通过乐观引导和反向归纳（OB 2 I）。OB 2 I通过DRL中的非参数bootstrap构建了通用的UCB奖金。UCB奖金估计乐观探索的状态-动作对的认知不确定性。我们在线性环境中建立了拟议的UCB奖金和LSVI-UCB之间的理论联系。我们传播未来的不确定性在一个时间一致的方式通过情节向后更新，这利用了理论上的优势，并在经验上提高了样本效率。我们在MNIST迷宫和Atari套件中的实验表明，OB 2 I优于几种最先进的探索方法。
2021-05-17 cs.LG
Predicting Participants' Performance in Programming Contests using Deep Learning Techniques
Iowa State University（爱荷华州立大学）；Jahangirnagar University（贾汉吉尔纳加尔大学）；Daffodil International University（达福德国际大学）
近年来，随着科技产品的普及和互联网的便捷，科技爱好者的数量与日俱增。同样，在这种快速发展背后工作的人数也在大幅增加。计算机程序员是那些精通技术的人中的一大部分。Codeforces是一个在线编程和竞赛托管平台，被全球许多有竞争力的程序员使用。它被认为是练习编程问题和参加编程竞赛的最标准化平台之一。在这项研究中，我们提出了一个框架，预测任何特定的参赛者在即将举行的比赛中的表现，以及预测的评级后，比赛的基础上，他们的做法和他们以前的比赛的表现。
2023-02-11 cs.AI cs.LG
Deep R Programming
本文介绍一门全面深入的 R 语言入门课程，旨在帮助学生、专业人士及研究人员掌握 R 技能以解决数据科学相关问题，相关教材为非营利项目且免费开放。
2026-07-31 cs.LG cs.PL stat.AP
Possibilistic Predictive Uncertainty for Deep Learning
University of Cambridge（剑桥大学）；National University of Singapore（新加坡国立大学）；University of Warsaw（华沙大学）
提出基于可能性理论的Dirichlet近似可能性后验预测（DAPPr）框架，通过投影-近似策略实现高效且原则性的认知不确定性量化，在多个基准上达到竞争性能。
2026-06-12 cs.AI cs.CV cs.LG
LogAvgExp Provides a Principled and Performant Global Pooling Operator
Dalhousie University（达尔豪斯大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）
我们试图改善池操作在神经网络，通过应用更理论上合理的运营商。我们证明了LogSumExp为logits提供了一个自然的OR运算符。当对池操作符中的元素数进行校正时，它变成了$\text{LogAvgExp} := \log(\text{mean}(\exp(x)))$。通过引入单个温度参数，LogAvgExp从其操作数的最大值平滑过渡到平均值（在极限情况$t \to 0^+$和$t \to +\infty$下发现）。我们在各种用于计算机视觉的深度神经网络架构中对LogAvgExp进行了实验测试，包括有无可学习的温度参数。
2021-11-02 cs.AI cs.CV cs.LG
A Principled Self-Referenced Early Stopping Approach for Deep Image Prior
Department of Computational Mathematics, Science, & Engineering, Michigan State University（密歇根州立大学计算数学、科学与工程系）；Department of Electrical Engineering and Computer Science, University of Michigan（密歇根大学电气工程与计算机科学系）；X Computational Physics Division, Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室计算物理部）；Michigan Institute for Computational Discovery & Engineering, University of Michigan（密歇根大学计算发现与工程研究所）；Mathematical Sciences, Michigan State University（密歇根州立大学数学科学系）
针对深度图像先验（DIP）过拟合问题，提出一种基于构造伪自引用图像的过拟合检测框架，实现无需噪声水平估计的早期停止方法。
2026-05-27 cs.CV cs.LG
Personalized Programming Guidance based on Deep Programming Learning Style Capturing
School of Data Science & Engineering（数据科学与工程学院）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；East China Normal University（华东师范大学）
针对编程行为识别与学习模式捕捉的挑战，本文提出PERS模型，通过位置编码和差分模块捕捉连续代码提交变化，并扩展Felder-Silverman学习风格模型感知内在编程模式，实现个性化编程指导。
2024-02-20 cs.CY cs.LG
HyDI: A hybrid Deep Learning-Inductive Logic Programming ensemble for multi-label classification
University of Osnabrück（奥斯纳布吕克大学）
HyDI提出一种结合深度学习与归纳逻辑编程的混合集成架构，用于层次化多标签分类，在ChEBI本体上为314个类别生成规则，提供透明且可解释的分类结果。
2026-09-30 cs.LG cs.LO
Deep Probabilistic Programming
Columbia University（哥伦比亚大学）；Adobe Research（Adobe研究院）；Google Research（谷歌研究院）；Google Brain（谷歌大脑）
我们建议爱德华，图灵完备的概率编程语言。Edward定义了两种组合表示-随机变量和推理。通过将推理视为一等公民，与建模相提并论，我们证明了概率编程可以像传统的深度学习一样灵活和计算效率高。为了灵活性，Edward使用各种可组合的推理方法，从点估计到变分推断，再到MCMC，很容易拟合同一模型。此外，Edward可以重用建模表示作为推理的一部分，促进丰富的变分模型和生成对抗网络的设计。为了提高效率，Edward被集成到TensorFlow中，比现有的概率系统提供了显著的加速。例如，我们在一个基准测试逻辑斯谛回归任务上显示，Edward至少比Stan快35倍，比PyMC 3快6倍。此外，Edward没有运行时开销：它和手写的TensorFlow一样快。
2017-03-07 cs.AI cs.LG cs.PL
Optimizing Sparse Boolean Rule Networks using Mixed Integer Linear Programming
Institute for Application-Oriented Knowledge Processing (FAW)（应用知识处理研究所）；LIT AI Lab（林茨人工智能实验室）
该研究提出混合整数线性规划（MILP）公式优化稀疏布尔规则网络，通过增强公式提升计算效率，在合成基准和UCI数据集上实现了与可解释基线相当或更优的准确率，为学习紧凑布尔规则集提供了可控权衡的框架。
2026-10-15 cs.LG stat.ML
Differentiable programming for functional connectomics
Stanford University（斯坦福大学）；Université de Lausanne（洛桑大学）
绘制功能性连接体有可能揭示大脑组织的关键见解。然而，现有的工作流程的功能连接组学是有限的，在他们的适应性，以新的数据，和原则的工作流程设计是一个具有挑战性的组合问题。我们引入了一个新的分析范式和软件工具箱，实现功能连接组学中使用的常见操作作为完全可微的处理块。在这种模式下，工作流配置存在的重新参数化的可微功能，插入它们。我们设想的可区分程序占据了传统管道和端到端神经网络之间的一个利基，将前者的玻璃盒可处理性和领域知识与后者的可优化性相结合。在这项初步工作中，我们提供了一个概念证明可微连接组学，展示了我们的处理块的能力，既概括了神经科学中的规范知识，又在无监督的环境中做出了新的发现。我们的可微模块与问题领域的最先进方法相比具有竞争力，包括功能性分组，去噪和协方差建模。总之，我们的结果和软件证明了功能性连接组学的可微编程的承诺。
2022-05-31 cs.LG q-bio.NC
Deep Epistemic Value Functions for Optimistic Exploration
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
针对深度认知价值函数在探索中的脆弱性，本文通过系统实证分析揭示其表示、传播和优化中的失败模式，提出DEVOTE算法，在无奖励探索和连续控制任务中更有效地到达新状态并获得更高回报。
2026-09-29 cs.LG
Advancing Deep Active Learning & Data Subset Selection: Unifying Principles with Information-Theory Intuitions
Exeter College（埃克塞特学院）
该研究以信息论为基础，提出更具原理性的深度主动学习与数据子集选择方法，拆解不确定性并关联多种方法与信息量近似，提升深度学习的标注与训练效率。
2024-03-08 cs.IT cs.LG math.IT
Deep graph matching meets mixed-integer linear programming: Relax at your own risk ?
Guilin University of Electronic Technology（桂林电子科技大学）；Université de Tours（图尔大学）；Laboratoire d’Informatique Fondamentale et Appliquée de Tours (LIFAT - EA 6300)（图尔基础与应用计算机实验室（LIFAT - EA 6300））
本文通过将图匹配问题形式化为混合整数线性规划并引入质量水平控制求解精度，系统评估了不同松弛策略对深度图匹配模型的影响，为深度图匹配方法设计提供了理论指导。
2022-04-28 cs.CV cs.LG math.OC
SDP Relaxation with Randomized Rounding for Energy Disaggregation
Imperial College London（帝国理工学院）；University of Alberta（阿尔伯塔大学）
我们开发了一个可扩展的，计算效率高的方法，家电监控的能源分解的任务。在这个问题中，目标是根据家庭的总能耗信号来估计每个电器随时间的能耗。目前的技术水平是将问题建模为阶乘Hyndrome中的推理，并使用二次规划来找到所得到的二次整数规划的近似解。在这里，我们采取一个更有原则的方法，更适合整数规划问题，并找到一个近似的最佳结合凸半定松弛随机舍入，以及一个可扩展的ADMM方法，利用所产生的半定程序的特殊结构。在合成数据集和真实数据集上的仿真结果表明了该方法的优越性。
2016-10-29 cs.LG
Deep Molecular Programming: A Natural Implementation of Binary-Weight ReLU Neural Networks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
将计算嵌入到与传统电子学不兼容的分子环境中，有望在合成生物学、医学、纳米纤维等领域产生广泛的影响。一个关键的挑战在于开发分子计算的编程范式，这些范式与底层的化学硬件保持一致，并且不试图硬塞不合适的电子学范式。我们发现了一类流行的神经网络（二进制权重ReLU，又名BinaryConnect）和一类对反应速率绝对鲁棒的耦合化学反应之间惊人的紧密联系。速率无关化学计算的鲁棒性使其成为生物工程实现的一个有前途的目标。我们展示了如何使用有根据的深度学习优化技术在计算机中训练的BinaryConnect神经网络，可以编译为等效的化学反应网络，提供一种新的分子编程范式。我们说明了这样的翻译上的范式IRIS和MNIST数据集。对于化学计算的预期应用，我们进一步使用我们的方法来生成一个化学反应网络，该网络可以根据基因表达水平区分不同的病毒类型。我们的工作为神经网络和分子编程社区之间的丰富知识转移奠定了基础。
2020-06-30 cs.ET cs.LG cs.NE
Deep Distributed Optimization for Large-Scale Quadratic Programming
Georgia Institute of Technology（佐治亚理工学院）
本文提出深度分布式优化架构DeepDistributedQP，结合OSQP与共识方法并引入深度学习策略加速求解，在大规模二次规划问题上实现了数量级的速度提升与强大泛化能力。
2025-01-25 cs.LG cs.MA math.OC
DeepFreight: Integrating Deep Reinforcement Learning and Mixed Integer Programming for Multi-transfer Truck Freight Delivery
Purdue University（普渡大学）；George Washington University（乔治华盛顿大学）
本文提出DeepFreight，结合QMIX深度多智能体强化学习、多转运匹配算法和混合整数线性规划优化器，实现多转运卡车货运配送的高效调度，确保100%配送成功率并降低配送时间和燃油消耗。
2023-05-25 cs.LG cs.MA
