Interactive Differentiable Simulation
University of Southern California（南加州大学）
本文提出交互式可微分模拟（IDS），一种能够高效准确推断刚体系统物理属性的可微分物理引擎，通过视觉输入实现系统识别，从而建立具有物理意义的世界模型，并在非线性动态系统中实现自动任务机器人设计和参数估计，显著提升了非线性控制领域的样本效率。
2020-05-18 cs.LG cs.RO cs.SY
Task-optimal data-driven surrogate models for eNMPC via differentiable simulation and optimization
Forschungszentrum Jülich GmbH（于利希研究中心）；RWTH Aachen University（亚琛工业大学）
提出一种端到端学习Koopman代理模型的方法，利用基于机理仿真环境的可微性辅助策略优化，在CSTR的eNMPC案例中实现相似经济性能并消除约束违规。
2025-03-05 cs.LG math.OC
Iterative Model-Based Reinforcement Learning Using Simulations in the Differentiable Neural Computer
FiveAI（FiveAI公司）；The University of Edinburgh（爱丁堡大学）
我们提出了一个终身学习的体系结构，神经计算机代理（NCA），其中强化学习代理与由微分神经计算机（DNC）学习的环境预测模型配对。代理和DNC模型迭代地结合训练。代理在由DNC模型生成的模拟中改进其策略，并将策略推出到实时环境，收集环境的新部分或任务中的经验以供进一步学习。在两个合成环境中的实验表明，DNC模型可以不断学习像素单独模拟新的任务，因为他们遇到的代理，而代理可以成功地训练，以解决任务完全使用近端策略优化在模拟。
2019-06-17 cs.LG stat.ML
OrbiSim: World Models as Differentiable Physics Engines for Embodied Intelligence
MoE Key Lab of Artificial Intelligence, AI Institute, School of Computer Science（人工智能摩尔电子实验室、人工智能学院、计算机科学学院）
OrbiSim提出了一种新的机器人仿真范式，将世界模型重新定义为完全可微的物理引擎，通过统一的物理基础路径连接结构化场景资产、神经动力学和下游强化学习，提升预测精度和控制性能。
2026-10-19 cs.LG cs.RO
Differentiable MPC for End-to-end Planning and Control
Carnegie Mellon University（卡内基梅隆大学）；Georgia Tech（佐治亚理工学院）；Bosch Center for AI（博世人工智能中心）
我们提出了使用模型预测控制（MPC）作为一个可微的政策类强化学习在连续的状态和动作空间的基础。这提供了一种利用和结合无模型和基于模型方法的优点的方法。具体地说，我们通过MPC区分使用凸逼近的KKT条件在一个固定点的控制器。使用这种策略，我们能够通过端到端学习来学习控制器的成本和动态。我们的实验专注于模仿学习在钟摆和cartpole域，在那里我们学习的成本和动态条款的MPC政策类。我们表明，我们的MPC政策是显着更有效的数据比一般的神经网络，我们的方法是优于传统的系统辨识的专家是不可实现的设置。
2019-10-14 cs.AI cs.LG math.OC
Reciprocal Co-Training (RCT): Coupling Gradient-Based and Non-Differentiable Models via Reinforcement Learning
Department of Computer and Information Science, Fordham University（福特汉姆大学计算机与信息科学系）；Department of Neurology, Mass General Brigham（麻省总医院神经科）
本文提出互惠协同训练框架，通过强化学习耦合大语言模型与随机森林分类器，实现双向适应，提升医疗数据集上两种模型的性能。
2026-06-23 cs.CL cs.LG
Dynamic feature selection in medical predictive monitoring by reinforcement learning
Tsinghua University（清华大学）；Institute for Precision Medicine, Tsinghua University（清华大学精准医学研究院）；Center for Big Data and Clinical Research（大数据与临床研究中心）
针对多变量时间序列医疗预测监测中静态特征选择方法无法有效利用时序信息的问题，提出基于强化学习的动态特征选择方法，在最大成本限制下优化策略生成合成数据更新模型，实验证明其在严格成本限制下优于基线方法。
2024-05-30 cs.AI cs.LG
Neural Lyapunov Differentiable Predictive Control
Pacific Northwest National Laboratory（太平洋西北国家实验室）
提出一种基于可微编程和概率李雅普诺夫稳定性保证的神经预测控制方法，联合学习策略与李雅普诺夫函数，提供离线训练的高效替代方案，并通过双积分器和飞机模型仿真验证优势。
2022-05-22 cs.LG cs.SY eess.SY
Recurrent Predictive State Policy Networks
Carnegie Mellon University（卡内基梅隆大学）；Instituto Superior Técnico（高等技术研究所）；University of Washington（华盛顿大学）
我们介绍了循环预测状态策略（RPSP）网络，这是一种循环架构，可以在部分可观察环境中从预测状态表示中获得见解，从而进行强化学习。预测状态策略网络由一个递归过滤器和一个反应策略组成，递归过滤器跟踪关于环境状态的信念，反应策略直接将信念映射到行动，以最大化累积奖励。递归滤波器利用预测状态表示（PSR）（Rosencrantz和Gordon，2004; Sun等人，2016年）通过建模预测状态-预测未来观测的分布，以历史和未来行动为条件。这种表示产生了丰富的一类统计上一致的算法（Hefny等人，2018）来初始化递归滤波器。预测状态充当信念状态的等价表示。因此，RPSP网络的策略组件可以是纯反应性的，简化了训练，同时仍然允许最佳行为。此外，我们还在训练过程中使用PSR解释，将预测误差纳入损失函数。整个网络（递归滤波器和反应策略）仍然是可微的，可以使用基于梯度的方法进行训练。我们使用基于奖励的策略梯度（Williams，1992）和基于预测误差的梯度下降的组合来优化我们的策略。我们展示了RPSP网络在部分可观测性下对OpenAI Gym的一组机器人控制任务的有效性。我们的经验表明，RPSP网络表现良好的存储器保存网络，如GRU，以及有限的内存模型相比，是整体性能最好的方法。
2018-03-05 cs.AI cs.LG stat.ML
Zero-Shot Function Encoder-Based Differentiable Predictive Control
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Johns Hopkins University（约翰霍普金斯大学）
本文提出一种可微框架，用于零样本自适应控制非线性动态系统参数族。通过结合函数编码器神经ODE和可微预测控制，实现高效的自监督学习显式控制策略，无需重新训练即可适应新系统。
2026-04-15 cs.LG cs.SY eess.SY
Q-Guided Stein Variational Model Predictive Control via RL-informed Policy Prior
University of Sydney（悉尼大学）；NVIDIA（英伟达）
Q-SVMPC通过结合RL引导的策略先验和Stein变分方法，提升轨迹优化的样本效率、稳定性和鲁棒性。
2026-09-09 cs.AI cs.LG cs.RO
Deep Learning Explicit Differentiable Predictive Control Laws for Buildings
Pacific Northwest National Laboratory（太平洋西北国家实验室）
针对未知非线性系统，提出了一种学习约束控制律的可微预测控制方法。DPC提出了一个近似的解决方案，多参数规划问题出现显式非线性模型预测控制（MPC）。与近似MPC相反，DPC不需要专家控制器的监督。相反，系统动力学模型是从观察到的系统的动态学习，神经控制律是离线优化利用可微闭环系统模型。一个可微的闭环系统和惩罚方法的约束处理系统的输出和输入的组合，使我们能够优化控制律的参数直接通过反向传播的经济MPC损失通过学习的系统模型。所提出的DPC方法的控制性能证明在模拟使用多区域建筑热动力学的学习模型。
2021-07-25 cs.LG cs.SY eess.SY
Accelerating Visual Policy Learning with Sampling-Based Model Predictive Control
Yale University（耶鲁大学）；University of Sydney（悉尼大学）
提出采样引导策略搜索（SGPS），结合基于采样的模型预测控制与一阶策略优化，加速视觉策略学习，并在模拟及真实Go2机器人上实现零样本迁移。
2026-09-18 cs.AI cs.LG cs.RO
Mixed-Integer Nonlinear Differentiable Predictive Control for Underground Pumped Hydro Energy Storage Systems
Johns Hopkins University（约翰斯·霍普金斯大学）；Slovak University of Technology in Bratislava（布拉迪斯拉发斯洛伐克理工大学）
本文提出混合整数非线性可微预测控制，用于地下抽水蓄能系统日前调度，通过Gumbel-Softmax和Transformer实现高效求解，仅1.6%次优性且加速五个数量级。
2026-09-17 cs.LG cs.SY eess.SY
Differentiable Predictive Control for Large-Scale Urban Road Networks
Pacific Northwest National Laboratories（太平洋西北国家实验室）；University of Pennsylvania（宾夕法尼亚大学）
本文提出基于可微预测控制（DPC）和宏观基本图的城市路网控制方法，在保证约束满足的同时，相比MPC实现计算时间降低4个数量级、交通性能最高提升37%，并具备良好的场景适应性。
2024-06-14 cs.LG cs.SY eess.SY
Infinite-Horizon Differentiable Model Predictive Control
NNAISENSE；University of Oxford（牛津大学）
提出了一种可微线性二次型模型预测控制（MPC）的安全模仿学习框架。利用离散时间代数Riccati方程（DARE）得到的终端费用函数来实现无穷时域费用，从而证明了学习控制器在闭环中是稳定的.一个核心的贡献是推导的解析衍生的解决方案的DARE，从而允许使用基于微分的学习方法。另一个贡献是MPC最优化问题的结构：增广拉格朗日方法确保MPC优化在整个训练过程中是可行的，同时对状态和输入施加硬约束，并且预稳定控制器确保MPC解和导数在每次迭代时都是准确的。该框架的学习能力证明在一组数值研究。
2020-01-07 cs.LG cs.SY eess.SY
Slot-MPC: Goal-Conditioned Model Predictive Control with Object-Centric Representations
Autonomous Intelligent Systems（自主智能系统）；Computer Science Institute VI（计算机科学研究所VI）；Intelligent Systems and Robotics（智能系统与机器人）；Center for Robotics（机器人中心）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔人工智能学习与智能研究所）；University of Bonn, Germany（波恩大学，德国）
Slot-MPC通过模型预测控制实现目标中心表示的规划，利用可微分的世界模型提升任务性能和规划效率，优于非目标中心世界模型基线。
2026-05-14 cs.AI cs.LG cs.RO
Topological Feasibility Guarantees for Differentiable Predictive Control
Chalmers University of Technology（查尔姆斯理工大学）；Nanyang Technological University（南洋理工大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文针对可微预测控制（DPC）缺乏严格可行性保证的问题，通过拓扑分析建立其确定性可行性保证，提出结合控制障碍函数（CBFs）的自监督离线策略学习策略，仿真验证其约束违反量随样本规模增大趋近于零，为学习型控制的可行性保证提供新视角。
2026-08-12 cs.LG cs.SY eess.SY
SD-DPC: Sparse Dictionary Differentiable Predictive Control
Concordia University（康考迪亚大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
SD-DPC提出一种从数据学习稀疏可解释反馈策略的框架，结合SINDy识别与可微预测控制，以闭环性能选择字典项，在基准问题中满足约束且大幅降低计算开销。
2026-10-28 cs.LG cs.SY eess.SY
Differentiable Generalised Predictive Coding
Otto-von-Guericke University（奥托·冯·格里克大学）
本文论述了与神经过程理论相一致的可微动力学模型，该模型将大脑功能视为解释观察结果的内部生成模型的分层细化。我们的工作扩展了现有的基于梯度的预测编码与自动微分的实现，并允许集成深度神经网络的非线性状态参数化。基于梯度的预测编码通过优化从刺激向潜在状态传播的精确加权预测误差来局部优化每层的推断状态和权重。预测向后流动，从潜在状态向较低层流动。这里建议的模型优化潜在状态的层次和动态预测。分层预测对预期内容和分层结构进行编码。动态预测捕获编码内容中的变化以及高阶导数。分层和动态预测相互作用，并解决相同的潜在状态的不同方面。我们将该模型应用于各种感知和规划任务的序列数据，并显示它们之间的相互依赖性。特别是，我们演示了如何学习采样距离并行地址有意义的位置数据采样在离散的时间步长。我们讨论的可能性，放松假设的线性层次结构有利于更灵活的图形结构与紧急性质。我们比较了模型的颗粒结构与描述生物网络中预测编码的典型微电路，并回顾了马尔可夫毯作为表征模块性的工具的连接。最后一节概述了在嵌套的时空层次结构中有效感知和规划的想法。
2021-12-08 cs.AI cs.LG cs.NE
Differentiable Nonlinear Model Predictive Control
本文提出了一种基于隐函数定理和内点法的高效灵敏度计算方法，用于非线性模型预测控制，提升了求解速度。
2026-11-09 cs.AI cs.LG math.OC
Learning Reactive and Predictive Differentiable Controllers for Switching Linear Dynamical Models
Carnegie Mellon University（卡内基梅隆大学）；School of Computer Science（计算机科学学院）；Robotics Institute（机器人研究所）
人类利用环境和自己身体的动态来完成具有挑战性的任务，例如在走过物体时抓住物体，或者推开墙壁转弯。这些任务通常涉及机器人进行和断开接触时的切换动力学。学习这些动力学是一个具有挑战性的问题，并且容易导致模型不准确，特别是在接触区域附近。在这项工作中，我们提出了一个框架，从专家演示学习复合动力学行为。我们学习了一个开关线性动力学模型，其中接触编码在开关条件中，作为我们系统动力学的近似。然后，我们使用离散时间LQR作为数据有效学习控制的可微策略类，以开发一种控制策略，该控制策略在多个动态模式下运行，并考虑到由于接触引起的不连续性。除了预测与环境的相互作用外，我们的策略还能有效地对不准确的预测做出反应，例如意外的接触。通过模拟和现实世界的实验，我们证明了学习行为的泛化到不同的场景和鲁棒性模型在执行过程中的不准确性。
2021-03-26 cs.AI cs.LG cs.RO
On Training and Evaluation of Neural Network Approaches for Model Predictive Control
KTH Royal Institute of Technology（KTH皇家理工学院）
本文的贡献是一个框架的训练和评估模型预测控制（MPC）实施约束神经网络。最近的研究提出使用具有可微凸优化层的神经网络来实现模型预测控制器。其动机是用具有优化层的神经网络形式的学习映射代替安全关键反馈控制系统中的实时优化。这种映射将状态向量作为输入，并将预测的控制律作为输出。使用从离线MPC模拟生成的训练数据进行学习。然而，在文献中缺乏一个通用的框架来表征学习方法的模型验证和有效的训练数据生成。在本文中，我们采取的第一步发展这样一个连贯的框架。我们讨论了学习问题与系统辨识的相似之处，特别是输入设计，模型结构选择和模型验证。我们考虑在PyTorch中研究神经网络架构，使用CVXPY将显式MPC约束实现为可微优化层。我们提出了一种有效的方法，生成MPC输入样本的MPC模型的约束，使用打了就跑采样器。通过使用OSOP离线求解MPC来生成相应的真实输出。我们提出了不同的指标来验证所得到的方法。我们的研究进一步的目的是探索从培训和评估的角度将领域知识纳入网络结构的优势。不同的模型结构进行了数值测试，使用所提出的框架，以获得更多的见解的属性约束神经网络为基础的MPC。
2020-05-08 cs.LG cs.SY eess.SY
TT-Sparse: Learning Sparse Rule Models with Differentiable Truth Tables
为解决可解释机器学习中学习兼具高性能与低复杂度规则集的难题，引入TT-Sparse，利用可微真值表学习稀疏有效连接，提出新软TopK算子，能高效计算并提取可解释规则，性能优于现有方法。
2026-07-07 cs.LG
Differentiable Learning Under Triage
MPI for Software Systems（马克斯·普朗克软件系统研究所）；IIT Bombay（孟买印度理工学院）
多种证据表明，预测模型可能受益于算法分类。在算法分类下，预测模型不会预测所有实例，而是将其中一些实例推迟给人类专家。然而，在算法分类下，模型的预测准确性和人类专家之间的相互作用还没有得到很好的理解。在这项工作中，我们首先正式描述了在何种情况下预测模型可以从算法分类中受益。在这样做的过程中，我们还证明了为全自动化训练的模型在分流下可能是次优的。然后，给定任何模型和所需的分流水平，我们表明，最佳的分流政策是一个确定性的阈值规则，其中分流决策是确定性的阈值模型和人为错误之间的差异，每个实例的水平。在这些结果的基础上，我们引入了一个实用的基于梯度的算法，保证找到一个序列的分流政策和预测模型的性能不断提高。使用来自两个重要应用-内容审核和科学发现-的合成和真实数据对各种监督学习任务进行的实验说明了我们的理论结果，并表明我们基于梯度的算法提供的模型和分类策略优于几个竞争基线提供的模型和分类策略。
2021-11-18 cs.LG stat.ML
Multirotor Ensemble Model Predictive Control I: Simulation Experiments
Massachusetts Institute of Technology（麻省理工学院）
针对高度非线性问题传统方法保真度降低的缺陷，提出完全非线性前向模型结合集成 Gaussian process 后向计算的 EMPC 方法，仿真验证其在四旋翼控制中有效且易于实现。
2023-05-22 cs.LG cs.RO cs.SY
Benchmarking Model Predictive Control Algorithms in Building Optimization Testing Framework (BOPTEST)
Palo Alto Research Center Inc (PARC)（帕洛阿尔托研究中心公司（PARC））；Korea Advanced Institute of Science and Technology（韩国科学技术院）；Texas A&M University（德克萨斯农工大学）
本文提出一种结合可微代理模型与非线性MPC的建筑HVAC数据驱动控制框架，并在BOPTEST多案例中验证其建模与控制性能，展示模块化、可扩展和面向未来测试案例的适应性。
2024-04-01 cs.AI cs.LG cs.SY
Differentiable Implicit Layers
Bosch Center for Artificial Intelligence（博世人工智能中心）；TU Darmstadt（达姆施塔特工业大学）
在本文中，我们介绍了一个有效的反向传播格式的无约束隐函数。这些函数由一组可学习的权重参数化，并且可以可选地依赖于某些输入;使它们非常适合作为神经网络中的可学习层。我们证明了我们的计划在不同的应用：（i）神经常微分方程与隐式欧拉方法，和（ii）系统辨识模型预测控制。
2020-11-16 cs.LG cs.NE
Knowledge Integration in Differentiable Models: A Comparative Study of Data-Driven, Soft-Constrained, and Hard-Constrained Paradigms for Identification and Control of the Single Machine Infinite Bus System
Korea University（高丽大学）；Hyundai Motor Company（现代汽车公司）
本文比较了数据驱动、软约束和硬约束范式在单机无穷大母线系统建模中的表现，发现知识表示影响泛化能力，硬约束方法在参数空间收敛更快更可靠，知识准确性影响控制性能。
2026-04-11 cs.LG cs.SY eess.SY
Variational Boosted Soft Trees
University of Tuebingen（图宾根大学）；Amazon（亚马逊）；Deekard（迪卡德）
基于决策树的梯度提升机器（GBM）始终在表格数据的回归和分类任务上展示最先进的结果，通常优于深度神经网络。然而，这些模型不能提供良好校准的预测不确定性，这妨碍了它们在高风险应用中用于决策。贝叶斯处理是已知的，以提高预测的不确定性校准，但以前提出的贝叶斯GBM方法要么计算昂贵，或诉诸粗糙的近似。变分推理常用于实现贝叶斯神经网络，但很难应用于GBM，因为用作弱学习器的决策树是不可微的。在本文中，我们建议实现贝叶斯GBM使用变分推理软决策树，一个完全可微的替代标准决策树Irsoy等人介绍的。我们的实验表明，变分软树和变分软GBM提供有用的不确定性估计，同时保持良好的预测性能。与最先进的贝叶斯GBM相比，所提出的模型在7/10的表格回归数据集中显示出更高的测试似然性，并且在5/10的数据集中显示出改进的分布外检测。
2023-02-22 cs.LG stat.ML
Decision-Focused Learning without Differentiable Optimization: Learning Locally Optimized Decision Losses
Harvard University（哈佛大学）；Carnegie Mellon University（卡内基梅隆大学）；The Ohio State University（俄亥俄州立大学）
决策聚焦学习（DFL）是一种为下游优化任务定制预测模型的范例，该下游优化任务使用其预测，以便在该特定任务上表现更好。与DFL相关的主要技术挑战是，它需要能够通过优化问题进行区分，由于不连续的解决方案和其他挑战，这是困难的。过去的工作在很大程度上解决了这个问题，通过手工制作特定于任务的代理人来提供信息梯度时，通过区分原始优化问题。然而，为每个新任务手工制作代理的需求限制了DFL的可用性。此外，通常无法保证所得代理的凸性，因此，使用它们训练预测模型可能会导致劣局部最优。在本文中，我们完全取消了代理，取而代之的是学习捕获任务特定信息的损失函数。据我们所知，我们的方法是第一个完全取代决策为中心的学习与自动学习的损失的优化组件。我们的方法（a）只需要访问一个可以解决优化问题的黑盒预言机，因此是可推广的，（b）可以通过构造凸，因此可以很容易地优化。我们评估我们的方法在三个资源分配问题的文献，发现我们的方法优于学习，不考虑任务结构在所有三个领域，甚至手工制作的代理人从文献。
2022-11-09 cs.AI cs.LG
Generative World Models Enable Predictive Control of Laser Melt Pool Dynamics
ETH Zürich（苏黎世联邦理工学院）
本研究提出一种生成式世界模型，用于预测激光熔池动力学，并通过可微动力学优化激光调度，实现熔池深度控制，为制造过程提供实时决策支持。
2026-10-06 cs.LG
Differentiable Molecular Simulations for Control and Learning
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）
分子动力学模拟在原子尺度上使用统计力学，以使基本机制的阐明和所需任务的物质工程成为可能。分子系统在微观尺度上的行为通常用由哈密顿量或能量函数参数化的微分方程来模拟。哈密顿量描述了系统的状态及其与环境的相互作用。为了得到预测微观模型，人们希望推断出与所观察到的宏观量一致的分子哈密顿量。从工程的角度来看，人们希望控制哈密顿算子以实现期望的模拟结果和结构，如在自组装和光学控制中，然后在实验室中实现具有期望的哈密顿算子的系统。在这两种情况下，目标都是修改哈密顿量，使模拟系统的涌现属性与给定的目标相匹配。我们演示了如何使用可微模拟来实现这一点，其中批量目标观测值和模拟结果可以相对于哈密顿算子进行分析区分，为参数化哈密顿算子推断宏观模型和开发控制协议开辟了新的途径。
2020-12-24 cs.LG physics.chem-ph physics.comp-ph
Model Predictive Path Integral PID Control for Learning-Based Path Following
organization= Toyota Central R\&D Labs., Inc. , addressline= Nagakute 480-1192 , country= Japan
本文提出MPPI-PID控制方法，通过在每个控制步骤中用MPPI优化PID参数，替代高维输入序列优化，提升样本效率并产生更平滑的输入。
2026-07-07 cs.LG cs.RO cs.SY
Model-Agnostic Counterfactual Explanations for Consequential Decisions
MPI-IS（马克斯·普朗克智能系统研究所）；MPI-SP（马克斯·普朗克软件系统研究所）；IMDEA Software Institute（马德里高级研究中心软件研究所）
预测模型正越来越多地用于支持审前保释和贷款审批等个人层面的重大决策。因此，越来越多的社会和法律压力要求提供解释，帮助受影响的个人不仅理解为什么会输出预测，而且还要理解如何采取行动以获得预期的结果。为此，一些作品提出了基于优化的方法来生成最接近的反事实解释。然而，这些方法通常限于模型的特定子集（例如，决策树或线性模型）和可微距离函数。相反，我们建立在标准的理论和工具，从形式化验证，并提出了一种新的算法，解决了一系列的可满足性问题，其中的距离函数（目标）和预测模型（约束）表示为逻辑公式。如我们在真实世界数据上的实验所示，我们的算法是：i）模型不可知的（{非}线性、{非}可微、{非}凸）; ii）数据类型不可知的（异构特征）; iii）距离不可知的（$\ell_0, \ell_1, \ell_\infty$及其组合）; iv）能够为任何样本生成合理且多样的反事实（即，100%覆盖率）;以及v）在可证明的最佳距离处。
2020-02-28 cs.AI cs.LG cs.LO
Matrix-Free Least Squares Solvers: Values, Gradients, and What to Do With Them
Technical University of Denmark（丹麦技术大学）
该研究推导定制梯度将无矩阵最小二乘求解器转化为可微算子，在大模型稀疏化、生成模型约束、高斯过程调优三类任务中验证效果，推动可微线性代数工具在机器学习领域的应用。
2025-10-22 cs.LG cs.NA math.NA
Optimized conformal classification using gradient descent approximation
University of Nottingham Ningbo China（宁波诺丁汉大学）
保形预测器是一类重要的算法，它允许以用户定义的置信水平进行预测。他们能够通过输出预测集而不是简单的点预测来做到这一点。保形预测是有效的，在这个意义上，它的预测精度保证满足置信水平，只有假设在数据中的交换。由于保证了准确性，因此通过预测集的效率来测量共形预测器的性能。通常，共形预测器建立在底层机器学习算法上，因此其预测能力继承自该算法。然而，由于底层机器学习算法不是以最小化预测效率为目标来训练的，这意味着所得到的适形预测器可能是次优的并且与该目标不充分对准。因此，在这项研究中，我们考虑一种方法来训练的共形预测直接与最大的预测效率作为优化目标，我们专注于归纳共形预测分类。为此，共形预测器由一个可微的目标函数近似，并利用梯度下降对其进行优化，然后将得到的参数估计值传递给一个适当的归纳共形预测器，得到有效的预测集。我们测试的方法在几个现实世界的数据集，发现该方法是有前途的，在大多数情况下，提供了改进的预测效率对基线共形预测。
2021-05-24 cs.LG
NeuMiss networks: differentiable programming for supervised learning with missing values
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS/IN2P3（法国国家科学研究中心/国家核物理与粒子物理研究所）；IJCLab（伊雷娜·约里奥-居里实验室）；Ecole Polytechnique（巴黎综合理工学院）；IP Paris（巴黎理工学院）；Mila（米拉）；McGill University（麦吉尔大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）
缺失值的存在使得监督学习更具挑战性。事实上，以前的工作已经表明，即使响应是完整数据的线性函数，最佳预测器也是观察到的条目和缺失指标的复函数。因此，一致性方法的计算或样本复杂性取决于缺失模式的数量，其在维度数量上可以是指数级的。在这项工作中，我们推导出线性假设和各种缺失数据机制，包括随机缺失（MAR）和自屏蔽（Missing Not At Random）下的最佳预测的分析形式。基于Neumann级数近似的最优预测，我们提出了一个新的原则架构，命名为NeuMiss网络。它们的独创性和力量来自于使用一种新型的非线性：乘以缺失指标。我们提供了一个上限NeuMiss网络的贝叶斯风险，并表明他们有良好的预测精度与一些参数和独立的缺失数据模式的数量的计算复杂性。因此，它们可以很好地扩展到具有许多特征的问题，并且对于中等大小的样本仍然具有统计效率。此外，我们表明，相反的程序使用EM或插补，他们是强大的缺失数据机制，包括困难的MNAR设置，如自屏蔽。
2020-11-04 cs.AI cs.LG stat.ML
