MAGI-X: Manifold-Constrained Gaussian Process Inference for Unknown System Dynamics
Georgia Institute of Technology（佐治亚理工学院）
常微分方程常用来描述动力系统的动力学特性，但在许多复杂的科学应用中，即使有领域专家的帮助，也很难以封闭形式给出常微分方程。我们提出了一种快速准确的数据驱动方法MAGI-X，以非参数的方式从观测数据中学习未知动态，而不需要任何领域知识。与现有的方法主要依赖于昂贵的数值积分不同，MAGI-X利用神经网络强大的函数逼近器，在MAnifold约束的高斯过程推理（MAGI）框架内学习未知的非线性动力学，完全避免了数值积分。与三个实际例子的最先进的方法相比，MAGI-X在拟合和预测方面都达到了有竞争力的精度，而只需要一小部分的计算时间。此外，MAGI-X为部分观测系统的推断提供了实用的解决方案，这是以前的方法无法处理的。
2021-10-19 cs.LG stat.CO stat.ME
FNOPE: Simulation-based inference on function spaces with Fourier Neural Operators
Machine Learning in Science, University of Tübingen（图宾根大学机器学习研究所）；Tübingen AI Center（图宾根人工智能中心）；Department of Geosciences, University of Tübingen（图宾根大学地质科学系）；Department Empirical Inference, Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所经验推断部门）
针对模拟推理（SBI）难以处理函数值参数的问题，提出结合傅里叶神经算子（FNO）与流匹配目标的FNOPE方法，可低模拟成本完成函数值参数推理，支持任意域离散化后验评估及向量值参数估计，扩展了SBI的适用范围。
2025-11-14 cs.LG
Variational inference formulation for a model-free simulation of a dynamical system with unknown parameters by a recurrent neural network
IBM T.J. Watson Research Center（IBM T.J.沃森研究中心）；Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个循环神经网络的“无模型”模拟的动力系统的未知参数没有先验知识。深度学习模型旨在从时间序列数据集中联合学习非线性时间推进算子和未知参数的影响。我们假设时间序列数据集由一系列参数的轨迹的集合组成。学习任务被制定为一个统计推断问题，通过考虑未知参数作为随机变量。引入潜变量来模拟未知参数的影响，并采用变分推理方法同时训练时间推进算子的概率模型和潜变量的近似后验分布。与经典的变分推理，其中一个因式分解的分布是用来近似的后验，我们采用了一个前馈神经网络补充的编码器循环神经网络开发一个更灵活的概率模型。近似后验分布对轨迹进行推断，以识别未知参数的影响。时间推进算子由一个循环神经网络近似，该网络将从近似后验分布中采样的潜状态作为输入变量之一，计算以该潜变量为条件的概率分布的时间演化。在数值实验中，它表明，所提出的变分推理模型，使一个更准确的模拟相比，标准的递归神经网络。发现所提出的深度学习模型能够正确地识别随机参数的维度并学习复杂时间序列数据的表示。
2021-02-26 cs.LG cs.NE physics.comp-ph
Variational Bayesian inference of hidden stochastic processes with unknown parameters
Swansea University（斯旺西大学）；University of Sheffield（谢菲尔德大学）
估计隐藏的过程从非线性噪声观测是特别困难的，当这些过程的参数是未知的。本文采用了机器学习的方法来设计变分贝叶斯推理这样的场景。特别地，由自回归移动平均（ARMA）线性模型生成的随机过程是从非线性噪声观测推断的。隐藏状态的后验分布近似的一组加权粒子产生的序贯蒙特卡罗（SMC）算法涉及采样与重要性采样响应（SISR）。通过计算机模拟对所提出的推理方法的数值效率和估计精度进行了评估。最后，以基因表达时间序列中缺失值的估计为例，证明了该方法在向量自回归（VAR）数据模型下的有效性。
2019-11-02 cs.LG stat.CO stat.ML
Neural Likelihood Approximation for Integer Valued Time Series Data
University of Adelaide（阿德莱德大学）
针对整数值时间序列模型似然难解、现有基于仿真的推断方法实现难且计算成本高的问题，提出可通过底层模型无条件仿真训练的神经似然近似方法，在多类模型上验证了其准确性与计算效率优势。
2024-04-12 cs.LG stat.ML
Real Spike: Learning Real-valued Spikes for Spiking Neural Networks
Intelligent Science & Technology Academy of CASIC（中国航天科工集团智能科学与技术研究院）
脑启发脉冲神经网络（SNN）由于其事件驱动和能量高效的特性，近年来受到越来越多的关注。在神经形态硬件上集成存储和计算范式使得SNN与深度神经网络（DNN）有很大不同。在本文中，我们认为SNN可能不会受益于权重共享机制，该机制可以有效地减少参数并提高DNN的推理效率，在某些硬件中，并假设具有非共享卷积核的SNN可以表现得更好。基于这一假设，提出了一种SNN训练-推理解耦方法Real Spike，该方法不仅在推理时同时使用非共享卷积核和二进制Spike，而且在训练时同时保持共享卷积核和实值Spike。SNN的这种解耦机制是通过重新参数化技术实现的。此外，基于训练-推理-解耦的思想，提出了一系列不同层次的Real Spike实现形式，这些实现形式在推理过程中共享卷积，并且对神经形态和非神经形态硬件平台都很友好。给出了一个理论证明，澄清了真正的Spike为基础的SNN网络是优于其香草对应。实验结果表明，所有不同的Real Spike版本可以一致地提高SNN的性能。此外，所提出的方法在非尖峰静态和神经形态数据集上都优于最先进的模型。
2022-10-13 cs.LG cs.NE
Approachability in unknown games: Online learning meets multi-objective optimization
Israel Institute of Technology (Technion)（以色列理工学院）；ENSAE ParisTech（巴黎高等经济与统计学院）；GREGHEC: HEC Paris — CNRS（GREGHEC：巴黎高等商学院——法国国家科学研究中心）
在可接近性的标准设置中，有两个参与者和一个目标集。参与者反复玩一个已知的向量值博弈，其中第一个参与者希望使平均向量值收益收敛到目标集合，而另一个参与者试图将其从该集合中排除。我们本着在线学习的精神重新审视这个设置，并不假设第一个玩家知道游戏结构：她在每一轮都收到一个任意向量值的奖励向量。她希望接近最小的（“最好的”）可能的集合，给出了事后观察到的平均收益。即使在最初的目标集无法实现，而且不清楚应该采用哪种扩展目标集的情况下，标准设定的这种扩展也会产生影响。我们表明，这是不可能的，在一般情况下，接近最好的目标设定在事后，并提出可实现的，但雄心勃勃的替代目标。我们还提出了实现这些目标的具体战略。我们的方法不需要投影到一个目标集，相当于在情节中执行的标量后悔最小化算法之间切换。被认为是全球成本最小化和样本路径约束下的可接近性的应用。
2016-06-17 cs.LG math.ST stat.ML
Distribution-Free Predictive Inference under Unknown Temporal Drift
Columbia University（哥伦比亚大学）
本文针对时间漂移环境下校准数据不可靠的问题，提出基于自适应窗口选择的无分布预测集构造方法，通过优化偏差-方差权衡选取窗口，并提供覆盖率保证与实验验证。
2024-06-10 cs.LG stat.ME stat.ML
Likelihood-Free Inference in State-Space Models with Unknown Dynamics
Helsinki Institute for Information Technology（赫尔辛基信息技术研究所）；Aalto University（阿尔托大学）；University of Oslo（奥斯陆大学）；University of Birmingham（伯明翰大学）；University of Manchester（曼彻斯特大学）
无似然推理（LFI）已成功地应用于状态空间模型，其中观测值的似然不可用，但可以使用黑盒模拟器生成的合成观测值进行推理。然而，到目前为止，大部分的研究已被限制的情况下，其中的状态转移动力学模型可以预先制定和模拟预算是不受限制的。这些方法无法解决的问题时，模拟的状态推断是计算昂贵的马尔可夫状态转换动力学是不确定的。在这篇手稿中提出的方法，使LFI的状态与有限数量的模拟，通过估计的过渡动力学，并使用状态预测作为模拟的建议。在非平稳用户模型的实验中，所提出的方法表现出显着的改善，在状态推断和预测的准确性，其中多输出高斯过程用于状态的LFI，和贝叶斯神经网络作为过渡动态的代理模型。
2023-02-20 cs.LG stat.ML
Barrier Certificates for Unknown Systems with Latent States and Polynomial Dynamics using Bayesian Inference
Technical University of Munich（慕尼黑工业大学）
本文提出了一种基于贝叶斯推断的方法，用于为具有潜在状态和多项式动力学的未知系统生成有效的障碍证书，并通过概率保证验证其有效性。
2026-01-15 cs.LG cs.SY eess.SY
Message passing-based inference in an autoregressive active inference agent
Eindhoven University of Technology（埃因霍温理工大学）；Lazy Dynamics B.V.（Lazy Dynamics公司）
本文提出一种基于消息传递的自回归主动推断代理，通过在因子图上进行推理，在机器人导航任务中展示了在连续观测空间中实现探索与利用的能力，并在动态建模方面优于传统控制器。
2026-01-19 cs.AI cs.LG cs.RO
Soft Tournament Equilibrium: Differentiable Set-Valued Inference for Non-Transitive Pairwise Comparisons
本文提出软锦标赛均衡（STE），通过可微框架直接从配对比较数据学习和计算多值锦标赛解，解决非传递性交互中的评估问题，提供更稳健的多值均衡评估。
2026-10-09 cs.AI cs.LG cs.MA
No-regret Algorithms for Multi-task Bayesian Optimization
Indian Institute of Science（印度科学理工学院）
我们考虑在非参数贝叶斯优化（BO）设置中未知向量值函数的多目标优化（MOO），目的是学习目标的Pareto前沿上的点。大多数现有的BO算法不建模的事实，即多个目标，或等价地，任务可以共享相似性，甚至少数缺乏严格的，有限时间的遗憾保证，明确捕获任务间的结构。在这项工作中，我们解决这个问题，通过建模任务间的依赖关系，使用多任务内核和开发两个新的BO算法的基础上随机标量化的目标。我们的算法采用向量值核回归作为垫脚石，属于置信上限类的算法。在光滑性假设下，未知的向量值函数是与多任务内核相关的再生内核希尔伯特空间的元素，我们推导出最坏情况下的遗憾界限，明确捕捉任务之间的相似性的算法。我们在合成和现实生活中的MOO问题上对我们的算法进行了数值基准测试，并展示了多任务内核学习所提供的优势。
2020-08-20 cs.LG stat.ML
Selective Inference for Clustering Under Unknown Covariance
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Waterloo（滑铁卢大学）
针对未知协方差下聚类后均值检验的一类错误率膨胀问题，提出无需估计协方差矩阵的选择性检验，可高效计算并在模拟及真实数据集上验证了其有效性。
2026-10-14 cs.LG stat.AP stat.ME
Inference of Unknown Dynamical Components Using Next Generation Reservoir Computing: From Chaotic Systems to Climate Data
University College Cork（科克大学）；Potsdam Institute for Climate Impact Research（波茨坦气候影响研究所）
本研究提出利用下一代储层计算（NGRC）从部分观测数据推断动力系统未知分量，在混沌系统及ENSO气候数据上均展现出高效准确的推断能力。
2026-09-22 cs.LG nlin.CD
Learning 1-Dimensional Submanifolds for Subsequent Inference on Random Dot Product Graphs
Indiana University（印第安纳大学）；Financial Industry Regulatory Authority (FINRA)（美国金融业监管局）；Johns Hopkins University（约翰斯·霍普金斯大学）；North Carolina State University（北卡罗来纳州立大学）
随机点积图（RDPG）是一种网络生成模型，其中顶点对应于潜在欧几里得空间中的位置，边缘概率由潜在位置的点积确定。我们认为RDPG的潜在位置是随机采样的潜在空间的未知$1$维子流形。原则上，限制推理，即，利用子流形的结构的过程应该比无限制推理更有效;然而，当子流形未知时，如何进行限制推理还不清楚。我们提出，流形学习技术可以用来学习未知的子流形，以及实现限制推理的好处。为了说明，我们测试$1$ -和$2$ -样本假设的Fréchet手段的小社区的顶点，使用完整的顶点集来推断潜在的结构。我们提出了检验统计量，部署的Isomap程序的流形学习，使用最短路径距离的邻域图构建从估计潜在的位置，以估计弧长的未知$1$维子流形。与Isomap的传统应用程序不同，估计的潜在位置不位于感兴趣的子流形上。我们扩展现有的收敛结果Isomap到这个设置，并使用它们来证明，作为辅助顶点的数量的增加，我们的测试的权力收敛到相应的测试时的权力的子流形是已知的。最后，我们将我们的方法推理问题，在研究果蝇幼虫蘑菇体的连接体。单变量学习流形测试拒绝（$p<0.05$），而多变量环境空间测试不拒绝（$p\gg0.05$），这说明了识别和利用低维结构进行后续推理的价值。
2021-12-24 cs.LG stat.ML
Skeptical inferences in multi-label ranking with sets of probabilities
Eindhoven University of Technology（埃因霍温理工大学）
在本文中，我们考虑了多标签排序问题的怀疑推理问题。我们假设我们的不确定性是由一个凸概率集（即一个置信集）描述的，定义在标签集上。因此，我们不是学习一个单例预测（或者一个完整的标签排名），而是根据由完整排名组成的集值预测来寻求怀疑性推理。
2022-10-16 cs.LG math.CO stat.ML
Lifting Factor Graphs with Some Unknown Factors
Institute of Information Systems, University of Lübeck（吕贝克大学信息系统学院）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本文提出LIFAGU算法，通过在包含未知因子的因子图中识别对称子图，将已知势能转移到未知势能，从而实现明确定义语义下的提升概率推断。
2024-06-03 cs.AI cs.LG
Mechanism Learning: reverse causal inference in the presence of multiple unknown confounding through causally weighted Gaussian mixture models
提出机制学习方法，利用因果加权高斯混合模型（CW-GMMs）对观测数据去混杂，使机器学习模型在多重未知混杂下学习结果到原因的反向因果预测关系，实现无偏因果推断。
2025-11-02 cs.LG math.PR stat.ML
Scalable Matrix-valued Kernel Learning for High-dimensional Nonlinear Multivariate Regression and Granger Causality
IBM Research（IBM研究院）；Istituto Italiano di Tecnologia（意大利理工学院）
本文提出了一个通用的矩阵值多核学习框架，用于高维非线性多元回归问题。这个框架允许一个广泛的混合范数正则化，包括那些诱导稀疏性，被施加在向量值再生核希尔伯特空间的字典。我们开发了一个高度可扩展的和eigendecomposition免费的算法，编排两个不精确的求解器，同时学习可分离矩阵值内核的输入和输出组件。作为我们的框架启用的一个关键应用程序，我们展示了高维因果推理任务如何自然地转换为稀疏函数估计问题，从而导致一类图形格兰杰因果关系技术的新的非线性扩展。我们的算法的发展和广泛的实证研究的补充，理论分析方面的Rademacher推广的界限。
2014-08-09 cs.LG stat.ML
Distributed Simulation and Distributed Inference
Cornell University（康奈尔大学）；Stanford University（斯坦福大学）；Indian Institute of Science（印度科学学院）
来自大小为$k$的域上的未知概率分布$\bf p$的独立样本分布在$n$参与者之间，每个参与者持有一个样本。每个参与者可以在通信的同时消息传递模型中将$\ell$比特传送给中央裁判，以帮助裁判推断未知$\bf p$的属性。在$\ell<\log k$的通信匮乏设置中，推理所需的最少参与者数量是多少？我们开始探索一个通用的“模拟和推断”的策略，这样的推理问题，中心模拟所需数量的样本从未知的分布和应用标准的推理算法的配置设置。我们的第一个结果表明，对于$\ell<\log k$，即使是单个样本的完美模拟也是不可能的。尽管如此，我们提出了一个拉斯维加斯算法，模拟一个单一的样本从未知的分布使用$O(k/2^\ell)$样本的期望。作为直接推论，我们得到模拟-推断达到了$Θ(k^2/2^\ellε^2)$的最佳样本复杂度，用于学习未知分布到总变异距离$ε$。对于身份测试的原型测试问题，模拟和推断与$O(k^{3/2}/2^\ellε^2)$样本一起工作，这似乎是所有不使用任何额外资源的通信协议所固有的要求。有趣的是，我们可以使用公共硬币打破这一障碍。具体来说，我们展示了一个公共硬币通信协议，使用$O(k/\sqrt{2^\ell}ε^2)$样本进行身份测试。此外，我们表明，这是最佳的常数因子。我们理论上的样本最优协议很容易在实践中实现。我们的证明下限需要显示收缩$χ^2$距离的产品分布由于通…
2019-05-23 cs.DM cs.DS cs.IT
Towards a theory of inference-time alignment with unknown rewards
Purdue University（普渡大学）
该研究将推理时对齐形式化为弱到强学习问题，引入对齐维度表征其可学习性，证明其有限性是可对齐学习的充要条件，为对齐理论构建提供了思路。
2026-08-27 cs.LG
Variational Nonlinear Kalman Filtering with Unknown Process Noise Covariance
Northwestern Polytechnical University（西北工业大学）；Nanjing Research Institute of Electronics Technology（南京电子技术研究所）
针对非线性系统中未知时变过程噪声协方差问题，提出基于随机搜索变分推断的联合状态与参数递归估计方法，通过辅助变量解耦和混合优化提升精度与速度，并在雷达目标跟踪中验证。
2023-05-06 cs.LG cs.SY eess.SY
