Interventional Time Series Priors for Causal Foundation Models
National University of Singapore(新加坡国立大学)
本文提出CausalTimePrior框架,生成合成时间结构因果模型,支持可配置因果图、非线性自回归机制和多干预类型,推动时间序列因果推断的基础模型发展。
2026-04-08 cs.LG stat.ME
A Review of Diffusion-based Simulation-Based Inference: Foundations and Applications in Non-Ideal Data Scenarios
Department of Mathematics, Emory University, Atlanta, GA 30327, USA(埃默里大学数学系,亚特兰大,GA 30327,USA)
本文综述了基于扩散的模拟推理方法,探讨其在模型不准确、观测不结构化及缺失数据等非理想数据场景下的鲁棒性与应用。
2026-04-14 cs.LG math.PR stat.ML
Cross-simulator transfer with foundation model summaries: Towards robust SKA-era reionization inference
Institut für Theoretische Physik, Universität Heidelberg(海德堡大学理论物理研究所);Max Planck Institute for Radioastronomy(马克斯·普朗克射电天文研究所)
该研究提出用在半数值模拟上预训练的基础模型SKATR,实现跨模拟器迁移的再电离推断,精度达监督基线水平且模拟量减少2.6倍,在SKA噪声下仍表现优异。
2026-08-28 astro-ph.CO astro-ph.IM cs.LG
Training Video Foundation Models with NVIDIA NeMo
NVIDIA(英伟达)
针对高质量大规模视频基础模型训练难题,本文提出基于 NVIDIA NeMo 的开源可扩展流水线,支持数据整理、多模态加载及视频扩散模型并行训练推理,并给出性能分析与最佳实践。
2025-03-17 cs.AI cs.CV cs.LG
Streaming Hierarchical Inference with Tabular Foundation Models
Polytechnic of Porto(波尔图理工学院)
针对表格基础模型在数据流中部署的通信与延迟问题,提出HINT分层推断框架,结合边缘检索与云端推断,通过卸载阈值和邻域策略平衡性能与成本,实验验证其有效性。
2026-09-09 cs.LG
Valid Feature-Level Inference for Tabular Foundation Models via the Conditional Randomization Test
本文提出结合条件随机化检验与TabPFN的方法,实现表格基础模型中特征层面的有效假设检验,提供有限样本有效的p值,无需模型重新训练或参数假设。
2026-02-19 cs.LG
Towards Foundation Inference Models that Learn ODEs In-Context
Lamarr Institute(拉马尔研究所);University of Bonn(波恩大学);Fraunhofer IAIS(弗劳恩霍夫研究所)
本文提出FIM-ODE,一种预训练神经模型,能从稀疏含噪观测中零样本估计常微分方程,在合成数据上训练,利用神经算子实现稳健推断,性能与最先进方法相当。
2025-10-14 cs.LG
Resource-efficient Inference with Foundation Model Programs
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Rice University(里奇大学)
针对大型模型推理成本高的问题,提出基于基础模型程序的资源分配策略,通过学习为各程序模块动态选择不同规模的后端模型,在流式视觉问答任务中实现高达98%的资源节省且精度损失极小。
2025-08-09 cs.LG
Effortless, Simulation-Efficient Bayesian Inference using Tabular Foundation Models
Machine Learning in Science, University of Tübingen(图宾根大学机器学习与科学系);Tübingen AI Center(图宾根人工智能中心);Department Empirical Inference, Max Planck Institute for Intelligent Systems(智能系统研究所经验推断部门)
本文提出NPE-PFN,利用表格基础模型TabPFN作为预训练条件密度估计器进行仿真高效贝叶斯推断,在保持准确性的同时大幅减少所需模拟次数,并免去网络训练与调参。
2025-10-27 cs.LG
In-Context Learning of Temporal Point Processes with Foundation Inference Models
Lamarr Institute(拉马尔研究所);Fraunhofer IAIS(弗劳恩霍夫人工智能研究所);University of Bonn(波恩大学);JetBrains Research(JetBrains研究);University of Potsdam(波恩大学)
提出一种基于摊销推理和上下文学习的点过程基础推理模型FIM-PP,通过大规模合成数据预训练,无需额外训练即可估计真实MTPP,或快速微调至目标系统。
2026-06-08 cs.LG
Task Inference Beyond Least Squares in Behavioral Foundation Models
National Taiwan University(国立台湾大学);National Yang Ming Chiao Tung University(国立阳明交通大学)
针对行为基础模型中任务推断次优问题,提出BLS方法,平衡奖励重建误差与后续度量不匹配,理论给出上界,实验超越基线。
2026-10-06 cs.LG
Towards Fast Coarse-graining and Equation Discovery with Foundation Inference Models
Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔人工智能与机器学习研究所);University of Bonn(波恩大学);Fraunhofer IAIS(弗劳恩霍夫人工智能研究所);JetBrains Research(JetBrains研究)
本文提出利用基础推理模型分离粗粒化与方程发现,通过预训练模型和简单损失函数实现高效动态系统建模。
2026-01-20 cs.LG
Optimistic Task Inference for Behavior Foundation Models
ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(智能系统马克斯·普朗克研究所)
OpTI-BFM通过测试时与环境的交互,优化奖励函数推断,减少数据和计算开销。
2026-03-02 cs.LG
Bayesian Neural Ordinary Differential Equations
Massachusetts Institute of Technology(麻省理工学院);Julia Computing Inc.(朱莉娅计算公司);Pumas AI(普马斯人工智能公司);University of New South Wales at Canberra(堪培拉新南威尔士大学);National Autonomous University of Mexico(墨西哥国立自治大学);Pramati Technologies(普拉马蒂科技公司);University of Maryland Baltimore(马里兰大学巴尔的摩分校)
最近,神经常微分方程已经成为一个强大的框架,用于建模物理模拟,而无需显式定义控制系统的ODE,而是通过机器学习来学习它们。然而,问题是:贝叶斯学习框架能否与神经ODE集成,以稳健地量化神经ODE权重的不确定性?“仍然没有答案为了解决这个问题,我们主要评估以下几类推理方法:(a)无U形转弯MCMC采样器(NUTS),(b)随机梯度哈密顿蒙特卡罗(SGHMC)和(c)随机朗之万梯度下降(SGLD)。我们使用GPU加速,在经典物理系统以及MNIST等标准机器学习数据集上成功集成了神经ODE与上述贝叶斯推理框架。在MNIST数据集上,我们在10,000张图像的测试集合上实现了98.5%的后验样本准确率。随后,我们第一次展示了变分推理与归一化流和神经ODE的成功集成,从而产生了一个强大的贝叶斯神经ODE对象。最后,考虑一个捕食者-食饵模型和一个流行病系统,利用泛常微分方程证明了部分描述动力系统模型规格的概率辨识。总之,这给出了一个科学的机器学习工具的概率估计的认知不确定性。
2022-02-06 cs.LG
Foundation Posteriors for Approximate Probabilistic Inference
Stanford University(斯坦福大学)
概率程序为生成模型提供了一种表达性的表示语言。给定一个概率程序,我们对后验推理的任务感兴趣:在给定一组观测变量的情况下估计一个潜在变量。用于概率程序中的推理的现有技术通常需要选择许多超参数,在计算上是昂贵的,和/或仅适用于有限类别的程序。在这里,我们将推理公式化为掩码语言建模:给定一个程序,我们生成一个变量和赋值的监督数据集,并随机掩码赋值的子集。然后,我们训练一个神经网络来揭开随机值,定义一个近似的后验分布。通过在一系列程序中优化单个神经网络,我们分摊了训练成本,产生了一个“基础”后验模型,能够为新程序进行zero-shot推理。基础后验也可以通过优化变分推理目标来针对特定程序和数据集进行微调。我们在STAN程序的基准测试中展示了该方法(zero-shot和微调)的有效性。
2022-08-31 cs.LG stat.ML
Designing Large Foundation Models for Efficient Training and Inference: A Survey
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Columbia University(哥伦比亚大学);University of Illinois at Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校);The Ohio State University(俄亥俄州立大学);Iran University of Science and Technology(伊朗科技大学)
本文综述基础模型的高效训练与推理技术,从模型和系统设计双视角探讨优化方法以节省计算资源,并提供相关资源库,助力LLM更高效、经济且易获取。
2025-04-14 cs.DC cs.LG
Membership Inference Attacks Expose Participation Privacy in ECG Foundation Encoders
University of California, Irvine(加州大学尔湾分校);Arizona State University(亚利桑那州立大学);California State University, Dominguez Hills(加州州立大学多明格斯山分校)
本文研究了成员推断攻击对现代自监督ECG基础编码器的影响,发现参与隐私泄露与数据集规模和目标类型相关,强调了对可重用生物信号基础编码器进行部署感知审计的重要性。
2026-04-12 cs.LG
Foundations of Reliable Inference: Reliability-Efficiency Co-Design
The Department of Engineering(工程系);King’s College London(伦敦国王学院)
本文探讨如何高效实现可靠推断,通过统一框架从两个视角出发,解决可靠性与效率的协同设计问题。
2026-05-11 cs.LG eess.SP
Improving Robustness and Uncertainty Modelling in Neural Ordinary Differential Equations
神经常微分方程(NODE)已被提出作为流行的深度学习模型(如残差网络(ResNets))的连续深度推广。它们提供了参数效率,并在一定程度上自动化了深度学习模型中的模型选择过程。然而,它们缺乏急需的不确定性建模和鲁棒性能力,这对于它们在自动驾驶和医疗保健等现实应用中的使用至关重要。我们提出了一种新的和独特的方法来模型的不确定性在NODE考虑分布在结束时间$T$的ODE求解器。所提出的方法,潜伏时间节点(LT-NODE),把$T$作为一个潜在的变量,并应用贝叶斯学习获得后验分布超过$T$的数据。特别地,我们使用变分推理来学习近似后验和模型参数。预测是通过考虑来自后验的不同样本的NODE表示来完成的,并且可以使用单个前向传递来有效地完成。由于$T$隐含地定义了节点的深度,因此$T$上的后验分布也有助于节点中的模型选择。我们还提出了自适应潜伏时间节点(ALT-NODE),它允许每个数据点在结束时间上具有不同的后验分布。ALT-NODE使用摊销变分推理来学习使用推理网络的近似后验。我们证明了所提出的方法在建模的不确定性和鲁棒性的有效性,通过实验合成和几个真实世界的图像分类数据。
2021-12-23 cs.LG
TabSwift: An Efficient Tabular Foundation Model with Row-Wise Attention
University of Science and Technology of China(中国科学技术大学)
提出TabSwift,通过门控注意力稳定和可学习注册令牌增强轻量级行注意力骨干,实现高效表格上下文学习,在保持竞争力的同时降低推理成本。
2026-06-05 cs.LG
Model inference for Ordinary Differential Equations by parametric polynomial kernel regression
The Alan Turing Institute(艾伦·图灵研究所);Mathematics Institute, University of Warwick(华威大学数学研究所)
动态系统的模型推断旨在从观测结果中估计系统的未来行为。无模型的统计方法,如人工神经网络,往往对这些任务表现不佳。因此,它们不太适合应用中的许多问题,例如贝叶斯滤波和可靠性估计。这项工作介绍了一个参数多项式核方法,可用于推断未来的行为的常微分方程模型,包括混沌动力系统,从观察。使用数值积分技术,可以使用反向传播和随机梯度下降来学习常微分方程的参数表示。这里提出的多项式技术是基于非参数方法,核岭回归。然而,非参数核岭回归的时间复杂度与训练数据点的数量成三次比例。我们的参数多项式方法避免了这种维数灾难的表现,这在处理大型时间序列数据集时变得特别相关。两个数值演示。首先,一个简单的回归测试的情况下,用来说明该方法,并与标准的人工神经网络技术的性能进行比较。第二,一个更实质性的测试案例是混沌时空动力系统的推论,洛伦兹-伊曼纽尔系统,从观察。我们的方法是能够成功地跟踪系统的未来行为的时间周期远大于训练数据采样率。最后,提出了该方法的一些局限性,以及为未来的工作,以减轻这些限制提出了方向。
2019-08-06 cs.LG stat.ML
Thinking in Depth: Retrospective Inference for Tabular Foundation Models
Nanjing University(南京大学);National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
针对表格基础模型预测细化不均的问题,提出基于回溯推断的Retro模型,通过注意力残差和查询条件门控注意力重用中间信息,在多个基准上位列前三并达到帕累托前沿。
2026-10-08 cs.LG
Scaling RNA Foundation Models through Iterative Refinement
Department of Computer Science and Engineering, The Chinese University of Hong Kong(香港中文大学计算机科学与工程学系)
本文提出80M参数的RNA基础模型Eco-RNA,通过学习迭代调整推理深度,在70-assay RNAGym基准等任务中超越SOTA模型Evo 2 40B,确立内部推理计算为RNA基础模型的有效缩放维度。
2026-10-12 cs.LG
CheckMIABench: Firm Foundations For Membership Inference Attacks on Language Models
Harvard University(哈佛大学);Harvard Business School(哈佛商学院)
为解决成员推理攻击评估中的分布偏移问题,提出基于训练中固定点前后数据同分布的基准框架,在Pythia和OLMo模型上评估多种攻击,并开源模块化库。
2026-06-17 cs.LG
TabTune: A Unified Library for Inference and Fine-Tuning Tabular Foundation Models
Lexsi Labs(Lexsi实验室)
TabTune是一个统一库,通过单一接口标准化表格基础模型的完整工作流程,支持多种适应策略并提升评估一致性。
2025-12-02 cs.AI cs.LG
Is One Layer Enough? Understanding Inference Dynamics in Tabular Foundation Models
TU Dortmund University(杜伊斯堡-埃森大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔人工智能与机器学习研究所);University of Tübingen(图宾根大学)
研究分析了表格基础模型的分层动态,揭示了推理过程中的不同阶段和潜在空间动态,设计了参数减少的单层模型以验证发现。
2026-05-07 cs.AI cs.LG
Inference Optimization of Foundation Models on AI Accelerators
AWS AI(亚马逊云科技人工智能部门);EPFL(洛桑联邦理工学院)
本文是一篇教程,系统介绍基于AI加速器的大语言模型等基础模型推理优化技术,涵盖注意力计算优化、Transformer架构要素以及模型压缩与快速解码策略。
2024-10-01 cs.AI cs.LG
Blind Baselines Beat Membership Inference Attacks for Foundation Models
ETH Zurich(苏黎世联邦理工学院)
针对基础模型的成员推断攻击评估因成员与非成员采样分布不同而有缺陷;在8个数据集上,不看模型的盲攻击优于最先进MI攻击,表明现有评估无法反映真实成员泄露。
2025-03-30 cs.CL cs.CR cs.LG
When Dynamics Shift, Robust Task Inference Wins: Offline Imitation Learning with Behavior Foundation Models Revisited
University of Southern California(南加州大学)
本文提出了一种基于行为基础模型(BFM)的框架,通过将任务推断建模为鲁棒最小最大优化问题,以应对动态变化,从而在不修改预训练的情况下实现对最坏动态扰动的适应。该方法在动态变化下显著优于标准BFM和鲁棒离线模仿学习基线。
2026-05-16 cs.AI cs.LG
Diversified Scaling Inference in Time Series Foundation Models
University of Oxford(牛津大学);Carnegie Mellon University(卡内基梅隆大学)
本文研究了时间序列基础模型中多样化缩放推理的影响,通过定制扰动扩展生成分布支持范围,并提出RobustMSE指标量化性能余量。
2026-01-24 cs.AI cs.LG
SpikingBrain2.0: Brain-Inspired Foundation Models for Efficient Long-Context and Cross-Platform Inference
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Beijing Key Laboratory of Brain-Inspired General Intelligence Large Model(北京脑启发通用智能大模型重点实验室);Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology(脑认知与脑启发智能技术重点实验室);The Hong Kong Polytechnic University(香港理工大学)
SpikingBrain2.0通过双空间稀疏注意力机制和优化训练策略,在保持性能的同时提升长上下文处理效率,实现跨平台高效推理。
2026-04-24 cs.LG
When Does Depth Help? Understanding Layerwise Inference in Tabular Foundation Models
China Agricultural University(中国农业大学);Tsinghua University(清华大学);Nankai University(南开大学)
该研究分析TabPFN-3等表格基础模型的分层推理,发现后期维度收缩与类原型分离相关,重复预训练块或打乱层序会降低性能,支持输入依赖的深度冗余评估。
2026-10-14 cs.LG
Mochi: Aligning Pre-training and Inference for Efficient Graph Foundation Models via Meta-Learning
Computer Science Department(计算机科学系);Ken Kennedy Institute(肯尼迪研究所)
Mochi通过元学习框架解决任务统一和训练效率问题,通过预训练与推理对齐提升性能,优于现有图基础模型。
2026-05-07 cs.AI cs.LG
Towards Universal Gene Regulatory Network Inference: Unlocking Generalizable Regulatory Knowledge in Single-cell Foundation Models
Computer Network Information Center, Chinese Academy of Sciences, Beijing, China(中国科学院计算机网络信息中心,北京,中国);Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences, Hangzhou, China(中国科学院大学杭州高等研究院,杭州,中国);University of Chinese Academy of Sciences, Beijing, China(中国科学院大学,北京,中国)
本文提出两种新方法,通过单细胞基础模型提取隐含的调控信息,提升基因调控网络推断的泛化能力,实验表明优于现有方法。
2026-05-01 cs.AI cs.LG
Data-Efficient Inference of Neural Fluid Fields via SciML Foundation Model
Simon Fraser University(西蒙弗雷泽大学);Beijing Jiaotong University(北京交通大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
本文提出利用SciML基础模型实现神经流场的高效推理,通过协同训练策略提升流体动力学重建的PSNR和泛化能力。
2026-02-19 cs.CV cs.LG
STEER: Reducing Inference Cost in Relational Foundation Models through Semantically Informed Sampling
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
STEER通过利用大型语言模型对数据库模式外键进行相关性排序,将推理上下文集中在最相关的表上,平均减少约40%的上下文大小,同时保持或提升预测准确性。
2026-10-02 cs.DB cs.LG
Calibrating Scientific Foundation Models with Inference-Time Stochastic Attention
University of Houston(休斯顿大学)
本文提出通过推理时的随机注意力机制提升科学基础模型的校准能力,通过单参数控制生成预测集,实现高效后处理调优,实验显示其在天气预测和时间序列预测中表现优异,校准效果优于现有方法。
2026-11-10 cs.CE cs.LG stat.ML
Distillation of Tabular Foundation Models into Efficient Predictors
Nums AI
本研究针对表格基础模型推理成本高的问题,提出一种知识蒸馏方案,利用完整训练集作为教师上下文训练轻量级学生模型,在TabArena和TALENT上显著提升性能并实现3-21倍推理加速。
2026-10-02 cs.LG
Balanced Adaptive Prototype Selection for Scalable TabPFN Inference on Large-Scale Tabular Data
Islamic Azad University(伊斯兰阿扎德大学)
本文提出BAPS框架,无需修改预训练TabPFN模型,可将百万级表格数据集的上下文压缩约1953倍,用512个原型保留预测性能,实现其在大规模表格数据上的可扩展推理。
2026-08-14 cs.LG
How Much Computation Does Every Forecast Need? Structured Block Skipping in Two Time-Series Foundation Models
Polytechnique Montréal(蒙特利尔理工学院)
该研究针对时间序列基础模型推理计算冗余问题,在Chronos-Bolt和TimesFM 2.5中测试结构化块跳过,中等稀疏度下可降低延迟且预测质量变化小,但激进跳过会损害部分数据集性能,尚未形成可部署的动态推理方法。
2026-10-12 cs.LG
Neural Ordinary Differential Equations for Nonlinear System Identification
Pacific Northwest National Laboratory(太平洋西北国家实验室)
神经元常微分方程(NODE)是近年来提出的一种用于非线性系统辨识的有效方法。在这项工作中,我们系统地比较他们的预测性能与当前最先进的非线性和经典的线性方法。特别是,我们提出了一个定量的研究比较NODE的性能对神经状态空间模型和经典的线性系统辨识方法。我们评估的推理速度和预测性能的每种方法在八个不同的动态系统的开环误差。实验结果表明,与基准方法相比,NODE可以将预测精度提高一个数量级。除了提高精度,我们还观察到,NODE是不太敏感的超参数相比,神经状态空间模型。另一方面,这些性能的提高伴随着推理时计算量的略微增加。
2022-03-15 cs.LG cs.SY eess.SY
Towards Causal Foundation Model: on Duality between Causal Inference and Attention
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院);Microsoft Research Cambridge(微软研究院剑桥分部)
本文提出基于注意力的因果推断方法CInA,利用无标签数据集进行自监督学习,通过最优协变量平衡与自注意力机制的对偶联系实现零样本因果推断,在分布外和真实数据集上表现优异,为因果基础模型发展奠定基础。
2024-06-03 cs.AI cs.LG stat.ME
Bayesian polynomial neural networks and polynomial neural ordinary differential equations
University of California, Santa Barbara(加州大学圣巴巴拉分校);Science for Life Laboratory(生命科学实验室);Uppsala University(乌普萨拉大学)
针对多项式神经网络符号回归和多项式神经常微分方程仅能输出参数点估计、无法处理噪声数据的问题,提出并验证三种贝叶斯推断方法,发现拉普拉斯近似效果最优,且该工作可扩展至更广泛的符号神经网络类别。
2023-08-25 cs.AI cs.CE cs.LG
Towards Reasoning for PDE Foundation Models: A Reward-Model-Driven Inference-Time-Scaling Algorithm
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本文提出了一种基于奖励模型的推理时扩展算法,用于提升PDE基础模型在分布外情况下的预测准确性,减少对训练样本和模型规模的依赖。
2026-01-23 cs.LG physics.comp-ph
Can Tabular Foundation Models Amortize Statistical Inference?
London School of Economics and Political Science(伦敦政治经济学院);University of Science and Technology of China(中国科学技术大学);Shanghai University of Finance and Economics(上海财经大学);University of Milano-Bicocca(米兰比可卡大学)
本文提出TabCon,一种基于表格基础模型的摊销推断系统,通过前向传播快速生成校准的置信区间,在基准数据集上实现接近标称覆盖率,且比经典自助法快50倍。
2026-09-29 cs.LG stat.ME stat.ML
PyTDC: A multimodal machine learning training, evaluation, and inference platform for biomedical foundation models
arcellai(ArcellAI公司);calculus(The Residency公司);mit(麻省理工学院);hms(哈佛医学院生物医学信息学系);broad(MIT与哈佛大学Broad研究所);harvard-ds(哈佛大学数据科学倡议);kempner(哈佛大学Kempner研究所)
PyTDC是一种多模态机器学习平台,旨在提升生物医学基础模型的训练、评估和推理能力,通过统一数据源和模型权重,促进多模态、上下文感知的研究。
2026-01-21 cs.AI cs.LG
Latent Inference-Time Guidance of Time Series Foundation Models
Sorbonne Université(索邦大学);EDF R&D(法国电力公司研发部);UCL(伦敦大学学院)
本文提出潜在推理时引导方法,通过时间相关潜在空间自适应集成多个时间序列基础模型的预测,兼顾可辨识性与重构保证,实验证明其与传统集成方法竞争力相当。
2026-09-30 cs.LG stat.ME stat.ML
Latent Time Neural Ordinary Differential Equations
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
神经常微分方程(NODE)已被提出作为流行的深度学习模型(如残差网络(ResNets))的连续深度推广。它们提供了参数效率,并在一定程度上自动化了深度学习模型中的模型选择过程。然而,它们缺乏急需的不确定性建模和鲁棒性能力,这对于它们在自动驾驶和医疗保健等现实应用中的使用至关重要。我们提出了一种新的和独特的方法来模型的不确定性在NODE考虑分布在结束时间$T$的ODE求解器。所提出的方法,潜伏时间节点(LT-NODE),把$T$作为一个潜在的变量,并应用贝叶斯学习获得后验分布超过$T$的数据。特别地,我们使用变分推理来学习近似后验和模型参数。预测是通过考虑来自后验的不同样本的NODE表示来完成的,并且可以使用单个前向传递来有效地完成。由于$T$隐含地定义了节点的深度,因此$T$上的后验分布也有助于节点中的模型选择。我们还提出了自适应潜伏时间节点(ALT-NODE),它允许每个数据点在结束时间上具有不同的后验分布。ALT-NODE使用摊销变分推理来学习使用推理网络的近似后验。我们证明了所提出的方法在建模的不确定性和鲁棒性的有效性,通过实验合成和几个真实世界的图像分类数据。
2021-12-23 cs.LG stat.ML
Neural Architectures for Amortized Bayesian Inference: Statistical Foundations and Empirical Assessments
Department of Mathematics and Statistics, Indian Institute of Technology Kanpur(数学与统计学系,印度理工学院坎浦尔分校);Marshall School of Business, University of Southern California(马歇尔商学院,南加州大学)
探讨用于摊销贝叶斯推理的神经架构,从统计角度分析前馈网络等架构如何支持摊销推理,通过模拟研究评估其在不同场景下的表现,展现其优势与局限。
2026-07-17 cs.LG stat.CO stat.ML
ADMIL: Attention-Distilled Multiple Instance Learning for Selective Foundation Model Inference in Pathology
ADMIL是将ABMIL教师注意力蒸馏为轻量级图块选择模型PriorNet的选择性计算框架,在多个病理数据集上可移除>98%的基础模型图块编码且不损失切片级性能,提升了部署效率。
2026-08-25 cs.AI cs.CV cs.LG
Inverting Foundation Models of Brain Function with Simulation-Based Inference
Center for Modeling, Simulation, \& Imaging in Medicine, Rensselaer Polytechnic Institute, NY, USA
研究通过TRIBEv2验证了能否从合成脑活动恢复刺激属性,利用大语言模型生成刺激参数,展示了基础脑模型在逆向设计中的应用潜力。
2026-09-01 cs.AI cs.LG stat.ML
Intelligent Orchestration of Distributed Large Foundation Model Inference at the Edge
Florida Atlantic University, USA(佛罗里达大学);Technical University Munich, Germany(慕尼黑技术大学);Carl Zeiss AG, Germany(蔡司股份公司)
针对边缘环境中大型基础模型推理编排的挑战,提出自适应拆分推理框架,通过容量感知分配、动态分区迁移和实时重配置优化工作负载,提升QoS并适配多场景需求。
2025-07-12 cs.DC cs.LG
In-Context Fine-Tuning for Time-Series Foundation Models
Google Research(谷歌研究院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
该研究提出时序基础模型的上下文内微调方法,通过预训练模型在推理时利用上下文窗口内的相关时序示例适应目标域分布,在主流预测基准上性能优于多种对比方法,甚至媲美目标域显式微调的基础模型。
2024-10-31 cs.AI cs.CL cs.LG
Causal Foundation Models
Layer 6 AI(第六层人工智能公司);TD Bank Group(道明银行集团)
本研究介绍将基础模型范式引入因果推断领域的因果基础模型(CFMs),说明其无需微调即可估计因果量的特性,并提供相关背景、示例代码与Jupyter笔记本的实用介绍。
2026-09-04 cs.LG stat.ML