EquiFlow: Equivariant Conditional Flow Matching with Optimal Transport for 3D Molecular Conformation Prediction
Zhejiang University of Technology(浙江工业大学);HIM, Chinese Academy of Sciences(中国科学院杭州医学研究所);University of Chinese Academy of Sciences(中国科学院大学)
EquiFlow提出等变条件流匹配模型,结合最优传输与改进Equiformer,实现快速训练和推理,在QM9上超越现有方法。
2024-12-15 cs.LG physics.chem-ph q-bio.BM
Equivariant 3D-Conditional Diffusion Models for Molecular Linker Design
EPFL(洛桑联邦理工学院);Massachusetts Institute of Technology(麻省理工学院);Microsoft Research AI4Science(微软研究院AI4Science);University of Oxford(牛津大学)
基于片段的药物发现已经成为早期药物开发的有效范例。该领域的一个开放性挑战是设计感兴趣的断开的分子片段之间的接头以获得化学相关的候选药物分子。在这项工作中,我们提出了DiffLinker,一个E(3)-等变三维条件扩散模型的分子连接设计。给定一组不相连的片段,我们的模型将缺失的原子放置在中间,并设计一个包含所有初始片段的分子。与以前只能连接成对分子片段的方法不同,我们的方法可以连接任意数量的片段。此外,该模型自动确定连接器中的原子数量及其与输入片段的连接点。我们证明了DiffLinker在标准数据集上的表现优于其他方法,从而生成更多样化和合成可访问的分子。此外,我们在实际应用中对我们的方法进行了实验测试,表明它可以成功地生成以靶蛋白口袋为条件的有效连接子。
2022-10-11 cs.LG q-bio.BM
Conditional Antibody Design as 3D Equivariant Graph Translation
Tsinghua University(清华大学);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR));Beijing Academy of Artificial Intelligence(北京人工智能研究院);Renmin University of China(中国人民大学)
抗体设计对于治疗用途和生物学研究是有价值的。现有的基于深度学习的方法遇到了几个关键问题:1)互补决定区(CDR)生成的背景不完整; 2)无法捕获输入结构的整个3D几何形状; 3)以自回归方式对CDR序列的预测效率低下。在本文中,我们提出了多通道等变注意力网络(MEAN)的协同设计的一维序列和三维结构的CDR。具体而言,MEAN通过引入包括靶抗原和抗体轻链在内的额外组分,将抗体设计公式化为条件图翻译问题。然后,MEAN采用E(3)-等变消息传递以及建议的注意力机制,以更好地捕捉不同组件之间的几何相关性。最后,它通过多轮渐进全拍摄方案输出1D序列和3D结构,该方案比以前的自回归方法具有更高的效率和精度。我们的方法在序列和结构建模、抗原结合CDR设计和结合亲和力优化方面显著超越了最先进的模型。具体地,在抗原结合CDR设计中相对于基线的相对改善为约23%,并且对于亲和力优化为34%。
2023-03-30 cs.LG q-bio.BM
Representation Learning for Equivariant Inference with Guarantees
CSML, Italian Institute of Technology(意大利技术研究院 CSML);University College London(伦敦大学学院)
本文提出一种等价表示学习框架,同时解决回归、条件概率估计和不确定性量化,并提供非渐近的统计学习保证。
2026-06-29 cs.AI cs.LG cs.RO
Semi-Equivariant Continuous Normalizing Flows for Target-Aware Molecule Generation
Verily Research(Verily研究院)
我们提出了一种算法,用于学习给定目标的分子的条件生成模型。具体地说,给定一个希望结合的受体分子,条件模型生成可能与之结合的候选配体分子。该分布应该对作用于配体和受体的刚体变换$\textit{jointly}$不变;它也应该对配体或受体原子的排列不变。我们的学习算法是基于一个连续的规范化流程。我们建立了半等方差条件的流动,保证上述条件分布的不变性条件。我们提出了一个图神经网络架构,实现这一流程,并有效地学习,尽管配体和受体之间的巨大差异的大小。我们在CrossDocked 2020数据集上评估了我们的方法,与竞争方法相比,结合亲和力得到了显着改善。
2022-11-09 cs.LG q-bio.QM
Translation Equivariant Transformer Neural Processes
University of Cambridge(剑桥大学);Vector Institute(向量研究院);University of Toronto(多伦多大学);Microsoft Research AI for Science(微软研究院科学人工智能部门)
针对现有Transformer神经过程(TNPs)未充分利用数据对称性的问题,本文提出融入平移等变性的TE-TNPs模型,经合成与真实时空数据实验验证,其效果优于非平移等变同类模型及其他NP基准。
2024-06-18 cs.LG stat.ML
EquiDiff: A Conditional Equivariant Diffusion Model For Trajectory Prediction
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
提出基于条件扩散模型和SO(2)等变Transformer的EquiDiff,用于车辆轨迹预测,在NGSIM数据集上短期预测优于基线,并进行了消融和可视化分析。
2023-08-29 cs.LG cs.RO
Improving Equivariant Networks with Probabilistic Symmetry Breaking
MIT(麻省理工学院);UCL(伦敦大学学院);Samsung – SAIT AI Lab(三星SAIT AI实验室);McGill University(麦吉尔大学)
针对等变网络无法打破对称性的根本限制,提出基于随机规范化的SymPE方法,通过等变条件分布实现对称性破缺,在多个图与物理任务上显著提升性能。
2025-03-27 cs.LG stat.ML
Equivariant Neural Diffusion for Molecule Generation
Technical University of Denmark(丹麦技术大学);University of Amsterdam(阿姆斯特丹大学)
本研究提出对欧几里得变换等变的三维分子生成扩散模型END,其核心创新是可学习的等变前向过程,实验显示该模型在标准基准的无条件与条件生成任务上性能具备竞争力。
2025-06-12 cs.LG
Interrelation of equivariant Gaussian processes and convolutional neural networks
Skobeltsyn Institute of Nuclear Physics, M.V. Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学斯科贝尔琴核物理研究所)
基于神经网络(NN)和高斯过程(GP)之间的关系,目前机器学习(ML)领域出现了相当有前途的新趋势,包括许多相关的子主题,例如,神经网络中的信号传播、神经网络学习曲线的理论推导、ML中的QFT方法等。卷积神经网络(CNN)的一个重要特征是它们关于输入数据的对称变换的等方差(一致性)。在这项工作中,我们建立了CNN等变的多通道限制与向量值神经元激活的二维欧几里德群和相应的独立引入的等变高斯过程(GP)之间的关系。
2022-09-17 cs.AI cs.LG
3DLinker: An E(3) Equivariant Variational Autoencoder for Molecular Linker Design
Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院);Tsinghua University(清华大学);Peking University(北京大学)
深度学习在设计具有理想药物特性的新型化合物方面取得了巨大成功。在这项工作中,我们专注于一种新型的药物设计问题-产生一个小的“连接器”,以物理方式连接两个具有不同功能的独立分子。主要的计算挑战包括:1)与以前的工作中从头开始生成完整分子相比,连接子的生成是以两个给定分子为条件的; 2)连接子严重依赖于要连接的两个分子的锚原子,这是事先不知道的; 3)分子的三维结构和取向需要考虑以避免原子碰撞,这需要与E(3)基团的等变性。为了解决这些问题,我们提出了一个条件生成模型,命名为3DLinker,它能够预测锚原子和联合生成链接图和它们的3D结构的基础上的E(3)等变图变分自编码器。据我们所知,以前没有模型可以完成这项任务。我们将我们的模型与从其他分子设计任务修改的多个条件生成模型进行比较,发现我们的模型在恢复分子图方面具有显着更高的速度,更重要的是,准确地预测所有原子的3D坐标。
2022-05-15 cs.AI cs.LG q-bio.BM
Conditional Set Generation with Transformers
Deepmind
集合是唯一元素的无序集合--然而许多生成集合的机器学习模型强加了隐式或显式的排序。由于模型性能可能取决于顺序的选择,任何特定的顺序都可能导致次优结果。另一种解决方案是使用置换等变集生成器,它不指定排序。这种生成器的一个例子是DeepSet预测网络(DSPN)。我们介绍了Transformer集预测网络(TSPN),一个灵活的置换等变模型的基础上的Transformer,建立在预测集元素的质量和预测的大小的准确性优于DSPN的集预测。我们测试我们的模型MNIST作为点云(SET-MNIST)的点云生成和CLEVR的目标检测。
2020-07-01 cs.CV cs.LG
Convolutional Conditional Neural Processes
University of Cambridge(剑桥大学);Invenia Labs(因维尼亚实验室);Microsoft Research(微软研究院)
我们介绍卷积条件神经过程(ConvCNP),这是神经过程家族的新成员,它对数据中的平移等方差进行建模。平移等方差是一个重要的归纳偏差的许多学习问题,包括时间序列建模,空间数据和图像。该模型将数据集嵌入到无限维函数空间中,而不是有限维向量空间。为了形式化这一概念,我们扩展了集合的神经表示理论,以包括函数表示,并证明任何反等变嵌入都可以使用卷积深集表示。我们在几种环境中评估了ConvCNP,证明与现有的NP相比,它们实现了最先进的性能。我们证明,在翻译等方差建设使zero-shot推广具有挑战性的,域外的任务。
2020-06-25 cs.LG stat.ML
Learning conditional independence structure for high-dimensional uncorrelated vector processes
Aalto University(阿尔托大学)
我们制定和分析的图形模型选择方法推断的条件独立图的高维非平稳高斯随机过程(时间序列)从有限长度的观察。假设观察到的过程样本随时间不相关,并且具有随时间变化的边缘分布。该选择方法是基于测试的过程组件的小子集获得的条件方差。这允许应付高维制度,其中的样本量可以(大大)小于过程的尺寸。我们描述了所需的样本量,使得所提出的选择方法以高概率成功。
2016-09-13 cs.LG stat.ML
Conditional Risk Minimization for Stochastic Processes
IST Austria(奥地利科学技术研究所)
我们研究向非独立身份者学习的任务。数据特别是,我们的目标是学习预测器,最大限度地减少条件风险的随机过程,即预期损失的预测器上的下一个点的条件下,到目前为止观察到的训练样本集。对于非i.i.d.数据,训练集包含有关即将到来的样本的信息,因此可以期望关于条件分布的学习产生比从最小化边际风险的经典设置获得的更好的预测器。我们的主要贡献是基于非参数时间序列预测理论的条件风险的实用估计器,以及有限样本浓度界,该界在过程的某些规律性假设下建立了估计器对真实条件风险的一致收敛。
2016-03-13 cs.LG stat.ML
Conditional Permutation Invariant Flows
Inverted AI(Inverted AI公司);University of British Columbia(不列颠哥伦比亚大学);Mila(米拉研究所)
我们提出了一种新的,条件生成概率模型的集值数据与一个易于处理的日志密度。该模型是一个连续的规范化流由置换等变动力学。这些动态由可学习的每集元素项和成对交互驱动,两者都由深度神经网络参数化。我们通过应用程序说明了该模型的实用性,包括(1)复杂的交通场景生成条件的视觉指定的地图信息,和(2)对象边界框生成条件直接在图像上。我们训练我们的模型,通过最大化我们的流下标记的条件数据的预期可能性,与惩罚的帮助下,确保动态是平滑的,因此有效地解决。我们的方法在对数似然和特定领域的指标(越野,碰撞和组合违规)方面显着优于非排列不变基线,产生难以与真实数据区分的真实样本。
2022-06-17 cs.LG stat.ML
Learning Transition Kernels of Jump-Diffusion Processes with Conditional Diffusion Models
CNRS(法国国家科学研究中心);Universite Paris-Dauphine(巴黎第九大学);PSL(巴黎文理研究大学)
本文利用条件扩散模型学习跳跃扩散过程的转移核,从高频离散观测轨迹生成新样本路径,并给出理论误差界与数值验证。
2026-10-08 cs.LG stat.ML
Conditional Neural Processes
DeepMind(深度思维);Imperial College London(帝国理工学院)
深度神经网络擅长于函数逼近,但它们通常是为每个新函数从头开始训练的。另一方面,贝叶斯方法,如高斯过程(GP),利用先验知识在测试时快速推断新函数的形状。然而,GP在计算上是昂贵的,并且很难设计适当的先验。在本文中,我们提出了一系列的神经模型,条件神经过程(CNP),结合两者的好处。CNP的灵感来自于随机过程(如GP)的灵活性,但它被构造为神经网络,并通过梯度下降进行训练。CNP在仅观察少数训练数据点后就能做出准确的预测,但可以扩展到复杂的函数和大型数据集。我们展示了一系列典型的机器学习任务,包括回归,分类和图像完成的方法的性能和多功能性。
2018-07-04 cs.LG stat.ML
Practical Equivariances via Relational Conditional Neural Processes
Aalto University(阿尔托大学);University of Helsinki(赫尔辛基大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Manchester(曼彻斯特大学)
针对现有条件神经过程引入等变性后无法扩展到高维输入的问题,提出关系条件神经过程方法,可将等变性融入任意神经过程模型,扩展其适用范围,且在多类含等变性的任务中表现优异。
2023-11-05 cs.LG stat.ML
Adaptive Conditional Quantile Neural Processes
Texas A&M University(德州农工大学);Google Cloud(谷歌云)
提出条件分位神经过程(CQNPs),通过分位回归建模任意分布并自适应估计信息分位数,克服高斯假设限制,显著提升预测性能与异质分布建模能力。
2023-07-03 cs.LG stat.ML
Koopman-Equivariant Gaussian Processes
TU Munich(慕尼黑工业大学);CMU(卡内基梅隆大学)
针对动态系统的可信预测与表示学习问题,提出Koopman等变高斯过程模型,利用线性时不变特性量化不确定性,结合轨迹等变性增强泛化,实验显示其预测性能优于或相当基于核的方法。
2025-02-10 cs.LG cs.SY eess.SY
EDGI: Equivariant Diffusion for Planning with Embodied Agents
Qualcomm AI Research(高通人工智能研究院);Mila(米拉研究所);McGill University(麦吉尔大学)
提出等变扩散模型EDGI,利用SE(3)、Z和Sn对称群改进MBRL与规划,在物体操作和导航任务中显著提升样本效率与泛化能力。
2023-10-19 cs.LG cs.RO stat.ML
Triply-Scalable Equivariant Gaussian Process Modeling
Institute of Mathematical Statistics and Actuarial Science(数理统计与精算科学研究所);University of Bern(伯尔尼大学)
提出三重可扩展等变高斯过程,通过等变稀疏变分与无矩阵全GP实现,高效处理高维对称数据,并在分子性质预测中实现低计算成本的不确定性量化。
2026-09-21 cs.LG math.ST stat.AP
Conditional Generative Modeling for High-dimensional Marked Temporal Point Processes
Amazon(亚马逊);Carnegie Mellon University(卡内基梅隆大学)
针对高维标记点过程建模中表征能力受限和计算挑战的问题,提出了一种基于条件生成器的事件生成框架,无需显式指定条件强度或概率密度,能高效捕获复杂动态并生成高质量后续事件,实验证明性能优于现有基线。
2025-01-18 cs.LG stat.ML
Learning the conditional law: signatures and conditional GANs in filtering and prediction of diffusion processes
Maxwell Institute for Mathematical Sciences(麦克斯韦数学科学研究所)
我们考虑扩散过程的滤波和预测问题。信号和观测由相关维纳过程驱动的随机微分方程(SDEs)建模。在经典估计理论中,测量值随机偏微分方程(SPDE)推导出的过滤和预测措施。这些方程可能很难用数值求解。我们提供了一个近似算法,使用条件生成对抗网络(GANs)结合签名,粗糙路径理论的对象。一条足够平滑的路径的特征完全决定了该路径。因此,在某些情况下,基于签名的GANs已被证明可以有效地近似随机过程的规律。对于我们的算法,我们扩展了这种方法的样本从条件的法律,噪声,部分观察。我们的发电机构造使用神经微分方程(NDEs),依靠其通用逼近器的属性。我们显示适定性提供了一个严格的数学框架。数值结果表明了算法的有效性。
2022-09-15 cs.LG math.OC stat.ML
Space-Time Continuous PDE Forecasting using Equivariant Neural Fields
University of Amsterdam(阿姆斯特丹大学);Netherlands Cancer Institute(荷兰癌症研究所)
提出一种基于等变神经场的时空连续PDE求解框架,通过在群$G$上建模点云流保留几何对称性,提升泛化性、数据效率及复杂几何场景表现。
2024-06-10 cs.AI cs.LG cs.NE
Conditional Graph Neural Processes: A Functional Autoencoder Approach
Intel Corporation(英特尔公司)
我们引入了一种新的编码器-解码器架构,将功能过程嵌入到潜在向量空间中。然后可以对该嵌入进行解码,以在任意域上对编码函数进行采样。这个自动编码器概括了最近引入的随机过程的条件神经过程(CNP)模型。我们的架构采用了图神经网络的最新进展,以处理不规则采样的功能。因此,我们将我们的模型称为条件图神经过程(CGNP)。图神经网络可以有效地利用度量空间的“局部”结构,在度量空间上定义函数/过程。本文的贡献是双重的:(i)一种新的基于图的编码器-解码器架构的功能和过程嵌入,以及(ii)使用度量空间的结构,这种类型的表示的重要性的演示。
2018-12-13 cs.AI cs.LG stat.ML
Modeling Inter-Dependence Between Time and Mark in Multivariate Temporal Point Processes
Mastercard, AI Garage(万事达卡 AI 车库)
本文针对带标记时间点过程中时间与标记条件独立假设的局限性,提出以当前事件标记为条件建模时间分布的多元TPP方法,并结合基于强度与无强度模型,在标准预测任务上取得优于现有模型的性能。
2024-11-23 cs.LG stat.ML
Contrastive Conditional Neural Processes
The University of New South Wales(新南威尔士大学)
Conditional Neural Processes~(CNPs) bridge neural networks with probabilistic inference to approximate functions of Stochastic Processes under meta-learning settings. Given a batch of non-{ \it i.i.d} function instantiations, CNPs are jointly optimized for in-instantiation observation prediction and cross-instantiation meta-representation adaptation within a generative reconstruction pipeline. There can be a challenge in tying together such two targets when the distribution of function observations scales to high-dimensional and noisy spaces. Instead, noise contrastive estimation might be able…
2022-03-25 cs.LG stat.ML
GP-ConvCNP: Better Generalization for Convolutional Conditional Neural Processes on Time Series Data
German Cancer Research Center(德国癌症研究中心)
神经过程(Neural Processes,NP)是一系列条件生成模型,它们能够对函数上的分布进行建模,从而允许它们在测试时以多个上下文点为条件进行预测。最近加入这个家族的卷积条件神经过程(ConvCNP)在性能上比现有技术有了显着的改进,但我们发现它们在应用于时间序列数据时有时很难推广。特别是,它们对分布偏移不稳健,并且无法将观察到的模式外推到未来。通过将高斯过程纳入模型,我们能够弥补这一点,同时提高分布内的性能。作为一个额外的好处,高斯过程重新引入了从模型中采样的可能性,这是NP家族其他成员的一个关键特征。
2021-06-11 cs.AI cs.LG stat.ML
Group Equivariant Generative Adversarial Networks
New York University(纽约大学);Merck & Co., Inc.(默克公司)
生成对抗视觉合成的最新改进在自我监督的环境中结合了真实和虚假图像变换,从而提高了稳定性和感知保真度。然而,这些方法通常涉及通过GAN目标中的附加正则化器进行图像增强,因此将宝贵的网络容量用于近似变换等方差,而不是其期望的任务。在这项工作中,我们明确地将归纳对称先验通过群等变卷积网络纳入网络架构。群卷积具有更高的表达能力,具有更少的样本,并导致更好的梯度反馈之间的生成器和卷积。我们表明,组等方差无缝集成与最近的技术,GAN训练的正则化,架构和损失函数。我们证明了我们的方法的实用性条件合成,通过改进生成在有限的数据制度在对称成像数据集,甚至发现自然图像的优势与首选方向。
2021-03-30 cs.CV cs.LG eess.IV
DIVER-0 : A Fully Channel Equivariant EEG Foundation Model
snu(首尔国立大学);bnl(布鲁克海文国家实验室)
本文提出完全通道等变的EEG基础模型DIVER-0,通过RoPE、二值注意力偏置和滑动时间条件位置编码实现时空注意力建模,仅用10%预训练数据即可在任意电极配置下保持鲁棒泛化性能。
2025-06-13 cs.AI cs.LG eess.SP
Geometric Hyena Networks for Large-scale Equivariant Learning
Johnson and Johnson Innovative Medicine(强生创新制药)
针对大规模等变学习中计算复杂度高且易丢失全局信息的问题,提出首个等变长卷积模型Geometric Hyena,以亚二次复杂度捕获全局几何上下文并保持等变性,在大幅降低内存和计算开销的同时显著提升了处理速度与上下文长度。
2025-05-28 cs.LG
Permutation-Equivariant Flow Matching for Alignment-Free Neural Weight Generation
本文提出用置换等变图元网络参数化流匹配速度场,实现无需对齐的神经权重生成,能再现独立训练网络的统计特性并泛化到新架构。
2026-09-29 cs.LG
Conditional Clifford-Steerable CNNs for PDE Modeling
University of Amsterdam(阿姆斯特丹大学);AMLab(AML实验室)
介绍条件克利福德可控卷积神经网络框架,指出标准形式内核基础不完整,通过输入特征场等变表示增强内核,推导等变约束并有效求解,在多个偏微分方程预测任务中表现出色。
2026-07-07 cs.AI cs.LG
Equivariant Diffusion for Crystal Structure Prediction
School of Computer Science;Engineering, Sun Yat-sen University, Guangzhou, China;National Supercomputer Center in Guangzhou, China;Dept. of Comp. Sci. \& Tech., Institute for AI, Tsinghua University, Beijing, China;Institute for AIR, Tsinghua University, Beijing, China;Gaoling School of Artificial Intelligence, Renmin University of China, Beijing, China;Beijing Key Laboratory of Big Data Management;Analysis Methods, Beijing, China
EquiCSP通过等价扩散模型解决晶体结构预测中的对称性问题,提升生成结构的准确性并加快训练收敛速度。
2025-12-08 cond-mat.mtrl-sci cs.LG
Group equivariant neural posterior estimation
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Max Planck Institute for Gravitational Physics(马克斯·普朗克引力物理研究所);University of Tübingen(图宾根大学)
本文提出群等变神经后验估计(GNPE),通过自洽标准化数据姿态将等变性纳入神经后验估计,用于引力波双黑洞参数推断,在达到最先进精度的同时将推断时间缩短三个数量级。
2023-05-30 astro-ph.IM cs.LG gr-qc
Conditional Deep Gaussian Processes: multi-fidelity kernel learning
Rutgers University(罗格斯大学);Institute for Advanced Study(普林斯顿高等研究院)
深度高斯过程(DGPs)被提出作为一个表达贝叶斯模型能够数学接地估计的不确定性。DPG的表现力不仅来自于其组成特征,还来自于其在层次结构中的分布传播。最近,文献[1]指出DGP的层次结构非常适合于多保真度回归建模,其中一个模型提供了高精度的稀疏观测值和大量的低保真度观测值。我们提出了条件DGP模型,其中潜在的GP直接支持的固定的较低的保真度数据。然后利用文献[2]中的矩匹配方法,用一个GP来逼近条件DGP的边缘先验。所获得的有效核是较低保真度数据的隐函数,体现了层次结构内分布传播所带来的表现力。通过优化近似边缘似然来学习超参数。合成和高维数据的实验显示出与其他多保真度回归方法,变分推理和多输出GP相当的性能。我们得出结论,在低保真度数据和分层DGP结构的情况下,有效内核对真函数的归纳偏差进行编码,从而允许[3,4]中讨论的组合自由度。
2021-10-01 cond-mat.dis-nn cs.LG stat.ML
Adversarially Contrastive Estimation of Conditional Neural Processes
The University of New South Wales(新南威尔士大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61研究所)
条件神经过程~(CNP)用精确的条件似然来表示函数上的分布并生成函数观测值.然而,CNP对于高维观测具有有限的表达性,因为它们的预测分布被分解为无约束(通常)高斯输出的乘积。以前,这可以使用潜变量或自回归似然来处理,但代价是难以处理的训练和二次增加的复杂性。相反,我们建议除了常规的最大似然估计外,还使用对抗性训练方案来校准CNP。具体来说,我们训练一个基于能量的模型(EBM)与噪声对比估计,它强制EBM从CNP的代识别真实的观察。通过这种方式,CNP必须生成更接近地面实况的预测以欺骗EBM,而不仅仅是相对于固定形式的可能性进行优化。从生成函数重构到下游回归和分类任务,我们证明了我们的方法适合主流CNP成员,在定义无约束高斯似然时显示出有效性,需要最小的计算开销,同时保留CNP的基础属性。
2023-03-23 cs.LG
EfficientFlow: Efficient Equivariant Flow Policy Learning for Embodied AI
Xi'an Jiaotong University(西安交通大学)
EfficientFlow通过引入等价性与加速正则化策略,提升具身AI的效率与性能。
2025-12-14 cs.AI cs.CV cs.LG
Conditional Local Independence Testing for Itô processes with Applications to Dynamic Causal Discovery
School of Computer Science, Peking University(北京大学计算机学院);School of Data Science, Fudan University(复旦大学数据科学学院)
本文针对Itô过程提出条件局部独立性假设检验,基于半鞅分解构造鞅检验统计量,并证明其一致性,应用于动态因果发现及脑fMRI数据。
2025-10-08 cs.LG stat.ME
Evidential Conditional Neural Processes
Rochester Institute of Technology(罗切斯特理工学院)
条件神经过程(CNP)系列模型通过实现更好的可扩展性和有竞争力的预测性能,为解决Few-Shot问题提供了一个有前途的方向。然而,目前的CNP模型仅捕获对目标数据点进行预测的总体不确定性。它们缺乏对不确定性的不同来源的系统细粒度量化,而这些不确定性对于Few-Shot设置下的模型训练和决策至关重要。我们提出了证据条件神经过程(ECNP),它取代了CNP使用的标准高斯分布与一个更丰富的层次贝叶斯结构,通过证据学习,实现认识-任意的不确定性分解。证据层次结构也导致了理论上合理的鲁棒性噪声训练任务。对建议的ECNP的理论分析建立了与CNP的关系,同时提供了更深入的见解的证据参数的作用。对合成数据和真实数据进行的大量实验证明了我们提出的模型在各种Few-Shot设置中的有效性。
2022-11-30 cs.AI cs.LG
Ensemble-Conditional Gaussian Processes (Ens-CGP): Representation, Geometry, and Inference
Earth Signals and Systems Group(地球信号与系统组);Earth, Atmospheric and Planetary Sciences(地球、大气与行星科学);Massachusetts Institute of Technology(麻省理工学院)
本文提出Ens-CGP,一种基于集成的条件高斯过程方法,通过将经验集成矩作为高斯先验进行精确条件化,为卡尔曼滤波等方法提供概率基础,并明确其与变分和集成视角的关系。
2026-02-14 cs.IT cs.LG math.IT
Convolutional conditional neural processes for local climate downscaling
University of Cambridge(剑桥大学);British Antarctic Survey(英国南极调查局);The Alan Turing Institute(艾伦·图灵研究所)
提出了一个新的模型,用于多站点的温度和降水的统计降尺度使用卷积条件神经过程(convCNPs)。ConvCNP是最近开发的一类模型,允许将深度学习技术应用于离网时空数据。该模型与现有的降尺度方法相比具有显著的优点,因为训练的模型可以用于在任意位置集合处生成多站点预测,而不管训练数据的可用性。convCNP模型表现出优于现有的降尺度技术在欧洲的集成的温度和降水采取的价值相互比较项目。该模型还优于使用高斯过程在看不见的位置插入单站点降尺度模型的方法。重要的是,在极端降水事件的代表性方面有了实质性的改善。这些结果表明,convCNP是一个强大的降尺度模型,适用于生成局部预测用于气候影响研究,并激励进一步研究深度学习技术在统计降尺度的应用。
2021-01-20 cs.LG physics.ao-ph
Conditional Generative Models for Learning Stochastic Processes
Deloitte Consulting, LLP(德勤咨询有限责任合伙公司);IBM Quantum, IBM Research(IBM研究院IBM量子部门)
本文提出条件量子生成对抗网络(C-qGAN)框架,通过量子电路内的神经网络结构实现更高效的状态准备,并成功应用于加速蒙特卡洛分析及亚式期权衍生品定价。
2023-08-10 cond-mat.mtrl-sci cs.LG q-fin.CP
Conditional Temporal Neural Processes with Covariance Loss
Korea Advanced Institute of Science and Technology(韩国科学技术院);Ulsan National Institute of Science and Technology(蔚山国家科学技术院);Ineeji Inc.(Ineeji公司)
本文提出一种概念上等价于条件神经过程且具正则化形式的Covariance Loss,使网络映射受目标变量依赖性影响,从而提升对噪声的鲁棒性并恢复缺失依赖,并在真实数据集上验证了其优势与不足。
2025-04-01 cs.AI cs.LG
Low-dimensional approximations of the conditional law of Volterra processes: a non-positive curvature approach
Vector Institute(矢量研究所);McMaster University(麦克马斯特大学);London School of Economics and Political Science(伦敦政治经济学院)
针对随机波动率Volterra过程条件分布预测中的维数灾难问题,提出一种两步法:先将过程分布投影到非正截面曲率的低维统计流形,再利用带超网络的序贯深度学习模型动态编码非平稳动态,实现高效逼近。
2024-05-30 cs.LG cs.NA cs.NE
Unsupervised Meta-Testing with Conditional Neural Processes for Hybrid Meta-Reinforcement Learning
Department of Computer Engineering, Bogazici University(计算机工程系,博兹达奇大学)
本文提出UMCNP方法,将策略梯度元强化学习与基于条件神经过程的任务推断相结合,在元测试无奖励信号时通过离线重用训练样本和单条轨迹推断动力学模型,显著减少适应新任务所需样本。
2025-06-04 cs.AI cs.LG cs.RO
Optimal Equivariant Architectures from the Symmetries of Matrix-Element Likelihoods
Institute for Particle Physics Phenomenology, Department of Physics \ University, Durham DH1 3LE, United Kingdom
本文结合矩阵元方法的对称性与等变神经网络,提出纵向boost等变消息传递架构,在双Higgs四底夸克衰变分类中达到新的最优性能。
2024-10-24 cs.LG hep-ex hep-ph