Learning Invariant Modality Representation for Robust Multimodal Learning from a Causal Inference Perspective
School of Computer Science, South China Normal University(华南师范大学计算机学院)
本文提出CmIR框架,通过因果推断分离模态中的因果不变表示与环境特定的虚假表示,提升多模态学习的鲁棒性和泛化能力。
2026-04-20 cs.LG
Conditional Mean Flows: Few-Step Densities for Simulation-Based Inference
University of Bonn(波恩大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
该研究针对基于模拟的推理中流匹配方法推理成本高的问题,提出条件均值流,结合少步采样与可处理密度评估,在保持灵活性的同时大幅缩短推理时间,单步版本可使MCMC采样提速约200倍。
2026-10-16 cs.LG stat.ML
Predicate Generation for Learning-Based Quantifier-Free Loop Invariant Inference
Seoul National University(首尔大学)
我们在循环不变推理的上下文中解决谓词生成问题。受基于插值的抽象精化技术的启发,我们应用插值定理来合成程序文本隐含的谓词。我们的技术能够提高[14]中基于学习的循环不变推理算法的有效性和效率。我们报告的实验结果的例子,从Linux,SPEC2000,和焦油实用程序。
2012-09-28 cs.LG cs.LO
PReCache: Efficient KV Cache Sharing for Multi-LoRA Agents via Low-Rank Precomputation and Neutral Reconstruction
Seoul National University(首尔大学)
PReCache通过低秩预计算和中性重建实现多LoRA智能体的KV缓存共享,无需训练,显著提升推理速度与吞吐量,同时保持高准确性。
2026-10-07 cs.LG
Learning Transposition-Invariant Interval Features from Symbolic Music and Audio
Institute of Computational Perception, JKU Linz(林茨约翰·开普勒大学计算感知研究所);Sony Computer Science Laboratories (CSL)(索尼计算机科学实验室)
许多音乐理论结构(如音阶类型,调式,节奏和和弦类型)都是根据音高间隔-音高之间的相对距离来定义的。因此,当计算机模型用于音乐任务时,在音程表示上操作而不是在原始音乐表面上操作可能是有用的。此外,区间表示是转置不变的,对于音频对齐,翻唱歌曲检测和音乐结构分析等任务很有价值。我们采用门控自动编码器学习固定长度,可逆和换位不变的间隔表示从复调音乐中的符号域和音频。提出了一种无监督的训练方法,在音乐上合理的表示空间中产生间隔的组织。基于表示,转置不变的自相似矩阵的构建和使用,以确定重复的部分在符号音乐和音频,产生竞争力的结果在MIREX任务“发现重复的主题和部分”。
2019-02-04 cs.LG cs.SD eess.AS
Environment Inference for Invariant Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所)
优雅地处理分布偏移的学习模型是领域泛化、鲁棒优化和公平性研究的核心。一个很有前途的公式是域不变学习,它确定了学习哪些特征是域特定的还是域不变的关键问题。在这个领域中的一个重要假设是,训练样本被划分为“域”或“环境”。我们关注的是不提供这种分区的更常见的设置。我们提出了EIIL,这是一个域不变学习的通用框架,它结合了环境推理来直接推断为下游不变学习提供最大信息的分区。我们表明,EIIL在CMNIST基准测试中的性能优于不变量学习方法,而无需使用环境标签,并且在Waterbirds和CivilComments数据集中的最差组性能上显著优于ERM。最后,我们建立EIIL和算法公平性之间的连接,这使得EIIL,以提高准确性和校准在一个公平的预测问题。
2021-07-15 cs.AI cs.LG
On Scaling Data-Driven Loop Invariant Inference
Microsoft Research, India(微软研究院(印度));University of California Los Angeles, USA(加利福尼亚大学洛杉矶分校)
归纳不变量的自动综合是软件验证中的一个重要问题。一旦所有的不变量都被指定,软件验证就简化为验证条件的检查。虽然静态分析来推断不变量已经被研究了四十多年,但近年来出现了一系列数据驱动的不变量推断技术,这些技术从示例中猜测不变量,而不是分析程序文本。然而,这些技术已经被证明只能扩展到具有少量变量的程序。在本文中,我们研究了这些可扩展性问题,并在我们的工具绿洲中解决了这些问题,该工具绿洲提高了数据驱动的不变推理的规模,并在基准测试中优于最先进的系统。
2020-07-16 cs.LG cs.PL cs.SE
Learning Complex Basis Functions for Invariant Representations of Audio
Sony Computer Science Laboratories (CSL)(索尼计算机科学实验室);University Vienna(维也纳大学);JKU Linz(林茨约翰内斯·开普勒大学)
在许多机器学习任务中,从数据中学习特征比使用手工制作的特征更成功。在音乐信息检索(MIR)中,从加窗谱图中学习到的特征对于像换位或时移这样的变换是高度可变的。当这些变化与相应的MIR任务无关时,它们是不期望的。我们提出了一个架构称为复杂的自动编码器(CAE),学习功能不变的正交变换。将信号映射到由CAE学习的复基函数上会导致变换不变的“幅度空间”和变换变量的“相位空间”。相空间对于推断数据对之间的变换是有用的。当利用幅度空间的不变性时,我们在音频到分数对齐和音频的重复部分发现方面实现了最先进的结果。CAE的PyTorch实现,包括重复部分发现方法,可在线获得。
2019-07-13 cs.CV cs.LG cs.SD
Exploiting answer-invariant redundancies in satellite imagery for efficient VLM inference on edge
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对卫星图像边缘端VLM推理,提出利用答案不变冗余的Rift系统,通过查询条件分块剪枝与弹性预填充,在Jetson AGX Orin上降低能耗78%、延迟69%,准确率提升至73%。
2026-09-25 cs.CV cs.LG
When Repeated Measurements Hurt Tabular Foundation Models
National University of Singapore(新加坡国立大学);Duke-NUS Medical School(杜克-国大医学院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文研究表格基础模型(TFMs)对相同输入重复测量的响应,发现额外测量会损害部分输入的预测,分析其统计与计算层面原因,提出平均测量、重置计数等方法平衡重复测量的利弊。
2026-10-14 cs.LG stat.ML
LoopInvGen: A Loop Invariant Generator based on Precondition Inference
University of California, Los Angeles(加州大学洛杉矶分校);Microsoft Research, India(微软研究院(印度))
我们描述的LoopInvGen工具生成循环不变式,可以证明保证一个程序的正确性相对于一个给定的规范。LoopInvGen是我们早期在PIE上的工作(https://doi.org/10.1145/2908080.2908099)中最初提出的推理技术的有效实现。与现有技术相比,LoopInvGen并不局限于一组固定的特性--组成在一起以构建复杂循环不变式的原子谓词。相反,我们从没有初始功能开始,并使用程序合成技术来按需增长集合。这不仅实现了一种不那么繁琐和更具表现力的方法,而且似乎比现有工具在INV轨道上的SyGuS-COMP 2018基准测试中要快得多。
2019-10-31 cs.LG cs.PL
Conformal Inference for Invariant Risk Minimization
Hong Kong Polytechnic University(香港理工大学);The Chinese University of Hong Kong(香港中文大学)
本文针对分布偏移下不变风险最小化表示的不确定性量化问题,提出环境自适应的加权一致性分数与无分布共形预测区间,并通过模拟和真实数据实验验证其有效性。
2023-05-22 cs.LG stat.ML
InvWeaver: Deductive Feedback for Invariant Synthesis in Interacting-Loop Programs
Nanjing University(南京大学);Hunan University(湖南大学);Birkbeck, University of London(伦敦大学伯贝克学院)
研究针对交互循环程序的不变式合成难题,提出神经符号框架InvWeaver,通过循环级抽象等方法揭示循环间依赖并传播证明义务,在综合基准套件上评估,其性能显著优于现有方法,能有效解决多循环问题并保持单循环任务优势。
2026-07-08 cs.LG cs.PL
Domain Adaptation by Using Causal Inference to Predict Invariant Conditional Distributions
IBM Research(IBM研究院);University of Amsterdam(阿姆斯特丹大学);Radboud University Nijmegen(内梅亨大学)
领域自适应和因果推理共同的一个重要目标是当源(或训练)域和目标(或测试)域的分布不同时做出准确的预测。在许多情况下,这些不同的分布可以被建模为单个基础系统的不同背景,其中每个分布对应于系统的不同扰动,或者在因果关系方面,干预。我们专注于一类这样的因果领域自适应问题,其中一个或多个源域的数据给出,和任务是预测的分布从其他变量在一个或多个目标域的测量的某个目标变量。我们提出了一种解决这些问题的方法,利用因果推理,不依赖于先验知识的因果图,干预措施的类型或干预目标。我们通过评估模拟和真实世界数据的可能实现来展示我们的方法。
2018-10-29 cs.LG stat.ML
Variational Inference Failures Under Model Symmetries: Permutation Invariant Posteriors for Bayesian Neural Networks
University of Oxford(牛津大学);Imperial College London(伦敦帝国学院)
本研究针对神经网络权重空间置换对称性导致贝叶斯神经网络变分推断后验多模态偏差的问题,提出置换不变变分后验的对称化机制,经理论与实验验证可提升后验拟合效果、预测性能及ELBO值。
2024-08-10 cs.LG stat.ML
Invariant Risk Minimisation for Cross-Organism Inference: Substituting Mouse Data for Human Data in Human Risk Factor Discovery
Oxford University(牛津大学);University of St Galen(圣加仑大学);Mayo Clinic(梅奥诊所);NASA(美国国家航空航天局);King’s College London(伦敦国王学院);Intel Corporation(英特尔公司)
由于数据隐私问题,难以进行某些类型的实验或高昂的相关成本,获得人类医疗数据可能具有挑战性。在许多情况下,来自动物模型或体外细胞系的数据可以帮助我们增强对人类数据的理解。然而,与人类数据相比,该数据已知具有较低的病因学有效性。在这项工作中,我们用体外数据和动物模型来增强小型人类医学数据集。我们使用不变风险最小化(Invariant Risk Minimisation,简称RST),通过考虑跨生物体数据属于不同的数据生成环境来阐明不变特征。我们的模型确定了与人类癌症发展相关的基因。我们观察到不同数量的人类和小鼠数据之间的一致性程度,但是,需要进一步的工作来获得结论性的见解。作为次要贡献,我们增强了现有的开源数据集,并向社区提供了两个统一处理的、跨生物体的、同源基因匹配的数据集。
2022-02-13 cs.CR cs.LG
Redundancy-Free Computation Graphs for Graph Neural Networks
Stanford University(斯坦福大学);Microsoft(微软)
图神经网络(GNN)基于图中节点邻居之间的信息的重复聚合。然而,由于公共邻居在不同节点之间共享,这导致重复和低效的计算。我们提出了分层聚合计算图(HAGs),这是一种新的GNN图表示,通过分层管理中间聚合结果,消除GNN训练和推理中的重复计算和不必要的数据传输,显式地避免了冗余。我们引入了一个精确的成本函数来定量评估不同的HAGs的运行时性能,并使用一种新的HAG搜索算法来找到优化的HAGs。实验表明,HAG表示显著优于标准GNN图表示,将端到端训练吞吐量提高了2.8倍,并将GNN训练中的聚合和数据传输减少了6.3倍和5.6倍,同时保持了原始模型的准确性。
2019-06-09 cs.LG cs.SI stat.ML
FlowVAT: Normalizing Flow Variational Inference with Affine-Invariant Tempering
Rice University(里士大学)
本文提出 FlowVAT,通过同时回火基础与目标分布并以温度条件化归一化流,在无需退火调度的情况下缓解高维多模态后验中的寻模与坍塌问题。
2025-05-15 cs.LG stat.CO stat.ML
When Should an AI Workflow Release? Always-Valid Inference for Black-Box Generate-Verify Systems
Department of Statistics, Purdue University(普渡大学统计系)
本文提出一种始终有效的释放包装器,用于现有生成-验证流程,通过构建高质量失败参考池并校准部署时的验证器评分,以在可选停止条件下保证有效性。
2026-05-13 cs.AI cs.LG stat.ME