Constraint-based Causal Discovery for Non-Linear Structural Causal Models with Cycles and Latent Confounders
Informatics Institute(信息学研究所);University of Amsterdam(阿姆斯特丹大学)
我们解决的问题,因果发现数据,利用最近提出的因果建模框架的模块化结构因果模型(mSCM)来处理周期,潜在的混杂因素和非线性。本文引入了σ-连通图(σ-CG),这是一类新的具有附加结构的混合图(包含无向、双向和有向边),并将σ-分离的概念推广到σ-CG上,σ-分离是d-分离概念的适当推广.我们证明了σ-分离在边缘化和条件下的封闭性,并利用这一点来实现σ-CG上的σ-分离测试。然后,这将我们带到第一个因果发现算法,该算法可以处理非线性函数关系,潜在混杂因素,循环因果关系以及来自不同(随机)完美干预的数据。作为概念证明,我们在合成数据上展示了该算法如何恢复模块化结构因果模型的因果图的特征。
2018-07-09 cs.AI cs.LG stat.ML
Invariant Gaussian Process Latent Variable Models and Application in Causal Discovery
Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所)
在非线性潜变量模型或动态模型中,如果我们将潜变量视为混杂因素(共同原因),则噪声依赖性意味着观察变量之间的进一步关系。这样的模型,然后密切相关的因果关系发现的非线性混杂因素的存在下,这是一个具有挑战性的问题。然而,通常在这样的模型中,观测噪声被假设为在数据维度上是独立的,因此噪声依赖性被忽略。本文重点研究高斯过程潜变量模型(GPLVM),并在此基础上开发了一种称为不变GPLVM(IGPLVM)的扩展模型,该模型可以适应任意噪声协方差。通过高斯过程先验对潜在非线性函数进行特定的变换,而不是原始的,IGPLVM的算法涉及与原始GPLVM几乎相同的计算负载。除了在因果发现中的潜在应用外,IGPLVM还具有其估计的潜在非线性流形对数据的任何非奇异线性变换都不变性的优点。在合成数据和真实数据上的实验结果表明,该算法在非线性流形学习和因果发现方面具有令人鼓舞的性能。
2012-03-15 cs.LG stat.ML
Reparametrization Invariance in non-parametric Causal Discovery
Technical University of Denmark(丹麦技术大学)
因果发现估计产生观察数据的潜在物理过程:X导致Y还是Y导致X?当只有观测数据可用时,当前的方法使用结构条件将因果查询转换为统计查询。但如果这些统计查询对因果不变量敏感怎么办?本研究探讨这样一个不变量:X和Y之间的因果关系对于X和Y的边缘分布是不变量。我们提出了一种算法,使用非参数估计,是强大的边缘分布的变化。这样,我们可以边缘化边缘,并检查什么关系是内在的。由此产生的因果估计是有竞争力的,目前的方法,并高度重视因果查询的不确定性,一个方面一样重要的查询本身。
2020-08-12 cs.LG stat.ML
Probabilistic Permutation Invariant Training for Speech Separation
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
单麦克风、与说话者无关的语音分离通常通过两个步骤来执行:(i)分离特定语音源,以及(ii)确定最佳输出标签分配以找到分离误差。第二步是训练用于语音分离的神经网络的主要障碍。最近提出的排列不变训练(PIT)解决了这个问题,通过确定输出标签分配,最大限度地减少分离误差。在这项研究中,我们证明了这种技术的一个主要缺点是输出标签分配的过度自信选择,特别是在训练的初始步骤中,当网络生成不可靠的输出时。为了解决这个问题,我们提出了概率PIT(Prob-PIT),它认为输出标签置换作为一个离散的潜在的随机变量具有均匀的先验分布。Prob-PIT定义了一个基于先验分布和所有排列的分离误差的对数似然函数;它通过最大化对数似然函数来训练语音分离网络。Prob-PIT可以通过用软最小值函数代替PIT的最小值函数来容易地实现。我们评估了TIMIT和CHiME数据集上的语音分离方法。实验结果表明,该方法在信号失真比和信号干扰比方面明显优于PIT。
2019-08-04 cs.LG cs.SD eess.AS
End-to-end Microphone Permutation and Number Invariant Multi-channel Speech Separation
Microsoft Research(微软研究院)
ad-hoc麦克风语音分离中的一个重要问题是如何保证系统对麦克风位置和数量的鲁棒性。前者要求系统对于具有相同位置的麦克风的不同索引是不变的,而后者要求系统能够处理具有不同维度的输入。传统的基于优化的波束成形技术通过定义满足这些要求,而对于基于深度学习的端到端系统,这些约束并没有完全解决。在本文中,我们提出了变换-平均-级联(TAC),一个简单的设计范例的通道置换和数量不变的多通道语音分离。基于滤波器和总和网络(FaSNet),最近提出的端到端时域波束形成系统,我们展示了TAC如何显着提高分离性能在不同数量的麦克风在嘈杂的混响分离任务与ad-hoc阵列。此外,我们还表明,TAC也显着提高了分离性能与固定的几何阵列配置,进一步证明了所提出的范例在多麦克风语音分离的一般问题的有效性。
2020-03-27 cs.LG cs.SD eess.AS
Adversarial Permutation Invariant Training for Universal Sound Separation
Dolby Laboratories(杜比实验室);Sapienza University of Rome(罗马第一大学)
通用声音分离包括分离与不同类型的任意声音的混合,并且使用排列不变训练(PIT)来训练这样做的源不可知模型。在这项工作中,我们补充PIT与对抗性损失,但发现它具有挑战性的语音声源分离中使用的标准配方。我们通过一种新的基于I替换上下文的对抗性损失,并通过使用多个鉴别器进行训练来克服这一挑战。我们的实验表明,通过简单地改善损失(保持相同的模型和数据集),我们在混响FUSS数据集中获得了不可忽略的1.4 dB SI-SNRi的改善。我们还发现对抗性PIT可以有效地减少光谱空洞,这在基于掩模的分离模型中无处不在,这突出了对抗性损失对声源分离的潜在相关性。
2023-03-06 cs.LG cs.SD eess.AS
Permutation Invariant Training of Deep Models for Speaker-Independent Multi-talker Speech Separation
Microsoft Research(微软研究院);Aalborg University(奥尔堡大学)
我们提出了一种新的深度学习模型,它支持排列不变训练(PIT),用于说话人无关的多说话人语音分离,通常称为鸡尾酒会问题。与将语音分离视为多类回归问题的大多数现有技术以及将其视为分割(或聚类)问题的深度聚类技术不同,我们的模型优化了分离回归误差,忽略了混合源的顺序。该策略巧妙地解决了长期存在的标签排列问题,该问题阻碍了基于深度学习的语音分离技术的进展。在丹麦语语料库上的等能量混合实验证实了PIT的有效性。我们相信,基于PIT的改进最终可以解决鸡尾酒会问题,并使现实世界能够采用,例如,自动会议转录和多方人机交互,其中重叠语音是常见的。
2017-01-03 cs.CL cs.LG cs.SD
A Rotation Invariant Latent Factor Model for Moveme Discovery from Static Poses
California Institute of Technology(加州理工学院)
当训练数据由原始特征空间的低维投影组成时,我们解决了学习旋转不变潜在因子模型的问题。主要目标是发现一组3-D基本姿势,可以表征原始人类运动的流形,或movemes,从训练集的2-D投影姿势从静止图像在不同的摄像机角度。所提出的基础发现技术是数据驱动的,而不是手工设计的。学习的表示是旋转不变的,并且可以从多个视角重建任何训练实例。我们将我们的方法应用于体育运动中的人体姿势建模(通过Leeds Sports Dataset),并在一系列应用中展示了学习基础的有效性,例如活动分类,从单个帧中推断动态,以及运动的合成表示。
2016-09-23 cs.CV cs.LG
A PC Algorithm for Max-Linear Bayesian Networks
Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学研究所)
针对极大线性贝叶斯网络(MLBNs)不满足d分离忠实性导致经典因果发现算法失效的问题,本文基于$\boldsymbol{\text{*}}$-分离预言机证明PC算法的一致性,并提出PCstar算法以定向更多边,推进MLBNs的约束基发现研究。
2025-08-19 cs.LG math.CO math.ST
Group-Invariant Unsupervised Skill Discovery: Symmetry-aware Skill Representations for Generalizable Behavior
School of Mechanical Engineering, Yonsei University(延世大学机械工程学院);Department of Artificial Intelligence, Yonsei University(延世大学人工智能系);Department of Mechanical Engineering, University of California, Berkeley(加州大学伯克利分校机械工程系)
本文提出群不变性技能发现框架,通过引入群结构和对称感知机制,提升技能在群变换下的泛化能力,实验表明其在运动基准测试中表现更优。
2026-01-20 cs.LG cs.RO
Differentiable Invariant Causal Discovery
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学);The Hong Kong Polytechnic University(香港理工大学)
从观测数据中学习因果结构是机器学习的一个基本挑战。然而,大多数常用的可微因果发现方法是不可识别的,将这个问题转化为一个容易出现数据偏差的连续优化任务。在许多现实生活中,数据是从不同的环境中收集的,其中函数关系在不同环境中保持一致,而加性噪声的分布可能会有所不同。本文提出了可微不变因果发现(DICD),利用基于可微框架的多环境信息,以避免学习虚假的边缘和错误的因果方向。具体而言,DICD的目的是发现环境不变的因果关系,同时消除环境相关性。我们进一步制定的约束,强制执行目标结构方程模型,以保持最佳的跨环境。在足够环境的温和条件下,为所提出的DICD的可辨识性提供了理论保证。在合成数据集和真实数据集上进行的大量实验表明,DICD在SHD中的表现优于最先进的因果发现方法高达36%。我们的代码将是开源的。
2022-09-29 cs.DS cs.LG stat.ME
Utterance-level Permutation Invariant Training with Latency-controlled BLSTM for Single-channel Multi-talker Speech Separation
Tsinghua University(清华大学);University of Chinese Academy of Sciences(中国科学院大学);Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);North China Power Engineering CO., LTD. of China Power Engineering Consulting Group(中国电力工程顾问集团华北电力设计院有限公司)
语音级置换不变训练(uPIT)在单通道多人语音分离任务中取得了可喜的进展。长短期记忆(LSTM)和双向LSTM(BLSTM)被广泛用作uPIT的分离网络,即uPIT-LSTM和uPIT-BLSTM。uPIT-LSTM具有更低的延迟但性能更差,而uPIT-BLSTM具有更好的性能但延迟更高。在本文中,我们提出使用延迟控制的BLSTM(LC-BLSTM)在推理过程中,以实现低延迟和高性能的语音分离。为了寻找更好的BLSTM分离网络的训练策略,比较了块级PIT(cPIT)和uPIT。实验结果表明,当在推理过程中使用LC-BLSTM时,uPIT的性能优于cPIT。研究还发现,语块间说话人跟踪(ST)可以进一步提高uPIT-LC-BLSTM的分离性能。在WSJ 0双说话人混合语音分离实验中,uPIT-BLSTM和uPIT-LC-BLSTM的信号失真比(SDR)的绝对差距减小到0.7dB以内。
2019-12-25 cs.LG cs.SD eess.AS
Interrupted and cascaded permutation invariant training for speech separation
Department of Computer Science;Information Engineering, Nation Taiwan University
排列不变训练(Permutation Invariant Training,PIT)一直是训练语音分离模型以解决标签歧义问题的重要手段。PIT动态选择最小代价标签分配,很少有研究认为分离问题是优化模型参数和标签分配,而是集中在寻找好的模型结构和参数。在本文中,我们调查,而不是一个给定的模型体系结构的各种灵活的标签分配策略来训练模型,而不是直接使用PIT。令人惊讶的是,我们发现,如果模型使用固定的标签分配进行训练,并且选择了一组良好的标签,那么与PIT相比,性能可能会有显着的提升。通过在PIT的两个部分之间级联固定标签训练,我们在WSJ 0 - 2 mix上实现了最先进的性能,而根本没有改变模型架构。
2019-10-28 cs.LG cs.SD eess.AS
Single-channel speech separation using Soft-minimum Permutation Invariant Training
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
语音分离的目标是从单个麦克风记录中提取多个语音源。最近,随着深度学习的进步和大数据集的可用性,语音分离已被制定为监督学习问题。这些方法旨在使用监督学习算法(通常是深度神经网络)来学习语音、扬声器和背景噪声的区分模式。监督语音分离中的一个长期存在的问题是为每个分离的语音信号找到正确的标签,称为标签排列歧义。置换歧义是指如何确定输出标签在分离的源和可用的单说话人语音标签之间的分配问题。需要找到最佳的输出标签分配来计算分离误差,该分离误差随后用于更新模型的参数。最近,排列不变训练(PIT)已被证明是一个很有前途的解决方案,在处理标签歧义问题。然而,PIT对输出标签分配的过度自信的选择导致了次优的训练模型。在这项工作中,我们提出了一个概率优化框架,以解决PIT在寻找最佳输出标签分配的效率低下。然后,我们提出的名为可训练软最小PIT的方法被用于与Permutation Invariant Training(PIT)语音分离方法相同的长短期记忆(LSTM)架构。实验结果表明,该方法在信噪比(SDR)和信号干扰比(SIR)上分别比传统的PIT语音分离方法(p值$ < 0.01$)提高了+1dB和+1.5dB。
2021-11-16 cs.LG cs.SD eess.AS
Invariant Discovery for Networked Systems
Princeton University(普林斯顿大学);UC Berkeley(加州大学伯克利分校);Google(谷歌公司)
研究网络系统不变量发现问题,核心方法是将其分为人工智能驱动的语法“发现”与统计驱动的“搜索”问题,设计实现Autogram系统,贡献是能在多种数据上高覆盖率、低误报地恢复专家不变量并讨论开放问题。
2026-11-06 cs.AI cs.LG cs.NI
MixCycle: Unsupervised Speech Separation via Cyclic Mixture Permutation Invariant Training
Boğaziçi University(博阿齐奇大学);MEF University(MEF大学)
我们介绍了两种无监督的源分离方法,这涉及到自监督的训练,从单通道两个源的语音混合。我们的第一种方法,混合置换不变训练(MixPIT),能够学习神经网络模型,该模型通过具有挑战性的代理任务分离底层源,而无需来自参考源的监督。我们的第二种方法,循环混合置换不变训练(MixCycle),使用MixPIT作为连续学习的循环方式的构建块。MixCycle逐渐将问题从分离混合物的混合物转化为分离单一混合物。我们将我们的方法与常见的监督和无监督基线进行比较:动态混合的排列不变训练(PIT-DM)和混合不变训练(MixIT)。我们表明,MixCycle优于MixIT,并达到了非常接近监督基线(PIT-DM)的性能水平,同时规避了MixIT的过度分离问题。此外,我们提出了一种受MixCycle启发的自我评估技术,该技术在不利用任何参考源的情况下估计模型性能。我们表明,它产生的结果与参考源(LibriMix)的评价一致,也与现实生活中的混合数据集(REAL-M)进行的非正式听力测试。
2023-01-06 cs.LG cs.SD eess.AS
Performing Nonlinear Blind Source Separation with Signal Invariants
University of Chicago(芝加哥大学)
给定多分量测量值x(t)的时间序列,非线性盲声源分离(BSS)的通常目标是找到“源”时间序列s(t),该“源”时间序列由测量值的统计独立组合组成。本文要求源时间序列在(s,ds/dt)空间中的密度函数等于各分量密度函数的乘积。BSS问题的这种公式化具有唯一的解决方案,直到排列和分量变换。可分离性施加限制的某些局部不变(标量)的功能x,这是来自本地高阶相关的数据的速度dx/dt。数据是可分离的,当且仅当它们满足这些约束,并且如果满足这些约束,则可以从数据显式地构造源。该方法说明了使用它来分离两个语音类似的声音记录与一个麦克风。
2009-04-03 cs.AI cs.LG
Transform-Invariant Non-Parametric Clustering of Covariance Matrices and its Application to Unsupervised Joint Segmentation and Action Discovery
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
在这项工作中,我们解决了变换不变的无监督学习的协方差矩阵的空间及其应用的问题。我们首先介绍谱多面体协方差矩阵(SPCM)相似性函数;协方差矩阵的相似性函数,对任何类型的变换都不变。然后,我们推导出SPCM-CRP混合模型,这是一种协方差矩阵的变换不变非参数聚类方法,它利用了提出的相似性函数,谱嵌入和距离依赖的中国餐馆过程(dd-CRP)(Blei和Frazier,2011)。这两个贡献的可扩展性和适用性在来自不同研究领域的真实世界协方差矩阵数据集上得到了广泛验证。最后,我们将SPCM-CRP混合模型与贝叶斯非参数印度自助过程(IBP)-隐马尔可夫模型(HMM)(Fox等人,2009),联合分割和发现变换不变的动作原语从复杂的顺序数据。提出了一种基于主题建模的无监督时间序列数据分析的层次模型ICSC-HMM(IBP Coupled SPCM-CRP Hidden Markov Model)。ICSC-HMM的动觉演示单手和双手烹饪任务进行了验证,实现了无监督的人类层次的分解复杂的顺序任务。
2017-10-27 cs.LG
Sampling-Frequency-Independent Audio Source Separation Using Convolution Layer Based on Impulse Invariant Method
The University of Tokyo(东京大学);Waseda University(早稻田大学);NTT Corporation(日本电信电话株式会社)
音频声源分离常被用作各种应用的预处理,其最终目标之一是构造一个能够处理多种音频信号的通用模型。由于作为音频信号种类之一的采样频率通常是特定于应用的,因此前面的音频声源分离模型应该能够处理目标应用中指定的所有采样频率的音频信号。然而,基于深度神经网络(DNN)的传统模型仅以训练数据指定的采样频率进行训练,并且不能保证它们以不可见的采样频率工作。在本文中,我们提出了一个能够通过单个DNN处理任意采样频率的卷积层。通过音乐声源分离实验,我们表明,所提出的层的引入,使传统的音频声源分离模型,即使是看不见的采样频率一致的工作。
2021-05-10 cs.LG cs.SD eess.AS
Sequential Multi-Frame Neural Beamforming for Speech Separation and Enhancement
Google(谷歌)
这项工作介绍了顺序神经波束形成,它交替基于神经网络的频谱分离和波束形成的空间分离。我们用于分离的神经网络使用了一种先进的卷积架构,该架构使用了一种新的稳定的信噪比损失函数进行训练。对于波束形成,我们探索了多种计算时变协方差矩阵的方法,包括将空间协方差分解为时变幅度分量和时不变空间分量,以及使用基于块的技术。此外,我们介绍了一种多帧波束形成方法,通过将上下文帧添加到波束形成公式中来显着改善结果。我们广泛地评估和分析这些方法的窗口大小,块大小和多帧上下文大小的影响。我们最好的方法利用了一系列的三个神经分离和多帧时不变的空间波束形成阶段,并证明了一个平均改善2.75 dB的尺度不变的信噪比和14.2%的绝对减少比较语音识别度量跨越四个具有挑战性的混响语音增强和分离任务。我们还使用我们的三扬声器分离模型将LibriCSS评估集中的真实录音分离为非重叠的音轨,并实现了比基于基线掩模的波束形成器更好的单词出错率。
2020-11-03 cs.LG cs.SD eess.AS
CTSR: Cartesian tensor-based sparse regression for data-driven discovery of high-dimensional invariant governing equations
Beijing Institute of Technology(北京理工大学)
针对现有稀疏回归方法难以高效发现高维不变控制方程的问题,本文提出基于笛卡尔张量的稀疏回归(CTSR)技术,在保证旋转和反射不变性的同时,于2D和3D测试中取得更优的准确性与效率。
2025-07-16 cs.LG
Towards Listening to 10 People Simultaneously: An Efficient Permutation Invariant Training of Audio Source Separation Using Sinkhorn's Algorithm
PKSHA Technology Inc.(PKSHA科技公司)
在基于神经网络的单声道语音分离技术中,最近已经普遍使用排列不变训练(PIT)损失来评估损失。然而,普通PIT需要尝试$N$基本事实和$N$估计之间的所有$N!$排列。由于阶乘复杂度随着$N$的增加而非常迅速地爆炸,因此基于PIT的训练仅在源信号的数量很小时才起作用,例如$N = 2$或$3$。为了克服这一局限性,本文提出了一种新的变形的PIT损失,这是更有效的比普通的PIT损失时,$N$是大的SinkPIT。SinkPIT基于Sinkhorn的矩阵平衡算法,该算法有效地找到了一个双随机矩阵,该矩阵以可微的方式近似于最佳排列。作者利用SinkPIT对一个神经网络模型进行了训练实验,将单通道混合物分解为10个源,取得了良好的效果。
2021-05-16 cs.LG cs.SD eess.AS
Low Dimensional Invariant Embeddings for Universal Geometric Learning
Technion(以色列理工学院);Harvard University(哈佛大学)
本文旨在解决机器学习中分离不变量基数远大于维度的问题,证明通过随机选择 $2D+1$ 个半代数不变量即可实现分离,从而为经典群作用提供高效的低维不变量计算方案。
2023-11-21 cs.LG math.AG
Unsupervised Sound Separation Using Mixture Invariant Training
Google Research(谷歌研究院);UIUC(伊利诺伊大学厄巴纳-香槟分校)
近年来,使用深度神经网络的监督训练在单通道声音分离问题上取得了快速进展。在这种监督方法中,模型被训练以从通过将孤立的地面实况源相加而创建的合成混合物中预测分量源。依赖这种合成训练数据是有问题的,因为良好的性能取决于训练数据与真实世界音频之间的匹配程度,特别是在声学条件和源分布方面。声学特性可能难以准确模拟,并且声音类型的分布可能难以复制。在本文中,我们提出了一种完全无监督的方法,混合不变训练(MixIT),它只需要单通道声学混合。在MixIT中,通过将现有混合物混合在一起来构建训练示例,并且模型将它们分离成可变数量的潜在源,以便可以重新混合分离的源以近似原始混合物。我们表明,MixIT可以实现有竞争力的性能相比,监督的语音分离方法。在半监督学习设置中使用MixIT可以实现无监督域自适应和从大量真实数据中学习,而无需地面真实源波形。特别是,我们显着提高混响语音分离性能,通过将混响混合物,训练的语音增强系统从嘈杂的混合物,并提高通用的声音分离,通过将大量的野生数据。
2020-10-24 cs.LG cs.SD eess.AS
Discovering Symbolic Differential Equations with Symmetry Invariants
University of California, San Diego(加州大学圣迭戈分校);IBM Research(IBM研究院);Northeastern University(东北大学)
本文提出利用对称不变量提升微分方程发现的准确性与效率,通过物理系统验证其能恢复符合物理定律的简洁方程。
2026-03-09 cs.LG
Identification of Invariant Sensorimotor Structures as a Prerequisite for the Discovery of Objects
SoftBank Robotics Europe(软银机器人欧洲公司);Sorbonne Université(索邦大学);Institut des Systèmes Intelligents et de Robotique(智能系统与机器人研究所);CNRS(法国国家科学研究中心)
感知周围环境的对象是有用的任何通用智能代理。在本文中,我们研究了一个基本的机制,使对象感知成为可能,即识别的时空不变的结构在感觉运动的经验代理。我们从感觉运动偶然性理论中获得灵感,通过感觉运动、无监督和预测的方法来定义这种机制的计算模型。我们的模型是基于处理人工代理与其环境的无监督交互。我们展示了环境中的时空不变结构如何在代理的感觉运动体验中引起不稳定,以及该代理如何在建立其感觉运动体验的预测模型的同时,将其捕获为由运动命令连接的感觉状态图中的密集连接子图。我们的方法是集中在基本的机制,并说明了一组简单的实验中,代理与环境的相互作用。我们展示了如何代理可以建立一个内部模型的移动,但时空不变的结构,通过执行一个频谱聚类的图形建模其整体感觉运动的经验。我们系统地研究该模型的属性,更全球性地揭示了基于静态图像集合的监督处理方法的范式的特殊性。
2018-10-11 cs.AI cs.LG cs.RO
A step towards the applicability of algorithms based on invariant causal learning on observational data
Universidad Politécnica de Madrid(马德里理工大学)
针对观测数据缺乏多环境的问题,提出一种高效生成训练环境的方法,将其与ICP结合用于因果发现,并改进以适用于多协变量数据集。
2023-04-05 cs.LG stat.ME
Invariant Risk Minimisation for Cross-Organism Inference: Substituting Mouse Data for Human Data in Human Risk Factor Discovery
Oxford University(牛津大学);University of St Galen(圣加仑大学);Mayo Clinic(梅奥诊所);NASA(美国国家航空航天局);King’s College London(伦敦国王学院);Intel Corporation(英特尔公司)
由于数据隐私问题,难以进行某些类型的实验或高昂的相关成本,获得人类医疗数据可能具有挑战性。在许多情况下,来自动物模型或体外细胞系的数据可以帮助我们增强对人类数据的理解。然而,与人类数据相比,该数据已知具有较低的病因学有效性。在这项工作中,我们用体外数据和动物模型来增强小型人类医学数据集。我们使用不变风险最小化(Invariant Risk Minimisation,简称RST),通过考虑跨生物体数据属于不同的数据生成环境来阐明不变特征。我们的模型确定了与人类癌症发展相关的基因。我们观察到不同数量的人类和小鼠数据之间的一致性程度,但是,需要进一步的工作来获得结论性的见解。作为次要贡献,我们增强了现有的开源数据集,并向社区提供了两个统一处理的、跨生物体的、同源基因匹配的数据集。
2022-02-13 cs.CR cs.LG
Invariant Slot Attention: Object Discovery with Slot-Centric Reference Frames
Northeastern University(东北大学);Google Research(谷歌研究院)
针对现有基于槽的目标发现模型难以捕捉空间对称性、样本效率低的问题,提出不变槽注意力方法,通过变换位置编码引入姿态等变性,在多个合成基准和真实数据集上提升了目标发现性能与数据效率。
2023-07-21 cs.AI cs.CV cs.LG
Permutation-Invariant Subgraph Discovery
Qatar Computing Research Institute, Hamad Bin Khalifa University(卡塔尔计算研究所,哈马德·本·哈利法大学);INRIA(法国国家信息与自动化研究所)
我们介绍排列和结构化扰动推理(PSPI),一个新的问题制定,抽象出许多图形匹配任务,出现在系统生物学。PSPI可以被视为置换推理或图匹配的鲁棒公式,其中目标是在假设一组边缘可能由于潜在原因而经历扰动的情况下找到两个图之间的置换。例如,假设有两个基因调控网络X和Y分别来自患病和正常组织。然后,PSPI问题可以用来检测两个网络之间是否存在结构变化,这可以作为疾病的特征。除了新的问题制定,我们提出了一个ADMM算法(STEPD)来解决一个放松版本的PSPI问题。比较基因调控网络(GRNs)的一个广泛的案例研究被用来证明,STEPD是能够准确地推断结构化的扰动,从而为计算生物学家提供了一个工具,以确定新的预后签名。谱分析证实,STEPD可以恢复小的类candle扰动,使其成为一个有用的工具,用于检测置换不变的变化图。
2021-04-02 cs.AI cs.LG
What Should a Large Language Model See? Physical Invariants as a Data Representation for PDE Discovery
California Institute of Technology(加州理工学院)
本文提出将数据解释作为大型语言模型处理时空场的阶段,以物理不变量为数据表示,在PDE发现基准中使方程恢复准确率近三倍提升,为自动化场理论构建提供实用途径。
2026-08-27 cond-mat.soft cs.LG
Many-Speakers Single Channel Speech Separation with Optimal Permutation Training
Tel Aviv University(特拉维夫大学);Facebook AI Research(Facebook人工智能研究院)
单通道语音分离技术在过去几年中取得了很大的进展。然而,训练大量说话者的神经语音分离(例如,超过10个扬声器)对于依赖于排列不变损失(PIT)的当前方法来说是遥不可及的。在这项工作中,我们提出了一个置换不变的训练,采用匈牙利算法,以训练与$O(C^3)$的时间复杂度,其中$C$是扬声器的数量,在比较$O(C!)$的PIT为基础的方法。此外,我们提出了一个修改后的架构,可以处理增加的扬声器数量。我们的方法分离到$20$扬声器,并提高了以前的结果,大$C$的一个很大的利润。
2021-11-07 cs.AI cs.LG cs.SD
Finding simplicity: unsupervised discovery of features, patterns, and order parameters via shift-invariant variational autoencoders
UT-Battelle, LLC(UT-巴特勒有限责任公司);U.S. Department of Energy(美国能源部)
扫描隧道和透射电子显微镜(STM和STEM)的最新进展已经允许常规生成包含材料结构和功能信息的大量成像数据。实验数据集包含远程现象的签名,如物理序参量场,极化和应变梯度在STEM中,或电子驻波和载体介导的交换相互作用在STM中,所有叠加到扫描系统的失真和对比度的逐渐变化,由于漂移和/或误倾斜效应。相应地,虽然人眼可以容易地识别图像中的某些图案,例如晶格周期性、重复结构元素或微观结构,但它们的自动提取和分类是非常重要的,并且不存在实现这种分析的通用途径。我们提出,在STM和(S)TEM图像中观察到的图案的最独特的元素是相似性和(几乎)周期性,行为直接源于基本原子结构的简约性,叠加在反映序参量分布的渐变上。然而,通过全局傅立叶方法发现这些元素是不平凡的,由于可变性和缺乏理想的离散平移对称性。为了解决这个问题,我们开发了移位不变变分自动编码器(shift-VAE),它允许解开图像中的特征重复特征,它们的变化,以及图像空间随机采样不可避免的移位。Shift-VAE平衡了感兴趣对象位置的不确定性和形状重建的不确定性。这种方法示出了模型1D数据,并进一步扩展到合成和实验STM和STEM 2D数据。
2021-06-23 cond-mat.dis-nn cs.LG
E(3)-invariant diffusion model for pocket-aware peptide generation
University of Cincinnati(辛辛那提大学)
针对现有计算机辅助抑制剂发现工具实用性不足的问题,提出由两个顺序扩散模型组成的从头口袋感知肽生成网络,通过E(3)不变表示实现性能比肩SOTA,为精准药物发现提供新方法。
2024-10-31 cs.AI cs.LG q-bio.BM
Invariant Discovery of Features Across Multiple Length Scales: Applications in Microscopy and Autonomous Materials Characterization
University of Tennessee(田纳西大学);Tokyo Institute of Technology(东京工业大学);Oak Ridge National Laboratory(橡树岭国家实验室);Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文提出尺度不变变分自编码器(SI-VAE),通过在不同长度尺度上渐进训练VAE来发现图像中依赖尺度的变异因子,并在铁电畴、石墨烯动态现象及组合库形貌演化中验证其通用性,可用于自主实验决策。
2024-08-01 cond-mat.mtrl-sci cs.LG physics.app-ph
Separation Power of Equivariant Neural Networks
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Oxford(牛津大学);University of Venice(威尼斯大学)
本文研究了等变神经网络的分离能力,分析了架构和超参数对分离能力的影响,发现非多项式激活函数在表达能力上等价,深度在阈值后不再提升分离能力,而隐表示的块分解会影响分离能力。
2026-06-04 cs.AI cs.LG
Automated Discovery of Conservation Laws via Hybrid Neural ODE-Transformers
Independent Researcher(独立研究者)
提出一种混合Neural ODE-Transformer框架,通过学习系统动力学、生成符号候选不变量并进行符号-数值验证,从噪声轨迹数据中自动发现守恒量,显著优于基线方法。
2025-10-30 cs.AI cs.LG
From Data to Laws: Neural Discovery of Conservation Laws Without False Positives
Department of Electronics and Electrical Engineering(电子与电气工程系)
本文提出NGCG方法,通过神经符号管道分离动力学学习与不变量发现,有效解决数据中参数变化、非多项式不变量、局部极小值和混沌系统假阳性问题,实现高准确率的守恒定律发现。
2026-03-20 cs.LG physics.data-an