Source Identification for Mixtures of Product Distributions
California Institute of Technology(加州理工学院);The Rachel and Selim Benin School of Computer Science and Engineering, The Hebrew University of Jerusalem(耶路撒冷希伯来大学拉结·塞利姆·贝宁计算机科学与工程学院)
我们给出了一个算法的混合$k$产品分布的$n$位的源识别。这是机器学习中的一个基本问题,具有许多应用。我们的算法识别源参数的可识别的混合物,给定的,作为输入,多线性矩的近似值(来自,例如,从一个足够大的样本),使用$2^{O(k^2)} n^{O(k)}$算术运算。我们的结果是第一个明确的界限上的计算复杂性的源识别这样的混合物。运行时间改进了Feldman,O 'Donnell和Servedio(FOCS 2005)以及Chen和Moitra(STOC 2019)之前的结果,这些结果仅保证学习混合物(没有源的参数识别)。我们的分析给出了可识别来源的定性表征的定量版本,这是由于Tahmasebi,Motahari和Maddah-Ali(ISIT 2018)。
2020-12-29 cs.DS cs.LG eess.SP
A Sampling Complexity-aware Framework for Discrete-time Fractional-Order Dynamical System Identification
Ming Hsieh Department of Electrical and Computer Engineering, University of Southern California(南加州大学明海电气与计算机工程系);Elmore Family School of Electrical and Computer Engineering, Purdue University(普渡大学埃尔莫尔电气与计算机工程学院)
针对分数阶动力系统辨识缺乏采样复杂度感知的问题,提出一种仿射离散时间FoDS辨识算法,通过避免高阶多项式求解并采用最小二乘估计,实现了含噪数据下的参数辨识,误差以O(d/ε)速率衰减,仿真验证了理论界限的紧性。
2026-10-12 cs.LG cs.SY eess.SY
Deep generative demixing: Recovering Lipschitz signals from noisy subgaussian mixtures
生成神经网络(GNN)因有效地捕捉自然图像中的内在低维结构而闻名。在这里,我们研究了两个Lipschitz信号的亚高斯解混问题,GNN解混是一种特殊情况。在去混合中,人们寻求在给定两个信号的和和先前的结构信息的情况下识别两个信号。在这里,我们假设每个信号都位于Lipschitz函数的范围内,其中包括许多流行的GNN作为特例。我们证明了接近最优恢复误差的样本复杂度界,该复杂度界将Bora等人(2017)的最新结果从高斯矩阵的压缩感知设置扩展到亚高斯矩阵的解混。在信号位于凸集的线性信号模型下,McCoy & Tropp(2014)描述了亚高斯混合下识别的样本复杂度。在本设置中,信号结构不需要是凸的。例如,我们的结果适用于一个域,这是一个非凸联盟的凸锥。我们使用训练的GNN进行数值模拟,支持这种分层模型的有效性,提出了一种算法,这将是进一步理论研究的有趣对象。
2020-10-13 cs.IT math.IT stat.ML
Hadamard Extensions and the Identification of Mixtures of Product Distributions
California Institute of Technology(加州理工学院)
矩阵的阿达玛扩张是由其行的子集的所有阿达玛乘积组成的矩阵。这种结构是在识别二进制随机变量上的乘积分布的混合物的背景下产生的:这种扩展的全列秩是识别算法的必要成分。我们提供了几个结果,当阿达玛扩展有完整的列秩。
2021-02-12 cs.LG eess.SP stat.ML
Provable Subspace Identification Under Post-Nonlinear Mixtures
Oregon State University(俄勒冈州立大学)
无监督混合学习(UML)旨在以盲的方式识别线性或非线性混合的潜在成分。众所周知,UML具有挑战性:即使是学习线性混合物也需要非常重要的分析工具,例如,独立分量分析或非负矩阵分解。在这项工作中,后非线性(PNL)混合模型-未知元素的非线性函数施加到线性混合物-被重新审视。PNL模型被广泛应用于从脑信号分类、语音分离、遥感到因果发现的不同领域。为了识别和去除未知的非线性函数,现有的工作通常假设潜在分量上的不同性质(例如,统计独立性或概率单形结构)。这项工作表明,在精心设计的UML标准下,与底层混合系统相关的非平凡零空间的存在足以保证识别/去除未知的非线性。与以前的工作相比,我们的发现在很大程度上放宽了获得PNL可识别性的条件,因此可能有利于潜在成分上没有强结构信息的应用。提供有限样本分析来表征所提出的方法在现实环境下的性能。为了实现所提出的学习准则,提出了一种块坐标下降算法。一系列的数值实验证实了我们的理论主张。
2022-10-14 cs.LG eess.SP stat.ML
Clustering Mixtures of Discrete Distributions: A Note on Mitra's Algorithm
Princeton University(普林斯顿大学)
本文改进了Mitra算法在离散混合分布分类中的分析,通过将其调整为二部随机块模型,获得了比原算法更精细的分离条件。
2024-05-29 cs.LG stat.ML
Graph-Driven Models for Gas Mixture Identification and Concentration Estimation on Heterogeneous Sensor Array Signals
School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电气与电子工程学院);College of Electronic and Information Engineering, Tongji University(同济大学电子与信息工程学院);School of Civil Engineering, Yancheng Institute of Technology(盐城工学院土木工程学院)
针对异构传感器阵列气体分析泛化受限问题,提出集成时间图结构的GraphCapsNet和GraphANet模型,在分类和浓度估计任务上分别达到98.00%以上准确率和0.96以上R2得分,显著提升了工业应用的可扩展性。
2024-12-18 cs.LG eess.SP
Reliable Categorical Variational Inference with Mixture of Discrete Normalizing Flows
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所(HIIT));University of Helsinki(赫尔辛基大学)
变分近似越来越多地基于对通过抽样估计的期望的基于梯度的优化。处理离散潜变量是具有挑战性的,因为采样过程是不可微的。连续松弛(例如分类分布的Gumbel-Softmax)支持基于梯度的优化,但不为离散观测定义有效的概率质量。在实践中,选择松弛量是困难的,并且需要优化与期望目标不一致的目标,这会导致问题,特别是对于具有强有意义先验的模型。我们提供了一个替代的可微重新参数化的分类分布组成的离散归一化流的混合物。它定义了一个适当的离散分布,允许直接优化证据下限,并且对超参数控制松弛不太敏感。
2021-02-08 cs.LG stat.ML
Mixture Representation Learning with Coupled Autoencoders
Allen Institute(艾伦研究所)
在没有监督的情况下,联合识别离散和连续可变因素的混合物是解开复杂现象的关键问题。变分推理已经成为一种很有前途的方法来学习可解释的混合表示。然而,在高维潜在空间,特别是离散因素的后验近似仍然具有挑战性。在这里,我们提出了一个无监督的变分框架,使用多个相互作用的网络称为cpl-mixVAE,可以很好地扩展到高维离散设置。在这个框架中,每个网络的混合表示通过对离散因子施加共识约束来正则化。我们证明使用这个框架提供理论和实验结果。最后,我们使用所提出的方法来共同揭示离散和连续的变异因素,描述基因表达的单细胞转录组数据集分析超过一百种皮层神经元类型。
2021-04-13 cs.LG stat.ML
Discrete Sampling using Semigradient-based Product Mixtures
ETH Zurich(苏黎世联邦理工学院);University of Pennsylvania(宾夕法尼亚大学);MIT(麻省理工学院)
我们考虑离散概率模型中的推理问题,即有限基集子集上的分布。这些包括机器学习中的一系列众所周知的模型,例如决定点过程和伊辛模型。局部移动马尔可夫链蒙特卡罗算法,如吉布斯采样器,通常用于这种模型的推理,但它们的收敛速度有时非常慢。这通常是由状态空间瓶颈引起的,状态空间瓶颈极大地阻碍了这种采样器的移动。我们提出了一种新的抽样策略,使用特定的混合产品分布,提出全球移动,从而加速收敛。此外,我们将展示如何使用半梯度信息构建这样的混合。我们说明了我们的采样器与现有的相结合的有效性,无论是理论上的一个示例模型,以及实际上从现实世界的数据集学习的三个模型。
2018-07-09 cs.LG stat.ML
Learning Mixtures of Arbitrary Distributions over Large Discrete Domains
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Caltech(加州理工学院)
我们给出了一个学习混合{ \em非结构}分布的算法。这个问题出现在各种无监督学习场景中,例如在从跨越若干主题的文档语料库学习{ \em主题模型}中。我们展示了如何学习的$k$任意分布在一个大的离散域$[n]=\{1,2,\dots,n\}$和混合权重的混合物的成分,使用$O(n\polylog n)$样本。(In主题模型学习设置,混合成分对应于主题分布。对于$k>1$,在混合分布的通常采样过程中,该任务在信息理论上是不可能的。然而,存在每个样本点由来自相同混合成分的若干观察组成的情况(诸如上述主题模型情况)。我们称之为{ \em“采样孔径”}的这个观测数是问题的关键参数。我们获得了这个混合学习问题{ \em}的{ \em first}界,而没有对混合成分施加任何假设。我们表明,有效的学习是可能的,正是在信息理论上最小可能的孔径$2k-1$。因此,我们实现了对$n$和最佳孔径的接近最佳的依赖性。虽然我们的算法所需的样本大小指数依赖于$k$,我们证明了这样的依赖是{ \em不可避免}时,考虑一般的混合物。一系列的工具有助于算法,如随机矩阵的浓度结果,降维,矩估计和灵敏度分析。
2013-09-18 cs.DS cs.LG
Identification of complex mixtures for Raman spectroscopy using a novel scheme based on a new multi-label deep neural network
由于荧光和加性白噪声等噪声环境以及复杂的光谱指纹,复杂混合物的拉曼光谱识别仍然是拉曼光谱应用中的一个主要挑战。在本文中,我们提出了一种新的方案的基础上,常数小波变换(CWT)和深度网络分类复杂的混合物。该方案首先使用连续小波变换将噪声拉曼光谱转换为二维尺度图。然后应用多标签深度神经网络模型(MDNN)对材料进行分类。该模型使用全局平均池化层加速了特征提取并扩展了特征图。Sigmoid函数在模型的最后一层实现。MDNN模型进行了训练,验证和测试,从棕榈油中的物质制备的样品中收集的数据。在训练和验证过程中,采用数据增强的方法,克服了数据的不平衡性,丰富了拉曼光谱的多样性。从测试结果中可以发现,MDNN模型在汉明损失、一个错误、覆盖率、排名损失、平均精度、F1宏观平均和F1微观平均方面分别优于先前提出的深度神经网络模型。从我们的模型中获得的平均检测时间为5.31 s,这比以前提出的模型的检测时间快得多。
2020-10-29 cs.LG eess.IV eess.SP
Copula-based mixture model identification for subgroup clustering with imaging applications
Univ Lyon(里昂大学);Université Claude Bernard Lyon 1(里昂第一大学(克洛德·贝尔纳));UJM-Saint Etienne(圣艾蒂安大学);CNRS(法国国家科学研究中心);Inserm(法国国家健康与医学研究院);Institut Universitaire de France (IUF)(法国大学研究院)
针对典型混合模型单一成分分布假设的局限性,提出基于Copula的混合模型(CBMMs)及改进的GICE算法,通过迭代估计边缘分布、Copula形式与参数实现无监督识别,在合成数据、MNIST及心脏磁共振数据上验证了其有效性。
2025-02-12 cs.CV cs.LG
Mixture Density Network Estimation of Continuous Variable Maximum Likelihood Using Discrete Training Samples
University of Texas(德克萨斯大学);Rutgers University(罗格斯大学)
混合密度网络(MDN)可用于在给定一组可观测量$\mathbf{x}$的情况下生成模型参数$\boldsymbolθ$的概率密度函数。在某些应用中,训练数据仅可用于连续参数$\boldsymbolθ$的离散值。在这种情况下,会出现一些性能限制问题,从而导致有偏差的估计。我们演示了使用MDNs的参数估计,讨论了偏差的起源,并提出了一个纠正方法,为每个问题。
2021-07-20 cs.LG hep-ex physics.data-an
Mix-nets: Factored Mixtures of Gaussians in Bayesian Networks With Mixed Continuous And Discrete Variables
Carnegie Mellon University(卡内基梅隆大学)
最近开发的技术使得从低维连续空间中的数据快速学习精确的概率密度函数成为可能。特别是,混合高斯可以非常快地拟合数据使用加速EM算法,采用多分辨率kd树(摩尔,1999年)。在本文中,我们提出了一种贝叶斯网络,在该网络中,在域的变量的不同子集的高斯低维混合物被组合成一个连贯的联合概率模型在整个域。该网络还能够对离散变量和连续变量之间的复杂依赖关系进行建模,而不需要对连续变量进行离散化。我们提出了有效的启发式算法,从数据中自动学习这些网络,并进行比较实验,说明如何以及这些网络模型真实的科学数据和合成数据。我们还简要讨论了一些可能的改进网络,以及可能的应用。
2013-01-16 cs.AI cs.LG stat.ML
Similarity-based Outlier Detection for Noisy Object Re-Identification Using Beta Mixtures
School of Mathematical Sciences, Dublin City University(数学科学学院,都柏林城市大学)
本文提出Beta-SOD框架,通过双分量Beta分布混合模型对Siamese网络嵌入对的余弦相似度分布建模,实现噪声标签下的离群点检测,显著提升了目标重识别在10-30%噪声水平下的鲁棒性。
2025-09-15 cs.AI cs.CV cs.LG
A RAD approach to deep mixture models
Google Brain(谷歌大脑);DeepMind
基于流的模型(如Real NVP)是一种非常强大的密度估计方法。然而,现有的基于流的模型仅限于将连续输入空间上的连续密度转换为连续潜变量上的类似连续分布。这使得它们不太适合建模和表示数据分布中的离散结构,例如类成员关系或离散对称性。为了解决这个困难,我们提出了一个规范化的流架构,它依赖于域分区使用局部可逆函数,并拥有真实和离散值的潜变量。这种真实和离散(RAD)的方法保留了理想的规范化流特性的精确采样,精确的推理,和分析计算的概率,而在同一时间允许同时建模的连续和离散结构的数据分布。
2020-08-26 cs.LG stat.ML
Learning Arbitrary Statistical Mixtures of Discrete Distributions
Tsinghua University(清华大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学);California Institute of Technology(加州理工学院)
本文研究了大型有限集上的非标记样本的非常一般的统计混合模型的学习问题。具体地,要学习的模型$\vartheta$是概率分布$p$上的概率分布,其中每个这样的$p$是$[n] = \{1,2,\dots,n\}$上的概率分布。当我们从$\vartheta$采样时,我们不直接观察$p$,而只是通过从分布$p$重复地、独立地从$[n]$采样$K$次来间接地并且以非常嘈杂的方式观察$p$。问题是在运输(推土机)距离中高精度地推断$\vartheta$。我们给出了第一个有效的算法来学习这个混合模型,而不对分布$\vartheta$的结构作任何限制性假设。我们将解决方案的质量作为样本大小$K$和所用样本数量的函数。我们的模型和结果应用于各种无监督学习场景,包括学习主题模型和协同过滤。
2015-04-10 cs.DS cs.LG
MEET: Mixture of Experts Extra Tree-Based sEMG Hand Gesture Identification
Malaviya National Institute of Technology(马拉维亚国家理工学院);Manipal Institute of Technology(马尼帕尔理工学院)
针对sEMG手部手势识别中多类别处理与偏差影响模型性能的问题,提出融合多专家模型与门控机制的MEET模型,在4名受试者6种手势的11种模型对比实验中取得最优识别效果。
2024-05-06 cs.LG eess.SP
Optimal Clustering of Multi-layer Networks under Mixture Block Models
Hong Kong University of Science and Technology(香港科技大学);The Hong Kong Polytechnic University(香港理工大学)
本文研究了多层网络及离散混合分布的最优聚类问题,提出了基于张量初始化和似然Lloyd算法的两阶段聚类方法,实现了由Renyi散度刻画的极小化最优聚类错误率。
2026-10-23 cs.LG cs.SI math.ST
ReMix: Training Generalized Person Re-identification on a Mixture of Data
Tevian(特维安公司);Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);AIRI(AIRI研究院)
针对行人重识别模型泛化能力弱的问题,提出ReMix方法,联合有限标注多相机数据与大规模未标注单相机数据训练,通过新采样策略和损失函数提升泛化性,性能超越现有最优方法。
2024-10-29 cs.AI cs.CV cs.LG
Estimating Mutual Information for Discrete-Continuous Mixtures
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Washington(华盛顿大学)
从观察到的样本估计互信息是一个基本的原语,在几个机器学习任务中很有用,包括相关性挖掘,信息瓶颈聚类,学习Chow-Liu树和(因果)图形模型中的条件独立性测试。虽然互信息在一般概率空间中是一个定义良好的量,但现有的估计只能处理两种特殊情况:纯离散或纯连续的随机变量对。主要的挑战是,这些方法首先估计X、Y和对(X;Y)的(微分)熵,并将它们与适当的符号相加以获得互信息的估计。这些3 H-估计不能应用于一般的混合空间,其中熵没有很好的定义。在本文中,我们设计了一个新的估计的互信息的离散-连续混合。我们证明了所提出的估计是一致的。我们提供的数值实验表明所提出的估计相比,其他approxistics的小连续噪声添加到所有的样本和应用标准估计量为纯连续变量,量化的样本和应用标准估计量为纯离散变量的优越性。这显著地拓宽了互信息估计在真实世界应用中的适用性,其中一些变量是离散的,一些是连续的,并且其他是连续和离散分量之间的混合。
2018-10-09 cs.IT cs.LG math.IT
Identification of release sources in advection-diffusion system by machine learning combined with Green function inverse method
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
对流扩散输运源的识别通常基于针对可用状态变量数据记录求解复杂的不适定逆模型。然而,如果有几个源具有不同的位置和强度,数据记录代表混合物,而不是原始源的单独影响。重要的是,这些原始释放源的数量通常是未知的,这阻碍了经典的反模型分析的可靠性。为了解决这一挑战,我们在这里提出了一种新的混合方法来识别未知数量的释放源。我们的混合方法,称为HNMF,耦合无监督学习的基础上非负矩阵分解(NMF)和逆分析格林函数方法。HNMF协同执行记录的混合物的分解,找到未知源的数量,并使用对流扩散方程的格林函数来识别它们的特性。在本文中,我们介绍的方法,并证明它是能够识别的平流速度和介质的色散度以及未知的数量,位置和属性的各种集合的合成释放源具有不同的空间和时间的依赖性,仅基于记录的数据。HNMF可以直接应用于由偏微分抛物方程控制的任何问题,其中在多个位置测量未知数量的源的混合物。
2018-03-23 cs.LG stat.ML
Deinterleaving of Discrete Renewal Process Mixtures with Application to Electronic Support Measures
Thales DMS France SAS(泰雷兹DMS法国公司)
本文提出一种基于惩罚似然最大化的离散更新马尔可夫链混合去交织方法,利用符号序列与到达时间信息,理论证明大样本下可恢复真实划分,并在合成数据及RESM脉冲序列去交织中验证了其有效性。
2024-11-08 cs.LG
Dual Mixture-of-Experts Framework for Discrete-Time Survival Analysis
Lunit Inc.(Lunit公司)
生存分析是一项对感兴趣的事件发生之前的时间进行建模的任务,广泛用于临床和生物医学研究。一个关键的挑战是对患者异质性进行建模,同时还根据个体特征和时间动态调整风险预测。我们提出了一个双混合专家模型(MoE)的离散时间生存分析框架。我们的方法结合了一个功能编码器MoE的子群感知表示学习与危险MoE,利用患者的功能和时间嵌入捕捉时间动态。这种双MoE设计灵活地与现有的基于深度学习的生存管道集成。在METABRIC和GBSG乳腺癌数据集上,我们的方法始终提高了性能,将测试集上的时间依赖性C指数提高到0.04,并在纳入Consurv框架时进一步提高了性能。
2025-10-29 cs.AI cs.LG
On the Role of Discrete Representation in Sparse Mixture of Experts
Applied Artificial Intelligence Institute (A2I2)(应用人工智能研究所)
针对 SMoE 路由器的不一致与表示坍塌问题,本文提出基于向量量化离散表示间接分配专家的 VQMoE,并在语言和视觉任务中验证其鲁棒性提升 28%。
2025-07-27 cs.LG
Nonnegative Matrix Factorization for identification of unknown number of sources emitting delayed signals
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);University of New Mexico Comprehensive Cancer Center(新墨西哥大学综合癌症中心)
因子分析被广泛用作一种强大的无监督机器学习工具,用于重建记录的混合信号中的隐藏特征。在线性近似的情况下,可以通过各种无模型盲声源分离(BSS)算法来分解混合。大多数现有的BSS算法考虑瞬时混合的信号,而当混合信号的线性组合与延迟的情况下,探索较少。特别困难的是当具有延迟的信号的源的数量是未知的并且还必须从数据确定时的情况。为了解决这个问题,在本文中,我们提出了一种新的方法,基于非负矩阵分解(NMF),能够识别:(a)未知数量的源,(b)的延迟和传播速度的信号,和(c)的源的位置。我们的方法可以用来分解记录的混合物的信号与延迟发射的未知数量的源在非色散介质中,仅基于记录的数据。例如,当来自多个天线的电磁信号被异步地接收时;或者当位于不同位置的传感器记录的声学或地震信号的混合时;或者当多普勒效应引起频率偏移时,就是这种情况。通过将我们的方法应用于合成数据集,我们证明了它能够识别未知数量的源以及信号的波形,延迟和强度。使用贝叶斯分析,我们还评估估计的不确定性,并确定区域的可能性,可以找到的来源的位置。
2018-03-23 cs.LG stat.ML
A Pilot Study For Fragment Identification Using 2D NMR and Deep Learning
De Montfort University(德蒙福特大学);Universidade Federal do Rio de Janeiro(里约热内卢联邦大学)
本文提出了一种方法来识别混合物的NMR光谱,特别是二维光谱中的子结构,使用定制的基于图像的卷积神经网络应用程序。这是使用HSQC和HMBC光谱分别和组合。该应用程序可以使用简单的网络可靠地检测纯化合物中的子结构。当只训练纯化合物时,它可以用于混合物。HMBC数据以及HMBC和HSQC的组合显示出比单独的HSQC更好的结果。
2021-03-18 cs.AI cs.LG q-bio.QM
Hierarchical mixture of discriminative Generalized Dirichlet classifiers
Université de Sherbrooke(谢布鲁克大学)
本文提出基于广义狄利克雷后验分布的判别式分类器及其层次混合模型,并首次推导变分上界用于参数学习,在垃圾邮件检测和颜色空间识别中验证了效果。
2024-05-02 cs.LG stat.ML
Learning Balanced Mixtures of Discrete Distributions with Small Sample
Carnegie Mellon University(卡内基梅隆大学)
我们研究了一个小样本的$n$个人的划分问题,从混合的$k$产品分布在一个布尔立方体$\{0, 1\}^K$根据他们的分布。每个分布由$\R^K$中的等位基因频率向量描述。给定两个分布,我们使用$γ$来表示$K$维度上频率的平均$\ell_2^2$距离,该距离测量它们之间的统计差异。我们研究的情况下,假设位是独立分布在$K$尺寸。这项工作表明,对于$k = 2$的平衡输入实例,某个基于图的优化函数以高概率返回正确的分区,其中在$n$个体上形成加权图$G$,其对应位向量之间的成对汉明距离定义边缘权重,只要$K = Ω(\ln n/γ)$和$Kn = \tildeΩ(\ln n/γ^2)$。该函数计算$G$的最大权重平衡切割,其中切割的权重是切割中所有边的权重之和。这个结果展示了高维特征空间中的一个很好的特性:人们可以权衡样本大小所需的特征数量,以完成某些任务,如聚类。
2008-02-10 cs.LG stat.ML
Discrete-Continuous Mixtures in Probabilistic Programming: Generalized Semantics and Inference Algorithms
University of California, Berkeley(加州大学伯克利分校);Arizona State University(亚利桑那州立大学);Vicarious Inc.(维卡里奥公司);Carnegie Mellon University(卡内基梅隆大学)
尽管最近概率程序设计语言(PPL)在人工智能应用中取得了成功,但PPL仅提供有限的随机变量支持,其分布结合了离散和连续元素。我们开发的概念的测量理论贝叶斯网络(MTBN),并使用它来提供更一般的语义PPLs与任意多个随机变量定义在任意测量空间。我们开发了两个新的通用采样算法,可证明是正确的MTBN框架下:字典似然加权(LLW)一般MTBN和字典粒子滤波器(LPF),一个专门的算法状态空间模型。我们进一步集成MTBN到一个广泛使用的PPL系统,博客,并通过代表性的例子验证新的推理算法的有效性。
2018-06-08 cs.AI cs.LG cs.PL
Survival Mixture Density Networks
New York University(纽约大学)
生存分析是一种时间-事件建模的艺术,在临床治疗决策中起着重要作用。最近,连续时间模型建立的神经常微分方程已经提出了生存分析。然而,由于神经常微分方程求解器的高计算复杂性,神经常微分方程的训练是缓慢的。在这里,我们提出了一种灵活的连续时间模型的有效替代方案,称为生存混合密度网络(生存MDN)。生存MDN将可逆正函数应用于混合密度网络(MDN)的输出。虽然MDN产生灵活的实值分布,但可逆正函数将模型映射到时域,同时保持易于处理的密度。使用四个数据集,我们表明,生存MDN表现更好,或类似于连续和离散时间基线的一致性,综合Brier评分和综合二项式对数似然。同时,生存MDN也比基于ODE的模型更快,并避免了离散模型中的分箱问题。
2022-08-23 cs.LG stat.ML
Speaker Identification From Youtube Obtained Data
LNMIIT(印度拉瓦特信息技术学院);IIT, Delhi(德里理工学院)
提出了一种高效、直观的算法,用于从长数据集(如YouTube长讨论、鸡尾酒会录制的音频或视频)中识别说话人。自动说话人辨识的目标是通过提取、表征和语音信号中包含的特定于说话人的信息来识别不同说话人的数量,并为该说话人准备模型。它有许多不同的应用,特别是在监控,机场移民,网络安全,类似声源的多源转录领域,其中很难任意分配转录。详细介绍了说话人确认中最常用的语音参数化方法--K均值、倒谱分析。然后解释高斯混合建模,这是说话人建模技术。高斯混合模型(GMM),也许是最强大的机器学习算法已被引入仔细检查和判断文本无关的说话人辨识。高斯混合模型在说话人身份监测和分析中的应用受到说话人的熟悉度,意识,或者通过经验认识到高斯谱描述了说话人的谱结构模式的特点以及高斯混合模型具有构造随机密度的显著能力,然后我们给出了“期望最大化”迭代算法,该算法在初始估计时取任意值并进行迭代过程,直到观察到数值收敛为止,因此,通过做不同次数的实验,我们可以得到79 ~ 82%的矢量量化的识别率和85 ~ 92.6%的GMM建模的识别率,通过期望最大化参数估计依赖于参数的变化。
2014-11-11 cs.LG cs.SD
A review of artificial intelligence methods combined with Raman spectroscopy to identify the composition of substances
Prince of Songkla University(宋卡王子大学)
自然界中大多数物质都以混合物的形式存在,如何快速、准确地对混合物成分进行无创识别一直是一个难题。然而,拉曼光谱、机器学习和深度学习技术的发展为实现能够识别混合物组分的高效分析工具铺平了道路,在传统化学分析方法之外的混合物识别方面取得了明显的突破。本文综述了拉曼光谱技术在物质组成鉴定方面的工作,并对拉曼光谱的预处理过程、分析方法以及人工智能的应用进行了详细的评述。本文综述了拉曼光谱在物质组成鉴定方面的工作,并对拉曼光谱的预处理过程、分析方法以及人工智能的应用进行了综述。最后,详细讨论了拉曼光谱的优缺点和发展前景。
2021-04-05 cs.LG eess.SP physics.chem-ph
MixAR: Mixture Autoregressive Image Generation
Tsinghua University(清华大学);Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(Mohamed bin Zayed人工智能大学);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Carnegie Mellon University(卡内基梅隆大学)
针对离散AR图像生成保真度受限、连续AR建模难度高的问题,提出MixAR混合自回归框架,设计多种离散-连续混合策略与TI-Mix机制,平衡效率与保真度并实现训练推理分布一致。
2025-11-15 cs.CV cs.LG
Bounds and Identification of Joint Probabilities of Potential Outcomes and Observed Variables under Monotonicity Assumptions
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出新的单调性假设家族,解决离散处理和有序结果下潜在结果与观测变量联合概率的界与识别问题,并通过实验验证方法有效性。
2026-02-21 cs.LG stat.ML
Boosting the Predictive Accurary of Singer Identification Using Discrete Wavelet Transform For Feature Extraction
African Institute for Mathematical Sciences(非洲数学科学研究所);ETH Zurich(苏黎世联邦理工学院);Rochester Institute of Technology(罗切斯特理工学院)
面对当今音乐领域的多样性和增长,寻找精确的歌曲变得越来越复杂。歌手的身份有助于这种搜索。在这个项目中,我们专注于识别歌手的问题,通过使用不同的方法进行特征提取。特别地,我们引入离散小波变换(DWT)用于此目的。据我们所知,DWT以前从未在歌手识别的背景下以这种方式使用过。这一进程包括三个关键部分。首先,利用鲁棒主成分分析(RPCA)将人声信号从背景音乐中分离出来。其次,从所获得的语音信号中提取特征。在这里,我们的目标是研究的离散小波变换(DWT)的性能相比,梅尔频率倒谱系数(MFCC),这是最常用的技术在音频信号。最后,我们进行了两种方法的歌手的识别实验:支持向量机(SVM)和高斯混合模型(GMM)。我们的结论是,对于4个歌手和200首歌曲的数据集,最好的识别系统由DWT(db4)特征提取结合线性支持向量机识别的平均准确率为83.96%,在这项工作中介绍。
2021-01-31 cs.LG cs.SD eess.AS
Nonlinear Discrete-time System Identification without Persistence of Excitation: Finite-time Concurrent Learning Methods
KIOS Research and Innovation Center of Excellence(KIOS卓越研究与创新中心);University of Cyprus(塞浦路斯大学)
研究了离散非线性系统动态特性未知的有限时间学习问题,不要求激励持续性。提出了两种有限时间并行学习方法,利用当前数据和经验数据在线逼近离散非线性系统的不确定性,该方法满足一个易于检验的秩条件,与激励持续性条件相比,该秩条件的限制较小.对于所提出的有限时间并行学习方法,严格的证明保证有限时间收敛的估计参数的最优值的基础上离散时间李雅普诺夫分析。仿真结果表明,与现有文献相比,所提方法能够及时、准确地逼近不确定性。
2022-05-15 cs.LG cs.SY eess.SY
BrainNet-MoE: Brain-Inspired Mixture-of-Experts Learning for Neurological Disease Identification
The University of Texas at Arlington(德克萨斯大学阿灵顿分校);Indiana University Indianapolis(印第安纳大学印第安纳波利斯分校);University of Cambridge(剑桥大学);University of Sheffield(谢菲尔德大学);The University of Georgia(佐治亚大学)
本文提出受脑分层组织启发的BrainNet-MoE模型,通过疾病特异性专家群组、门控机制与transformer通信实现AD与LBD的准确鉴别,兼具高分类精度与可解释性。
2025-03-05 cs.AI cs.LG q-bio.NC
Diverse Influence Component Analysis: A Geometric Approach to Nonlinear Mixture Identifiability
School of Electrical Engineering and Computer Science(电气工程与计算机科学学院);Oregon State University(俄勒冈州立大学)
针对非线性混合下潜在成分识别难题,提出基于混合函数雅可比凸几何的DICA框架与J-VolMax准则,无需辅助信息等常见假设即可实现可辨识性,拓展了相关分析范畴。
2025-10-21 cs.LG
Gaussian Latent Dirichlet Allocation for Discrete Human State Discovery
University of Texas, Austin(德克萨斯大学奥斯汀分校);University of California, Berkeley(加州大学伯克利分校)
在这篇文章中,我们提出并验证了一个无监督的概率模型,高斯潜在狄利克雷分配(GLDA),从多个,本质上不同的,个人收集的重复,多变量的心理生理样本的离散状态发现的问题。心理学和医学研究大量涉及测量潜在相关的,但个别不确定的变量从一组参与者得出诊断,需要聚类分析。传统的概率聚类模型,如高斯混合模型(GMM)假设的成分分布的全局混合,这可能是不现实的观察来自不同的患者。GLDA模型借鉴了自然语言处理中流行的主题模型潜在狄利克雷分配(LDA)中的个体特定混合结构,并将其与GMM的高斯分量分布相融合,以适应连续类型的数据。我们使用STAN(一种概率建模语言)实现了GLDA,并将其应用于两个数据集,一个包含生态瞬时评估(EMA),另一个来自心电图和心阻抗图的心脏测量。我们发现,在这两个数据集中,GLDA学习的类权重与临床评估的抑郁,焦虑和压力评分的相关性显著高于基线GMM产生的相关性。我们的研究结果表明,GLDA在从重复的多变量数据中发现人类状态方面优于传统的有限混合模型,这可能是由于更好地表征了潜在的潜在参与者之间的差异。未来的工作需要验证该模型在更广泛的应用中的效用。
2022-06-28 cs.LG
The Unreasonable Effectiveness of Discrete-Time Gaussian Process Mixtures for Robot Policy Learning
Department of Computer Science, University of Freiburg, Germany(弗赖堡大学计算机科学系)
提出MiDiGap方法,利用少量演示和相机观测,通过离散时间高斯过程混合实现机器人操作策略的灵活表示与模仿学习,在长时域、高约束、动态和多模态任务上取得SOTA性能,并支持推理时引导。
2026-06-11 cs.AI cs.LG cs.RO