Information-Theoretic Characterization of the Generalization Error for Iterative Semi-Supervised Learning
National University of Singapore(新加坡国立大学)
使用信息理论的原则,我们认为迭代半监督学习(SSL)算法的泛化误差(gen-error),迭代生成伪标签的大量未标记的数据,逐步完善的模型参数。与以前大多数{ \em绑定} gen-error的工作相比,我们提供了gen-error的{ \em exact}表达式,并将其具体化为二进制高斯混合模型。我们的理论结果表明,当类的条件方差不是太大,gen-error随着迭代次数的减少,但很快饱和。另一方面,如果类条件方差(以及类之间的重叠量)很大,则gen-error随着迭代次数的增加而增加。为了减轻这种不良影响,我们证明了正则化可以减少gen-error。在MNIST和CIFAR数据集上进行的大量实验证实了理论结果,其中我们注意到,对于易于区分的类,gen-error在几次伪标记迭代后有所改善,但之后饱和,对于更难区分的类,正则化提高了泛化性能。
2022-09-18 cs.IT cs.LG math.IT
Incremental Transductive Learning Approaches to Schistosomiasis Vector Classification
Ulster University(阿尔斯特大学)
为我们的分析目的收集流行病数据的关键问题是,这是一个劳动密集、耗时和昂贵的过程,导致我们用来开发预测模型的样本数据稀少。为了解决这一稀疏的数据问题,我们提出了新的增量Transductive方法,以规避数据汇集过程中,通过应用以前获得的数据提供一致的,基于信心的标签替代实地调查研究。我们研究了半监督机器学习的各种推理方法,包括标记数据的贝叶斯模型。结果表明,使用所提出的方法,我们可以标记数据的实例与一类向量密度在一个高的置信水平。通过应用自由和严格的训练方法,我们提供了一个标签和分类替代独立的算法。本文中的方法是减少血吸虫病扩散及其影响过程中的组成部分。
2017-04-06 cs.LG
Modeling Stochastic Conditional Dynamics from Sparse Observations via Kernel-Stabilized Flow Matching
Georgia Institute of Technology(佐治亚理工学院);Sandia National Laboratories(桑地亚国家实验室)
提出条件变量流匹配(CVFM)框架,通过联合采样状态和条件变量流,利用条件不匹配核和Wasserstein距离重加权目标,从稀疏非配对数据中学习条件分布的时间演化,在材料结构建模中表现更优。
2026-06-06 cs.LG
Joint estimation of sparse multivariate regression and conditional graphical models
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
多元回归模型是对经典的一元回归模型的自然推广,用于拟合多个响应.在本文中,我们提出了一个高维多元条件回归模型,用于构造多元回归系数矩阵的稀疏估计,该矩阵考虑了多个响应之间的依赖结构。所提出的方法分解成一系列的惩罚条件对数似然的协变量和其他响应的条件下的每个响应的多元回归问题。它允许同时估计稀疏回归系数矩阵和稀疏逆协方差阵。针对协变量的发散维度和响应数量建立了渐进选择一致性和正态性。所提出的方法的有效性也证明了在各种模拟的例子,以及应用程序的多形性胶质母细胞瘤癌症数据。
2013-06-19 cs.LG stat.ML
Conditional Sparse Coding and Grouped Multivariate Regression
Carnegie Mellon University(卡内基梅隆大学);University of Chicago(芝加哥大学)
我们研究的问题,多元回归的数据是自然分组,回归矩阵是估计为每组。我们提出了一种方法,在该方法中,低秩参数矩阵的字典估计跨组,和字典元素的稀疏线性组合估计在每个组内形成一个模型。我们将该方法称为条件稀疏编码,因为它是以协变量向量X为条件的响应向量Y的编码过程。这种方法捕获跨组的共享信息,同时适应每个组内的结构。它利用了在计算机视觉和计算神经科学中成功开发的稀疏编码背后的相同直觉。我们提出了一种算法的条件稀疏编码,分析其理论性质的预测精度,并提出了模拟和脑成像实验的结果,比较新技术,以减少秩回归。
2012-06-27 cs.LG stat.ML
Conditional WGANs with Adaptive Gradient Balancing for Sparse MRI Reconstruction
GE Global Research(GE全球研究中心);Tel Aviv University(特拉维夫大学);GE Healthcare(GE医疗)
最近的稀疏MRI重建模型使用深度神经网络(DNN)从高度欠采样的k空间数据重建相对高质量的图像,从而实现更快的MRI扫描。然而,这些技术有时很难重建清晰的图像,在保持自然外观的同时保留精细的细节。在这项工作中,我们通过使用条件Wasserstein生成对抗网络结合一种新的自适应梯度平衡技术来提高图像质量,该技术可以稳定训练并最大限度地减少伪影程度,同时保持高质量的重建,从而产生比其他技术更清晰的图像。
2019-05-02 cs.LG eess.IV stat.ML
Semi-Supervised Active Learning for Semantic Segmentation in Unknown Environments Using Informative Path Planning
University of Bonn(波恩大学);University of Oxford(牛津大学)
针对未知环境下预训练语义分割模型性能受限、现有主动学习方法标注成本高的问题,提出结合信息路径规划的半监督主动学习方法,融合人工标注与伪标签,在降低标注量的同时实现接近全监督的分割性能。
2024-01-26 cs.LG cs.RO
EigenNet: A Bayesian hybrid of generative and conditional models for sparse learning
Purdue University(普渡大学)
在高维空间中选择相关变量是一个具有挑战性的任务。为了应对这一挑战,人们开发了弹性网,并成功应用于许多应用。尽管弹性网络取得了巨大的成功,但它并没有明确地使用数据中嵌入的相关信息来选择相关变量。为了克服这一局限性,我们提出了一种新的贝叶斯混合模型,特征网,使用数据的特征结构来指导变量选择。具体来说,它集成了一个稀疏的条件分类模型与生成模型捕捉变量的相关性在一个原则性的贝叶斯框架。我们重新参数化的混合模型的特征空间,以避免过度拟合,并提高其MCMC采样器的计算效率。此外,我们从正则化的角度提供了一个替代的观点的特征网络:特征网络有一个自适应的基于特征空间的复合正则化,自然推广的$l_{1/2}$正则化所使用的弹性网络。对合成数据和真实数据的实验表明,特征网在预测精度方面明显优于套索、弹性网和贝叶斯套索,特别是当训练样本数小于变量数时。
2011-02-08 cs.LG
Conditional Uncorrelation and Efficient Non-approximate Subset Selection in Sparse Regression
Xi’an Jiaotong University(西安交通大学);State Key Laboratory of Management and Control for Complex Systems(复杂系统管理与控制国家重点实验室)
给定$m$ $d$ -维响应变量和$n$ $d$ -维预测变量,稀疏回归为线性近似$1\leq k \leq d-1$的每个响应变量找到最多$k$预测变量.稀疏回归中的关键问题是子集选择,这通常具有很高的计算代价。近年来,提出了许多改进的近似子集选择方法。然而,非近似的子集选择方法却很少受到关注,而这对于数据分析中的许多问题是非常必要的。本文从相关性的角度考虑稀疏回归问题,给出了条件不相关性的计算公式。在此基础上,提出了一种有效的非近似子集选择方法,该方法不需要计算回归方程中的任何系数。通过该方法,稀疏回归中每个候选子集的计算复杂性从$O(\frac{1}{6}{k^3}+mk^2+mkd)$降低到$O(\frac{1}{6}{k^3}+\frac{1}{2}mk^2)$。由于维数$d$一般为观测或实验的个数且足够大,因此该方法可以大大提高非近似子集选择的效率。
2020-11-24 cs.LG stat.ML
Generalized Conditional Gradient for Sparse Estimation
University of Alberta(阿尔伯塔大学);National ICT Australia (NICTA)(澳大利亚国家信息通信技术中心);The Australian National University(澳大利亚国立大学)
结构稀疏性是一种重要的建模工具,它扩展了凸公式在数据分析中的适用性,但它也为有效的算法设计带来了重大挑战。在本文中,我们研究了广义条件梯度(GCG)算法解决结构稀疏最优化问题--证明,与一些增强,它可以提供一个更有效的替代目前的最先进的方法。在全面概述了GCG的收敛特性后,我们开发了有效的方法来评估极算子,这是一个子程序,需要在每个GCG迭代。特别是,我们展示了如何在两个重要的场景中有效地评估极坐标算子:字典学习和结构化稀疏估计。通过将GCG与固定秩局部子空间优化交织,实现了进一步的改进。一系列的矩阵补全、多类分类、多视图字典学习和重叠组套索实验表明,该方法可以显著降低当前备选方案的训练成本。
2014-10-17 cs.LG math.OC stat.ML
Decentralized Personalized Federated Learning based on a Conditional Sparse-to-Sparser Scheme
School of Computing Science, University of Glasgow(格拉斯哥大学计算科学学院);College of Finance and Statistics, Hunan University(湖南大学金融与统计学院)
提出DA-DPFL稀疏至更稀疏训练方案,通过动态聚合逐步减少模型参数,在保持测试精度的同时显著降低能耗并证明其收敛性。
2024-07-22 cs.AI cs.LG
Conditional Sparse Linear Regression
Washington University in St. Louis(圣路易斯华盛顿大学)
机器学习和统计学通常专注于构建捕获绝大多数数据的模型,可能会忽略一小部分数据作为“噪音”或“离群值”。“相比之下,在这里我们考虑联合识别一个重要的(但可能很小的)群体部分的问题,其中有一个高度稀疏的线性回归拟合,以及线性拟合的系数。我们认为,这些任务是有趣的,因为模型本身可能能够在这种特殊情况下实现更好的预测,但也因为它们可以帮助我们理解的数据。我们给这样的问题的算法下的超级规范,当这个未知的部分人口描述的k-DNF条件和回归拟合是s-稀疏常数k和s。对于回归拟合不太稀疏或使用期望误差时该问题的变体,我们也给出了初步的算法,并强调该问题是未来工作的挑战。
2016-08-18 cs.DS cs.LG stat.ML
OceanMoE: Structured Conditional Sparse Computation for Long-Horizon Multivariate Ocean Forecasting
Hangzhou Institute for Advanced Study, University of the Chinese Academy of Sciences(中国科学院大学杭州高等研究院);Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心)
OceanMoE提出结构化条件稀疏混合专家框架,通过内容条件路由与地理偏差平衡共享背景与特化,在长时程ORAS5预报中降低误差并保持优势。
2026-09-18 cs.LG
Safe Screening for Sparse Conditional Random Fields
The Hong Kong University of Science and Technology(香港科技大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
稀疏条件随机场(CRF)是计算机视觉和自然语言处理中用于结构化预测的一种强大技术。然而,在大规模应用中解决稀疏CRF仍然具有挑战性。在本文中,我们提出了一种新的安全的动态筛选方法,利用一个准确的双重最佳估计,以识别和删除不相关的功能在训练过程中。因此,问题的大小可以不断减小,从而大大节省了计算成本,而不会牺牲最终学习模型的任何精度。据我们所知,这是第一个筛选方法,它引入了双重最佳估计技术-通过仔细探索和利用强凸性和复杂结构的双重问题-在静态筛选方法动态筛选。这样,我们可以吸收静态和动态筛选方法的优点,避免它们的缺点。我们的估计将比基于对偶间隙的估计更准确,这有助于更强的筛选规则。此外,我们的方法也是第一个筛选方法在稀疏CRF,甚至结构预测模型。在合成数据集和真实数据集上的实验结果表明,该方法具有显著的加速比。
2021-11-27 cs.CV cs.LG stat.ML
Conditional Diffusion Posterior Alignment for Sparse-View CT Reconstruction
Swiss Data Science Center (SDSC) in Paul Scherrer Institute (PSI)(瑞士数据科学中心(SDSC)在保罗·舍勒研究所(PSI));Swiss Data Science Center (SDSC) and ETH Zurich(瑞士数据科学中心(SDSC)和苏黎世联邦理工学院);Swiss Data Science Center (SDSC) and Paul Scherrer Institute (PSI)(瑞士数据科学中心(SDSC)和保罗·舍勒研究所(PSI))
本文提出CDPA方法,结合条件扩散与显式数据一致性,解决稀疏视图CT重建中3D体积扩展问题,通过2D U-Net模型提升切片一致性,并在合成和真实CBCT数据上取得最佳性能。
2026-09-03 cs.CV cs.LG eess.IV
A Conditional Randomization Test for Sparse Logistic Regression in High-Dimension
Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会);CNRS(法国国家科学研究中心)
在高维空间中,如何确定分类模型中的相关变量并使其具有正确的置信水平是一个中心而又困难的任务。尽管稀疏逻辑斯谛回归在统计学和机器学习中的核心作用,但它仍然缺乏在特征$p$的数量与样本$n$的数量一样大或更大的情况下进行准确推断的良好解决方案。在这里,我们通过改进条件随机化测试(CRT)来解决这个问题。原始CRT算法显示出输出p值的希望,同时对检验统计量的分布做了很少的假设。由于它具有令人望而却步的计算成本,即使在轻度高维问题,更快的解决方案的基础上蒸馏已被提出。然而,它们依赖于不切实际的假设,并导致低功耗的解决方案。为了改善这一点,我们提出了\emph{CRT-logit},一种算法,它结合了变量蒸馏步骤和去相关步骤,考虑到$\ell_1$惩罚逻辑斯谛回归问题的几何形状。我们提供了这个过程的理论分析,并证明了其有效性的模拟,以及大规模的脑成像和基因组学数据集上的实验。
2022-05-29 cs.LG math.ST stat.ML
Conditional Sparse $\ell_p$-norm Regression With Optimal Probability
Washington University in St. Louis(圣路易斯华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
我们考虑下面的条件线性回归问题:任务是识别(i)$k$条件$c$和(ii)线性规则$f$,使得$c$的概率(近似)至少是某个给定的约束$μ$,并且$f$最小化在以$c$为条件的示例分布中预测目标$z$的$\ell_p$损失.因此,任务是识别线性规则可以提供良好拟合的分布的一部分。在简单的、可学习的规则只能准确地对分布的一部分进行建模的情况下,此任务的算法非常有用。这种算法的现有技术只能保证在概率条件$μ$存在时找到概率条件$Ω(μ/n^k)$,并实现目标损失的$O(n^k)$近似,其中$n$是布尔属性的数量。在这里,我们给出了有效的算法来解决这个任务的条件$c$,几乎匹配的概率的理想条件,同时也提高了近似的目标损失。我们还给出了一个算法,找到一个$k$ -DNF参考类预测在一个给定的查询点,得到一个稀疏的回归拟合,损失在$O(n^k)$最佳的所有稀疏回归参数和足够大的$k$ -DNF参考类包含查询点。
2018-06-26 cs.DS cs.LG stat.ML
Combiner: Full Attention Transformer with Sparse Computation Cost
Stanford University(斯坦福大学);Google Research(谷歌研究院);University of Alberta(阿尔伯塔大学)
Transformers提供了一类对序列建模非常有效的表达架构。然而,Transformers的关键限制是它们的二次记忆和时间复杂度$\mathcal{O}(L^2)$相对于序列长度在注意层,这限制了应用在极长的序列。大多数现有的方法利用稀疏或低秩的假设在注意力矩阵,以降低成本,但牺牲表现力。相反,我们提出了组合器,它提供了充分的注意力能力,在每个注意力头,同时保持低的计算和内存的复杂性。其核心思想是将自我注意机制视为对每个位置嵌入的条件期望,并使用结构化因子分解来近似条件分布。每个位置都可以通过直接注意或间接注意抽象来关注所有其他位置,这些抽象也是对来自相应局部区域的嵌入的条件期望。我们发现,在现有的稀疏Transformers中使用的大多数稀疏注意模式能够激发充分注意的这种因式分解的设计,从而导致相同的次二次成本($\mathcal{O}(L\log(L))$或$\mathcal{O}(L\sqrt{L})$)。Combiner是现有Transformers中注意层的替代品,可以在通用框架中轻松实现。对自回归和双向序列任务的实验评估证明了这种方法的有效性,在几个图像和文本建模任务上产生了最先进的结果。
2021-10-28 cs.CL cs.CV cs.LG
Don't Forget It! Conditional Sparse Autoencoder Clamping Works for Unlearning
本文利用稀疏自编码器识别gemma-2-2b中的WMDP有害概念,并通过特征引导降低其回答有害问题的能力且保留无害任务性能,验证了基于SAE的显式知识遗忘可行性。
2025-03-14 cs.AI cs.LG
Semi-Unsupervised Learning: Clustering and Classifying using Ultra-Sparse Labels
University of Oxford(牛津大学);Alan Turing Institute(艾伦·图灵研究所)
在分类的半监督学习中,假设数据的每个地面真值类都存在于小标记数据集中。许多真实世界的稀疏标记数据集显然不是这种类型。很容易出现这样的情况:某些类别的数据只在未标记的数据集中找到--也许标记过程是有偏见的--所以我们没有任何标记的例子来训练某些类别。我们称这种学习机制为$\textit{semi-unsupervised learning}$,这是半监督学习的一种极端情况,其中某些类在训练集中没有标记的样本。首先,我们概述了与尝试将基于深度生成模型(DGM)的半监督学习算法应用于此类数据集相关的陷阱。然后,我们展示了如何结合聚类和半监督学习,使用DGMs,可以带来承担这个问题。我们研究了几个不同的数据集,展示了当一半的地面真值类完全未标记而另一半标记稀疏时,如何仍然可以有效地学习。
2021-01-08 cs.LG stat.ML
GeoCFM: Positive-Only Conditional Flow Matching for Mineral Occurrence Sampling
Ben-Gurion University of the Negev(内盖夫本-古里安大学);University of British Columbia(不列颠哥伦比亚大学)
针对矿产发现中仅正例的稀疏监督问题,提出条件流匹配模型GeoCFM,学习赋存位置的条件分布,在合成与真实数据上优于基线并表征不确定性。
2026-09-29 cs.LG
Efficient Spatially Sparse Inference for Conditional GANs and Diffusion Models
Massachusetts Institute of Technology(麻省理工学院);Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
提出空间稀疏推理(SSI)和稀疏增量生成引擎(SIGE),通过缓存并重用未编辑区域特征,仅对编辑区域计算,在现成硬件上显著加速条件GAN与扩散模型的图像编辑。
2023-09-13 cs.CV cs.GR cs.LG
More Experts Than Galaxies: Conditionally-overlapping Experts With Biologically-Inspired Fixed Routing
University of Colorado Boulder(科罗拉多大学博尔德分校);National Institute of Mental Health(美国国家精神卫生研究所);Johannes Gutenberg University Mainz(美因茨约翰内斯·古腾堡大学);University of Chicago(芝加哥大学);Google DeepMind(谷歌DeepMind)
针对标准神经网络多任务学习干扰及现有稀疏方法缺陷,提出条件重叠专家混合模型COMET,采用生物启发式固定随机投影实现模块化稀疏架构,提升学习速度与泛化能力,在多任务上验证有效。
2025-02-11 cs.LG
Delta-AI: Local objectives for amortized inference in sparse graphical models
Mila – Québec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
研究人员提出Δ-AI算法,利用PGM稀疏性实现局部信用分配,基于GFlowNets风格损失实现离策略训练且加速,在合成PGM和稀疏因子结构隐变量模型上验证其有效性。
2026-09-01 cs.LG stat.ML
Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
Google Brain(谷歌大脑);Jagiellonian University(雅盖隆大学)
神经网络吸收信息的能力受到其参数数量的限制。条件计算,其中网络的部分在每个示例的基础上是活跃的,在理论上已经被提出作为一种显着增加模型容量而不按比例增加计算的方法。然而,在实践中,存在显著的算法和性能挑战。在这项工作中,我们解决了这些挑战,并最终实现了条件计算的承诺,实现了模型容量的1000倍以上的改进,而现代GPU集群的计算效率只有轻微的损失。我们引入了一个稀疏门控混合专家模型层(MoE),由多达数千个前馈子网络。可训练的门控网络确定这些专家的稀疏组合以用于每个示例。我们将MoE应用于语言建模和机器翻译的任务,其中模型容量对于吸收训练语料库中的大量知识至关重要。我们提出了模型架构,其中具有高达1370亿个参数的MoE在堆叠的LSTM层之间以卷积方式应用。在大型语言建模和机器翻译基准测试中,这些模型以更低的计算成本获得了比最先进的模型更好的结果。
2017-01-23 cs.CL cs.LG cs.NE
Sparse Ising Models with Covariates
University of Michigan(密歇根大学);Fred Hutchinson Cancer Research Center(弗雷德·哈钦森癌症研究中心)
为了理解变量之间的条件依赖关系,已经有大量的工作将伊辛模型拟合到多变量二进制数据。然而,额外的协变量经常与二进制数据一起记录,并且可能影响依赖关系。出于这样一个数据集的基因组不稳定性收集的几种类型的肿瘤样本,我们提出了一个稀疏的协变量依赖伊辛模型研究的条件依赖性的二进制数据及其与其他协变量的关系。这导致了特定于受试者的伊辛模型,其中受试者的协变量影响基因之间的关联强度。在所有探索性数据分析中,结果的可解释性很重要,我们使用L1罚分来诱导拟合图和选定协变量数量的稀疏性。提出了两种模型拟合算法,并在一组模拟数据上进行了比较,建立了渐近结果。肿瘤数据集上的结果及其生物学意义进行了详细讨论。
2012-09-27 cs.LG stat.ML
Sequential sparse Gaussian process quantile regression
Inria(法国国家信息与自动化研究所);Center for Applied Mathematics, École polytechnique, Institut Polytechnique de Paris(巴黎综合理工学院应用数学中心);CNRS(法国国家科学研究中心)
提出一种稀疏高斯过程框架,通过拉普拉斯近似进行后验推断,并利用预测不确定性分解驱动诱导点填充和数据获取的序贯算法,以高效实现贝叶斯分位数回归。
2026-10-22 cs.LG stat.ML
Self-Supervised Learning via Conditional Motion Propagation
The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学)
智能代理自然地从运动中学习。各种自监督算法已经利用运动线索来学习有效的视觉表示。这里的障碍是,运动是模糊和复杂的,使以前的作品要么遭受降低学习效率,或诉诸于对象运动的强假设。在这项工作中,我们设计了一个新的从运动中学习的范例来弥合这些差距。而不是明确建模的运动概率,我们设计的借口任务作为一个有条件的运动传播问题。给定一个输入图像和几个稀疏的流引导向量,我们的框架试图恢复完整的图像运动。与其他替代方案相比,我们的框架具有几个吸引人的特性:(1)在训练期间使用稀疏流指导解决了固有的运动模糊性,从而简化了特征学习。(2)解决有条件运动传播的借口任务鼓励了具有更大表达能力的运动学声音表示的出现。大量的实验表明,我们的框架学习结构和连贯的功能,并实现了最先进的自我监督性能的几个下游任务,包括语义分割,实例分割,和人类解析。此外,我们的框架被成功地扩展到几个有用的应用程序,如半自动像素级注释。项目页面:“http://mmlab.ie.cuhk.edu.hk/projects/CMP/“。
2019-04-25 cs.CV cs.LG
S2cGAN: Semi-Supervised Training of Conditional GANs with Fewer Labels
Microsoft Research India(微软印度研究院)
生成对抗网络(GANs)在学习复杂的高维实数分布和生成真实样本方面非常成功。但是,它们对生成过程的控制有限。条件GANs(cGANs)提供了一种通过根据用户定义的输入调节输出来控制生成过程的机制。虽然训练GANs只需要无监督的数据,但训练cGANs需要标记的数据,这可能非常昂贵。我们提出了一个cGAN的半监督训练框架,它利用稀疏标签来学习条件映射,同时利用大量的无监督数据来学习无条件分布。我们证明了我们的方法在多个数据集和不同的条件任务的有效性。
2020-10-23 cs.CV cs.LG stat.ML
Lossless Point Cloud Geometry and Attribute Compression Using a Learned Conditional Probability Model
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)(弗里德里希-亚历山大-埃尔兰根-纽伦堡大学)
本文提出一种基于稀疏张量深度神经网络的无损点云压缩方法,统一表示几何与颜色属性,构建自回归上下文模型,相比MPEG方法总比特率降低22.6%。
2024-03-20 cs.LG eess.IV
Variational Smoothing and Inference for SDEs from Sparse Data with Dynamic Neural Flows
Department of Mathematics(数学系);Louisiana State University(路易斯安那州立大学)
本文提出基于动态神经流的变分平滑方法,通过条件后向时间分数建模SDEs,实现高效轨迹采样和参数估计,实验表明在非线性系统中具有更高的可扩展性。
2026-05-07 cs.LG math.PR stat.ML
Mixtures of Sparse Autoregressive Networks
University of Chicago(芝加哥大学)
我们考虑通过自回归网络的高维分布估计。通过结合稀疏性,混合物和参数共享的概念,我们得到了一个简单的模型,它是快速的训练,并实现了国家的最先进的或更好的结果在几个标准的基准数据集。具体来说,我们使用L1罚正则化的条件分布,并介绍了一个自动参数共享混合组分之间的过程。此外,我们提出了一个简单的分布式表示,允许精确的似然评估,因为潜在变量与可观察变量交织,可以很容易地集成出来。我们的模型实现了出色的泛化性能,并可扩展到极高的维度。
2016-04-26 cs.LG stat.ML