Generated Loss, Augmented Training, and Multiscale VAE
Google LLC(谷歌有限责任公司)
变分自编码器(VAE)框架仍然是训练无监督生成模型的流行选择,特别是对于离散数据,其中生成对抗网络(GANs)需要解决方案来为生成器创建梯度。在我们的工作建模美国邮政地址,我们表明,我们的离散VAE与树递归架构表现出有限的能力,捕捉结构化数据内的字段相关性,即使在克服了后崩溃的挑战与预定的采样和调整的KL-发散权$β$。更糟糕的是,VAE似乎很难将其生成的样本映射到潜在空间,因为它们的VAE损失在训练过程中滞后甚至增加。出于这一观察,我们表明,增强训练数据与生成的变体(增强训练)和训练VAE与多个值的$β$同时(多尺度VAE)都提高了生成质量的VAE。尽管它们在动机和重点上存在差异,但我们发现增强训练和多尺度VAE实际上是相互联系的,并且对模型有类似的影响。
2019-04-23 cs.LG stat.ML
Weakly-supervised Dictionary Learning
Oregon State University(俄勒冈州立大学)
我们提出了一个概率建模和推理框架的判别分析字典学习下的弱监督设置。字典学习方法已被广泛用于低级别信号去噪和恢复以及高级分类任务等任务,这些任务可应用于音频和图像分析。综合字典学习旨在联合学习字典和相应的稀疏系数,以提供准确的数据表示。这种方法对于去噪和信号恢复是有用的,但可能导致次优分类性能。相比之下,分析字典学习提供了一种将数据映射到适合分类的稀疏判别表示的变换。我们考虑了弱监督设置下的时间序列数据的分析字典学习问题,其中信号被分配有全局标签而不是瞬时标签信号。我们提出了一个歧视性的概率模型,采用基数控制的潜在瞬时标签信号的标签信息和稀疏性约束。我们提出了期望最大化(EM)的最大似然估计(MLE)的建议模型的过程。为了便于计算效率的E-步骤,我们提出了一个链和一个新的树图的图形模型的重新制定。所提出的模型的性能证明在合成和真实世界的数据。
2018-02-05 cs.LG eess.SP stat.ML
Scene Parsing with Multiscale Feature Learning, Purity Trees, and Optimal Covers
New York University(纽约大学);Université Paris-Est(巴黎东大学);ESIEE Paris(巴黎高等电子工程师学院)
场景解析,或称语义分割,是将图像中的每个像素标记为它所属的对象类别。它是一个具有挑战性的任务,涉及到同时检测,分割和识别的所有对象的图像。这里提出的场景解析方法开始计算从像素相异性图的段树。同时,计算一组密集的特征向量,其编码以每个像素为中心的多个大小的区域。特征提取器是从原始像素训练的多尺度卷积网络。与由树中的每个节点覆盖的段相关联的特征向量被聚集并馈送到分类器,该分类器产生段中包含的对象类别的分布的估计。然后选择覆盖图像的树节点的子集,以最大化类分布的平均“纯度”,从而最大化每个片段将包含单个对象的总体可能性。卷积网络特征提取器是从原始像素进行端到端训练的,从而减轻了对工程特征的需求。训练后,系统是无参数的。该系统在斯坦福背景数据集(8类)、Sift Flow数据集(33类)和巴塞罗那数据集(170类)上产生创纪录的精度,同时比竞争方法快一个数量级,在不到1秒的时间内产生320 \times 240图像标记。
2012-07-13 cs.CV cs.LG
Detecting Structural Irregularity in Electronic Dictionaries Using Language Modeling
University of Maryland(马里兰大学)
字典通常使用保存到基于可扩展置标语言(XML)的标准的工具来开发。这些标准通常允许高级重复元素表示词汇条目,并利用这些重复元素的后代以XML树的形式表示每个词汇条目内的结构。在许多情况下,出版的字典中有错误和不一致之处,手动查找这些错误和不一致之处的成本很高。本文讨论了一种利用统计语言模型快速审计词典词条结构规则性的方法。该方法学习XML树中可能出现的XML节点的模式,然后计算字典中每个XML树与这些模式的概率,以查找偏离规范的条目。
2014-10-29 cs.CL cs.LG
Coarse- and fine-scale geometric information content of Multiclass Classification and implied Data-driven Intelligence
University of California, Davis(加州大学戴维斯分校)
在由特征集指定的标记点云集合定义的任何多类分类(MCC)设置下,我们仅从所有可能的点云三元组中提取随机偏序,而无需显式测量三个云到云的距离。我们证明了这样一个集体的偏序可以有效地计算一个标签嵌入树的几何标签空间。这棵树反过来又产生了一个预测图,或一个具有精确加权链接的网络。这两个多尺度的几何形状被认为是MCC的粗尺度信息内容。它们确实共同揭示了关于标签为什么以及如何产生的可解释知识,并通过数据支持的潜在多个候选标签促进了无错误预测。为了揭示标签内的异质性,我们进一步进行标记自然发现的集群内的每个点云,同样派生多尺度几何作为其精细尺度的信息内容包含在数据中。这种精细尺度的努力表明,我们的计算建议确实是可扩展的MCC设置具有较大的标签空间。总的来说,计算出的数据驱动模式和知识的多尺度集合将作为构建关于感兴趣系统的可见和可解释的主题智能的基础。
2021-04-15 cs.LG stat.ML
Sparse-promoting Full Waveform Inversion based on Online Orthonormal Dictionary Learning
Center for Energy and Geo Processing (CeGP) at Georgia Tech and KFUPM(乔治亚理工学院与法赫德国国石油矿物大学能源与地球处理中心)
全波形反演(FWI)通过迭代地最小化记录的和计算的地震资料之间的失配来提供地下的高分辨率图像。它已经成功地攻击高斯-牛顿方法和稀疏促进正则化的基础上固定的多尺度变换,允许显着的子采样的地震资料时,在每个FWI数据拟合迭代的模型扰动可以表示与稀疏系数。而不是使用分析变换与预定义的字典,以实现稀疏表示,我们引入了一个自适应变换称为稀疏正交变换(SOT),其字典是从许多小的训练补丁从模型扰动在以前的迭代学习。基于补丁的字典被约束为正交规范,并使用在线方法进行训练,以提供整个模型扰动的复杂特征和变化的最佳稀疏表示。训练方法的复杂度与一个小块中样本数量的立方成正比。通过将压缩子采样和基于自适应SOT的表示结合到每个FWI迭代的高斯-牛顿最小二乘问题中,可以在对SOT系数应用l1范数稀疏约束之后恢复模型扰动。合成模型的数值实验表明,基于SOT的稀疏促进正则化可以提供强大的FWI结果,减少计算。
2016-11-04 cs.LG cs.NA math.NA
Kernel Treelets
University of California Santa Barbara(加州大学圣巴巴拉分校)
提出了一种新的层次聚类方法。它结合了Trevet,一个特定的多尺度分解的数据,与再生核希尔伯特空间上的投影。所提出的方法,称为核Trexing(KT),有效地替代了相关系数矩阵Trexing中使用的对称,半正定矩阵有效地构建从核函数。与大多数要求数据集为数值的聚类方法不同,KT可以应用于更一般的数据,并直接在特征空间中基于数据产生多分辨率序列。通过实例说明了KT在聚类分析中的有效性和潜力。
2018-12-12 cs.LG stat.ME stat.ML
PRISM: A hierarchical multiscale approach for time series forecasting
University of Pennsylvania(宾夕法尼亚大学)
PRISM通过分层多尺度方法提升多变量时间序列预测的准确性,结合树形结构和时间-频率基提取特征,实现全局与局部动态的联合建模。
2025-12-31 cs.LG
EML-CD: Causal Mechanism Recovery via EML Symbolic Trees in Structure Learning
SoftBank Corp(软银公司)
提出EML-CD框架,利用EML算子构建可解释的因果机制符号树,从数据中自动发现闭式因果方程,在真实和合成数据上实现了机制恢复与结构学习的平衡。
2026-06-04 cs.LG stat.ML
Multiscale Hodge Scattering Networks for Data Analysis
Department of Mathematics, University of California, Davis(加州大学戴维斯分校数学系)
本文提出多尺度霍奇散射网络,利用多尺度基字典进行信号分析,具备抗重排性和多尺度池化能力,适用于信号分类、领域分类和分子动力学预测。
2025-09-23 cs.LG cs.NA cs.SI
When Trees Are Not Enough: Learning Mixed-Topology Feature Graphs with Adaptive Graph Sparse Autoencoders
University of Arizona(亚利桑那大学);Iowa State University(爱荷华州立大学);Old Dominion University(欧道明大学)
提出自适应图稀疏自编码器(AG-SAE),通过竞争完整父集学习混合拓扑特征图,以结构损失引导训练并闭环优化字典,实现比树结构更可靠的特征组织与更强因果干预。
2026-09-30 cs.CL cs.LG
Online Dictionary Learning Based Fault and Cyber Attack Detection for Power Systems
University of California, Santa Cruz(加州大学圣克鲁兹分校)
新兴的广域监测系统(WAMS)带来了电网的态势感知的显着改善。然而,新引入的系统可能会增加网络攻击的风险,这些攻击可能会伪装成正常的物理干扰。本文利用流数据采掘分类器(Hoeffding adaptive tree)和半监督学习技术来处理事件和入侵检测问题,以准确区分网络攻击和常规系统扰动。首先,我们提出的方法通过从未标记的数据中学习更高级别的特征来构建字典。然后,标记的数据表示为学习的字典原子的稀疏线性组合。我们利用这些稀疏代码来训练在线分类器以及有效的变化检测器。我们用工业控制系统网络攻击数据集进行数值实验。我们考虑五种不同的情况:短路故障,线路维护,远程跳闸命令注入,继电器设置的变化,以及错误的数据注入。数据是基于修改后的IEEE 9总线系统生成的。仿真结果表明,我们提出的方法优于国家的最先进的方法。
2021-08-24 cs.CR cs.LG cs.SY
Tree-Structured Orthonormal Decomposition of the Aitchison Simplex
National Institute of Information and Communications Technology, Japan(日本信息与通信技术国家研究所)
提出PolyILR方法,利用树结构对成分数据进行正交分解,在微生物组和单细胞数据中生成稳定可解释的特征,并建立与softmax分类器的理论联系。
2026-06-11 cs.LG q-bio.QM stat.ML
ShapBPT: Image Feature Attributions Using Data-Aware Binary Partition Trees
本文提出ShapBPT,一种基于层次Shapley公式的数据感知图像可视化方法,通过多尺度二进制划分树结构提升图像特征归因的效率与语义意义。
2026-03-25 cs.CV cs.LG
CosmoBench: A Multiscale, Multiview, Multitask Cosmology Benchmark for Geometric Deep Learning
Centers for Computational Mathematics(计算数学中心);Computational Astrophysics(计算天文学);University of Oxford(牛津大学);Seoul National University(首尔国立大学);Princeton University(普林斯顿大学)
本文提出 CosmoBench,一个大规模宇宙学基准数据集,包含点云和有向树,用于多任务几何深度学习,并提供基线模型以推动宇宙学与机器学习结合的科学发现。
2025-11-03 astro-ph.CO astro-ph.IM cs.LG
Multi-field Visualization: Trait design and trait-induced merge trees
针对多场数据分析中特征水平集的特征设计与特征选择难题,提出特征笛卡尔分解与自动推荐方法,并构建特征诱导合并树实现拓扑层次化特征查询,通过多领域案例验证了跨应用有效性。
2025-01-08 cs.GR cs.LG
From Specific to Generic Learned Sorted Set Dictionaries: A Theoretically Sound Paradigm Yelding Competitive Data Structural Boosters in Practice
Universitá degli Studi di Palermo(巴勒莫大学)
本研究提出一种通用范式,可为任意有序集合字典生成学习型版本,理论实现最优二叉搜索森林和动态匹配经典字典时间界限,实验证明其竞争力。
2023-09-02 cs.AI cs.DB cs.DS