Inequality Constraints in Causal Models with Hidden Variables
我们提出了一类不等式约束的分布诱导的局部干预的因果贝叶斯网络，其中一些变量仍然不可测的变量。我们得出的因果关系的影响，不直接测量随机实验的界限。我们得到了非实验分布的工具不等式型约束。这些结果在用观测或实验数据检验因果模型中有应用。
2012-06-27 cs.AI stat.ME
Parameter identifiability of discrete Bayesian networks with hidden variables
参数的可识别性是统计模型在大多数环境中有用的基本属性。然而，建立隐变量贝叶斯网络的参数可识别性仍然具有挑战性。在有限状态空间的背景下，我们给出了代数参数建立一些特殊的模型上的小DAG的可识别性。我们还建立，对于固定的状态空间，通用的参数识别性只取决于马尔可夫等价类的DAG。为了说明这些结果的使用，我们研究了所有二元贝叶斯网络的可识别性，最多有五个变量，其中之一是隐藏的，所有可观察的父母。令人惊讶的是，其中一些模型的参数化一般是4比1，而不是隐藏状态的标签交换所建议的2比1。这导致了解释因果效应的有趣困难。
2014-06-02 math.ST stat.TH
Feature Learning for Nonlinear Dimensionality Reduction toward Maximal Extraction of Hidden Patterns
University of California, Davis（加利福尼亚大学戴维斯分校）
在高维数据的可视化分析中，先验性约简（DR）起着至关重要的作用。DR的一个主要目的是揭示隐藏在内在低维流形上的模式。然而，当流形被某些有影响力的数据属性扭曲或掩盖时，DR经常忽略重要的模式。本文提出了一种特征学习框架FEALM，旨在为非线性DR生成一组优化的数据投影，以捕获隐藏流形中的重要模式。这些投影产生最大程度不同的最近邻图，从而得到的DR结果显著不同。为了实现这样的能力，我们设计了一个优化算法，以及引入一个新的图相异度的措施，命名为邻居形状相异度。此外，我们开发了交互式可视化，以帮助比较所获得的DR结果和每个DR结果的解释。我们证明FEALM的有效性，通过实验和案例研究，使用合成和真实世界的数据集。
2023-02-24 cs.LG stat.ML
On the achievability of blind source separation for high-dimensional nonlinear source mixtures
RIKEN Center for Brain Science（理化学研究所脑科学中心）；The University of Tokyo（东京大学）
多年来，主成分分析（PCA）和独立成分分析（ICA）的组合被用于盲源分离（BSS）。然而，目前还不清楚为什么这些线性方法与涉及非线性源混合的真实世界数据很好地工作。这项工作从理论上验证了线性PCA和ICA的级联可以准确地解决非线性BSS问题-当传感器输入通过具有足够维度的非线性映射从隐藏源生成时。我们提出的定理，称为渐近线性化定理，理论上保证了应用线性PCA的输入可以可靠地提取一个子空间跨越的线性投影从每个隐藏的源作为主要成分-从而投影到其主要特征空间的输入可以有效地恢复隐藏的源的线性变换。然后，随后应用线性ICA可以分离出所有真正独立的隐藏源准确。当信源维数很大且输入维数充分大于信源维数时，零元误差非线性盲源分离是渐近实现的。我们提出的定理是验证解析和数值。此外，同样的计算可以通过使用Hebbian类可塑性规则来执行，这意味着这种非线性BSS策略的生物相容性。我们的研究结果突出了线性PCA和ICA在准确可靠地恢复非线性混合源方面的实用性，并进一步表明了采用具有足够维度的传感器来识别真实世界数据的真正隐藏源的重要性。
2020-12-13 cs.LG stat.ML
Optimal bump functions for shallow ReLU networks: Weight decay, depth separation and the curse of dimensionality
Texas A&M University（德克萨斯农工大学）
在本文中，我们研究了具有单个隐藏层和ReLU激活的神经网络如何插值从径向对称分布中提取的数据，其中目标标签1位于原点，0位于单位球外部，如果单位球内部没有标签。通过权值衰减正则化，在无限数据极限下，证明了存在唯一的径向对称极小元，其权值衰减正则化子和Lipschitz常数分别以$d$和$\sqrt{d}$的形式增长.我们还表明，重量衰减正则化增长指数$d$如果标签$1$施加在一个球的半径$\varepsilon$，而不仅仅是在原点。相比之下，具有两个隐藏层的神经网络可以近似目标函数而不会遇到维数灾难。
2022-09-02 cs.LG stat.ML
Learning Deep Representation Without Parameter Inference for Nonlinear Dimensionality Reduction
无监督深度学习是最强大的表示学习技术之一。受限玻尔兹曼机、稀疏编码、正则化自动编码器和卷积神经网络是深度学习的先驱构建模块。本文提出了一种新的构造块--分布随机模型。该方法是专家乘积的一种特殊的完全实现：（1）每个专家拥有多个隐单元，不同的专家拥有不同数量的隐单元;（ii）每个专家的模型是k-中心聚类，其k-中心仅是均匀采样的示例，并且其输出（即隐藏单元）是仅保留来自几个最近邻居的相似性值的稀疏码。最后，分析了该方法与当前研究热点、几个主要研究方向之间的关系。实验结果表明，该深度模型能够学习到比深度信念网络更好的表示，同时可以用比深度信念网络更少的时间训练更大的网络。
2014-01-02 cs.LG stat.ML
A Neural Network for Determination of Latent Dimensionality in Nonnegative Matrix Factorization
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
非负矩阵分解（Non-negative Matrix Factorization，NMF）是一种有效的无监督学习方法，可用于发现复杂和噪声数据中隐藏的特征，在数据采掘、文本识别、降维、人脸识别、异常检测、盲声源分离等领域有着广泛的应用。NMF的一个重要输入是数据的潜在维度，也就是说，在探索的数据集中存在的隐藏特征的数量K。不幸的是，这个数量很少先验地知道。我们利用监督机器学习方法结合最近的模型确定方法，称为NMFk，自动确定隐藏特征的数量。NMFk对通过自举初始数据集获得的矩阵集合执行一组NMF模拟，并确定哪个K产生稳定的潜在特征组，这些特征组可以很好地重建初始数据集。然后，我们训练一个多层感知器（MLP）分类器网络，以确定正确的潜在特征的数量，利用NMF解决方案的统计和特征，从NMFk获得。为了训练MLP分类器，用NMFk对具有预定潜在特征的58，660个矩阵的训练集进行因子分解。MLP分类器结合NMFk在应用于保持的测试集时保持大于95%的成功率。此外，当应用于两个著名的基准数据集，游泳者和麻省理工学院的脸数据，NMFk/MLP正确地恢复了隐藏功能的既定数量。最后，我们比较了我们的方法的准确性ARD，AIC和基于稳定性的方法。
2020-06-22 cs.LG stat.ML
A Hidden Variables Approach to Multilabel Logistic Regression
University of Florida（佛罗里达大学）
多标签分类是文本分类、音乐标注等领域的一个重要问题。在本文中，我们提出了一个概率模型，多标签逻辑回归与隐藏变量（MLRH），它扩展了标准的逻辑回归通过引入隐藏变量。隐藏变量使其有可能超越传统的多类逻辑回归放松one-hot编码约束。我们定义了一个新的标签和隐藏变量的联合分布，使我们能够获得一个多标签分类器。我们在一组基准数据集上的实验研究表明，与其他多标签学习算法相比，概率模型可以获得具有竞争力的性能。
2019-12-03 cs.LG stat.ML
Policy Search with High-Dimensional Context Variables
The University of Tokyo（东京大学）；Technical University of Darmstadt（达姆施塔特工业大学）；RIKEN（日本理化学研究所）
直接上下文策略搜索方法学习改进策略参数，同时将这些参数推广到不同的上下文或任务变量。然而，从高维上下文变量（如相机图像）中学习仍然是许多现实任务中的一个突出问题。将无监督降维方法（例如主成分分析）幼稚地应用于上下文变量是不够的，因为任务相关输入可能被忽略。在基于模型的相对熵随机搜索框架下，提出了一种结合降维的上下文策略搜索方法。我们学习一个奖励模型，该模型在策略参数和上下文变量中都是局部二次的。此外，我们通过核范数正则化对上下文变量进行监督线性降维。实验结果表明，该方法优于朴素的降维通过主成分分析和最先进的上下文策略搜索方法。
2016-11-10 cs.LG stat.ML
Learning From Hidden Traits: Joint Factor Analysis and Latent Clustering
University of Minnesota（明尼苏达大学）
先验性降低技术在数据分析、信号处理和机器学习中起着至关重要的作用。简化通常在预处理阶段执行，该预处理阶段与后续的数据分析（例如聚类或分类）分开。找到适合预期任务的降维表示更有吸引力。本文提出了一种联合因子分析和潜在聚类框架，旨在学习矩阵和张量数据的聚类感知低维表示。所提出的方法利用矩阵和张量因子分解模型，这些模型产生数据的基本上唯一的潜在表示，以解开潜在的集群结构-由于在潜在空间中应用倾斜变换的自由，否则会被掩盖。同时，利用潜在聚类结构作为先验信息，提高了分解的性能。具体的贡献包括几个定制的问题配方，相应的算法，并讨论相关的收敛性能。除了广泛的模拟，真实世界的数据集，如路透社的文档数据和MNIST图像数据也被用来展示所提出的方法的有效性。
2016-05-21 cs.LG stat.ML
Stochastic Bottleneck: Rateless Auto-Encoder for Flexible Dimensionality Reduction
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
我们提出了一个新的概念，无比率自动编码器（RL-AE），使一个灵活的潜在的维度，它可以无缝地调整不同的失真和维度的要求。在建议的RL-AE，而不是一个确定性的瓶颈架构，我们使用一个过完备的表示，是随机正则化加权辍学，在一种类似于稀疏AE（SAE）的方式。与SAE不同，我们的RL-AE在潜在表示节点上采用单调增加的退出率，使得潜在变量按重要性排序，如主成分分析（PCA）。这是由传统PCA的无比率属性激发的，其中最不重要的主成分可以被丢弃以实现可变速率降维，从而优雅地降低失真。相比之下，由于传统AE的潜变量对于数据重建同样重要，因此在训练AE模型之后不能简单地丢弃它们以进一步降低维度。我们提出的随机瓶颈框架可以实现无缝的速率自适应，具有高重建性能，而不需要在训练时预先确定潜在的维度。我们的实验表明，建议RL-AE可以实现可变的降维，同时实现低失真相比，传统的AE。
2020-05-06 cs.CV cs.LG eess.IV
Semiparametric Inference For Causal Effects In Graphical Models With Hidden Variables
Williams College（威廉姆斯学院）；Emory University（埃默里大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
研究了隐变量有向无环图因果模型中因果效应的辨识理论。然而，相应的算法未得到充分利用，由于估计的识别泛函，他们的输出的复杂性。在这项工作中，我们弥合了识别和估计涉及单一治疗和单一结果的人群水平因果效应之间的差距。我们推导出基于影响函数的估计，表现出双重的鲁棒性，在一个大类的隐变量DAG的治疗满足一个简单的图形标准，这一类包括模型产生的调整和前门泛函作为特殊情况下的识别效果。我们还提供了必要和充分的条件下，一个隐藏的变量DAG的统计模型是非参数饱和，并意味着没有观察到的数据分布的等式约束。此外，我们推导出一类重要的隐变量DAG，这意味着观察到的数据分布观测等价（等式约束）充分观察到的DAG。在这些类别的DAG，我们推导出估计，实现半参数的有效性界限的目标感兴趣的治疗满足我们的图形标准。最后，我们提供了一个健全的和完整的识别算法，直接产生一个基于权重的估计策略，任何可识别的影响，隐藏变量因果模型。
2022-10-13 cs.LG stat.ML
Marginal Structured SVM with Hidden Variables
University of California, Irvine（加州大学欧文分校）
在这项工作中，我们提出了边缘结构支持向量机（MSSVM）的隐变量结构预测。MSSVM适当地考虑了隐藏变量的不确定性，并且可以显着优于先前提出的潜在结构化SVM（LSSVM; Yu & Joachims（2009））和其他最先进的方法，特别是当不确定性很大时。我们的方法还产生了更平滑的目标函数，使得MSSVM的基于梯度的优化比LSSVM收敛得更快。我们还表明，我们的方法始终优于隐藏的条件随机场（HCRF; Quattoni et al.（2007））在模拟和真实世界的数据集。此外，我们提出了一个统一的框架，包括我们和其他几个现有的方法作为特例，并提供了在实践中不同模型的比较见解。
2014-09-05 cs.LG stat.ML
Shallow diffusion networks provably learn hidden low-dimensional structure
Carnegie Mellon University（卡内基梅隆大学）；Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学研究所）；University of Southern California（南加州大学）；University of Pennsylvania（宾夕法尼亚大学）
本文分析了单层神经网络的Barron空间上的扩散模型学习，证明浅层扩散网络能自适应低维结构从而避免维度灾难，并给出了端到端的样本复杂度界限。
2024-10-15 cs.LG stat.ML
Restricted Boltzmann Machine with Multivalued Hidden Variables: a model suppressing over-fitting
ALBERT Inc.（阿尔伯特公司）；Graduate School of Science and Engineering, Yamagata University（山形大学理工学研究生院）
泛化是机器学习中最重要的问题之一。在这项研究中，我们考虑在限制玻尔兹曼机（RBM）的推广。我们提出了一个多值隐变量的RBM，这是一个简单的扩展传统的RBM。我们证明了该模型是优于传统的模型，通过数值实验的对比发散学习与人工数据和分类问题与MNIST。
2020-01-08 cs.LG stat.ML
Learning State Transition Rules from Hidden Layers of Restricted Boltzmann Machines
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）；National Institute of Informatics（国立信息学研究所）
理解系统的动力学在许多科学和工程领域中是重要的。这个问题可以通过使用机器学习技术从观察中学习状态转换规则来解决。这种观测到的时间序列数据通常由许多具有噪声和模糊性的连续变量的序列组成，但我们通常需要可以用几个基本变量建模的动态规则。在这项工作中，我们提出了一种方法，从高维时间序列数据中提取少量的基本隐变量，并学习这些隐变量之间的状态转换规则。所提出的方法是基于限制玻尔兹曼机（RBM），在可见层和隐藏层中的潜在功能，可观察到的数据。然而，真实世界的数据，如视频和音频，包括离散和连续变量，这些变量具有时间关系。因此，我们提出了递归时间GaussianBernoulli限制玻尔兹曼机（RTGB-RBM），它结合了Gaussian-Bernoulli限制玻尔兹曼机（GB-RBM）来处理连续的可见变量，和递归时间限制玻尔兹曼机（RT-RBM）来捕获离散隐变量之间的时间依赖性。我们还提出了一个基于规则的方法，提取必要的信息作为隐藏变量，并表示状态转换规则的可解释的形式。我们在弹跳球和移动MNIST数据集上进行实验，以评估我们提出的方法。实验结果表明，该方法可以学习这些物理系统的动力学行为作为隐变量之间的状态转换规则，并可以从观测到的状态转换中预测未观测到的未来状态。
2022-12-07 cs.AI cs.LG
When Dimensionality Hurts: The Role of LLM Embedding Compression for Noisy Regression Tasks
University of Oxford（牛津大学）
本文研究LLM嵌入压缩在不同信噪比回归任务中的作用，发现自编码器压缩嵌入可缓解过拟合并提升金融收益预测等噪声任务性能，但在高因果依赖任务中会降低性能，表明情感等可解释压缩表示的成功可能源于正则化效应。
2025-02-04 cs.CE cs.CL cs.LG
