Feature Learning for Nonlinear Dimensionality Reduction toward Maximal Extraction of Hidden Patterns
University of California, Davis（加利福尼亚大学戴维斯分校）
在高维数据的可视化分析中，先验性约简（DR）起着至关重要的作用。DR的一个主要目的是揭示隐藏在内在低维流形上的模式。然而，当流形被某些有影响力的数据属性扭曲或掩盖时，DR经常忽略重要的模式。本文提出了一种特征学习框架FEALM，旨在为非线性DR生成一组优化的数据投影，以捕获隐藏流形中的重要模式。这些投影产生最大程度不同的最近邻图，从而得到的DR结果显著不同。为了实现这样的能力，我们设计了一个优化算法，以及引入一个新的图相异度的措施，命名为邻居形状相异度。此外，我们开发了交互式可视化，以帮助比较所获得的DR结果和每个DR结果的解释。我们证明FEALM的有效性，通过实验和案例研究，使用合成和真实世界的数据集。
2023-02-24 cs.LG stat.ML
On the achievability of blind source separation for high-dimensional nonlinear source mixtures
RIKEN Center for Brain Science（理化学研究所脑科学中心）；The University of Tokyo（东京大学）
多年来，主成分分析（PCA）和独立成分分析（ICA）的组合被用于盲源分离（BSS）。然而，目前还不清楚为什么这些线性方法与涉及非线性源混合的真实世界数据很好地工作。这项工作从理论上验证了线性PCA和ICA的级联可以准确地解决非线性BSS问题-当传感器输入通过具有足够维度的非线性映射从隐藏源生成时。我们提出的定理，称为渐近线性化定理，理论上保证了应用线性PCA的输入可以可靠地提取一个子空间跨越的线性投影从每个隐藏的源作为主要成分-从而投影到其主要特征空间的输入可以有效地恢复隐藏的源的线性变换。然后，随后应用线性ICA可以分离出所有真正独立的隐藏源准确。当信源维数很大且输入维数充分大于信源维数时，零元误差非线性盲源分离是渐近实现的。我们提出的定理是验证解析和数值。此外，同样的计算可以通过使用Hebbian类可塑性规则来执行，这意味着这种非线性BSS策略的生物相容性。我们的研究结果突出了线性PCA和ICA在准确可靠地恢复非线性混合源方面的实用性，并进一步表明了采用具有足够维度的传感器来识别真实世界数据的真正隐藏源的重要性。
2020-12-13 cs.LG stat.ML
Bayesian Hidden Physics Models: Uncertainty Quantification for Discovery of Nonlinear Partial Differential Operators from Data
GE Research（通用电气研究中心）
关于物理学，数据告诉了我们什么，它们没有告诉我们什么？人们对使用机器学习模型从数据中发现微分方程等支配性物理定律的兴趣激增，但目前的方法缺乏不确定性量化来传达其可信度。这项工作从贝叶斯的角度解决了这个缺点。我们介绍了一种新的模型，包括“叶”模块，学习代表不同的实验的时空功能数据作为神经网络和一个单一的“根”模块，表示其管理的非线性微分算子作为高斯过程的非参数分布。自动微分用于从叶函数计算所需的偏导数作为根的输入。我们的方法量化的可靠性的学习物理学的后验分布在运营商和传播这种不确定性的解决方案的新的初边值问题的实例。数值实验证明了该方法对几个非线性偏微分方程。
2020-06-07 cs.LG stat.ML
Hidden Physics Models: Machine Learning of Nonlinear Partial Differential Equations
Brown University（布朗大学）
虽然目前对“大数据”有很多热情，但有用的数据通常是“小”的，而且获取成本很高。在本文中，我们提出了一个新的范式学习偏微分方程从{\em小}数据。特别是，我们介绍了\emph{hidden physics models}，这基本上是数据高效的学习机器，能够利用物理学的基本定律，表示时间依赖性和非线性偏微分方程，从实验产生的高维数据中提取模式。所提出的方法可应用于学习问题，系统辨识，或偏微分方程的数据驱动的发现。我们的框架依赖于高斯过程，这是一种功能强大的概率推理工具，使我们能够在模型复杂性和数据拟合之间取得平衡。所提出的方法的有效性证明通过各种典型的问题，跨越了一些科学领域，包括Navier-Stokes，薛定谔，Kuramoto-Sivashinsky，和时间相关的线性分数方程。该方法为利用应用数学和数学物理中经典方法的长期发展提供了一个有希望的新方向，以设计能够在复杂领域中操作而无需大量数据的学习机器。
2017-08-21 cs.AI cs.LG math.AP
Approximate Bayesian Computation for an Explicit-Duration Hidden Markov Model of COVID-19 Hospital Trajectories
Tufts University（塔夫茨大学）；Tufts Medical Center（塔夫茨医疗中心）
我们致力于解决在COVID-19疫情期间对有限的医院资源进行建模的问题，以告知决策者未来的需求，并评估可能干预措施的社会价值。对于广泛的适用性，我们专注于常见但具有挑战性的情况下，患者水平的数据，为感兴趣的区域不可用。相反，给定每日入院计数，我们对观察到的资源使用的汇总计数进行建模，例如普通病房、重症监护病房或呼吸机上的患者数量。为了解释个体患者轨迹如何产生这些计数，我们提出了一个总计数显式持续时间隐马尔可夫模型，绰号ACED-HMM，具有可解释的，紧凑的参数化。我们开发了一种近似贝叶斯计算方法，该方法从模型的过渡和持续时间参数的后验分布中提取样本，从而使模型适应于感兴趣的区域或单个医院站点。然后，可以使用来自该后验的样本来产生任何感兴趣的计数的未来预测。使用来自美国和英国的数据，我们表明，我们的机械方法提供了有竞争力的概率预测，即使在大流行的动态变化。此外，我们还展示了我们的模型如何提供有关恢复概率或住院时间分布的见解，并建议其有可能回答有关可能干预措施的社会价值的具有挑战性的假设问题。
2021-07-28 cs.LG stat.AP stat.ML
Persistent Hidden States and Nonlinear Transformation for Long Short-Term Memory
Handong Global University（韩东国际大学）
递归神经网络在语音识别、神经机器翻译等领域有着广泛的应用。长短期记忆（LSTM）是深度学习应用中最受欢迎的RNN单元之一。LSTM通过仿射变换、乘法运算和非线性激活函数将输入和前一个隐藏状态转换为下一个状态，为给定任务提供了良好的数据表示。仿射变换包括旋转和反射，它们改变了隐藏状态中维度的语义或语法信息。然而，考虑到模型在整个输入序列上解释LSTM的输出序列，无论在序列中的位置如何，状态的维度都需要保持相同类型的语义或语法信息。在本文中，我们提出了LSTM单元的一个简单变体，持久递归单元（PRU），其中隐藏状态的每个维度在时间上保持持久信息，因此空间在整个序列上保持相同的意义。此外，为了提高非线性变换能力，我们在PRU结构中加入了前馈层。在实验中，我们用三种不同的任务评估了我们提出的方法，结果证实我们的方法比传统的LSTM具有更好的性能。
2018-12-07 cs.CL cs.LG stat.ML
Mutual information for fitting deep nonlinear models
Pacific Northwest National Laboratory（太平洋西北国家实验室）
深度非线性模型由于缺乏对隐藏层的了解以及初始层和观察层的潜在非仿射关系而对拟合参数提出了挑战。在目前的工作中，我们调查使用信息理论的措施，如互信息和Kullback-Leibler（KL）的分歧作为目标函数，用于拟合这样的模型没有知识的隐藏层。我们研究一个模型作为概念的证明和认知性能的一个应用。我们进一步研究使用这些方法的优化。互信息作为一个目标在很大程度上是成功的，这取决于参数。KL发散被发现是类似的成功，给出了一些知识的隐藏层的统计。
2016-12-17 cs.LG math.OC stat.ML
Local Canonical Correlation Analysis for Nonlinear Common Variables Discovery
Technion – Israel Institute of Technology（以色列理工学院）
在本文中，我们解决的问题，隐藏的公共变量发现非线性高维观测的多峰数据集。我们提出了一种基于典型相关分析（CCA）局部应用的度量方法，并将其与基于核的流形学习技术相结合，通过估计多模态观测值之间的欧氏距离，发现了隐藏在多模态观测值背后的公共变量。我们的方法可以被看作是CCA的扩展到非线性设置，以及流形学习的扩展到多个数据集。实验结果表明，我们的方法确实发现的共同变量的高维非线性观测，而无需事先假设刚性模型假设。
2016-06-14 cs.LG stat.ML
A Method of Generating Random Weights and Biases in Feedforward Neural Networks with Random Hidden Nodes
Czestochowa University of Technology（琴斯特霍瓦技术大学）
具有随机隐节点的神经网络越来越受到研究者和实际应用的关注。这是由于其独特的功能，如非常快速的训练和通用的近似属性。在这些网络中，决定非线性特征映射的隐藏节点的权重和偏置是随机设置的，并且不需要学习。适当地选择用于选择权重和偏差的区间是极其重要的。这一主题尚未在文献中得到充分探讨。在这项工作中，提出了一种生成随机权重和偏差的方法。该方法生成隐节点的参数，使得激活函数的非线性片段位于具有数据的输入空间区域中，并可用于构造逼近非线性目标函数的曲面。权重和偏置取决于输入数据范围和激活函数类型。所提出的方法允许我们控制模型的泛化程度。这些都导致网络的逼近性能的改善。几个实验显示出非常有希望的结果。
2017-10-13 cs.LG cs.NE stat.ML
Learning Stochastic Behaviour from Aggregate Data
Georgia Institute of Technology（佐治亚理工学院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
从聚集数据中学习非线性动力学是一个具有挑战性的问题，因为每个个体的完整轨迹是不可用的，即在一个时间点观察到的个体可能在下一个时间点观察不到，或者个体的身份不可用。这与大多数现有方法所基于的具有完整轨迹数据的学习动态形成鲜明对比。我们提出了一种新的方法，使用Fokker Planck方程（FPE）的弱形式-一个偏微分方程-来描述采样形式的数据的密度演化，然后在训练过程中将其与Wasserstein生成对抗网络（WGAN）相结合。在这样一个基于样本的框架中，我们能够从聚合数据中学习非线性动力学，而无需显式求解偏微分方程（PDE）FPE。我们展示了我们的方法的背景下，一系列的合成和现实世界的数据集。
2021-06-07 cs.LG math.AP stat.ML
Blind Construction of Optimal Nonlinear Recursive Predictors for Discrete Sequences
University of Michigan（密歇根大学）
在最小结构假设下，提出了一种离散随机序列非线性预测的新方法。我们给出了一个数学结构的隐马尔可夫模型的形式，这样的过程的最佳预测。然后，我们描述了一种算法，CSSR（Cause-State Splitting Reconstruction），它近似于理想的预测数据。我们讨论了CSSR的可靠性，它的数据要求，以及它在模拟中的性能。最后，我们将我们的方法与使用可变长度马尔可夫模型和交叉验证的隐马尔可夫模型的现有方法进行比较，并从理论和实验上表明，我们的方法提供的结果优于前者，至少与后者相当。
2014-08-09 cs.LG stat.ML
SINDy vs Hard Nonlinearities and Hidden Dynamics: a Benchmarking Study
Politecnico di Milano（米兰理工大学）；Eindhoven University of Technology（埃因霍温理工大学）
本文通过三个非线性辨识基准评估 SINDy，揭示其在隐藏状态与非光滑动力学下的局限，并提出实操改进方法以扩展其在真实控制系统中的应用。
2024-03-01 cs.LG cs.SY eess.SY
Learning Deep Representation Without Parameter Inference for Nonlinear Dimensionality Reduction
无监督深度学习是最强大的表示学习技术之一。受限玻尔兹曼机、稀疏编码、正则化自动编码器和卷积神经网络是深度学习的先驱构建模块。本文提出了一种新的构造块--分布随机模型。该方法是专家乘积的一种特殊的完全实现：（1）每个专家拥有多个隐单元，不同的专家拥有不同数量的隐单元;（ii）每个专家的模型是k-中心聚类，其k-中心仅是均匀采样的示例，并且其输出（即隐藏单元）是仅保留来自几个最近邻居的相似性值的稀疏码。最后，分析了该方法与当前研究热点、几个主要研究方向之间的关系。实验结果表明，该深度模型能够学习到比深度信念网络更好的表示，同时可以用比深度信念网络更少的时间训练更大的网络。
2014-01-02 cs.LG stat.ML
Disentanglement Analysis in Deep Latent Variable Models Matching Aggregate Posterior Distributions
The University of Utah（犹他大学）；Kahlert School of Computing（卡勒特计算机学院）；SCI
本文提出一种统计方法评估任意深度潜变量模型的解耦，发现表示生成因子的潜向量，解决潜变量未与潜轴对齐的问题，并在两个数据集上验证优势。
2025-01-26 cs.LG stat.ML
DRL-STAF: A Deep Reinforcement Learning Framework for State-Aware Forecasting of Complex Multivariate Hidden Markov Processes
Department of Industrial Engineering, Tsinghua University, Beijing 100084, China（清华大学工业工程系）；Department of Industrial and Systems Engineering, University of Iowa, Iowa City, IA 52242, USA（爱荷华大学工业与系统工程系）
本文提出DRL-STAF框架，通过深度强化学习联合预测下一步观测并估计对应的隐状态，解决多变量隐马尔可夫过程中的非线性和非平稳性问题，优于HMM变体和深度学习模型。
2026-05-14 cs.LG stat.AP
Deep Hidden Physics Models: Deep Learning of Nonlinear Partial Differential Equations
Division of Applied Mathematics, Brown University（布朗大学应用数学系）
本文提出深度学习方法，从散乱且可能含噪声的观测数据中发现非线性偏微分方程，通过两个深度神经网络近似未知解及非线性动力学，验证了该方法在多个科学领域基准问题中的有效性。
2018-01-20 cs.LG cs.NA math.AP
Inference with Aggregate Data: An Optimal Transport Approach
Georgia Institute of Technology（佐治亚理工学院）；KTH Royal Institute of Technology（瑞典皇家理工学院）
我们认为推理（过滤）问题的概率图模型与聚合数据产生的一个大的人口的个人。提出了一种新的树结构图上的有效的置信传播算法，该算法具有多项式计算复杂性和全局收敛性保证。这与以前的方法相反，这些方法要么随着人口的增长而表现出令人望而却步的复杂性，要么不保证收敛。我们的方法是基于最优运输，或更具体地说，多边际最优运输理论。特别是，我们考虑一个推理问题与总的意见，可以被看作是一个结构化的多边际最优运输问题的成本函数分解根据底层图。因此，著名的Sinkhorn/迭代缩放算法的多边际最优运输可以利用标准的信念传播算法一起建立一个有效的推理方案，我们称之为Sinkhorn信念传播（SBP）。我们进一步专门的SBP算法的情况下，由于其控制和估计的意义与隐马尔可夫模型。我们证明了我们的算法的应用程序，如推断人口流动的聚集观察的性能。我们还表明，在特殊的情况下，观察是由一个单独的，我们的算法自然减少到标准的信念传播算法。
2020-10-03 cs.LG cs.SY eess.SY
Numerical Computation of Partial Differential Equations by Hidden-Layer Concatenated Extreme Learning Machine
Purdue University（普渡大学）；Center for Computational and Applied Mathematics（计算与应用数学中心）；Department of Mathematics（数学系）
极端学习机（ELM）方法可以产生线性/非线性偏微分方程（PDE）的高精度解，但是要求神经网络的最后隐藏层宽以实现高精度。如果最后一个隐藏层较窄，则现有ELM方法的准确性将较差，而与网络配置的其余部分无关。在本文中，我们提出了一个修改的ELM方法，称为HLConcELM（隐藏层级联ELM），以克服上述缺点的传统ELM方法。HLConcELM方法可以产生高精度的解决方案，线性/非线性偏微分方程时，最后隐藏层的网络是窄的，当它是宽的。新方法是基于一种类型的修改的前馈神经网络（FNN），被称为HLConcFNN（隐藏层级联FNN），它采用了一个逻辑级联的网络中的隐藏层，并暴露所有的隐藏节点的输出层节点。HLConcFNN有一个有趣的性质，即给定一个网络结构，当附加的隐藏层被附加到网络上时，或者当额外的节点被添加到现有的隐藏层上时，与新结构相关联的HLConcFNN的表示能力保证不小于原始网络结构的表示能力。这里的表示能力是指给定架构的神经网络可以精确表示的所有函数的集合。我们提出了大量的基准测试与线性/非线性偏微分方程的HLConcELM方法的计算精度和性能和优越性，这种方法的传统ELM从以前的作品。
2022-05-15 cs.LG cs.NA math.NA
Learning Representation for Mixed Data Types with a Nonlinear Deep Encoder-Decoder Framework
Gartner（高德纳）；Walmart Labs（沃尔玛实验室）
混合变量，数值和分类类型的数据表示，以获得合适的特征映射是一项具有挑战性的任务，因为重要的信息在于一个复杂的非线性流形。特征变换应该能够同时包含单个变量的边缘信息和混合类型变量之间复杂的交叉依赖结构。在这项工作中，我们提出了一种新的非线性深度编码器-解码器框架来捕获混合数据类型的跨域信息。网络的隐藏层通过各种非线性变换将两种类型的变量连接起来，以给出潜在的特征映射。我们将数值变量的信息编码在一些隐藏的非线性单元中。我们使用这些单位通过进一步的非线性变换来重新创建分类变量。开发了一个单独的和类似的网络，切换数值变量和分类变量的角色。隐藏的代表性单位堆叠一个接一个的其他和转换到一个共同的空间使用局部保持投影。导出的特征图用于探索数据中的聚类。各种标准的数据集进行了调查，以显示几乎最先进的性能，在使用简单的K-均值聚类的特征映射的聚类。
2020-09-21 cs.LG stat.AP
Real-time deep learning phase imaging flow cytometer reveals blood cell aggregate biomarkers for haematology diagnostics
Technical University of Munich（慕尼黑工业大学）；TUMCREATE；Bioinformatics Institute, Agency for Science, Technology and Research（科技研究局生物信息研究所）；TUM University Hospital（TUM大学医院）；National University of Singapore（新加坡国立大学）；National University Hospital（新加坡国立大学医院）；German Center for Infection Research (DZIF)（德国感染研究中心）；Infectious Diseases Labs (AIDL), Agency for Science, Technology and Research（科技研究局传染病实验室）；Nanyang Technological University（南洋理工大学）；Centre for Frontier AI Research, Agency for Science, Technology and Research（科技研究局前沿人工智能研究中心）
针对自动化血液学难以分析罕见血细胞聚集体的问题，提出端到端深度学习框架RT-HAD，结合物理一致的全息重建与图表示识别聚集体，实时处理>30GB数据，检测错误率8.9%，满足即时诊断需求。
2025-08-11 cs.AI cs.CV cs.LG
Blind Construction of Optimal Nonlinear Recursive Predictors for Discrete Sequences
在最小结构假设下，提出了一种离散随机序列非线性预测的新方法。我们给出了一个数学结构的隐马尔可夫模型的形式，这样的过程的最佳预测。然后，我们描述了一种算法，CSSR（Cause-State Splitting Reconstruction），它近似于理想的预测数据。我们讨论了CSSR的可靠性，它的数据要求，以及它在模拟中的性能。最后，我们将我们的方法与使用可变长度马尔可夫模型和交叉验证隐马尔可夫模型的现有方法进行比较，并从理论和实验上表明，我们的方法提供的结果优于前者，至少与后者相当。
2004-06-06 cs.LG math.ST nlin.CD
Understanding Generalizability of Diffusion Models Requires Rethinking the Hidden Gaussian Structure
University of Michigan（密歇根大学）
本研究通过分析得分函数隐藏特性发现扩散模型从记忆到泛化时非线性去噪器线性增强，其线性对应物近似多元高斯最优去噪器，揭示模型利用训练数据高斯结构的归纳偏置，为理解强泛化现象提供关键见解。
2024-12-02 cs.CV cs.LG eess.IV
