Transformers in Time-series Analysis: A Tutorial
Moffitt Cancer Center(莫菲特癌症中心);Rowan University(罗文大学)
本教程系统介绍Transformer架构及其在时间序列分析中的应用,涵盖核心组件、改进方法及训练最佳实践,为相关研究提供全面指导。
2023-07-01 cs.LG
A tutorial on discovering and quantifying the effect of latent causal sources of multimodal EHR data
Department of Biomedical Informatics Vanderbilt University Medical Center(生物医学信息学系范德堡大学医学中心);Department of Biomedical Informatics University of Pittsburgh(生物医学信息学系匹兹堡大学);Departments of Medicine & Biomedical Informatics Vanderbilt University Medical Center(医学与生物医学信息学系范德堡大学医学中心);Departments of Biomedical Informatics & Computer Science Vanderbilt University Medical Center & Vanderbilt University(生物医学信息学与计算机科学系范德堡大学医学中心及范德堡大学)
本文介绍了一种可推广的因果机器学习流程,用于发现大规模电子健康记录的潜在因果源并量化其对临床结果的因果效应,通过处理多模态数据并训练因果模型来估计个体效应,展示了其在医学发现中的实用性和多功能性。
2025-10-31 cs.LG stat.AP
Independent Component Analysis based on multiple data-weighting
独立分量分析(ICA)是数据分析的基本工具之一,旨在找到一个数据分量独立的坐标系。本文提出了一种基于加权协方差矩阵近似对角化的多加权独立分量分析(MWeICA)算法。我们的想法是基于理论结果,即加权数据的线性独立性(对于高斯权重)保证了独立性。实验表明,MWeICA取得了更好的结果,大多数国家的最先进的ICA方法,具有相似的计算时间。
2019-05-31 cs.LG stat.ML
A practical tutorial on autoencoders for nonlinear feature fusion: Taxonomy, models, software and guidelines
University of Granada(格拉纳达大学);University of Jaén(哈恩大学);King Abdulaziz University(阿卜杜勒阿齐兹国王大学)
许多现有的机器学习算法,无论是有监督的还是无监督的,都依赖于输入特征的质量来生成良好的模型。这些变量的数量也很重要,因为性能往往会随着输入维度的增加而下降,因此对使用特征融合技术的兴趣,能够产生更紧凑和更高级别的特征集。在过去的几十年里,已经开发了大量的程序来融合原始变量以产生新的变量。最基本的方法使用原始变量的线性组合,如PCA(主成分分析)和LDA(线性判别分析),而其他方法则基于非线性组合找到低维的流形嵌入,如Isomap或LLE(线性局部嵌入)技术。最近,自动编码器(AE)已经成为流形学习的替代方案,用于进行非线性特征融合。最近提出了几十种AE模型,每种模型都有自己的特定特征。虽然它们中的许多可以用于通过融合原始特征集来生成缩减的特征集,但也有考虑到其他应用而设计的AE。本文的目标是为读者提供一个广泛的观点,什么是AE,它们是如何用于特征融合,分类收集广泛的模型,以及它们如何与其他经典技术。此外,还提供了一套关于如何为给定任务选择适当AE的教学指南,以及对可用软件工具的讨论。最后,两个案例研究说明了使用手写数字和乳腺癌的数据集的AE。
2018-01-04 cs.LG cs.NE
Boosting Independent Component Analysis
ETH Zurich(苏黎世联邦理工学院);Tsinghua University(清华大学)
独立成分分析的目的是从线性混合物中回收相互独立的成分。该技术在数据分析、信号处理、机器学习等领域有着广泛的应用。为了减轻对未知源先验知识的依赖,已经提出了许多非参数方法。本文提出了一种新的基于boosting的独立成分分析算法。该算法由Boosting最大似然估计和定点分解算法组成。通过与现有算法的比较,验证了该算法的有效性.
2022-06-02 cs.LG eess.SP stat.ML
Discrete Independent Component Analysis (DICA) with Belief Propagation
我们将置信传播应用到由离散独立隐变量和离散可见变量组成的贝叶斯二分图。该网络是独立分量分析(DICA)的离散对应物,它以因子图的形式进行推理和学习。一套完整的模拟报告的字符图像从MNIST数据集。结果表明,源代码实现的阶乘代码有助于建立一个良好的生成模型的数据,可用于各种推理模式。
2015-05-26 cs.CV cs.LG stat.ML
Second-order Approximation of Minimum Discrimination Information in Independent Component Analysis
Department of Automation, Tsinghua University(清华大学自动化系)
独立成分分析(Independent Component Analysis,ICA)的目的是从线性混合信号中恢复出相互独立的信号,而FastICA是ICA中最成功的算法之一。虽然在负熵估计中引入更多的非线性函数来提高FastICA的性能似乎是合理的,但FastICA中原有的不动点方法(近似牛顿法)在这种情况下退化了。为了缓解这个问题,我们提出了一种新的方法的基础上的二阶近似的最小判别信息(MDI)。该方法的联合最大化由最小化单个加权最小二乘和用不动点法求分解矩阵组成。实验结果验证了该算法的有效性。
2021-11-30 cs.LG eess.SP stat.ML
Multiplicative Algorithm for Orthgonal Groups and Independent Component Analysis
本文将作者等人发展的乘法Newton类方法推广到动力学仅限于正交群的情形。一个一般的框架,构建没有指定的成本函数。虽然对正交群的限制使问题变得有些复杂,但得到了单个跳数的显式表达式。该算法是精确二阶收敛的。牛顿法中固有的全局不稳定性由Levenberg-Marquardt型变分来弥补。这样构造的方法可以很容易地应用于独立成分分析。数值模拟结果表明了该方法的有效性。
2000-01-07 cs.LG
Shared Independent Component Analysis for Multi-Subject Neuroimaging
Inria(法国国家信息与自动化研究所);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);ENS(巴黎高等师范学院);University of Helsinki(赫尔辛基大学)
我们考虑共享响应建模,这是一个多视图学习问题,其中人们希望从多个数据集或视图中识别公共组件。我们引入了共享独立分量分析(ShICA),它将每个视图建模为被加性高斯噪声污染的共享独立分量的线性变换。我们表明,该模型是可识别的,如果组件是非高斯或噪声方差有足够的多样性。然后,我们表明,在某些情况下,多集典型相关分析可以恢复正确的解混矩阵,但即使是少量的采样噪声使多集CCA失败。为了解决这个问题,我们建议使用联合对角化后,多集CCA,导致一种新的方法,称为ShICA-J。我们通过模拟表明,ShICA-J导致改善的结果,同时非常快,以适应。虽然ShICA-J基于二阶统计量,但我们进一步建议使用最大似然方法ShICA-ML来利用组件的非高斯性,该方法更准确,成本更高。此外,ShICA还提供了一种用于共享分量估计的原则性方法。最后,我们提供了经验证据的fMRI和MEG数据集,ShICA产生更准确的估计的组件比替代品。
2021-10-26 cs.LG
Visualizing Topographic Independent Component Analysis with Movies
University of California, Berkeley(加州大学伯克利分校)
独立分量分析(ICA)通常被用作通过将图像中的多变量信号分离成假定为独立的分量来对自然图像统计进行建模的工具。然而,这些估计的组分通常具有更高阶的依赖性,例如组分的共激活,这在模型中没有考虑。地形独立分量分析(TICA),ICA的修改,考虑到更高的顺序依赖和顺序组件地形依赖的函数。在这里,我们的目标是可视化的TICA基础激活电影刺激的时间过程。我们发现,TICA基地的活动往往是集群和连续移动,可能类似于活动的地形组织细胞在视觉皮层。
2019-01-24 cs.CV cs.LG stat.CO
Efficient Estimation of Unique Components in Independent Component Analysis by Matrix Representation
Seikei University, Tokyo, Japan(青狮大学,东京,日本);The University of Tokyo, Tokyo, Japan(东京大学,东京,日本)
本文提出通过矩阵表示和减少冗余计算来加速独立成分分析(ICA)中唯一成分的估计,解决了ICA解的唯一性无法保证的问题,并在人工数据集和EEG数据上验证了方法的有效性。
2025-09-16 cs.LG cs.NE
Automatic EEG Independent Component Classification Using ICLabel in Python
SCCN, INC, UCSD(加州大学圣地亚哥分校神经计算研究所计算神经科学中心)
针对EEGLAB中ICLabel插件因特殊神经网络架构与Octave不兼容的问题,开发了使用标准EEGLAB数据结构的Python版本ICLabel,其与MATLAB版本分类结果几乎一致,差异低于0.001%,增强了跨平台兼容性。
2024-11-20 cs.LG eess.SP q-bio.NC