Incorporating functional summary information in Bayesian neural networks using a Dirichlet process likelihood approach
Aalto University(阿尔托大学)
贝叶斯神经网络(BNN)可以解释任意和认知的不确定性。然而,在BNN的先验知识往往是指定的权重,很少反映真正的先验知识,在大型和复杂的神经网络架构。我们提出了一种简单的方法,将先验知识的BNN的基础上外部汇总信息的预测分类概率为一个给定的数据集。可用的摘要信息被纳入增强数据和建模的狄利克雷过程,我们推导出相应的\emph{Summary Evidence Lower BOund}。该方法基于贝叶斯原理,所有超参数都有适当的概率解释。我们展示了该方法如何告知模型任务难度和类不平衡。大量的实验表明,可以忽略不计的计算开销,我们的方法平行,并在许多情况下优于流行的替代品的准确性,不确定性校准,并对腐败的鲁棒性与平衡和不平衡的数据。
2023-01-24 cs.AI cs.LG stat.ML
Wide stable neural networks: Sample regularity, functional convergence and Bayesian inverse problems
本文研究权重服从α-稳定分布的全连接随机神经网络在大宽度下的样本正则性与函数收敛,证明其无限宽度极限的样本函数属于分数阶Sobolev-Slobodeckij型拟Banach空间,并将该收敛结果应用于保边缘贝叶斯反问题的函数后验分析。
2025-03-11 math.PR math.ST stat.TH
Neural Operators for Forward and Inverse Potential-Density Mappings in Classical Density Functional Theory
本文评估多种神经算子架构在经典密度泛函理论中学习势-密度映射的性能,发现FNO结合平方ReLU激活函数在预测超额自由能上最准确,并验证了其在外推和密度求解中的有效性。
2025-09-09 math.ST physics.chem-ph physics.comp-ph
NeuralFLoC: Neural Flow-Based Joint Registration and Clustering of Functional Data
Institute of Mathematical Sciences, ShanghaiTech University(上海科技大学数学科学研究所)
本文提出NeuralFLoC,一种基于神经ODE驱动的 diffeomorphic 流和谱聚类的端到端深度学习框架,解决函数数据相位变化下的联合注册与聚类问题,实现相位和幅度变化的有效分离。
2026-04-29 cs.LG stat.ML
Quantile and moment neural networks for learning functionals of distributions
EDF R&D(法国电力公司研发部);FiME, Laboratoire de Finance des Marchés de l’Energie(能源市场金融实验室(FiME))
我们研究新闻神经网络来逼近概率空间中的分布函数。提出了基于分位数和矩逼近的两类神经网络来学习这些函数,并在理论上得到了泛逼近定理的支持。通过在其他新网络中混合分位数和矩特征,我们开发了在涉及单变量分布的数值测试用例上优于现有网络的方案。对于二元分布,矩神经网络优于所有其他网络。
2023-03-20 cs.LG stat.ML
Nonlinear functional regression by functional deep neural network with kernel embedding
Department of Statistics and Actuarial Science, University of Hong Kong(香港大学统计与精算科学系);Department of Mathematics, Hong Kong Baptist University(香港 Baptist 大学数学系);School of Mathematics and Statistics, University of Sydney(悉尼大学数学与统计学学院);Department of Electrical Engineering, ESAT-STADIUS, KU Leuven(KU Leuven 电子工程系)
针对非线性泛函回归中无限维泛函数据的降维难题,提出融合自适应核嵌入、Mercer 特征函数投影与深度 ReLU 网络的泛函神经网络,并给出逼近速率、ERM 泛化界及实验验证。
2025-05-12 cs.LG stat.ML
Probabilistic Functional Neural Networks
University of YYY(YYY大学);Institute of WWW(WWW研究院)
本文提出概率函数神经网络(ProFnet),融合前馈/深度神经网络与概率建模,通过蒙特卡洛采样生成概率预测并量化不确定性,可捕捉时空依赖,适用于高维函数型时间序列,在日本死亡率数据上表现优越。
2025-03-27 cs.LG stat.ML
Functional Neural Networks: Shift invariant models for functional data with applications to EEG classification
SNAP GmbH(SNAP有限公司)
本文提出函数神经网络(FNNs),将多层感知机和卷积神经网络扩展到函数型数据,实现平移不变并保持平滑性,在准确率上优于FDA基准模型并成功用于脑电图分类。
2023-08-10 cs.LG stat.ME stat.ML
Estimation of the Mean Function of Functional Data via Deep Neural Networks
Auburn University(奥本大学);New Jersey Institute of Technology(新泽西理工学院)
在这项工作中,我们提出了一种深度神经网络方法来执行函数数据的非参数回归。所提出的估计器基于具有ReLU激活函数的稀疏连接深度神经网络。通过适当地选择网络结构,我们的估计达到了经验范数下的最优非参数收敛速度。在某些情况下,如三角多项式核和足够大的采样频率,收敛速度甚至比根$n$率。通过蒙特卡罗模拟研究,我们检查所提出的方法的有限样本性能。最后,所提出的方法应用于分析阿尔茨海默病患者的正电子发射断层扫描图像从阿尔茨海默病神经影像倡议数据库。
2020-12-08 cs.LG stat.ML
Neural Networks as Functional Classifiers
Simon Fraser University(西蒙弗雷泽大学);Stanford University(斯坦福大学)
近年来,预测方法学领域出现了相当大的创新。机器学习方法在各种分类竞争中的相对主导地位证明了这一点。虽然这些算法在多变量问题上表现出色,但它们在函数数据分析领域仍然处于休眠状态。我们将著名的深度学习方法扩展到功能数据领域,以解决分类问题。我们强调了我们的方法在一些分类应用中的有效性,如光谱数据的分类。此外,我们证明了我们的分类器的性能,通过模拟研究,我们比较我们的方法的功能线性模型和其他传统的分类方法。
2020-10-09 cs.LG stat.ML
Deep Neural Network Classifier for Multi-dimensional Functional Data
Auburn University(奥本大学);New Jersey Institute of Technology(新泽西理工学院)
我们提出了一种新的方法,称为功能性深度神经网络(FDNN),用于分类多维功能数据。具体地,基于训练数据的主成分来训练深度神经网络,其将用于预测未来数据函数的类别标签。与目前流行的基于高斯假设的函数判别分析方法不同,FDNN方法适用于一般的非高斯多维函数数据。此外,当对数密度比具有局部连通的功能模块结构时,我们证明了FDNN实现了极大极小最优性。通过模拟和真实世界的数据集证明了我们的方法的优越性。
2022-05-17 cs.LG stat.ME stat.ML
Boosting Mapping Functionality of Neural Networks via Latent Feature Generation based on Reversible Learning
Curtin University(科廷大学);GIST(光州科学技术院)
针对图像分类和人脸识别等视觉识别中神经网络映射功能的提升问题,提出了一种新的提升方法。我们提出了使用网络本身生成和学习潜在特征的可逆学习。通过生成对应于硬样本的潜在特征并在训练阶段中应用所生成的特征,可逆学习可以改善映射功能,而无需额外的数据增强或处理数据集的偏差。我们证明了MNIST,Cifar-10/100,和极有偏见和分类不良的数据集(EBPC数据集)所提出的方法的效率。实验结果表明,该方法可以优于现有的国家的最先进的方法在视觉识别。大量的分析表明,我们的方法可以有效地提高网络的映射能力。
2019-10-21 cs.LG stat.ML
A Functional Perspective on Learning Symmetric Functions with Neural Networks
Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所);Center for Data Science, New York University(纽约大学数据科学中心)
对称函数以一个无序的、固定大小的集合作为输入,已知它是普遍可由强制置换不变性的神经网络表示的。这些架构只保证了固定的输入大小,但在许多实际应用中,包括点云和粒子物理学,泛化的相关概念应该包括改变输入大小。在这项工作中,我们把对称函数(任何大小)作为概率测度上的函数,并研究定义在测度上的神经网络的学习和表示。通过关注浅层架构,我们在不同的正则化选择(如RKHS和变异范数)下建立近似和泛化边界,这些正则化选择捕获了一个具有非线性学习程度增加的函数空间层次。由此产生的模型可以有效地学习,并享受泛化保证,扩展到不同的输入大小,因为我们经验验证。
2022-10-10 cs.LG stat.ML
Trainable back-propagated functional transfer matrices
The University of Auckland(奥克兰大学);Beijing Forestry University(北京林业大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Griffith University(格里菲斯大学)
全连接神经网络节点之间的连接通常用权矩阵表示。在这篇文章中,引入函数转移矩阵作为权重矩阵的替代:函数转移矩阵使用具有可训练参数的实函数来表示节点之间的连接,而不是使用实权重。然后将多个功能转移矩阵与偏置向量和激活堆叠在一起以形成深度功能转移神经网络。这些神经网络可以在反向传播的框架内进行训练,基于delta规则和函数连接的错误传输规则的修正。在实验中,它被证明,修改后的规则可以用来训练的功能连接范围:20个不同的功能被应用到神经网络多达10个隐藏层,其中大多数获得高的测试精度的MNIST数据库。证明了具有记忆功能的函数转移矩阵可以粗略记忆400位的非循环序列。
2017-10-28 cs.LG stat.ML
Non-linear Functional Modeling using Neural Networks
Pennsylvania State University(宾夕法尼亚州立大学)
本文提出两类基于神经网络的非线性函数型数据模型(FDNN与FBNN),并推导函数型梯度优化算法,通过模拟与真实数据验证其有效性。
2023-05-04 cs.AI cs.LG stat.ME
Integrating Neural Networks and Dictionary Learning for Multidimensional Clinical Characterizations from Functional Connectomics Data
Johns Hopkins University(约翰斯·霍普金斯大学);Kennedy Krieger Institute(肯尼迪克里格研究所);Johns Hopkins School of Medicine(约翰斯·霍普金斯医学院)
本文提出融合神经网络与字典学习的统一优化框架,从静息态功能磁共振数据中联合学习基础网络、受试者载荷和预测权重,在52名ASD患者的多评分预测任务中优于现有方法。
2024-11-19 cs.LG stat.ML
Deep Learning for Functional Data Analysis with Adaptive Basis Layers
UC Davis(加州大学戴维斯分校);Amazon(亚马逊)
尽管深度神经网络取得了广泛的成功,但今天将其应用于功能数据的应用仍然很少。函数数据的无限维度意味着标准学习算法只能在适当的降维之后才能应用,通常通过基扩展来实现。目前,这些基础是在没有手头任务信息的情况下先验选择的,因此对于指定任务可能无效。相反,我们建议以端到端的方式自适应地学习这些基础。我们介绍神经网络,采用一个新的基础层,其隐藏单元是每个基本功能本身实现为一个微型神经网络。我们的架构学会了将简约的降维应用于功能输入,只关注与目标相关的信息,而不是输入函数中不相关的变化。在众多的分类/回归任务的功能数据,我们的方法经验优于其他类型的神经网络,我们证明了我们的方法是统计上一致的低泛化误差。代码可从以下网址获得:\url{https://github.com/jwyyy/AdaFNN}。
2021-06-19 cs.LG stat.ML
Conditional Graph Neural Processes: A Functional Autoencoder Approach
Intel Corporation(英特尔公司)
我们引入了一种新的编码器-解码器架构,将功能过程嵌入到潜在向量空间中。然后可以对该嵌入进行解码,以在任意域上对编码函数进行采样。这个自动编码器概括了最近引入的随机过程的条件神经过程(CNP)模型。我们的架构采用了图神经网络的最新进展,以处理不规则采样的功能。因此,我们将我们的模型称为条件图神经过程(CGNP)。图神经网络可以有效地利用度量空间的“局部”结构,在度量空间上定义函数/过程。本文的贡献是双重的:(i)一种新的基于图的编码器-解码器架构的功能和过程嵌入,以及(ii)使用度量空间的结构,这种类型的表示的重要性的演示。
2018-12-13 cs.AI cs.LG stat.ML
Spatio-Temporal Functional Neural Networks
Penn State University(宾夕法尼亚州立大学);Hitachi America, Ltd.(日立美国有限公司)
时空数据的爆炸式增长及其广泛的应用引起了统计和机器学习领域研究人员的极大兴趣。时空回归问题无论从方法论发展还是实际应用的角度来看都是至关重要的。给定所观察到的空间编码的时间序列协变量和实值响应数据样本,时空回归的目标是利用时间和空间依赖性来构建从协变量到响应的映射,以最小化预测误差。现有技术,包括卷积长短期记忆(CovLSTM)和函数线性模型的变体,不能以简单和有效的格式学习时空信息以进行适当的模型构建。在这项工作中,我们提出了两个新的扩展功能神经网络(FNN),时间回归模型的有效性和优越的性能超过替代顺序模型已被许多研究人员证明。在全面的仿真研究中证明了所提出的时空FNN在处理不同的空间相关性的有效性。提出的模型,然后部署到解决一个实际的和具有挑战性的降水预测问题在气象领域。
2020-09-11 cs.LG stat.ML
Functional Network: A Novel Framework for Interpretability of Deep Neural Networks
Zhejiang University(浙江大学);Xiamen University(厦门大学)
深层神经网络的分层结构阻碍了众多分析工具的使用,从而阻碍了其可解释性的发展。受功能性脑网络成功的启发,我们提出了一个新的框架,深度神经网络,即功能性网络的可解释性。我们构造了全连通网络的函数网络,并探讨了它的小世界性。在实验中,我们使用图论分析和拓扑数据分析来揭示正则化方法的机制,即批量归一化和丢弃。我们的实证分析表明:(1)批量归一化通过提高全局效率和循环数来提高模型性能,但通过降低容错能力来降低对抗鲁棒性。(2)Dropout通过改进函数的特化性和容错性来提高模型的泛化能力和鲁棒性。(3)具有不同正则化的模型可以根据其功能拓扑结构正确聚类,反映了功能网络和拓扑数据分析在可解释性方面的巨大潜力。
2022-05-24 cs.LG
Neural Dynamics-Informed Pre-trained Framework for Personalized Brain Functional Network Construction
本文提出一种基于神经动态的预训练框架,用于构建个性化脑功能网络,通过提取个性化神经活动表示并指导脑分区和相关性估计,提升了异质场景下的性能。
2026-03-08 cs.AI cs.LG
Neural Operators for Nonlinear Functionals on RKHS
Georgia Institute of Technology(佐治亚理工学院)
本文提出利用RKHS插值正交投影,以有限点评估构建更简单灵活的神经网络架构,用于逼近和统计学习RKHS上的非线性泛函,并给出逼近率、复杂度界及泛化保证。
2026-09-15 cs.LG math.ST stat.ML
Hamiltonian Neural PDE Solvers through Functional Approximation
Carnegie Mellon University(卡内基梅隆大学)
本文提出HNS,将哈密顿泛函表示为神经场参数化的核积分,并用自动微分求泛函导数,从而在一维和二维PDE上提升稳定性、守恒性与长时泛化能力。
2025-09-29 cs.LG
Resting state fMRI functional connectivity-based classification using a convolutional neural network architecture
Budapest University of Technology and Economics(布达佩斯技术与经济大学);Research Centre for Natural Sciences, Hungarian Academy of Sciences(匈牙利科学院自然科学研究中心)
机器学习技术在基于静息状态fMRI(功能性磁共振成像)网络的分类领域中已经变得越来越流行。然而,卷积网络的应用只是最近才被提出,并且在很大程度上尚未被探索。在本文中,我们描述了一个卷积神经网络结构的功能连接体分类称为连接体卷积神经网络(CCNN)。我们在模拟数据集和遗忘型轻度认知障碍分类的公开数据集上的结果表明,我们的CCNN模型可以有效地区分受试者群体。我们还表明,连接体卷积网络能够结合来自不同功能连接性度量的信息,并且使用不同连接性描述符组合的模型能够优于仅使用一个度量的分类器。从这种灵活性如下,我们提出的CCNN模型可以很容易地适应广泛的基于连接体的分类或回归任务,通过改变连接描述符组合用于训练网络。
2017-07-20 cs.CV cs.LG stat.ML
Phase Transitions in the Fluctuations of Functionals of Random Neural Networks
RoMaDS - Department of Mathematics, University of Rome Tor Vergata(罗马德斯-罗马托尔维加塔大学数学系)
研究随机神经网络输出高斯波动泛函的中心极限定理及非中心极限定理,揭示深度增加时泛函渐进行为依赖于协方差函数的固定点,产生三种不同极限情形。
2026-04-23 cs.LG math.PR stat.ML
Enhancing Multi-Class Classification of Random Forest using Random Vector Functional Neural Network and Oblique Decision Surfaces
School of Electrical and Electronic Engineering Nanyang Technological University(南洋理工大学电气与电子工程学院)
神经网络和决策树都是流行的机器学习方法,并被广泛用于解决来自不同领域的问题。这两个分类器是集成框架中常用的基分类器。本文首先在线性分类器的基础上提出了一种新的斜决策树,然后将快速神经网络、随机向量函数连接网络和斜决策树相融合,构造了一种集成分类器。随机向量函数链接网络具有优雅的封闭形式解决方案,训练时间极短。神经网络在根级别将每个训练袋(使用装袋获得)划分为C个子集,其中C是数据集中的类的数量,并且随后,在这样的划分上训练C个倾斜决策树。所提出的方法提供了一个丰富的洞察数据分组的混乱或难以分类的样本为每个类,从而提供了一个机会,采用细粒度的分类规则的数据。集成分类器的性能进行了评估,在几个多类数据集,它表现出优越的性能相比,其他国家的最先进的分类器。
2018-02-05 cs.CV cs.LG stat.ML
Multiclass classification for multidimensional functional data through deep neural networks
Yale University(耶鲁大学);Auburn University(奥本大学)
针对多维函数数据因无限维特征导致标准分类方法失效的问题,提出多类函数深度神经网络(mfDNN)分类器,采用ReLU激活函数和交叉熵损失,推导了误分类风险收敛速率并在模拟和基准数据集上验证了其性能。
2023-05-24 cs.LG stat.ME
Tensor Product Neural Networks for Functional ANOVA Model
Department of Statistics, Seoul National University, Seoul, Republic of Korea(统计系,首尔国立大学);Department of Applied Mathematics, University of Twente, Enschede, Netherlands(应用数学系,埃因霍温理工大学);Samsung Electronics Co., Ltd, Republic of Korea(三星电子有限公司)
针对现有泛函ANOVA模型分量估计神经网络因分解不唯一导致稳定性差的问题,提出基于张量积基展开的ANOVA-TPNN,理论上可逼近任意光滑函数,实验中分量估计和模型解释稳定性显著优于现有方法。
2025-07-31 cs.LG math.ST stat.ML
Approximation of Functionals by Neural Network without Curse of Dimensionality
Hong Kong University of Science and Technology(香港科技大学);HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute(香港科技大学深港协同创新研究院)
本文建立了一个神经网络来逼近泛函,泛函是从无限维空间到有限维空间的映射。神经网络的逼近误差是$O(1/\sqrt{m})$,其中$m$是网络的大小,它克服了维数灾难。逼近的核心思想是定义一个Barron泛函谱空间。
2022-10-18 cs.LG cs.NA math.NA
Thresholded Graphical Lasso Adjusts for Latent Variables: Application to Functional Neural Connectivity
Rice University(莱斯大学);Baylor College of Medicine(贝勒医学院)
在神经科学中,研究人员试图从大规模的神经记录或成像中揭示神经元的连通性;人们经常使用图形模型选择和估计技术来实现这一目的。但是,现有的技术只能记录一小部分神经元,这导致了在存在大量潜在变量的情况下图选择的挑战性问题。Anglasekaran et al.(2012)提出了一个凸规划来解决这个问题,从计算和统计的角度提出了挑战。为了解决这个问题,我们提出了一个非常简单的解决方案:将硬阈值算子应用于现有的图选择方法。概念上简单,计算上有吸引力,我们证明,阈值的图形套索,邻域选择,或CLIME估计具有优越的理论特性,在图形选择的一致性,以及更强的实证结果比现有的方法的潜在变量图形模型问题。我们还证明了我们的方法的适用性,通过神经科学案例研究钙成像数据来估计功能性神经连接。
2021-04-13 cs.LG stat.ME stat.ML
Nonlinear subspace clustering by functional link neural networks
Southwestern University of Finance and Economics(西南财经大学)
本研究提出基于 functional link neural network 的非线性子空间聚类方法,通过单层网络实现高计算效率,结合局部相似性正则化提升聚类质量,并引入凸组合方案动态平衡线性与非线性表示。
2024-08-27 cs.LG
Deep Convolutional Neural Networks for predicting highest priority functional group in organic molecules
Dhirubhai Ambani Institute of Information & Communication Technology(迪鲁巴希·阿姆巴尼信息与通信技术研究所)
本文提出利用深度卷积神经网络预测有机分子中最高优先级的功能基团,通过对比支持向量机等方法,验证了CNN的优越性。
2026-03-25 cs.AI cs.LG
Permutation Equivariant Neural Functionals
Stanford University(斯坦福大学);University of Bologna(博洛尼亚大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出置换等变神经泛函框架,利用参数共享的 NF-Layers 编码网络权重的置换对称性,并在 MLP、CNN 及 INR 权重处理任务上验证其有效性。
2023-09-26 cs.AI cs.LG
Functional Stochastic Gradient MCMC for Bayesian Neural Networks
Australian Artificial Intelligence Institute (AAII), University of Technology Sydney(澳大利亚人工智能研究所(AAII),悉尼科技大学)
针对贝叶斯神经网络参数空间推断的先验问题,提出基于新扩散动力学的泛函MCMC方案,证明了其平稳测度为目标后验,并在预测精度和不确定性量化上优于现有方法。
2024-10-10 cs.LG
Exploring the Complexity of Deep Neural Networks through Functional Equivalence
The Hong Kong Polytechnic University(香港理工大学)
该研究从功能等价性视角探究深度神经网络复杂度,提出新的覆盖数界证明复杂度可降低,还发现其能优化训练、解释过参数化现象,为深度学习泛化与优化研究提供新见解。
2024-05-15 cs.LG math.ST stat.TH
Emergence of functional and structural properties of the head direction system by optimization of recurrent neural networks
Columbia University(哥伦比亚大学)
最近的研究表明,目标驱动的神经网络训练可以用来模拟大脑中的神经活动。虽然人工神经网络中的神经元的响应特性与大脑中的神经元的响应特性具有相似性,但网络架构通常被限制为不同。在这里,我们问一个神经网络是否可以恢复神经表征,如果架构是无约束和优化的,神经回路的解剖特性。我们证明了这一点,在一个系统中的连接和功能组织的特点,即头部方向电路的啮齿动物和果蝇。我们训练循环神经网络(RNN)通过角速度的积分来估计头部方向。我们发现,在头部方向系统中观察到的两类不同的神经元,罗盘神经元和移位神经元,在人工神经网络中自然出现,作为训练的结果。此外,连接分析和计算机神经生理学揭示了人工网络和头部方向系统之间的结构和机制相似性。总的来说,我们的研究结果表明,在目标驱动的任务中优化RNN可以概括生物回路的结构和功能,这表明人工神经网络可以用于在神经活动和解剖组织水平上研究大脑。
2020-05-17 cs.LG cs.NE q-bio.NC
Neural Functional Transformers
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出神经函数变换器,利用注意力机制构建置换等变权重空间层,匹配或超越现有方法,并开发Inr2Array将INR分类准确率提升高达17%。
2023-05-22 cs.AI cs.LG
Structured Neural SDEs for Functional Calibration
本文提出SLiSDE,一种基于结构化线性随机层的神经SDE模型,通过门控堆叠和Girsanov倾斜实现高效并行模拟与稳定重要性采样,在功能校准任务中优于全神经基线。
2026-09-29 cs.LG math.PR
A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization
Georgia Institute of Technology(佐治亚理工学院);Northwestern University(西北大学);Yale University(耶鲁大学)
本文在平均场机制下分析两层神经网络的函数式极小极大优化,证明随机梯度下降-上升对应的 Wasserstein 梯度流具有次线性全局收敛率并刻画表示变化,且应用于多类估计问题。
2024-10-24 cs.LG math.OC stat.ML
Neural Networks for Scalar Input and Functional Output
Simon Fraser University(西蒙弗雷泽大学);Université du Québec à Montréal(蒙特利尔魁北克大学)
针对标量预测变量下函数响应回归的难点,提出一种前馈神经网络方案,通过有限维表示转换、可反向传播的多目标函数设计实现规则/不规则数据适配与平滑度控制,性能与维度扩展性均优于传统方法。
2023-08-22 cs.LG stat.ME stat.ML
DeepBrain: Functional Representation of Neural In-Situ Hybridization Images for Gene Ontology Classification Using Deep Convolutional Autoencoders
Bar-Ilan University(巴伊兰大学);University of Maryland(马里兰大学)
本文提出了一种新的基于深度学习的方法,用于学习哺乳动物神经图像的功能表示。该方法使用深度卷积去噪自动编码器(CDAE)来生成原位杂交(ISH)图像的不变的紧凑表示。虽然大多数现有的生物成像分析方法都没有开发来处理具有高度复杂解剖结构的图像,但本文提出的结果表明,CDAE提取的功能表示可以帮助学习功能基因本体类别的特征,以便以高度准确的方式进行分类。使用这种CDAE表示,我们的方法通过将平均AUC从0.92提高到0.98,即,减少了75%的错误。该方法对相对于原始图像显著下采样的输入图像进行操作,以使其在计算上可行。
2017-11-27 cs.CV cs.LG cs.NE
Similarity of Neural Network Models: A Survey of Functional and Representational Measures
University of Passau(帕绍大学);University of Mannheim(曼海姆大学);RWTH Aachen University(亚琛工业大学);GESIS - Leibniz Institute for the Social Sciences(GESIS莱布尼茨社会科学研究所);Complexity Science Hub Vienna(维也纳复杂性科学中心)
该综述梳理了神经网络相似性度量的表征与功能两大互补视角,介绍现有方法、总结其性质与关联并指出开放问题,为相关系统研究奠定基础。
2025-04-09 cs.LG
On the Functional Equivalence of TSK Fuzzy Systems to Neural Networks, Mixture of Experts, CART, and Stacking Ensemble Regression
Huazhong University of Science and Technology(华中科技大学);University of Technology, Sydney(悉尼科技大学)
模糊系统在许多应用中取得了巨大的成功。然而,在设计最优模糊系统方面仍然存在许多挑战,例如,如何有效地优化其参数,如何平衡规则之间的合作与竞争之间的权衡,如何克服维数灾难,如何提高其泛化能力,等等。文献表明,通过在模糊系统和其他机器学习方法之间建立适当的联系,可以使用其他领域的良好实践来改进模糊系统,反之亦然。本文概述了Takagi-Sugeno-Kang模糊系统与四种经典机器学习方法--神经网络、混合专家模型、分类和回归树以及堆叠集成回归--在回归问题上的功能等价性。我们还指出了一些有前途的新的研究方向,灵感来自功能等效,这可能会导致解决上述问题。据我们所知,这是迄今为止关于模糊系统和其他流行的机器学习方法之间联系的最全面的概述,并希望能激发不同机器学习算法之间的更多杂交。
2019-07-13 cs.AI cs.LG stat.ML
Neural Optimal Transport with General Cost Functionals
Artificial Intelligence Research Institute(人工智能研究所);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所);Moscow Institute of Physics and Technology(莫斯科物理技术学院);HSE University(高等经济大学);Yandex(Yandex(俄罗斯互联网公司))
提出一种基于神经网络的一般成本泛函最优传输算法,支持辅助信息构建传输映射并具备样本外估计能力,同时提供理论误差分析及保持类级结构的应用。
2024-05-30 cs.LG
Functional connectomes of neural networks
Duke University(杜克大学)
本文借鉴人脑功能连接组分析思想,提出一种可扩展的统计与机器学习方法刻画大型神经网络拓扑,以增强神经网络可解释性并揭示其内在机制。
2025-04-11 cs.AI cs.LG cs.NE
Optimizing Functionals on the Space of Probabilities with Input Convex Neural Networks
Microsoft Research(微软研究院);IBM Watson(IBM沃森);IBM Research AI(IBM人工智能研究院)
梯度流是优化一般度量空间中泛函的有力工具,包括赋予Wasserstein度量的概率空间。一个典型的方法来解决这个优化问题依赖于它的连接到动态制定的最佳运输和著名的约旦-Kinderlehrer-奥托(JKO)计划。然而,这个公式涉及凸函数的优化,这是具有挑战性的,特别是在高维数。在这项工作中,我们提出了一种方法,依赖于最近推出的输入凸神经网络(ICNN)参数化的凸函数的空间,以近似的JKO计划,以及在设计泛函的措施,享受收敛保证。我们推导出一个计算效率高的JKO-ICNN框架的实现,并通过实验证明了其可行性和有效性,在低维偏微分方程的近似解与已知的解决方案。我们还证明了它的可行性,在高维应用程序通过实验控制生成的分子发现。
2021-11-30 cs.LG cs.NA math.NA
Functional data learning using convolutional neural networks
School of Mathematical and Statistical Sciences, The University of Texas Rio Grande Valley(德克萨斯大学里奥格兰德河谷分校数学与统计科学学院)
本研究提出将函数型数据转为28×28图像,用典型CNN架构解决其回归与分类问题,在多类仿真、混沌/流行病/药物数据任务及真实帕金森病检测中均实现高准确率,具备工程与医疗应用潜力。
2023-10-05 cs.CV cs.LG
Functional compatibility as a determinant of persistent neural learning
Dublin City University(都柏林城市大学)
该研究提出功能兼容性是持续神经学习的因果决定因素,通过受控实验验证其可推广至多类模型与任务,为解决神经网络稳定性-可塑性问题提供了新方向。
2026-11-03 cs.AI cs.LG
Solving the functional Eigen-Problem using Neural Networks
Tel Aviv University(特拉维夫大学)
在这项工作中,我们探讨的能力,神经网络(神经网络)作为一种工具,寻找特征对常微分方程。我们要解决的问题是,给定一个自伴算子,我们是否可以知道什么是本征函数,以及它们的匹配本征值。在图像处理中,求解特征问题的主题被广泛讨论,因为许多图像处理算法可以被认为是这样的算子。我们提出了一种替代数字方法找到本征对,这可能是更强大的,并有能力解决更复杂的问题。在这项工作中,我们专注于简单的问题,其中的解析解是已知的。这样,我们就能够在给定的设置中发现DNN(深度神经网络)的能力和缺点。
2020-07-20 cs.LG cs.NA math.NA
Functional Equivalence and Geometric Diversity in Neural Network Approximations: An Empirical Characterization
研究神经网络逼近的函数等价性与几何多样性,通过分析单层与多层感知器在有无噪声下的情况,从松散度视角研究几何性质,揭示相关等价类网络特点,还提出基于简约性等的模型选择标准。
2026-07-22 cs.AI cs.LG
FuNVol: A Multi-Asset Implied Volatility Market Simulator using Functional Principal Components and Neural SDEs
University of Toronto(多伦多大学);Riskfuel Analytics
本文提出FuNVol,一种结合函数主成分与神经随机微分方程的多资产隐含波动率市场模拟器,通过概率积分变换惩罚减少模型误设,生成无静态套利且与历史一致的曲面,并验证对冲损益的准确性。
2023-12-26 cs.LG q-fin.CP q-fin.ST
Functional Degeneracy in Neural Networks: Measurement and Pruning
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Goodfire AI(古德菲尔人工智能公司);DLR-German Aerospace Center(德国航空航天中心);University of Tromsø(特罗姆瑟大学)
该研究针对模型压缩问题,提出用行为恢复秩量化功能退化,发现结构与幅度剪枝在任务饱和后仍保留更多自由度,揭示功能冗余分布于参数方向。
2026-11-17 cs.LG
Training a Functional Link Neural Network Using an Artificial Bee Colony for Solving a Classification Problems
Universiti Tun Hussein Onn Malaysia(马来西亚敦胡先翁大学)
人工神经网络已经成为一种重要的分类工具,并且已经被广泛用于对非线性可分离模式进行分类。最流行的人工神经网络模型是多层感知器(MLP),因为它能够成功地执行分类任务。然而,由于MLP结构的复杂性以及局部极小值捕获、过拟合和权值干扰等问题,使得神经网络训练困难。因此,避免这些问题的简单方法是删除隐藏层。本文提出了功能链接神经网络(FLNN)的能力,以克服MLP的复杂结构,通过使用单层结构,并提出了一种人工蜂群(ABC)优化训练FLNN。该方法有望为分类器提供更好的学习机制,以获得更准确的分类结果
2012-12-31 cs.LG cs.NE
Integration of Autoencoder and Functional Link Artificial Neural Network for Multi-label Classification
Indian Statistical Institute(印度统计研究所)
多标签(ML)分类是目前一个活跃的研究课题,它处理由于多个标签对特定数据实例处于活动状态而产生的复杂和重叠的边界。我们提出了一个分类器,能够提取潜在的功能,并引入非线性的数据来处理复杂的决策边界。本文提出了一种新的神经网络模型,它的输入特征经过两个变换,分别由多标号函数连接人工神经网络和自编码器构成。首先,使用基函数对原始特征进行函数扩展。这之后是一个自动编码器辅助的变换和减少的扩展功能。该网络能够提高分离的多标签数据由于两层的转换,同时减少了扩展的特征空间,以更易于管理的量。这平衡了输入维度,从而即使对于有限的数据量也能获得更好的分类性能。该网络已在五个ML数据集上进行了验证,与六个成熟的ML分类器相比,其性能优越。此外,还同时制定了所提出的网络的单标签变体,并在四个相关数据集上对三个现有分类器进行了测试,以确定其有效性。
2021-07-21 cs.LG