Deep Graphic FBSDEs for Opinion Dynamics Stochastic Control
Georgia Institute of Technology(佐治亚理工学院)
在本文中,我们提出了一种可扩展的深度学习方法来解决动态和成本函数中具有平均场项耦合的意见动态随机最优控制问题。我们的方法依赖于Hamilton-Jacobi-Bellman偏微分方程解的概率表示。基于Feynman-Kac引理的非线性版本,Hamilton-Jacobi-Bellman偏微分方程的解与正倒向随机微分方程的解相联系。这些方程可以使用一种新的深度神经网络进行数值求解,该网络具有针对所考虑的问题定制的架构。由此产生的算法进行了测试的两极分化的意见一致的实验。大规模(10 K)代理实验验证了我们的算法的可扩展性和通用性。建议的框架开辟了未来的应用程序上的超大规模的问题的可能性。
2022-04-18 cs.LG cs.MA
Deep $\mathcal{L}^1$ Stochastic Optimal Control Policies for Planetary Soft-landing
Georgia Institute of Technology(佐治亚理工学院)
在本文中,我们介绍了一种新的基于深度学习的动力下降制导(PDG)问题的解决方案,该解决方案基于非线性随机最优控制(SOC)和Feynman-Kac理论的原理。我们的算法解决了PDG问题的框架,它作为一个$\mathcal{L}^1$ SOC的问题,最小的燃料消耗。此外,它可以处理实际有用的控制约束,非线性动力学和强制状态约束作为软约束。这是通过建立在最近的工作深向前向后随机微分方程(FBSDES)和可微的非凸优化神经网络层的基础上随机搜索。与以前的方法相比,我们的算法不需要凸化的约束或线性化的动态和经验证明是强大的随机干扰和航天器的初始位置。离线训练后,一旦航天器处于着陆区的预定半径内并处于预定高度,我们的控制器就可以被激活,顶端在着陆区的倒圆锥的底部。我们的经验表明,我们的控制器可以成功和安全地降落在这个圆锥体的基础上初始化的所有轨迹,同时最大限度地减少燃料消耗。
2021-09-01 cs.AI cs.LG cs.SY
Decentralized Safe Multi-agent Stochastic Optimal Control using Deep FBSDEs and ADMM
Georgia Institute of Technology(佐治亚理工学院)
在这项工作中,我们提出了一种新的安全和可扩展的分散解决方案的多智能体控制中存在的随机干扰。安全是数学编码使用随机控制障碍函数和安全控制计算通过求解二次规划。分散化是通过增加每个代理的优化变量,复制变量,为它的邻居。这使我们能够解耦集中式多智能体优化问题。然而,为了确保安全,邻近的代理必须就“什么对我们双方都安全”达成一致,这就需要达成共识。为了实现安全的共识解决方案,我们采用了基于ADMM的方法。具体来说,我们提出了一个合并的CADMM-OSQP隐式神经网络层,解决了一个小批量的两个,局部二次规划以及整体的共识问题,作为一个单一的优化问题。该层在每个时间步嵌入到深度FBSDEs网络架构中,以促进端到端可微分、安全和分散的随机最优控制。在几个具有挑战性的多机器人任务的模拟所提出的方法的有效性。通过对避碰约束所指定的安全性施加要求,在整个训练过程中确保所有代理的安全操作。我们还展示了优越的可扩展性方面的计算和内存节省相比,一个集中的方法。
2022-06-07 cs.LG cs.MA cs.RO
Learning High-Dimensional McKean-Vlasov Forward-Backward Stochastic Differential Equations with General Distribution Dependence
Flatiron Institute(弗莱提荣研究所);University of California, Santa Barbara(加州大学圣巴巴拉分校);Princeton University(普林斯顿大学)
本文针对具有一般分布依赖的高维 McKean-Vlasov 正倒向随机微分方程,提出基于虚构博弈和深度神经网络的求解方法,并证明其收敛性可避免维度灾难。
2023-09-18 cs.LG math.OC
Universal Approximation Theorem for Deep Q-Learning via FBSDE System
School of Computer Science, Peking University(计算机学院,北京大学)
本文利用 FBSDE/BSDE 正则性理论与有限时域动态规划,证明模拟 Bellman 迭代细化的深度残差 Q 网络具有结构相关的通用逼近性质。
2025-05-09 cs.AI cs.LG math.OC
Towards Robust and Stable Deep Learning Algorithms for Forward Backward Stochastic Differential Equations
Imperial College London(帝国理工学院)
在定量金融中的应用,如最优交易执行,期权风险管理和最优资产配置,涉及高维和非线性偏微分方程(PDE)的解决方案。偏微分方程和系统的前向-后向随机微分方程(FBSDES)之间的连接,使使用先进的模拟技术,即使在高维设置中应用。不幸的是,当底层的应用程序包含非线性项,然后经典的方法模拟和数值方法的偏微分方程遭受的灾难的维度。受到深度学习成功的启发,一些研究人员最近提出了使用深度学习解决FBSDES的解决方案。我们讨论了深度学习的动态系统观点,并在稳定性、泛化和鲁棒性方面比较了几种架构。为了加快计算速度,我们建议使用多级离散化技术。我们的初步结果表明,多级离散化方法提高了解决方案的时间由一个数量级相比,现有的方法,而不牺牲稳定性或鲁棒性。
2019-10-25 cs.LG stat.ML
Prediction of 5-year Progression-Free Survival in Advanced Nasopharyngeal Carcinoma with Pretreatment PET/CT using Multi-Modality Deep Learning-based Radiomics
Fudan University Shanghai Cancer Center(复旦大学附属肿瘤医院);Shanghai Medical College, Fudan University(复旦大学上海医学院);Fudan University(复旦大学);Shanghai Engineering Research Center of Molecular Imaging Probes(上海分子影像探针工程技术研究中心);Key Laboratory of Nuclear Physics and Ion-beam Application (MOE), Fudan University(复旦大学核物理与离子束应用教育部重点实验室);the University of Sydney(悉尼大学);Shanghai Proton and Heavy Ion Center(上海市质子重离子医院)
目的:基于深度学习的放射组学(DLR)在医学图像分析方面取得了巨大成功,并被认为是依赖手工特征的传统放射组学的替代品。在这项研究中,我们的目的是探讨DLR预测5年无进展生存期(PFS)的能力,在鼻咽癌(NPC)使用治疗前PET/CT。方法:共257例(170/87在内部/外部队列)晚期鼻咽癌(TNM分期III或IVa)的患者入选。我们开发了一个端到端的多模态DLR模型,其中优化了3D卷积神经网络,以从预处理PET/CT图像中提取深度特征,并预测5年PFS的概率。TNM分期作为一个高水平的临床特征,可以整合到我们的DLR模型中,以进一步提高预后性能。为了比较常规放射组学和DLR,提取了1456个手工特征,并从6种特征选择方法和9种分类方法的54种交叉组合中选择了最佳常规放射组学方法。此外,使用临床特征、常规放射组学特征和DLR特征进行风险组分层。结果:我们使用PET和CT的多模态DLR模型比最佳常规放射组学方法实现了更高的预后性能。此外,多模态DLR模型优于仅使用PET或仅使用CT的单模态DLR模型。对于风险组分层,常规放射组学特征和DLR特征使得内部和外部队列中的高风险和低风险患者组之间存在显著差异,而临床特征在外部队列中失败。结论:我们的研究确定了晚期鼻咽癌生存预测的潜在预后工具,表明DLR可以为目前的TNM分期提供补充价值。
2022-07-04 cs.CV cs.LG eess.IV
Neural Hamiltonian Operator
Peking University, Beijing, 100871, P.R.China.(北京大学)
本文提出神经哈密顿算子(NHO),用神经网络参数化前向-后向随机微分方程中的反馈控制与值函数梯度,通过庞特里亚金极大值原理训练求解高维随机控制问题,并证明了其通用逼近能力。
2025-07-02 cs.AI cs.LG math.DS
Likelihood Training of Schrödinger Bridge using Forward-Backward SDEs Theory
Georgia Institute of Technology(佐治亚理工学院)
本文提出基于 Forward-Backward SDEs 理论的 Schrödinger Bridge 似然训练框架,将 SB 最优性条件转化为 SDEs 以构建似然目标,推广了 SGM 并在图像生成任务上取得可比结果。
2023-04-03 cs.LG math.AP math.OC
Solving stochastic optimal control problem via stochastic maximum principle with deep learning method
Shandong University(山东大学);Shandong University-Zhongtai Securities Institute for Financial Studies(山东大学-中泰证券金融研究院)
本文从随机最大值原理的角度出发,通过深度学习来解决高维随机最优控制问题。通过引入扩展的哈密顿系统,它本质上是一个具有极大条件的FBM,我们将原来的控制问题转化为一个新的问题。提出了三种算法来解决新的控制问题。不同算例的数值结果表明了所提算法的有效性,特别是在高维情况下。该方法的一个重要应用是计算次线性期望,它对应于一类完全非线性的偏微分方程。
2021-06-22 cs.LG math.OC
Hedging with memory: shallow and deep learning with signatures
École Polytechnique(巴黎高等理工学院);Université Paris 1 Panthéon-Sorbonne(巴黎第一大学);CES Gefip(研究中心)
本文研究在非马尔可夫随机波动率模型下利用路径签名进行奇异衍生品对冲,深度学习下优于LSTM且计算量更低,浅层学习下校准的签名波动率模型对冲结果更准确稳定。
2025-08-03 cs.LG q-fin.CP q-fin.MF
Universal Approximation Theorem of Deep Q-Networks
School of Computer Science, Peking University(北京大学计算机学院)
本文利用随机控制和FBSDE建立连续时间框架,证明DQN可在紧集上以任意精度和高概率逼近最优Q函数,并分析Q学习收敛性,连接深度强化学习与随机控制。
2025-05-04 cs.AI cs.LG stat.ML
Deep Signature Transforms
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所)
签名是一个无限分级的统计序列,已知将一个数据流映射到一个可忽略的等价类。它是一种以前被视为固定特征变换的变换,在其上可以构建模型。我们提出了一种新的方法,它结合了签名变换与现代深度学习框架的优点。通过在签名变换之前学习流的增强,可以以数据相关的方式选择签名的项。更一般地,我们描述了签名变换如何可以用作神经网络内的任何地方的层。在这种情况下,它可以被解释为池化操作。我们提出的实证实验的结果来支持理论的理由。代码可在https://github.com/patrick-kidger/Deep-Signature-Transforms获得。
2019-10-26 cs.LG stat.ML
DeepSign: Deep Learning for Automatic Malware Signature Generation and Classification
Bar-Ilan University(巴伊兰大学);Tel Aviv University(特拉维夫大学);Gonda Brain Research Center at Bar-Ilan University(巴伊兰大学贡达脑研究中心);Center for Automation Research, University of Maryland at College Park(马里兰大学帕克分校自动化研究中心)
提出了一种基于深度学习的恶意软件特征自动生成和分类方法。该方法使用深度信念网络(DBN),通过深度去噪自动编码器堆栈实现,生成恶意软件行为的不变紧凑表示。虽然传统的基于签名和令牌的恶意软件检测方法不能检测到现有恶意软件的大多数新变种,但本文中给出的结果表明,DBN生成的签名可以对新的恶意软件变种进行准确的分类。使用包含数百个主要恶意软件家族的变体的数据集,我们的方法使用DBN生成的签名实现了98.6%的分类准确率。所提出的方法对于所记录的恶意软件行为的类型是完全不可知的(例如,API调用及其参数、注册表项、访问的网站和端口等),并且可以使用来自沙箱的任何原始输入来成功地训练用于生成恶意软件签名的深度神经网络。
2017-11-23 cs.CR cs.LG cs.NE
SigFormer: Signature Transformers for Deep Hedging
KAIST(韩国科学技术院);Johns Hopkins University(约翰斯·霍普金斯大学);Texas A&M University-Commerce(德州农工大学康莫斯分校);VinAI Research(VinAI研究院);INEEJI
针对深度对冲中神经网络架构设计困难的问题,提出结合路径签名与Transformer的SigFormer模型,在合成数据和SP 500指数回测中展现了更快的学习速度、更强的鲁棒性及积极效果。
2023-10-20 cs.LG
Signatured Deep Fictitious Play for Mean Field Games with Common Noise
University of California, Santa Barbara(加州大学圣巴巴拉分校)
现有的用于解决具有共同噪声的平均场博弈(MFG)的深度学习方法固定采样共同噪声路径,然后求解相应的MFG。这导致了一个嵌套的循环结构与数以百万计的模拟共同的噪声路径,以产生准确的解决方案,这导致了高昂的计算成本,并在很大程度上限制了应用。本文基于粗路径理论,提出了一种新的单循环算法--签名深度虚拟播放算法,该算法可以在公共噪声不固定的情况下工作,避免了嵌套循环结构,显著降低了计算复杂性。该算法可以准确地捕捉常见不确定性变化对平均场平衡的影响,而无需像现有机器学习算法中之前所需的那样进一步训练神经网络。三个应用,包括线性二次MFG,平均场投资组合博弈,最优消费和投资的平均场博弈支持的有效性。总体而言,我们提供了一个新的角度从粗糙路径理论来解决常见的噪声MFG的显着提高效率和广泛的应用范围。此外,我们报告了第一个深度学习工作,以处理具有常见噪声的扩展MFG(通过状态和控制的平均场相互作用)。
2021-06-06 cs.LG math.OC q-fin.CP
Multiparametric Deep Learning Tissue Signatures for Muscular Dystrophy: Preliminary Results
The Johns Hopkins University School of Medicine(约翰斯·霍普金斯大学医学院);The Johns Hopkins University(约翰斯·霍普金斯大学);Kennedy Krieger Center(肯尼迪·克里格中心)
目前的临床挑战是识别大腿中的肢带型肌营养不良2I(LGMD 2I)组织变化,特别是分离脂肪、脂肪浸润的肌肉和肌肉组织。深度学习算法能够通过使用来自多参数磁共振成像(mpMRI)的固有组织对比度来学习不同的特征。为此,我们开发了一种基于mpMRI的新型多参数深度学习网络(MPDL)组织特征模型,并将其应用于LGMD2I。我们展示了一个新的肌营养不良症的组织签名模型与MPDL算法分割不同的组织类型,具有良好的效果。
2019-08-01 cs.LG eess.IV physics.med-ph
A Light weight and Hybrid Deep Learning Model based Online Signature Verification
IIIT SriCity(斯里城印度信息技术学院);University of Melbourne(墨尔本大学)
基于深度学习的模型在各种人工智能相关问题中的应用越来越广泛,这是由于现代架构的更深长度和大量解释数据集的可用性。基于这些架构的模型需要巨大的训练和存储成本,这使得它们在关键应用中使用效率低下,如在线签名验证(OSV)和部署在资源受限的设备中。作为解决方案,在这项工作中,我们的贡献是双重的。1)一种有效的降维技术,以减少要考虑的特征数量; 2)一种最先进的基于CNN-LSTM模型的混合架构,用于在线签名验证。在公开可用的数据集MCYT,SUSIG,SVC上进行的全面实验证实,即使只有一个训练样本,该模型也能达到更好的准确性。所提出的模型在所有三个数据集的各个类别中产生最先进的性能。
2019-07-09 cs.CV cs.LG
Deep Learning with Topological Signatures
University of Salzburg(萨尔茨堡大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
从数据中推断拓扑和几何信息可以为机器学习问题提供另一种视角。来自拓扑数据分析的方法,例如,持续同源性使我们能够获得这样的信息,通常以拓扑特征的概括表示的形式。然而,这种拓扑签名通常具有不寻常的结构(例如,多组间隔),这对于大多数机器学习技术来说是非常不切实际的。虽然已经提出了许多策略来将这些拓扑签名映射到机器学习兼容的表示中,但是它们对于目标学习任务是不可知的。相比之下,我们提出了一种技术,使我们能够将拓扑签名输入到深度神经网络,并在训练过程中学习任务最佳表示。我们的方法是实现作为一个新的输入层具有良好的理论性能。2D对象形状和社会网络图的分类实验证明了该方法的多功能性,在后者的情况下,我们甚至比最先进的大幅度。
2018-02-16 cs.CV cs.LG math.AT
SigScatNet: A Siamese + Scattering based Deep Learning Approach for Signature Forgery Detection and Similarity Assessment
Sardar Patel Institute of Technology(萨达尔·帕特尔技术学院)
提出SigScatNet,结合孪生网络与散射小波,用于签名伪造检测和相似性评估,在ICDAR和CEDAR数据集上实现极低等错误率,兼具高精度与计算效率。
2023-11-09 cs.CV cs.LG eess.SP
SigMA: Path Signatures and Multi-head Attention for Learning Parameters in fBm-driven SDEs
本文提出SigMA架构,结合路径签名与多头注意力,通过卷积预处理层和MLP实现有效特征编码,用于fBm驱动SDEs的参数估计,尤其在Hurst参数和多参数推断中表现优异。
2026-03-14 cs.LG q-fin.MF
HASHTAG: Hash Signatures for Online Detection of Fault-Injection Attacks on Deep Neural Networks
UC San Diego(加州大学圣地亚哥分校)
我们提出了HASHTAG,这是第一个能够高精度检测深度神经网络(DNN)故障注入攻击的框架,具有可证明的检测性能界限。故障注入攻击的最新文献显示,位翻转导致DNN精度严重下降。在这种情况下,攻击者在DNN执行期间通过篡改程序的DRAM存储器来更改一些权重位。为了检测运行时位翻转,HASHTAG在部署之前从良性DNN中提取唯一签名。该签名稍后用于验证DNN的完整性,并在运行中验证推理输出。我们提出了一种新的灵敏度分析方案,可以准确识别最容易受到故障注入攻击的DNN层。然后,通过使用低冲突哈希函数对脆弱层中的底层权重进行编码来构建DNN签名。当部署DNN时,在推理期间从目标层提取新的哈希,并与地面真实签名进行比较。HASHTAG采用了一种轻量级的方法,可确保在嵌入式平台上进行低开销和实时的故障检测。对各种DNN进行的最先进的位翻转攻击的广泛评估证明了HASHTAG在攻击检测和执行开销方面的竞争优势。
2021-11-02 cs.AI cs.CR cs.LG
A writer-independent approach for offline signature verification using deep convolutional neural networks features
Universidade Federal de Pernambuco(伯南布哥联邦大学)
使用深度卷积神经网络(CNN)提取的特征与作家相关(WD)SVM分类器相结合,与以前的最先进的方法相比,显著提高了手写签名验证(HSV)的性能。在这项工作中,它的研究是否使用这些CNN功能提供良好的结果,在一个独立的作家(WI)HSV的上下文中,基于二分法变换结合使用的SVM独立的分类器。在巴西和GPDS数据集上进行的实验表明,(i)所提出的方法优于文献中的其他WI-HSV方法,(ii)在全局阈值情况下,所提出的方法能够在巴西数据集中优于具有CNN特征的依赖于作者的方法,(iii)在用户阈值情况下,结果与具有CNN特征的依赖于作者的方法相似。
2018-07-26 cs.CV cs.LG stat.ML
SecureSpectra: Safeguarding Digital Identity from Deep Fake Threats via Intelligent Signatures
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Bogazici University(博加齐奇大学)
SecureSpectra通过嵌入正交不可逆签名并利用DF模型无法复制高频内容的特性,结合差分隐私保护,在多个数据集上实现检测准确率最高提升71%。
2024-07-01 cs.CR cs.LG cs.SD
DLTPy: Deep Learning Type Inference of Python Function Signatures using Natural Language Context
Delft University of Technology(代尔夫特理工大学)
由于机器学习的兴起,Python是一种越来越流行的程序设计语言。Python是动态类型的。动态类型已经证明在项目增长时有缺点,同时它提高了开发人员的生产力。为了获得静态类型的好处,并结合开发人员的高生产力,需要推断类型。在本文中,我们提出了DLTPy:一种深度学习类型推断解决方案,用于基于函数的自然语言上下文(标识符名称,注释和返回表达式)预测函数签名中的类型。我们发现DLTPy是有效的,并且具有91.6%的前3名F1评分。这意味着在大多数情况下,正确的类型是在前3个预测之内。我们的结论是,自然语言中包含的评论和返回表达式是有益的预测类型更准确。DLTPy并没有明显优于或低于之前的NL2Type的JavaScript,但确实表明类似的预测是可能的Python。
2019-12-02 cs.LG cs.SE
Pedestrian Recognition with Radar Data-Enhanced Deep Learning Approach Based on Micro-Doppler Signatures
University of Electronic Science and Technology of China (UESTC)(电子科技大学)
针对雷达微多普勒行人识别训练数据不足的问题,提出含RDGAN数据增强模块与MCNN+RBFNN多特征学习模块的DEMCL模型,准确率较现有研究提升3.33%-10.24%,运行速度快。
2023-06-14 cs.CV cs.LG eess.SP
Keras Sig: Efficient Path Signature Computation on GPU in Keras 3
DRM Université Paris Dauphine(巴黎多芬大学 DRM 机构);CREST-IP(CREST-IP 机构)
本研究提出基于Keras 3的高性能路径签名计算库Keras Sig,通过重构计算利用GPU并行性,实现训练时间减少55%、签名计算速度提升5-10倍,降低兼容性问题且在多硬件下性能优异。
2025-01-14 cs.DC cs.LG
Learning Representations from Persian Handwriting for Offline Signature Verification, a Deep Transfer Learning Approach
University of Tehran(德黑兰大学)
离线签名验证(OSV)是一个具有挑战性的模式识别任务,特别是当它被期望很好地概括在培训期间不可用的熟练的foreground。它的挑战还包括小的训练样本和大的类内变化。考虑到这些局限性,我们提出了一种新的迁移学习方法从波斯语手写域到多语言OSV域。我们训练两个残差CNN的源域分别基于两个不同的任务,词分类和作者识别。由于识别一个人的签名类似于识别一个人的笔迹,因此在特征学习阶段使用笔迹似乎非常方便。在更多样和丰富的手写数据集上学习的表示可以补偿原始任务(即OSV)中训练数据的缺乏,而不牺牲泛化能力。我们提出的OSV系统包括两个步骤:学习表示和输入签名的验证。对于第一步,签名图像被馈送到训练的残差CNN中。然后使用输出表示训练SVM进行验证。我们在三个不同的签名数据集上测试了我们的OSV系统,包括MCYT(西班牙签名数据集),UTSig(波斯签名数据集)和GPDS-Synthetic(人工数据集)。在UT-SIG上,我们实现了9.80%的等出错率(EER),这表明比文献中的最佳EER 17.45%有了实质性的改善。我们提出的方法在GPDS-Synthetic上超过了最先进的6%,达到了6.81%。在MCYT上,获得了3.98%的EER,这与先前报道的最佳结果相当。
2019-02-28 cs.CV cs.LG stat.ML
DeepHuMS: Deep Human Motion Signature for 3D Skeletal Sequences
International Institute of Information Technology, Hyderabad (IIIT-H)(海得拉巴国际信息技术学院(IIIT-H))
三维人体运动索引和检索是一个有趣的问题,由于一些数据驱动的应用程序的兴起,旨在分析和/或重新利用三维人体骨骼数据,如数据驱动的动画,运动生物力学分析,人体监视等。相同运动的不同速度等使其具有挑战性,并且现有技术的几种方法使用手工特征以及基于优化或基于直方图的比较,以便执行检索。此外,他们只在非常小的数据集和少数几个类上证明了这一点。我们提出了一个案例,使用一个学习的表示,应该认识到的议案,以及执行歧视性的排名。为此,我们提出了一个使用深度网络学习的3D人体运动描述符。我们学习的嵌入是可推广的,适用于现实世界的数据-解决上述挑战,并进一步使子运动搜索在其嵌入空间使用另一个网络。我们的模型利用了使用轨迹线索的类间相似性,并且在自监督设置中表现得更好。所有这些方面的最新结果都显示在两个大规模3D人体运动数据集上- NTU RGB+D和HDM 05。
2019-12-08 cs.CV cs.LG eess.IV
Deep Representational Similarity Learning for analyzing neural signatures in task-based fMRI dataset
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);University of Alberta(阿尔伯塔大学);Purdue University Fort Wayne(普渡大学韦恩堡分校)
相似性分析是大多数功能磁共振成像研究的关键步骤之一。表征相似性分析(RSA)可以测量由不同认知状态产生的神经信号的相似性。本文开发了深度表征相似性学习(DRSL),这是RSA的深度扩展,适用于分析具有大量受试者的fMRI数据集中各种认知任务之间的相似性,以及高维性-例如全脑图像。与以前的方法不同,DRSL不受线性变换或受限固定非线性核函数(如高斯核)的限制。DRSL利用多层神经网络将神经响应映射到线性空间,该网络可以分别为每个受试者实现定制的非线性变换。此外,在DRSL中使用基于梯度的优化可以显着减少大型数据集上的分析运行时间,因为它在每次迭代中使用一批样本,而不是所有神经响应来找到最佳解决方案。多主题的fMRI数据集与各种任务的实证研究-包括视觉刺激,决策,风味,和工作记忆-证实,所提出的方法实现了优越的性能比其他国家的最先进的RSA算法。
2020-09-28 cs.AI cs.LG eess.IV
Navigating the Deep: End-to-End Extraction on Deep Neural Networks
Shanghai Jiao Tong University, China(上海交通大学);Nanyang Technological University, Singapore(南洋理工大学);IRIF, Université Paris Cité, France(IRIF,巴黎cité大学,法国);Institut universitaire de France (IUF), Paris, France(法国国家科学院(IUF),巴黎,法国)
本文提出了一种端到端的神经网络模型提取方法,通过改进签名提取和符号提取过程,实现了多项式时间复杂度的深度网络提取。
2026-02-18 cs.CR cs.LG
Deep Generative Models for Detector Signature Simulation: A Taxonomic Review
ORIGINS Data Science Lab(ORIGINS数据科学实验室);Technical University Munich(慕尼黑工业大学);Institute for High-Energy Physics (HEPHY)(高能物理研究所);Austrian Academy of Sciences (OeAW)(奥地利科学院)
本文针对粒子物理探测器特征模拟的计算瓶颈问题,从方法与应用角度对深度生成模型相关研究进行分类综述,梳理问题定义、方法类别并指明未来方向。
2024-07-12 cs.LG hep-ex hep-ph
Commute Networks as a Signature of Urban Socioeconomic Performance: Evaluating Mobility Structures with Deep Learning Models
Department of Mathematics and Statistics Faculty of Science, Masaryk University(数学与统计学系,科学学院,马萨里克大学);Center for Urban Science + Progress New York University(城市科学与进步中心,纽约大学)
本文提出利用人口普查通勤记录构建城市出行网络,并结合图神经网络与普通神经网络直接建模城市社会经济指标,在12个美国主要城市中验证其优于传统机器学习模型,为城市建模和政策规划引入网络效应视角。
2025-07-05 cs.LG
AUDRON: A Deep Learning Framework with Fused Acoustic Signatures for Drone Type Recognition
AmygdalaAI-India Lab(AmygdalaAI-India实验室)
AUDRON通过融合多种声学特征和深度学习技术,实现高准确率的无人机声学识别,适用于安全监控等场景。
2025-12-30 cs.AI cs.LG cs.SD
Online Signature Verification Using Augmented Path Signature and T-Mamba
College of Mathematics and Statistics, Chongqing University(重庆大学数学与统计学院)
提出结合增强路径签名与T-Mamba的在线签名验证框架,解决特征判别性和长距离依赖问题,在三个基准数据集上达到最先进性能。
2026-09-09 cs.CV cs.LG
Deep Learning Identifies Neuroimaging Signatures of Alzheimer's Disease Using Structural and Synthesized Functional MRI Data
Columbia University(哥伦比亚大学);Taub Institute(陶布研究所);Sergievsky Center(谢尔吉耶夫斯基中心);Mortimer B. Zuckerman Mind Brain Behavior Institute(莫蒂默·B·扎克曼心智大脑行为研究所)
目前的神经影像学技术为研究活体脑的结构和功能提供了途径,并在了解阿尔茨海默病(AD)方面取得了很大进展。然而,以前用于调查和了解疾病的组水平分析不适用于个体诊断。最近,深度学习可以有效地分析3D大脑图像中的大规模复杂模式,通过提供准确和自动化的疾病分类,为计算机辅助个体诊断铺平了道路。利用根据越来越多的可用结构MRI数据开发的深度学习模型,在AD分类方面取得了巨大进展。缺乏规模匹配的功能性神经影像学数据阻止了这些模型通过观察病理生理学中的功能变化来进一步改进。在这里,我们提出了一个潜在的解决方案,首先学习脑MRI中的结构到功能的转换,并进一步从大规模的结构扫描合成空间匹配的功能图像。我们通过建立计算模型来评估我们的方法,以区分AD患者和健康的正常受试者,并在将结构和合成的功能性脑图像结合到同一模型中后表现出性能提升。此外,我们的区域分析确定颞叶是最具预测性的结构区域,顶枕叶是我们模型中最具预测性的功能区域,这两者都与以前的组水平神经影像学结果一致。总之,我们展示了深度学习与大规模结构和合成功能MRI的潜力,以影响AD分类和识别AD的神经成像特征。
2021-05-28 cs.CV cs.LG q-bio.QM
EPSILON: Adaptive Fault Mitigation in Approximate Deep Neural Network using Statistical Signatures
University of Missouri-Columbia(密苏里大学哥伦比亚分校)
EPSILON通过统计签名和层重要性指标实现AxDNNs的高效故障检测与缓解,提升推理效率和能效,保持模型精度。
2025-04-24 cs.AI cs.DC cs.LG
Integral Signatures of Activation Functions: A 9-Dimensional Taxonomy and Stability Theory for Deep Learning
Bellini College of AI, Cybersecurity and Computing(人工智能、网络安全与计算学院);University of South Florida(佛罗里达州立大学);College of Computing and Informatics(计算与信息学院);Drexel University(德雷塞尔大学);Departments of Physics(物理系)
提出基于九维积分签名的激活函数分类框架,建立稳定性理论,区分八种常见激活函数,提供可证明的设计指导。
2025-10-09 cs.AI cs.LG
Deep learning at the shallow end: Malware classification for non-domain experts
University College Dublin(都柏林大学学院)
当前的恶意软件检测和分类方法通常依赖于耗时且知识密集的过程来从恶意软件中提取模式(签名)和行为,然后将其用于识别。此外,这些签名通常限于数据内的局部连续序列,而忽略它们彼此相关的上下文以及整个恶意软件文件的上下文。我们提出了一种基于深度学习的恶意软件分类方法,该方法不需要专业领域知识,并且基于用于复杂模式和特征识别的纯数据驱动方法。
2018-07-22 cs.AI cs.CR cs.LG
G-Signatures: Global Graph Propagation With Randomized Signatures
Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校);Institute of Advanced Research in Artificial Intelligence (IARAI)(高级人工智能研究所);Microsoft Research AI4Science(微软研究院AI4Science)
针对GNNs过度平滑问题,提出G-Signatures方法,利用随机签名和潜在空间路径映射实现全局图传播,有效处理全局属性并扩展到大型图,在分类和回归任务上验证了优势。
2023-08-30 cs.LG
The signature of robot action success in EEG signals of a human observer: Decoding and visualization using deep convolutional neural networks
Albert-Ludwigs-University Freiburg(弗莱堡阿尔伯特-路德维希大学);University Medical Center Freiburg(弗莱堡大学医学中心)
机器人辅助设备在我们的工作和日常生活中的重要性越来越大。涉及机器人和人类的合作场景需要安全的人机交互。这里的一个重要方面是机器人错误的管理,包括快速准确的在线机器人错误检测和纠正。分析来自与机器人交互的人类的大脑信号可能有助于识别机器人错误,但这种分析的准确性仍有很大的改进空间。在本文中,我们评估是否一种新的框架的基础上,深度卷积神经网络(深度ConvNets)可以提高解码机器人错误的准确性从EEG的人类观察者,无论是在一个对象的抓取和倾倒任务。我们发现,深度ConvNets达到了比正则化线性判别分析(rLDA)和滤波器组共同空间模式(FB-CSP)与rLDA相结合的更高的准确率,这两种方法都被广泛使用。深度ConvNets在错误与正确试验的解码中达到了75% +/-9%,rLDA 65% +/- 10%和FB-CSP + rLDA 63% +/- 6%的平均准确率。通过ConvNets学习的时域EEG特征的可视化来解码错误,揭示了反映两种实验范式之间差异的时空模式。在所有受试者中,ConvNet解码准确度与rLDA获得的准确度显著相关,但与CSP无关,这表明在目前的情况下,ConvNet表现得更像“rLDA”(但始终更好),而在之前的解码研究中,另一项任务但相同的ConvNet架构,它被发现表现得更像“CSP”。因此,我们的研究结果为以下假设提供了进一步的支持:深度ConvNet…
2017-11-16 cs.HC cs.LG cs.RO
Scalable Machine Learning Algorithms using Path Signatures
本论文研究路径签名在可扩展机器学习中的应用,提出结合粗糙路径理论与概率建模、深度学习和核方法的模型,为序列和结构化数据提供理论稳健且计算高效的解决方案。
2025-06-24 cs.LG math.PR stat.ML
Gene-SGAN: a method for discovering disease subtypes with imaging and genetic signatures via multi-view weakly-supervised deep clustering
University of Pennsylvania(宾夕法尼亚大学);University of Southern California(南加州大学);Lausanne University Hospital (CHUV) and University of Lausanne(洛桑大学医院(CHUV)和洛桑大学);University of Texas San Antonio Health Science Center(德克萨斯大学圣安东尼奥健康科学中心);The University of Melbourne(墨尔本大学);CSIRO(澳大利亚联邦科学与工业研究组织);National Institute on Aging, National Institutes of Health(美国国立卫生研究院国家老龄化研究所);Johns Hopkins University(约翰霍普金斯大学);University of Wisconsin(威斯康星大学);Washington University in St. Louis(圣路易斯华盛顿大学);National Institute on Aging(国家老龄化研究所)
疾病异质性一直是精确诊断和治疗的关键挑战,特别是在神经系统和神经精神疾病中。许多疾病可以在个体中显示多种不同的大脑表型,这可能反映了可以使用MRI和机器学习方法捕获的疾病亚型。然而,如果衍生的亚型与遗传驱动因素或易感因素无关,则生物学可解释性和治疗相关性有限。在本文中,我们描述了Gene-SGAN -一种多视图、弱监督的深度聚类方法-它通过联合考虑表型和遗传数据来剖析疾病异质性,从而将遗传相关性赋予疾病亚型和相关的内表型特征。我们首先在半合成实验中验证Gene-SGAN的可推广性、可解释性和鲁棒性。然后,我们将其应用于来自28,858名个体的真实多站点数据集,从MRI和SNP数据中推导出阿尔茨海默病的亚型和与高血压相关的脑内表型。衍生的脑表型显示神经解剖模式,遗传决定因素,生物和临床生物标志物的显着差异,表明潜在的不同的潜在神经病理过程,遗传驱动因素和易感因素。总的来说,Gene-SGAN广泛适用于疾病亚型和内表型发现,并且在本文中对疾病相关的遗传驱动的神经成像表型进行了测试。
2023-01-25 cs.LG eess.IV q-bio.QM
Signature-Informed Transformer for Asset Allocation
Pusan National University, Busan, Republic of Korea(釜山国立大学);University of Oxford, Oxford, United Kingdom(牛津大学)
本文提出基于签名的变压器模型,通过整合特征提取和决策制定,优化资产配置,提升稳健性并优于传统方法。
2026-01-22 cs.AI cs.LG q-fin.PM
Identifying Flux Rope Signatures Using a Deep Neural Network
The Catholic University of America(美国天主教大学);ADNET Systems Inc.(ADNET系统公司);Universidad de Málaga(马拉加大学);ASTRA, LLC.(ASTRA有限责任公司)
行星际日冕物质抛射(ICMEs)的内部磁场结构是当前空间天气学面临的主要挑战之一。目前,观测到的单调和相干的磁位形与航天器穿过具有螺旋磁场线拓扑结构的大通量绳的结果相关联。这种排列的分类对于预测地磁扰动是必不可少的。因此,分类依赖于ICME的内部结构是组织良好的磁通量绳的假设。本文应用机器学习和当前物理磁绳分析模型来识别和进一步理解ICME的内部结构。我们训练了一个图像识别人工神经网络与分析磁通绳数据,从一个圆柱形(圆形和椭圆形横截面)模型内的许多可能的轨迹的范围内生成。然后,根据1995-2015年期间从WIND观测到的ICME对训练的网络进行了评估。本文中开发的方法可以正确地分类84%的简单的真实情况下,并有76%的成功率扩展到一个更广泛的集与5%的噪声应用时,虽然它确实表现出有利于积极的磁通绳分类的偏见。作为迈向可推广的分类和参数化工具的第一步,这些结果显示出希望。随着进一步的调整和完善,我们的模型提出了一个强大的潜力,演变成一个强大的工具,用于识别磁通绳配置从原位数据。
2020-08-30 astro-ph.IM astro-ph.SR cs.LG