Behavior-Consistent Deep Reinforcement Learning
University of Pennsylvania(宾夕法尼亚大学);Princeton University(普林斯顿大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出了一种行为一致的深度强化学习方法,通过控制策略的分布相似性来减少跨训练运行的策略分歧,从而提高稳定性和性能。
2026-08-24 cs.AI cs.LG
Divergence-Augmented Policy Optimization
Huya AI(虎牙AI);Tencent AI Lab(腾讯AI实验室);The Hong Kong University of Science and Technology(香港科技大学)
本文提出散度增强的策略优化方法,通过在行为策略与当前策略的状态分布间引入Bregman散度,确保off-policy数据重用时的安全小步更新,解决过早收敛和不稳定问题,在Atari游戏数据稀缺场景下优于现有算法。
2025-01-25 cs.AI cs.LG stat.ML
Characterizing Attacks on Deep Reinforcement Learning
UC Berkeley(加州大学伯克利分校);NVIDIA(英伟达);ASU(亚利桑那州立大学);Alibaba(阿里巴巴);UIUC(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学);JD AI Research(京东人工智能研究院);Xi’an Jiao Tong University(西安交通大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
最近的研究表明,深度强化学习(DRL)模型容易受到对抗攻击的攻击,这种攻击通过向观察值添加小扰动来攻击DRL模型。然而,有些攻击假设受害者模型完全可用,有些攻击需要大量的计算,这使得它们在现实世界的应用中不太可行。在这项工作中,我们通过研究其他方面的攻击DRL使用现实和有效的攻击DRL的脆弱性作了进一步的探索。首先,当我们无法访问DRL模型参数时,我们适应并提出有效的黑盒攻击。其次,为了解决现有攻击的高计算需求,我们引入了高效的在线顺序攻击,利用连续步骤的时间一致性。第三,我们探讨了攻击者扰乱DRL设置中其他方面的可能性,例如环境动态。最后,考虑到攻击者如何在物理世界中注入扰动的不完美性,我们设计了一种用于生成要打印的鲁棒物理扰动的方法。在各种条件下,对真实世界的机器人进行了攻击评估。我们在Atari游戏,机器人和自动驾驶等模拟以及现实世界的机器人技术中进行了广泛的实验,以比较所提出的攻击与基线方法的有效性。据我们所知,我们是第一个将对DRL系统的对抗攻击应用于物理机器人的公司。
2022-02-16 cs.AI cs.CR cs.LG
Variational Inference with Tail-adaptive f-Divergence
UT Austin(得克萨斯大学奥斯汀分校);UESTC(电子科技大学)
α-发散变分推理在现代概率机器学习中得到了广泛的应用。与Kullback-Leibler(KL)发散相比,使用α发散(具有正α值)的主要优点是它们的质量覆盖性质。然而,估计和优化α-散度需要使用重要性采样,由于重要性权重的厚尾,这可能具有极大或无限的方差。在本文中,我们提出了一类新的尾部自适应f-发散,自适应地改变凸函数f与尾部的重要性权重,在理论上保证有限的时刻,同时实现质量覆盖的性质。我们在贝叶斯神经网络上测试了我们的方法,以及深度强化学习,其中我们的方法被应用于改进最近的软演员-评论家(SAC)算法。我们的结果表明,我们的方法产生显着的优势相比,现有的方法的基础上经典KL和α-分歧。
2019-09-09 cs.LG stat.ML
Characterizing Driving Styles with Deep Learning
IBM Research – China(IBM中国研究院);Nanjing University(南京大学);University of Waterloo(滑铁卢大学)
使用车辆传感器数据来表征人类驾驶员的驾驶风格,例如,GPS是一个有趣的研究问题,也是汽车工业的重要现实需求。良好的驾驶特征表示对于自动驾驶、汽车保险和许多其他应用场景都非常有价值。然而,传统的方法主要依赖于手工特征,这限制了机器学习算法获得更好的性能。在本文中,我们提出了一种新的深度学习解决方案,这可能是将深度学习扩展到基于GPS数据的驾驶行为分析的第一次尝试。该方法可以有效地提取描述复杂驾驶模式的高层次和可解释的特征。它还需要更少的人力和经验。通过使用大型真实数据集的驾驶员识别问题验证了学习的驾驶风格表示的能力。
2016-10-08 cs.AI cs.LG
When Flat Minima Fail: Characterizing INT4 Quantization Collapse After FP32 Convergence
Department of Computer Science(计算机科学系);University of Houston(休斯顿大学)
研究揭示了在FP32收敛后INT4量化崩溃的三阶段结构,并通过实验表明学习率调度策略对崩溃的影响。
2026-04-16 cs.LG
Rényi Divergence Deep Mutual Learning
Tencent Security Big Data Lab(腾讯安全大数据实验室);School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件学院);Maynooth University(梅努斯大学)
本文提出用Rényi散度替代KL散度改进深度互学习,理论分析其收敛性,实验证明能持续提升模型泛化性能。
2024-09-18 cs.AI cs.LG
Characterizing and Taming Model Instability Across Edge Devices
Stanford University(斯坦福大学);Columbia University(哥伦比亚大学)
在不同边缘设备上运行的相同机器学习模型可能会在几乎相同的输入上产生高度发散的输出。差异的可能原因包括器械传感器、器械信号处理硬件和软件以及操作系统和处理器的差异。本文提出了第一个方法表征的变化模型预测在现实世界中的移动设备。我们证明,准确性是不是一个有用的指标来表征预测的分歧,并引入一个新的度量,不稳定性,它捕捉这种变化。我们表征了不稳定的不同来源,并表明压缩格式和图像信号处理的差异占对象分类模型的显着不稳定性。值得注意的是,在我们的实验中,14-17%的图像在一个或多个手机型号上产生了不同的分类。我们评估三种不同的技术,以减少不稳定性。特别是,我们调整了先前的工作,使模型对噪声具有鲁棒性,以便微调模型,使其对边缘设备的变化具有鲁棒性。我们证明了我们的微调技术减少了75%的不稳定性。
2020-10-18 cs.LG
Active Divergence with Generative Deep Learning -- A Survey and Taxonomy
Goldsmiths, University of London(伦敦大学金史密斯学院);University of The Arts London(伦敦艺术大学);Queen Mary University of London(伦敦玛丽女王大学);Monash University(莫纳什大学)
生成式深度学习系统提供了用于伪影生成的强大工具,因为它们能够对数据分布进行建模并生成高保真结果。然而,在计算创造性的背景下,一个主要的缺点是,它们无法以创造性的方式显式地偏离训练数据,并且仅限于拟合目标数据分布。为了解决这些限制,已经有越来越多的方法用于优化、破解和重写这些模型,以便主动地偏离训练数据。我们提出了一个分类和全面调查的最先进的主动发散技术,突出了计算创造力研究人员的潜力,以推进这些方法,并在真正的创造性系统中使用深度生成模型。
2021-07-12 cs.AI cs.LG
Deep Bregman Divergence for Contrastive Learning of Visual Representations
LMU Munich(慕尼黑大学);Google Research(谷歌研究院);Technical University of Munich(慕尼黑工业大学)
深度Bregman发散使用神经网络来测量数据点的发散,该神经网络超出欧几里得距离并且能够捕获分布上的发散。在本文中,我们提出了深度Bregman分歧,用于视觉表示的对比学习,我们的目标是通过训练基于功能Bregman分歧的额外网络来增强自监督学习中使用的对比损失。传统的对比学习方法仅仅基于单点之间的分歧,相比之下,我们的框架可以捕获分布之间的分歧,提高了学习表示的质量。我们展示了传统对比损失和我们提出的发散损失的组合优于基线和大多数以前的自监督和半监督学习方法,用于多分类和目标检测任务和数据集。此外,学习的表示在转移到其他数据集和任务时具有很好的泛化能力。源代码和我们的模型是补充,并将与纸发布。
2021-11-22 cs.AI cs.CV cs.LG
Generalized Cauchy-Schwarz Divergence and Its Deep Learning Applications
Xi’an Jiaotong University(西安交通大学);Xi’an Technological University(西安工业大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);UiT - The Arctic University of Norway(挪威北极大学)
本文提出面向多个分布的广义柯西-施瓦茨散度(GCSD)及其核闭式估计器,并在深度聚类与多源域适应任务中验证其鲁棒性和有效性。
2024-06-06 cs.AI cs.LG
Deep Divergence Learning
Boston University(波士顿大学)
经典的线性度量学习方法最近沿着两条不同的路线进行了扩展:使用神经网络学习数据嵌入的深度度量学习方法,以及将学习欧几里德距离扩展到更一般的发散度量(如分布上的发散)的Bregman发散学习方法。在本文中,我们介绍了深Bregman分歧,这是基于学习和参数化功能Bregman分歧使用神经网络,并统一和扩展这些现有的工作线。我们特别展示了深度度量学习公式,内核度量学习,Mahalanobis度量学习和用于比较分布的矩匹配函数是如何作为对称设置中这些分歧的特殊情况出现的。然后,我们描述了一个深度学习框架,用于学习一般函数Bregman分歧,并在实验中表明,与现有的深度度量学习方法相比,这种方法在基准数据集上具有更好的性能。我们还讨论了新的应用,包括半监督分布聚类问题,和一个新的损失函数的无监督数据生成。
2020-05-06 cs.LG stat.ML
Training Deep Energy-Based Models with f-Divergence Minimization
Stanford University(斯坦福大学)
基于能量的深度模型(EBM)在分布参数化方面非常灵活,但由于难以处理的配分函数而具有计算挑战性。它们通常通过最大似然进行训练,使用对比发散来近似数据和模型分布之间的KL发散的梯度。虽然KL发散有许多理想的属性,但其他f发散在训练隐式密度生成模型(如生成对抗网络)方面表现出了优势。在本文中,我们提出了一个通用的变分框架称为f-EBM训练EBM使用任何所需的f-发散。我们引入了相应的优化算法,并利用非线性动力系统理论证明了其局部收敛性。实验结果证明了f-EBM优于对比发散,以及使用KL以外的f-发散训练EBM的好处。
2020-07-21 cs.LG stat.ML
Learning Deep Energy Models: Contrastive Divergence vs. Amortized MLE
Dartmouth College(达特茅斯学院)
我们提出了许多用于学习深度能量模型的新算法,并展示了它们的属性。我们表明,我们的SteinCD在测试可能性方面表现良好,而SteinGAN在生成逼真的图像方面表现良好。我们的研究结果表明,通过将GAN风格的方法与传统的基于能量的学习相结合,可以学习更好的模型。
2017-07-04 cs.LG stat.ML
Characterizing Well-Behaved vs. Pathological Deep Neural Networks
我们引入了一种新的方法,只需要温和的假设,在初始化的深度神经网络的特征。我们的方法适用于全连接和卷积网络,并且很容易结合批量归一化和跳过连接。我们的关键见解是考虑信号和噪声统计矩的深度演变,从而表征由超参数选择编码的假设空间中病理的存在或不存在。我们确定:(i)对于前馈网络,无论有无批量归一化,层组成的乘法性都不可避免地导致行为不良的矩和病理;(ii)对于具有批量归一化的残差网络,另一方面,跳跃连接诱导幂律而不是指数行为,导致行为良好的矩和无病理。
2019-06-19 cs.LG stat.ML
Learning Empirical Bregman Divergence for Uncertain Distance Representation
University of Cincinnati(辛辛那提大学);City University of Hong Kong(香港城市大学)
针对经典固定距离度量的深度度量学习捕捉复杂数据分布性能不佳的问题,提出从Bregman散度推导损失、用深度学习参数化凸函数来学习经验Bregman散度的新方法,在五个公开数据集上优于现有SOTA方法。
2023-05-15 cs.AI cs.CV cs.IT
Characterizing Deep Gaussian Processes via Nonlinear Recurrence Systems
Ulsan National Institute of Science and Technology(蔚山科学技术院);Korea Advanced Institute of Science and Technology(韩国科学技术院);INEEJI
深度高斯过程(DGPs)的最新进展显示出比传统高斯过程(GPs)更具表达力的表示潜力。然而,存在深度高斯过程的病理,当层数增加时,它们的学习能力显著降低。在本文中,我们提出了一个新的分析DGP通过研究其相应的非线性动力系统来解释这个问题。现有的工作报告的病理平方指数核函数。我们扩展我们的调查,四种类型的常见的固定核函数。层之间的递归关系解析推导,提供了一个更严格的约束和收敛速度的动态系统。我们证明了我们的发现与一些实验结果。
2020-12-21 cs.LG stat.ML
Characterizing Concurrency Mechanisms for NVIDIA GPUs under Deep Learning Workloads
Worcester Polytechnic Institute(伍斯特理工学院)
我们研究了NVIDIA新的Ampere GPU微架构在深度学习训练和推理工作负载下可用的并发机制的性能。与以前的研究,把GPU作为一个黑盒子,我们研究调度在微架构的水平。我们发现,缺乏细粒度的抢占机制,强大的任务优先级选项,竞争意识线程块放置策略限制了NVIDIA的并发机制的有效性。总之,深度学习工作负载的顺序性及其波动的资源需求和内核运行时,使得在当前NVIDIA硬件上执行此类工作负载,同时保持一致的高利用率和较低的可预测周转时间变得困难。
2021-10-01 cs.AR cs.DC cs.LG
Probabilistic Forecast Reconciliation with Kullback-Leibler Divergence Regularization
AI Lab Lenovo Research(联想研究院AI实验室);School of Statistics and Mathematics Central University of Finance and Economics(中央财经大学统计与数学学院);School of Economics and Management Beihang University(北京航空航天大学经济管理学院)
针对概率预测协调中准确性与一致性权衡问题,提出一种将预测与协调步骤融合的深度学习框架,通过引入Kullback-Leibler散度正则化项实现灵活软化协调,在三个分层时间序列数据集上验证了其优越性。
2023-11-21 cs.AI cs.LG
Recurrent Deep Divergence-based Clustering for simultaneous feature learning and clustering of variable length time series
UiT The Arctic University of Norway(挪威北极大学)
聚类未标记的时间序列和序列的任务需要一组特定的挑战,即充分建模时间关系和可变序列长度。如果这些挑战没有得到适当的处理,那么生成的集群可能质量不佳。作为一个关键的解决方案,我们提出了一个基于深度学习的时间序列联合聚类和特征学习框架。对于给定的一组时间序列,我们训练一个递归网络来表示或嵌入向量空间中的每个时间序列,使得基于发散的聚类损失函数可以以端到端的方式发现底层聚类结构。与以前的方法不同,我们的模型固有地处理可变长度的多变量时间序列,并且不需要在输入空间中指定距离度量。在一组不同的基准数据集上,我们说明了我们提出的基于递归深度分歧的聚类方法优于以前的方法,或者与以前的方法相当。
2019-02-16 cs.LG stat.ML
A Collection of Deep Learning-based Feature-Free Approaches for Characterizing Single-Objective Continuous Fitness Landscapes
University of Münster(明斯特大学);TU Dresden(德累斯顿工业大学);University of Twente(特文特大学)
探索性景观分析是一种强大的技术,用于数值表征单目标连续优化问题的景观。景观的见解是至关重要的问题的理解,以及评估基准集的多样性和组成。尽管这些功能具有无可辩驳的实用性,但它们也有自己的弊病和缺点。因此,在这项工作中,我们提供了一系列不同的方法来表征优化景观。与传统的景观特征类似,我们需要一个小的初始样本。然而,我们不是基于该样本计算特征,而是开发原始样本的替代表示。这些范围从点云到2D图像,因此完全没有特征。我们在BBOB测试平台上演示和验证了我们设计的方法,并在深度学习的帮助下预测了高层次的、基于专家的景观属性,如多模态程度和漏斗结构的存在。我们的方法的质量与传统的景观特征方法相当。因此,我们提供了一个令人兴奋的新的视角,利用问题的信息,如问题的理解和算法设计,以及自动化的算法配置和选择的每一个研究领域。
2022-04-13 cs.LG
Deep Divergence-Based Approach to Clustering
UiT the Arctic University of Norway(挪威北极大学);University of Exeter(埃克塞特大学);University of Manitoba(曼尼托巴大学);Norwegian Computing Center(挪威计算中心)
深度学习研究的一个有前途的方向是学习表示,同时通过优化判别损失函数来发现未标记数据中的聚类结构。与监督式深度学习相反,这一研究领域还处于起步阶段,如何设计和优化合适的损失函数来训练深度神经网络进行聚类仍然是一个悬而未决的问题。我们对这一新兴领域的贡献是一个新的深度聚类网络,它利用了信息理论分歧度量的区分能力,这在传统聚类中已被证明是有效的。我们提出了一种新的损失函数,结合几何正则化约束,从而避免退化结构的聚类分区。在合成基准和真实数据集上的实验表明,该网络与其他最先进的方法相比具有竞争力的性能,可以很好地扩展到大数据集,并且不需要预训练步骤。
2019-02-13 cs.LG stat.ML
Characterizing the Decision Boundary of Deep Neural Networks
Michigan State University(密歇根州立大学)
深度神经网络,特别是深度神经分类器已经成为许多现代应用的组成部分。尽管它们在实践中取得了成功,但我们对它们如何工作的了解仍然有限,对这种了解的需求正在不断增长。在这方面,深度神经网络分类器可以帮助我们加深对其决策行为的了解的一个关键方面是调查其决策边界。然而,这取决于是否能够接触到决策边界附近区域的样本。为了实现这一点,我们提出了一种新的方法,我们称之为深度决策边界实例生成(DeepDIG)。DeepDIG利用基于对抗性示例生成的方法作为在任何深度神经网络模型的决策边界附近生成样本的有效方式。然后,我们引入了一组重要的原则性特征,这些特征利用决策边界附近生成的实例来提供对深度神经网络的多方面理解。我们在各种深度神经网络模型的多个代表性数据集上进行了广泛的实验,并描述了它们的决策边界。该代码可在https://github.com/hamidkarimi/DeepDIG/上公开获取。
2020-06-03 cs.CV cs.LG stat.ML
Non-Negative Bregman Divergence Minimization for Deep Direct Density Ratio Estimation
CyberAgent, Inc.(赛博代理公司);The University of Tokyo(东京大学)
密度比估计(DRE)是异常检测和领域自适应等各种机器学习任务的核心。在现有的DRE研究中,基于Bregman散度(BD)最小化的方法得到了广泛的研究。然而,当BD最小化应用于高度灵活的模型(如深度神经网络)时,往往会遭受我们所说的训练损失黑客攻击,这是由经验BD估计量的典型特征引起的过拟合的来源。在本文中,为了减轻列车损失黑客攻击,我们提出了一个非负校正的经验BD估计。理论上,我们通过一个泛化误差界证实了所提出方法的合理性。通过实验,我们提出的方法表现出良好的性能,在基于内点的离群点检测。
2021-07-17 cs.CV cs.LG stat.ML
DOI: Divergence-based Out-of-Distribution Indicators via Deep Generative Models
Tsinghua University(清华大学);China Unicom(中国联通)
为了确保强大和可靠的分类结果,最近提出了基于深度生成模型的OoD(分布外)指标,并在小数据集上表现良好。在本文中,我们为现有的OoD指标进行了第一次大型基准测试(包含92个数据集对,比以前的大1个数量级),并观察到没有一个表现良好。因此,我们主张,一个大的基准集合是强制性的OoD指标的评估。我们提出了一个新的理论框架,DOI,用于深度生成模型中基于分歧的分布外指标(而不是传统的基于可能性的指标)。在此框架下,我们进一步提出了一种简单有效的OoD检测算法:单次微调。在AUROC中,它的性能明显优于过去的作品5~8,其性能接近最优。最近,似然准则被证明是无效的检测OoD。SingleShot Fine-tune提出了一种新的OoD检测的微调准则,即通过对训练好的模型进行微调后,测试样本的似然度是否提高来检测OoD,微调准则是一种清晰、易于遵循的准则,它将OoD领域引入了一个新的阶段。
2021-08-12 cs.LG
Characterizing Generalization under Out-Of-Distribution Shifts in Deep Metric Learning
LMU Munich(慕尼黑大学);Heidelberg University(海德堡大学);University of Toronto(多伦多大学);University of Washington(华盛顿大学);MIT(麻省理工学院)
深度度量学习(DML)旨在找到适合于zero-shot转移到先验未知测试分布的表示。然而,常见的评估协议仅测试单个固定的数据分割,其中训练和测试类被随机分配。更现实的评价应考虑具有潜在不同程度和难度的广泛的分布偏移。在这项工作中,我们系统地构建训练测试分裂的难度越来越大,并提出了ooDML基准,以表征泛化下的分布偏移在DML。ooDML旨在探索更具挑战性的多样化训练到测试分布偏移的泛化性能。基于我们的新基准,我们进行了彻底的实证分析国家的最先进的DML方法。我们发现,虽然泛化往往会不断降低难度,但随着分布偏移的增加,一些方法在保持性能方面会更好。最后,我们提出了Few-Shot DML作为一种有效的方法,以不断提高泛化响应未知的测试转移ooDML。代码可在这里:https://github.com/CompVis/Characterizing_Generalization_in_DML.
2021-11-29 cs.CV cs.LG
Deep Nonnegative Matrix Factorization with Beta Divergences
Center for Artificial Intelligence Technology, Skoltech(斯科尔科沃科技学院人工智能技术中心);University of Mons(蒙斯大学);Lehigh University(理海大学)
针对现有深度非负矩阵分解依赖最小二乘误差的局限,提出基于 β-散度(重点为 KL 散度)的模型与算法,并在人脸、文档主题和高光谱材料识别中验证。
2024-03-18 cs.LG cs.NA eess.SP
End-to-end Training of Deep Boltzmann Machines by Unbiased Contrastive Divergence with Local Mode Initialization
The University of Tokyo(东京大学)
针对深度玻尔兹曼机梯度估计有偏问题,提出基于 Metropolis-Hastings 耦合与局部模态初始化的无偏对比散度,实现无需贪心预训练的端到端训练,并在 MNIST 上达到 10.33 的 FID。
2023-05-31 cs.AI cs.LG stat.ML
Characterizing the Weight Space for Different Learning Models
深度学习已经成为开发智能机器的主要研究领域之一。人工智能的大多数知名应用(如语音识别、图像处理和NLP)都是由深度学习驱动的。深度学习算法使用人工神经网络模拟人脑,并逐步学习以准确解决给定问题。但深度学习系统存在重大挑战。已经有许多尝试使深度学习模型模仿生物神经网络。然而,许多深度学习模型在存在对抗性示例的情况下表现不佳。在对抗性示例中性能不佳会导致对抗攻击,进而导致大多数应用程序的安全性。在本文中,我们试图在三个不同的子集,即属于精确训练模式的权重,属于广义模式集的权重和属于对抗模式集的权重方面的深度神经网络的解决方案空间的特征。我们试图用两种看似不同的学习范式来表征解空间,即深度神经网络和密集联想记忆模型,它们试图通过完全不同的机制来实现学习。我们还表明,对抗攻击对联想记忆模型的成功率通常低于深度神经网络。
2020-06-04 cs.LG stat.ML
Deep Clustering using Dirichlet Process Gaussian Mixture and Alpha Jensen-Shannon Divergence Clustering Loss
Institute of Microelectronics, A*Star Singapore(新加坡科技研究局微电子研究所)
针对现有深度聚类方法聚类损失非对称、需提前已知聚类数的缺陷,提出采用闭式Jensen-Shannon散度构建损失、结合狄利克雷过程高斯混合实现隐空间自适应聚类数选择的深度聚类方法,在多数据集上验证了有效性。
2024-12-12 cs.CV cs.LG
Characterizing Activity on the Deep and Dark Web
University of Southern California(南加州大学);Georgia Institute of Technology(佐治亚理工学院)
深网和暗网(d2web)是指访问受限的网站,需要注册,身份验证或更复杂的加密协议才能访问它们。这些网站是各种非法活动的中心:交易毒品、窃取用户凭据、黑客工具,以及协调攻击和操纵活动。尽管d2web对网络犯罪很重要,但它还没有被系统地调查过。在本文中,我们研究了一个大型语料库的消息发布到80 d2web论坛在一年多的时间。我们使用LDA确定讨论的主题,并使用非参数HMM来模拟论坛主题的演变。然后,我们研究讨论的动态模式,并确定具有相似模式的论坛。我们表明,我们的方法表面隐藏的相似性在不同的论坛,可以帮助识别异常事件,在这个丰富的,异构的数据。
2019-03-01 cs.CR cs.CY cs.LG
Using Deep Learning Sequence Models to Identify SARS-CoV-2 Divergence
Carnegie Mellon University(卡内基梅隆大学)
SARS-CoV-2是一种上呼吸道系统RNA病毒,截至2021年5月,已导致超过300万人死亡,全球感染人数超过1.5亿。迄今为止,已经对数千株病毒进行了测序,SARS-CoV-2突变对科学家们提出了重大挑战,要求他们跟上疫苗开发和公共卫生措施的步伐。因此,一个有效的方法来识别实验室样本的分歧,从病人将大大有助于文件的SARS-CoV-2基因组学。在这项研究中,我们提出了一个神经网络模型,利用循环和卷积单元直接采取的刺突蛋白的氨基酸序列和分类相应的分支。我们还比较了我们的模型的性能与双向编码器表示从Transformers(BERT)预训练蛋白质数据库。我们的方法有可能提供一个更有效的计算替代目前的同源性为基础的种内分化。
2021-11-12 cs.LG q-bio.QM
Characterizing the Shape of Activation Space in Deep Neural Networks
University of Minnesota(明尼苏达大学);NASA Glenn Research Center(NASA格伦研究中心)
深度神经网络学习的表示很难解释,部分原因是它们的参数空间很大,以及它们的多层结构带来的复杂性。我们介绍了一种方法,用于计算持久的同源性的图形激活结构的神经网络,它提供了访问的任务相关的子结构激活整个网络为一个给定的输入。这种拓扑的角度提供了独特的见解,分布式表示编码的神经网络在其激活结构的形状。我们证明了这种方法的价值,通过展示一种替代的解释对抗性的例子的存在。通过研究跨多个架构和数据集的网络激活的拓扑,我们发现对抗性扰动不会像之前假设的那样添加针对对抗类的语义结构的激活。相反,对抗性示例可以解释为对原始图像引起的主导激活结构的改变,这表明深度网络学习的类表示在输入空间上是有问题的稀疏。
2019-05-30 cs.CR cs.LG stat.ML
Characterizing Learning Dynamics of Deep Neural Networks via Complex Networks
University of Oxford(牛津大学);University of Catania(卡塔尼亚大学);Queen Mary University of London(伦敦大学玛丽皇后学院)
本文用复杂网络理论解释了深度神经网络。复杂网络理论(CNT)将深度神经网络(DNN)表示为有向加权图,以将其作为动力系统进行研究。我们有效地调整CNT措施,以检查具有不同初始化和架构的DNN的学习过程的演变:我们引入了节点/神经元和层的指标,即节点强度和层波动。我们的框架提取了学习动态的趋势,并将低精度网络与高精度网络分开。我们的特点群体的神经网络(集成分析)和单个实例(个体分析)。我们解决了图像识别的标准问题,我们表明,通过单独的链接权重分析时,具体的学习动态是无法区分的。此外,节点强度和层波动使前所未有的行为出现:与训练不足的模型相比,精确的网络显示出极大的差异分布,偏差更大。在这项研究的基础上,我们为卷积网络和全连接网络提供了CNT度量的有效实现,以加快这一方向的研究。
2021-10-18 cs.LG cs.SI
Divergence Frontiers for Generative Models: Sample Complexity, Quantization Effects, and Frontier Integrals
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
深度生成模型的巨大成功需要定量工具来衡量其统计性能。发散边界最近被提出作为生成模型的评估框架,因为它们能够衡量深度生成建模固有的质量多样性权衡。我们建立了发散边界的样本复杂性的非渐近界。我们还介绍了边界积分,提供了发散边界的汇总统计。我们展示了如何平滑估计,如良好的图灵或Krichevsky-Trofimov可以克服丢失的质量问题,并导致更快的收敛速度。我们用自然语言处理和计算机视觉的数值例子说明了理论结果。
2021-12-11 cs.LG stat.ML
Deep learning based mixed-dimensional GMM for characterizing variability in CryoEM
Baylor College of Medicine(贝勒医学院)
结构灵活性和/或与其他分子的动态相互作用是蛋白质功能的关键方面。CryoEM提供了对不同构象和组成状态采样的单个大分子的直接可视化。虽然有许多方法可用于离散状态的计算分类,但在没有人类监督的情况下连续构象变化或大量离散状态的表征仍然具有挑战性。在这里,我们提出了e2 gmm,一个机器学习算法,以确定蛋白质或复合物的构象景观使用3-D高斯混合模型映射到2-D粒子图像在已知的方向。使用深度神经网络架构,e2 gmm可以自动解析蛋白质复合物内的结构异质性,并将粒子映射到描述构象和组成变化的小潜在空间上。该系统比目前使用的其他流形方法更直观,更灵活。我们在模拟数据和三个生物系统上演示了这种方法,以探索在一系列尺度上的成分和构象变化。该软件作为EMAN 2的一部分分发。
2021-05-23 cs.LG q-bio.BM
KL-divergence Based Deep Learning for Discrete Time Model
本文提出基于KL散度的深度学习流程,将外部生存预测模型与新数据融合,以解决生存分析中数据不足问题,实验证明其性能和鲁棒性优于现有方法。
2023-04-12 cs.LG stat.ML
Adversarial Examples in Deep Learning: Characterization and Divergence
Georgia Institute of Technology(佐治亚理工学院)
随着深度学习的迅速成功,越来越多的任务伴随着敏感数据,引发了人们对安全和隐私的担忧。深度学习中的对抗攻击已经成为一系列关键任务深度学习系统和应用程序的主要安全威胁之一。本文采用整体和原则性的方法来执行深度学习中对抗性示例的统计特征。我们提供了一个一般的配方对抗的例子,并阐述了对抗攻击算法设计的基本原则。我们引入了对抗攻击的简单和困难分类,从攻击成功率、对抗扰动的变化程度、预测质量的平均熵以及导致成功攻击的对抗示例的比例等方面分析对抗示例的有效性。我们在不同超参数和不同深度学习框架的深度学习模型下,对简单攻击和困难攻击下的对抗行为进行了广泛的实验研究。我们发现,由于在不同的深度学习模型训练过程中学习到的不同特征,相同的对抗攻击在不同的超参数和不同的框架下表现不同。我们的统计特征与强有力的经验证据提供了一个变革性的启示缓解战略,以有效的对策,对现在和未来的对抗攻击。
2018-12-30 cs.LG stat.ML
DDGK: Learning Graph Representations for Deep Divergence Graph Kernels
Google AI(谷歌人工智能)
神经网络能在没有特征工程的情况下学习比较图吗?在本文中,我们表明,它是可能的,学习表示图的相似性,既没有领域知识也没有监督(即\特征工程或标记图)。我们提出了深度发散图核,这是一种用于学习图表示的无监督方法,它编码了图同构的放松概念。我们的方法包括三个部分。首先,我们为每个锚点图学习一个编码器来捕获它的结构。其次,对于每一对图,我们训练一个交叉图注意力网络,它使用锚图的节点表示来重建另一个图。这种方法,我们称之为同构注意,捕捉一个图的表示可以编码另一个图的表示。我们使用注意力增强编码器的预测来定义每对图的发散分数。最后,我们构造一个嵌入空间的所有图使用这些成对的分歧分数。与以前的工作不同,其中大部分依赖于1)监督,2)领域特定知识(例如依赖于Weisfeiler-Lehman内核)和3)已知的节点对齐,我们的无监督方法联合学习节点表示,图形表示和图形之间基于注意力的对齐。我们的实验结果表明,深度发散图核可以学习图之间的无监督对齐,并且当用作许多具有挑战性的图分类任务的特征时,学习的表示可以获得有竞争力的结果。此外,我们说明了如何学习的注意力允许洞察子结构跨图的对齐。
2019-04-21 cs.IR cs.LG cs.SI
Characterizing Types of Convolution in Deep Convolutional Recurrent Neural Networks for Robust Speech Emotion Recognition
University of Southern California(南加州大学)
由于深度卷积神经网络能够减少变化因素,因此在包括语音识别、音频事件检测和计算语言学在内的广泛的语音和音频处理应用中正在积极研究深度卷积神经网络,以从语音中学习。然而,研究已经建议在构建用于语音应用的深度卷积神经网络时偏向于某种类型的卷积运算,尽管使用不同类型的卷积运算已经有了有希望的结果。在这项工作中,我们研究了四种类型的卷积运算在不同的输入功能语音情感识别在嘈杂和干净的条件下,以获得全面的理解。由于情感行为信息已被证明反映了精神状态的时间变化,并且卷积运算在时间上被局部应用,因此所有深度神经网络共享深度递归子网络架构以用于进一步的时间建模。我们提出了详细的定量模块性能分析,以深入了解所提出的架构内的信息流。特别是,我们展示了情感信息和其他无关信息的相互作用,从一个模块到另一个的进展。最后,我们证明了我们所有的深度神经网络在eNTERFACE'05语料库上提供了最先进的性能。
2018-01-13 cs.CL cs.LG cs.MM
Characterizing Inter-Layer Functional Mappings of Deep Learning Models
Air Force Research Laboratory(美国空军研究实验室);Space and Naval Warfare Systems Center Pacific(太平洋空间与海战系统中心);U.S. Army CCDC Aviation and Missile Center(美国陆军作战能力发展司令部航空与导弹中心);Dynetics, Inc.(戴奈蒂克斯公司);Modern Technology Solutions, Inc.(现代技术解决方案公司)
深度学习架构已经证明了对象分类的最新性能,并且在商业产品中无处不在。这些方法通常在不理解(a)给定输入数据的分类任务的难度,以及(b)特定深度学习架构如何转换该数据的情况下应用。为了回答(a)和(b),我们举例说明了类分离的多变量非参数估计量Henze-Penrose(HP)统计量在原始表示和层诱导表示中的效用。给定一个$N$类的问题,我们的贡献定义的$C(N,2)$组合的HP统计作为一个样本,从分布的类对分离。这使我们能够描述在模型的每一层引起的类分离的分布变化。Fisher排列检验用于检测模型内的统计学显著变化。通过比较层之间的HP统计分布,可以统计地表征:训练期间的层适应,每个层对分类任务的贡献,以及训练和验证数据之间是否存在一致性。这是一个简单的深度神经网络,使用CIFAR 10与随机标签,CIFAR 10和MNIST数据集。
2019-09-23 cs.LG stat.ML
New Lower Bounds for Stochastic Non-Convex Optimization through Divergence Decomposition
King Abdullah University of Science and Technology (KAUST)(国王阿卜杜勒·阿齐兹大学科学与技术学院)
本文研究了一阶随机优化在QC、QG和RSI等非凸设置下的基本极限,通过散度分解构建子类建立了噪声梯度查询次数的新下界,并证明其紧性,同时提出一维专用算法揭示了维度阈值对复杂度的内在影响。
2025-06-01 cs.LG math.OC stat.ML
Characterizing and overcoming the greedy nature of learning in multi-modal deep neural networks
New York University(纽约大学);NYU Grossman School of Medicine(纽约大学格罗斯曼医学院);Courant Institute of Mathematical Sciences(库朗数学科学研究所);Genentech(基因泰克);CIFAR LMB(加拿大高等研究院分子生物学实验室)
我们假设,由于多模态深度神经网络中学习的贪婪性质,这些模型往往只依赖于一种模态,而不适合其他模态。正如我们根据经验观察到的那样,这种行为是违反直觉的,并且损害了模型的泛化。为了估计模型对每种模态的依赖性,我们计算当模型除了另一种模态之外还可以访问它时的准确性增益。我们把这种收益称为条件利用率。在实验中,我们始终观察到在多个任务和架构之间的模态条件利用率的不平衡。由于在训练过程中无法有效地计算条件利用率,因此我们根据模型从每种模态学习的速度(我们称之为条件学习速度)为其引入了一个代理。我们提出了一种算法来平衡训练过程中模态之间的条件学习速度,并证明它确实解决了贪婪学习的问题。该算法改进了模型在三个数据集上的泛化:Colored MNIST、ModelNet 40和NVIDIA Dynamic Hand Gesture。
2022-09-16 cs.CV cs.LG
An Extension of Fano's Inequality for Characterizing Model Susceptibility to Membership Inference Attacks
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);SRI International(SRI国际公司);University of Central Florida(中佛罗里达大学);Oakland University(奥克兰大学);Air Force Research Laboratory(空军研究实验室);Oak Ridge National Laboratory(橡树岭国家实验室);Army Research Laboratory(陆军研究实验室)
深度神经网络已被证明易受成员推断攻击,其中攻击者旨在检测是否使用特定输入数据来训练模型。这些攻击可能会泄露私有或专有数据。我们提出了Fano不等式的一个新的扩展,并利用它从理论上建立了对深度神经网络的成员推断攻击的成功概率可以使用其输入和激活之间的互信息来限制。这使得能够使用互信息来测量DNN模型对成员推断攻击的敏感性。在我们的实证评估中,我们表明,对于CIFAR-10,SVHN和GTSRB模型,互信息与DNN模型对成员推断攻击的敏感性之间的相关性分别为0.966,0.996和0.955。
2020-09-17 cs.AI cs.LG stat.ML
Characterizing the Latent Space of Molecular Deep Generative Models with Persistent Homology Metrics
IBM(国际商业机器公司);IBM Research(IBM研究院)
深度生成模型越来越多地成为计算机分子设计管道的组成部分,并且具有双重目标,即学习使候选分子可行的化学和结构特征,同时还具有足够的灵活性以生成新颖的设计。具体地,变分自动编码器(VAE)是生成模型,其中编码器-解码器网络对被训练以重构训练数据分布,使得编码器网络的潜在空间是平滑的。因此,可以通过从该潜在空间采样来发现新的候选者。然而,架构和超参数的范围是巨大的,选择最佳组合进行计算机发现对下游的成功具有重要意义。因此,重要的是开发一种原则性的方法来区分给定的生成模型能够学习显著的分子特征的程度。在这项工作中,我们提出了一种方法,通过将潜在空间度量与拓扑数据分析(TDA)领域的度量相关联,来测量深度生成模型的潜在空间能够编码分子数据集的结构和化学特征的程度。我们将我们的评估方法应用于在SMILES字符串上训练的VAE,并表明3D拓扑信息在整个模型的潜在空间中始终编码。
2021-06-07 cs.LG q-bio.BM
Characterizing Deep Learning Training Workloads on Alibaba-PAI
Alibaba Group(阿里巴巴集团);The University of Hong Kong(香港大学)
现代深度学习模型已经在各个领域得到了利用,包括计算机视觉(CV)、自然语言处理(NLP)、搜索和推荐。在实际的人工智能集群中,训练这些模型的工作负载使用TensorFlow、Caffe、PyTorch和CNTK等软件框架运行。有效运行实际人工智能云的一个关键问题是描述这些工作负载的计算和数据传输需求,更重要的是,在给定底层软件框架和硬件配置的情况下,培训性能。在本文中,我们描述了阿里巴巴人工智能(PAI)平台的深度学习训练工作负载。我们建立了一个分析框架,调查使用不同的训练架构的各种工作负载的详细执行时间分解,以确定性能瓶颈。结果表明,训练期间的权重/梯度通信平均占用了所有工作负载总执行时间的近62%。计算部分,涉及GPU计算和内存访问,并不是基于工作负载集体行为的最大瓶颈。我们进一步评估各种潜在的软件/硬件映射的工作负载的可达到的性能,并探讨软件架构选择和硬件配置的影响。我们发现,当将60%的PS/Worker工作负载移植到AllReduce架构时,可以利用高速NVLink进行GPU互连,并且当以太网带宽从25 Gbps升级到100 Gbps时,平均可以实现1.7倍的加速。
2019-10-14 cs.LG cs.PF
To Compress, or Not to Compress: Characterizing Deep Learning Model Compression for Embedded Inference
Northwest University(西北大学);Shaanxi Normal University(陕西师范大学);Peking University(北京大学);National University of Defense Technology(国防科技大学);Lancaster University(兰卡斯特大学)
深度神经网络(DNN)的最新进展使其对嵌入式系统具有吸引力。然而,DNN可能需要很长时间才能在资源受限的计算设备上进行推断。模型压缩技术可以解决嵌入式设备上深度推理的计算问题。这种技术非常有吸引力,因为它不依赖于专用硬件,也不依赖于由于隐私问题或高延迟而通常不可行的计算卸载。然而,目前还不清楚模型压缩技术如何在各种DNN上执行。为了设计高效的嵌入式深度学习解决方案,我们需要了解它们的行为。这项工作开发了一种定量方法来表征模型压缩技术的代表性嵌入式深度学习架构,NVIDIA Jetson Tx2。我们进行了广泛的实验,考虑从图像分类和自然语言处理域的11个有影响力的神经网络架构。我们的实验表明,如何两个主流的压缩技术,数据量化和修剪,执行这些网络架构和压缩技术的影响模型的存储大小,推理时间,能耗和性能指标。我们证明了有机会在嵌入式系统上实现快速的深度推理,但必须仔细选择压缩设置。我们的结果提供了有关何时以及如何应用模型压缩技术的见解,以及设计高效嵌入式深度学习系统的指南。
2018-10-21 cs.DC cs.LG cs.PF
Deep Generative Sampling in the Dual Divergence Space: A Data-efficient & Interpretative Approach for Generative AI
Morgan Stanley(摩根士丹利);NIST(美国国家标准与技术研究院);Georgetown University(乔治城大学);IBM Research(IBM研究院);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
针对小样本下多变量时间序列类图像生成的难题,提出基于信息论的对偶散度空间直接采样方法,兼具数据效率与可解释性,理论和实验均验证其优于现有SOTA深度学习方法。
2024-04-10 cs.AI cs.CL cs.CV
Deep Generative Learning via Variational Gradient Flow
Xi’an Jiaotong University(西安交通大学);Zhongnan University of Economics and Law(中南财经政法大学);The Hong Kong University of Science and Technology(香港科技大学)
我们提出了一个通用框架,通过概率空间上的\textbf{V}变量\textbf{Gr} adient Fl \textbf{ow}(VGrow)来学习深度生成模型。渐近收敛到目标分布的演化分布由向量场控制,该向量场是它们之间的$f$ -散度的第一变分的负梯度。我们通过残差映射的无限小时间合成证明了演化分布与前推分布一致,残差映射是单位映射沿向量场的扰动。向量场取决于前推分布和目标分布的密度比,这可以从二元分类问题中一致地学习。我们提出的VGrow方法与其他流行的方法,如VAE,GAN和基于流的方法,已经在这个框架中建立了联系,获得了深度生成学习的新见解。我们还评估了几个常用的分歧,包括Kullback-Leibler,Jensen-Shannon,Jeffrey分歧以及我们新发现的“logD”分歧,它作为logD技巧GAN的目标函数。在基准数据集上的实验结果表明,VGrow可以以稳定和高效的方式生成高保真图像,与最先进的GANs相比具有竞争力的性能。
2019-05-04 cs.LG stat.ML
Characterizing Learning in Deep Neural Networks using Tractable Algorithmic Complexity Analysis
Department of Computer Science, University of Copenhagen(哥本哈根大学计算机科学系);The American University in Cairo(开罗美国大学)
本文提出QuBD方法,用于估计深度神经网络权重的算法复杂度,揭示训练过程中复杂度随学习阶段的变化规律,为模型压缩提供理论依据。
2026-11-10 cs.LG
An Empirical Study towards Characterizing Deep Learning Development and Deployment across Different Frameworks and Platforms
Tianjin University(天津大学);Nanyang Technological University(南洋理工大学);Kyushu University(九州大学)
深度学习(DL)最近取得了巨大的成功。各种深度学习框架和平台在促进这一进展方面发挥着关键作用。然而,现有框架和平台在架构设计和实现上的差异给DL软件开发和部署带来了新的挑战。到目前为止,还没有研究各种主流框架和平台如何在实践中影响DL软件开发和部署。为了填补这一空白,我们迈出了理解最广泛使用的DL框架和平台如何支持DL软件开发和部署的第一步。我们通过使用两种类型的DNN架构和三种流行的数据集对这些框架和平台进行了系统的研究。(1)对于开发过程,我们研究了在相同的运行时训练配置或相同的模型权重/偏差下的预测精度。我们还利用现有的对抗攻击技术研究了训练模型的对抗鲁棒性。实验结果表明,框架间的计算差异会导致预测精度明显下降,应引起DL开发人员的注意。(2)对于部署过程,我们研究了当训练的模型从PC迁移/量化到真实的移动设备和Web浏览器时的预测精度和性能(指时间成本和内存消耗)。DL平台研究揭示了迁移和量化仍然存在兼容性和可靠性问题。同时,我们发现了几个DL软件的错误,使用的结果作为基准。我们通过利益相关者的错误确认和行业的积极反馈进一步验证了结果,以突出我们研究的意义。通过我们的研究,我们总结了实践指南,确定了挑战,并指出了新的研究方向。
2019-09-15 cs.LG
Characterizing Membership Privacy in Stochastic Gradient Langevin Dynamics
Peking University(北京大学);Ant Financial Service Group(蚂蚁金融服务集团);IBM Reseach(IBM研究);HongKong University of Science and Technology(香港科技大学)
贝叶斯深度学习最近被认为是表征深度神经网络~(DNN)权重不确定性的内在方法。随机梯度朗之万动力学(SGLD)是一种在大规模数据集上实现贝叶斯深度学习的有效方法。以前的理论研究已经显示出各种吸引人的性质SGLD,从收敛性的推广界。在本文中,我们从成员隐私保护的新角度研究了SGLD的属性(即,防止成员攻击)。成员攻击旨在确定特定样本是否用于训练给定的DNN模型,已成为深度学习算法的常见威胁。为此,本文构建了一个分析信息泄漏的理论框架。训练数据集)。基于该框架,我们证明了SGLD可以在一定程度上防止训练数据集的信息泄漏。此外,我们的理论分析可以自然地扩展到其他类型的随机梯度马尔可夫链蒙特卡罗(SG-MCMC)方法。在不同数据集和模型上的实验结果验证了我们的理论研究结果,并表明SGLD算法不仅可以减少信息泄漏,而且可以提高DNN模型在实际应用中的泛化能力。
2019-10-05 cs.LG stat.ML
NPC: Neuron Path Coverage via Characterizing Decision Logic of Deep Neural Networks
Singapore Management University(新加坡管理大学);Nanyang Technological University(南洋理工大学);Kyushu University(九州大学);Alibaba Group(阿里巴巴集团);Zhejiang Sci-Tech University(浙江理工大学)
深度学习最近已被广泛应用于跨不同领域的许多应用,例如,图像分类和音频识别。然而,深度神经网络(DNN)的质量在实际操作环境中仍然引起关注,这需要进行系统测试,特别是在安全关键场景中。受软件测试的启发,设计并提出了一些结构覆盖准则来衡量DNN的测试充分性。然而,由于DNN的黑盒性质,现有的结构覆盖标准很难解释,因此很难理解这些标准的基本原理。DNN的结构覆盖和决策逻辑之间的关系是未知的。此外,最近的研究进一步揭示了结构覆盖率和DNN缺陷检测之间不存在相关性,这进一步引发了对合适的DNN测试标准的关注。在本文中,我们提出了可解释的覆盖标准,通过构建DNN的决策结构。模仿传统程序的控制流图,我们首先基于其解释从DNN中提取决策图,其中决策图的路径表示DNN的决策逻辑。基于决策图的控制流和数据流,我们提出了两种不同的路径覆盖率来度量测试用例在执行决策逻辑时的充分性。路径覆盖率越高,DNN预计将探索的决策逻辑就越多样化。我们的大规模评估结果表明:决策图中的路径在表征DNN的决策方面是有效的,并且所提出的覆盖标准对包括自然错误和对抗性示例在内的错误也是敏感的,并且与输出公正性强相关。
2022-03-26 cs.CV cs.LG cs.SE
A Deep Learning Approach for Characterizing Major Galaxy Mergers
LERMA, Observatoire de Paris, PSL Research University, CNRS Sorbonne Universités, UPMC Univ. Paris 06(巴黎天文台LERMA实验室,巴黎文理研究大学,法国国家科学研究中心索邦大学,巴黎第六大学);Departamento de Astrofísica, Universidad de La Laguna(拉古纳大学天体物理系);Institut d’Astrophysique de Paris, Sorbonne Université CNRS(索邦大学巴黎天体物理研究所,法国国家科学研究中心);Artificial Intelligence Research Institute (IIIA-CSIC)(人工智能研究所(IIIA-CSIC));UCO/Lick Observatory, Department of Astronomy and Astrophysics University of California, Santa Cruz(加州大学圣克鲁兹分校UCO/利克天文台天文与天体物理系);DeepMind(深度思维);Instituto de Astrofísica de Canarias(加那利群岛天体物理研究所);IFCA Instituto de Fiésica de Cantabria (UC-CSIC)(坎塔布里亚物理研究所(UC-CSIC))
从观测数据中精确估计星系合并阶段是验证我们目前对星系形成理论认识的一个关键问题。为此,我们展示了一个基于CNN的回归模型,该模型能够首次使用单个图像预测相对于第一个近地点通道的合并阶段,在4亿年的时间内,中位误差为3830万年(Myrs)。该模型不使用特定的动态建模,只从模拟的合并事件中学习。我们表明,我们的模型提供了合理的估计真实的观察,近似匹配的详细的动力学建模提供的先验估计。我们提供了一个初步的可解释性分析,我们的模型,并证明校准的不确定性估计的第一步。
2021-02-09 astro-ph.GA cs.LG