Compressed Sensing with Deep Image Prior and Learned Regularization
University of Texas(得克萨斯大学);University of Southern California(南加利福尼亚大学)
我们提出了一种使用未经训练的深度生成模型进行压缩感知恢复的新方法。我们的方法基于最近提出的深度图像先验(DIP),其中网络的卷积权重被优化以匹配观察到的测量。我们表明,这种方法可以应用于解决任何可微线性逆问题,优于以前的未学习的方法。与基于生成模型的各种学习方法不同,我们的方法不需要在大型数据集上进行预训练。我们进一步介绍了一种新的学习正则化技术,它结合了网络权重的先验信息。这减少了重建误差,特别是对于有噪声的测量。最后,我们证明,使用DIP优化方法,适度过参数化的单层网络可以完美地拟合任何信号,尽管非凸性的拟合问题。这一理论结果为早期停止提供了依据。
2020-10-29 cs.IT cs.LG math.IT
LEt-SNE: A Hybrid Approach To Data Embedding and Visualization of Hyperspectral Imagery
Mercedes-Benz Research and Development India Pvt. Ltd.(梅赛德斯-奔驰印度私人有限公司研发中心);Centre of Studies in Resources Engineering, Indian Institute of Technology Bombay(印度理工学院孟买分校资源工程研究中心)
从无人机或卫星捕获的高光谱图像(以及一般的遥感)由于其捕获的大空间范围和波长而具有非常大的体积。由于分析这些图像需要大量的计算时间和功率,各种降维技术已被用于特征约简。其中一些流行的技术摇摇欲坠时,应用于高光谱图像由于著名的灾难的维度。在本文中,我们提出了一种新的方法,LEt-SNE,它结合了基于图的算法,如t-SNE和拉普拉斯特征映射到一个模型参数化的浅前馈网络。我们引入了一个新的术语,压缩因子,使我们的方法能够对抗维数灾难。该算法适用于流形可视化和有标记或无标记数据的样本聚类。我们证明了我们的方法是有竞争力的,目前国家的最先进的方法在公共领域的高光谱遥感数据集。
2020-02-08 cs.CV cs.LG eess.IV
Assessing learned features of Deep Learning applied to EEG
SCCN, INC, UCSD(加州大学圣迭戈分校斯沃茨计算神经科学中心);CerCo CNRS, Paul Sabatier University(法国国家科学研究中心大脑与认知研究中心,保罗·萨巴捷大学)
卷积神经网络(Convolutional Neural Network,CNN)在目标检测、图像识别、图像检索等计算机视觉领域取得了令人瞩目的成就。这些成就得益于CNN在深层神经元结构和迭代训练过程中学习判别特征的出色能力。这激发了EEG研究界采用CNN来执行EEG分类任务。然而,CNN学习的特征并不能立即解释,导致人们对CNN的内部工作机制缺乏了解。为了提高CNN的可解释性,应用CNN可视化方法将内部特征转换为视觉上可感知的模式,用于CNN层的定性分析。在计算机视觉文献中已经提出了许多CNN可视化方法来解释CNN网络的结构、操作和语义概念,但在EEG数据分析中的应用受到限制。在这项工作中,我们使用3种不同的方法从原始EEG数据训练的CNN中提取EEG相关特征:每个分类类别的最佳样本,激活最大化和反向卷积。我们将这些方法应用于一个高性能的深度学习模型,该模型具有EEG性别分类任务的最新性能,并表明该模型具有θ频带的差异。我们表明,可视化的CNN模型可以揭示有趣的EEG结果。使用这些工具,使用深度学习的EEG研究人员可以更好地识别学习的EEG特征,可能识别新的类别相关生物标志物。
2021-11-08 cs.LG eess.SP
Multi-element microscope optimization by a learned sensing network with composite physical layers
Pratt School of Engineering, Duke University(杜克大学普拉特工程学院)
标准显微镜提供多种设置,以帮助提高最终显微镜用户对不同标本的可见性。然而,越来越多地使用数字显微镜来捕获图像以通过计算机算法(例如,用于特征分类、检测或分割),通常没有任何人工参与。在这项工作中,我们研究了一种方法,以联合优化多个显微镜设置,连同一个分类网络,以提高性能与这样的自动化任务。我们探索可编程照明和光瞳传输的优化之间的相互作用,使用实验成像的血涂片自动疟疾寄生虫检测,显示多元素的“学习感测”优于其单一元素的对应。虽然不一定适合人类解释,但该网络产生的低分辨率显微镜图像(20倍可比)为机器学习网络提供了足够的对比度,以匹配相应的高分辨率图像(100倍可比)的分类性能,为大视场的精确自动化指明了道路。
2020-06-27 cs.LG eess.IV physics.optics
Knowing when we do not know: Bayesian continual learning for sensing-based analysis tasks
University of Cambridge(剑桥大学)
尽管许多研究旨在使传统的机器学习模型能够连续地学习任务和数据分布,而不会忘记所获得的知识,但很少有人致力于考虑更现实的情况,其中准确地学习一些任务可能比忘记先前的任务更重要。在本文中,我们提出了一个贝叶斯推理为基础的框架,不断学习一组现实世界中,基于感知的分析任务,可以调整优先级记住以前学习的任务或学习新的。我们的实验证明了学习模型的鲁棒性和可靠性,以适应不断变化的传感环境,并显示使用预测的不确定性来评估其可靠性的适用性。
2021-06-06 cs.LG
CLEAR: Complex Learned Explicit Analytical Regularization for Ultra-Accelerated 4D Flow CMR Reconstruction
Chemnitz University of Technology(开姆尼茨工业大学)
CLEAR是首个用于4D血流CMR重建的学习型显式解析正则化器,结合压缩感知可解释性与学习模型灵活性,在超加速10-50倍下优于LLR和FlowVN,参数少于1万。
2026-09-22 cs.CV cs.LG math.OC
Hierarchical Visualization of Materials Space with Graph Convolutional Neural Networks
Massachusetts Institute of Technology(麻省理工学院)
高通量计算和机器学习的结合导致了材料设计的新范式,允许直接筛选大部分的结构,化学和属性空间。使用这些强大的技术会产生大量的数据,这反过来又需要新的技术来有效地探索和可视化材料空间,以帮助识别潜在的模式。在这项工作中,我们开发了一个统一的框架,以分层方式可视化任意材料空间中材料之间的成分和结构相似性,并从不同层的图卷积神经网络中学习表示。我们展示了这种可视化方法的潜力,通过显示自动出现的模式,反映了在三个代表性的材料:钙钛矿,元素硼,和一般的无机晶体,覆盖不同的组成,结构和两者的材料空间在不同尺度上的相似性。对于钙钛矿,元素的相似性反映了原子性质的多个方面。对于元素硼,结构图案自动出现,显示特征硼局部环境。对于无机晶体,结合不同的中心和相邻原子,局部配位环境的相似性和稳定性。该方法可以帮助过渡到以数据为中心的材料空间的自动化材料设计的探索。
2018-09-18 cond-mat.mtrl-sci cs.LG
Planning Beyond the Sensing Horizon Using a Learned Context
Massachusetts Institute of Technology(麻省理工学院);Ford Motor Company(福特汽车公司)
最后一英里交付系统通常建议使用自动机器人车辆来提高可扩展性和效率。收集精确的先验地图用于导航的经济效率低下促使使用在未绘制地图的环境中操作的规划算法。然而,这些算法通常浪费时间探索不太可能包含递送目的地的区域。上下文是关于结构化环境的关键信息,可以引导对未知目标位置的探索,但抽象的想法是难以量化的规划算法中使用。一些方法专门考虑对象之间的上下文关系,但在户外等对象稀疏的环境中表现不佳。最近的基于深度学习的方法对上下文的考虑过于笼统,使得训练/可移植性变得困难。因此,这项工作提出了一种新的配方,利用上下文规划作为一个图像到图像的翻译问题,这是从语义网格图提取地形上下文,到一个基于探索的规划师可以使用的度量。所提出的框架具有在静态数据集上进行训练的优点,而不需要耗时的模拟器。在42个具有卫星图像布局的测试房屋中,经过训练的算法使机器人能够比不知道上下文的规划者更快地达到目标189%,并且在使用先前地图计算的最佳路径的63%以内。该算法还实现了一个车辆上的一个面向前的摄像头在高保真,虚幻的模拟邻里的房子。
2020-06-01 cs.AI cs.LG cs.RO
ML-based Visualization Recommendation: Learning to Recommend Visualizations from Data
University of Maryland(马里兰大学);Adobe Research(奥多比研究院)
可视化推荐旨在自动生成、评分并向用户推荐有用的可视化,对于快速探索和深入了解新的或现有的数据集至关重要。在这项工作中,我们提出了第一个端到端的基于ML的可视化推荐系统,该系统将大型数据集和可视化语料库作为输入,并根据这些数据学习模型。然后,给定来自任意用户的新的未见过的数据集,模型自动生成该新数据集的可视化,导出可视化的分数,并向用户输出按有效性排序的推荐可视化列表。我们还描述了一个评估框架,以定量评估从大型可视化和数据集语料库中学习的可视化推荐模型。通过定量实验,用户研究和定性分析,我们表明,我们的端到端ML为基础的系统相比,现有的最先进的基于规则的系统,建议更有效和有用的可视化。最后,我们观察到人类专家在我们的用户研究中对我们基于ML的系统推荐的可视化的强烈偏好,而不是基于规则的系统(来自7点Likert量表的5.92,相比之下只有3.45)。
2020-09-25 cs.HC cs.IR cs.LG
RIS-Assisted 3D Spherical Splatting for Object Composition Visualization using Detection Transformers
Department of Electrical and Computer Engineering, Aristotle University of Thessaloniki(阿尔忒弥斯大学电气与计算机工程系);Department of Computer Science and Engineering, University of Ioannina(伊奥安纳大学计算机科学与工程系);Department of Electrical and Computer Engineering, Technical University of Crete(克里特技术大学电气与计算机工程系);Institute of Computer Science, Foundation for Research and Technology Hellas(希腊基础研究与技术院计算机科学研究所)
本文提出一种PWE驱动的RF三维物体重建框架,结合RIS场合成与检测Transformer,从RF特征中推断物体几何与材料参数,仿真总体准确率达79.35%。
2025-11-05 cs.LG eess.SP
Answering Questions about Data Visualizations using Efficient Bimodal Fusion
Rochester Institute of Technology(罗切斯特理工学院);Adobe Research(Adobe 研究院);Paige;Cornell Tech(康奈尔科技校区)
图表问答(CQA)是一种新提出的可视化问答(VQA)任务,其中算法必须回答有关数据可视化的问题,例如条形图,饼图和线图。CQA需要自然图像VQA算法所缺乏的功能:细粒度测量、光学字符识别以及处理问题和答案中的词汇表外单词。在没有修改的情况下,最先进的VQA算法在这项任务上表现不佳。在这里,我们提出了一种新的CQA算法称为并行递归图像和语言的融合(PReFIL)。PReFIL首先通过融合问题和图像特征来学习双峰嵌入,然后智能地聚合这些学习的嵌入来回答给定的问题。尽管简单,但PReFIL在FigureQA和DVQA数据集上大大超过了最先进的系统和人类基线。此外,我们证明,PReFIL可以用来重建表,问一系列的问题,一个图表。
2020-07-22 cs.AI cs.CL cs.CV
FiLark: a streaming-first software framework for end-to-end exploration, annotation, and algorithm integration in distributed acoustic sensing
organization= State Key Laboratory of Ocean Sensing \& Ocean College, Zhejiang University , city= Zhoushan , postcode= 316021 , country= China;organization= College of Information Science;Electronic Engineering, Zhejiang University , city= Hangzhou , country= China;organization= College of Computer Science;Technology, Zhejiang University , city= Hangzhou , country= China
本文提出FiLark框架,通过流式处理原则,实现分布式声学传感数据的端到端探索、标注和算法集成,解决传统批量分析框架无法处理连续高通道数据流的问题。
2026-05-19 cs.LG eess.SP physics.geo-ph
A Shallow High-Order Parametric Approach to Data Visualization and Compression
NEC Labs America(NEC美国实验室);National Research Council Canada(加拿大国家研究委员会)
显式高阶特征交互有效地捕获感兴趣数据的基本结构知识,并已用于构建生成模型。我们提出了一个监督判别高阶参数嵌入(HOPE)的方法来数据可视化和压缩。与具有复杂深层架构的深层嵌入模型相比,HOPE通过极其简单的浅层模型生成更有效的高阶特征映射。此外,提出了两种方法来生成少量的样本传达高阶相互作用,以代表大规模的数据集。这些范例与HOPE学习的特征映射相结合,有效地捕获了基本的数据变化。此外,通过HOPE,这些样本被用来提高计算效率的kNN分类快速信息检索的数千倍。对于MNIST和USPS数据集上的二维嵌入空间中的分类,我们的具有简单Sigmoid变换的浅层方法HOPE显著优于基于深度神经网络的最先进的监督深度嵌入模型,甚至在MNIST上的二维空间中实现了历史最低的测试出错率0.65%,其展示了具有高阶特征交互的监督浅模型的表示效率和能力。
2016-08-16 cs.AI cs.LG stat.ML
Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover
University College London(伦敦大学学院);Weizmann Institute of Science(魏茨曼科学研究学院)
在本文中,我们考虑深度神经网络解决逆问题,是强大的前向模型误规格。具体来说,我们对待感测问题与模型不匹配,其中一个希望恢复稀疏的高维向量从低维观测的测量算子的不确定性。然后,我们设计了一个新的强大的深度神经网络架构,通过应用算法展开技术的一个强大的版本的底层恢复问题。我们提出的网络-名为Robust lEarned Shrinkage-Holding(REST)-与学习迭代Shrinkage-Holding算法(LISTA)相比,表现出额外的归一化处理,从而在样本变化模型失配下可靠地恢复信号。所提出的REST网络的表现优于最先进的基于模型和数据驱动的算法在压缩感知和雷达成像问题,其中模型不匹配被考虑在内。
2021-10-20 cs.LG eess.SP
What do We Learn by Semantic Scene Understanding for Remote Sensing imagery in CNN framework?
School of Geosciences and Info Physics, Central South University(中南大学地球科学与信息物理学院)
近年来,深度卷积神经网络(DCNN)在自然图像识别领域取得了越来越显著的成功并迅速发展。与自然图像相比,遥感图像的尺度更大,所代表的场景和目标更宏观。本研究探讨了遥感场景与自然场景识别是否存在差异,并提出了以下问题:遥感场景识别的关键因素是什么?以物体识别为核心的DCNN识别机制是否还适用于遥感场景理解的场景?我们进行了几个实验,从场景复杂度的角度探讨DCNN结构和遥感场景理解的规模的影响。我们的实验表明,理解一个复杂的场景取决于一个深入的网络和多尺度感知。采用可视化的方法,定性和定量地分析了复杂遥感场景中的识别机制,论证了多目标联合语义支持的重要性。
2017-05-19 cs.CV cs.LG
CO-SNE: Dimensionality Reduction and Visualization for Hyperbolic Data
UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
双曲空间可以自然地嵌入在现实世界的数据和语义中经常存在的层次结构。虽然高维双曲嵌入导致更好的表示,但由于高维双曲数据的非平凡优化和可视化,大多数双曲模型使用低维嵌入。我们提出了CO-SNE,它扩展了欧氏空间的可视化工具,t-SNE,双曲空间。与t-SNE类似,它将数据点之间的距离转换为联合概率,并试图最小化高维数据$X$和低维嵌入$Y$的联合概率之间的Kullback-Leibler发散。然而,与欧几里得空间不同,双曲空间是不齐次的:一个体积可以在远离原点的位置包含更多的点。因此,CO-SNE使用$X$的双曲正态分布和双曲\underline{C} auchy,而不是$Y$的t-SNE学生t分布,并且它还试图保留$X$到$Y$中\underline{O}原点的个体距离。我们将CO-SNE应用于自然双曲数据和监督学习的双曲特征。我们的研究结果表明,CO-SNE将高维双曲数据压缩到低维空间,而不会失去其双曲特性,显著优于流行的可视化工具,如PCA,t-SNE,UMAP和HoroPCA,这也是为双曲数据设计的。
2022-05-13 cs.LG
Analysis and Visualization of Deep Neural Networks in Device-Free Wi-Fi Indoor Localization
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);Institute of Electronics, National Chiao Tung University(国立交通大学电子研究所)
无设备Wi-Fi室内定位作为许多物联网(IoT)应用的关键使能技术受到了极大的关注。基于机器学习的位置估计器(例如,深度神经网络(DNN))在通过从噪声无线信号测量自动学习辨别特征来实现高精度定位性能方面具有经证实的潜力。然而,DNN的内部工作是不透明的,并且没有被充分理解,特别是在室内定位应用中。在本文中,我们为DNN学习过程以及DNN在此过程中学习的关键特征提供了定量和可视化的解释。为此,我们建议使用几种可视化技术,包括:1)降维可视化,将高维特征空间投影到2D空间,以便于可视化和解释,以及2)可视化分析和信息可视化,量化每个特征的相对贡献与建议的特征操作程序。这些结果提供了DNN在使用信道状态信息(CSI)指纹的无设备Wi-Fi室内定位中的有见地的观点和合理的解释。
2019-05-22 cs.LG cs.NI
Deep Snow: Synthesizing Remote Sensing Imagery with Generative Adversarial Nets
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Descartes Labs, Inc(笛卡尔实验室公司)
在这项工作中,我们证明了生成对抗网络(GANs)可以用于在遥感图像中生成逼真的普遍变化,即使在不成对的训练环境中。我们研究了一些基于生成图像和真实图像的深度嵌入的变换质量度量,这些图像能够可视化和理解GAN的训练动态,并且可以在量化生成图像与真实图像的区别方面提供有用的度量。我们还识别了由GAN在生成的图像中引入的一些伪影,这些伪影可能会导致深度嵌入特征空间中真实样本和生成样本之间的差异,即使在真实样本和生成样本在感知上相似的情况下也是如此。
2020-05-18 cs.CV cs.LG eess.IV
VizNet: Towards A Large-Scale Visualization Learning and Benchmarking Repository
MIT Media Lab(麻省理工学院媒体实验室);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Tsinghua University(清华大学)
研究人员目前依赖于ad hoc数据集来训练自动可视化工具和评估可视化设计的有效性。这些样本通常缺乏真实世界数据集的特征,并且它们的一次性性质使得很难比较不同的技术。在本文中,我们介绍了VizNet:一个由开放数据库和在线可视化画廊编译的超过3100万个数据集组成的大规模语料库。平均而言,这些数据集包括3个维度上的17条记录,在整个语料库中,我们发现51%的维度记录了分类数据,44%的维度记录了定量数据,只有5%的维度记录了时间数据。VizNet为比较可视化设计技术以及开发用于自动化可视化分析的基准模型和算法提供了必要的公共基线。为了证明VizNet作为大规模进行在线众包实验的平台的实用性,我们复制了先前的研究,评估用户任务和数据分布对视觉编码有效性的影响,并通过考虑额外的任务来扩展它:离群值检测。为了应对大规模运行此类研究,我们展示了如何从实验结果中学习感知有效性的度量,并显示其在测试数据集上的预测能力。
2019-05-12 cs.DB cs.HC cs.LG
Genetic Architect: Discovering Genomic Structure with Learned Neural Architectures
Institute for Human Genetics(人类遗传学研究所);University of California, San Francisco(加州大学旧金山分校);Enlitic(Enlitic公司)
每个人类基因组都是30亿个碱基对的编码指令集。使用深度学习解码基因组与大多数任务有着根本的不同,因为我们不知道数据的完整结构,因此无法设计适合它的架构。因此,适合基因组学结构的架构应该是学习而不是规定的。在这里,我们开发了一种新的搜索算法,适用于跨域,发现一个最佳的架构,同时学习一般的基因组模式,并确定最重要的序列基序预测功能基因组的结果。我们使用该算法发现的架构成功地仅使用RNA表达数据来预测基因调控结构,学习人类可解释的关键序列基序可视化,并在基准基因组学挑战中超越最先进的结果。
2016-05-23 cs.AI cs.LG cs.NE
Interpretation of Deep Temporal Representations by Selective Visualization of Internally Activated Nodes
KAIST(韩国科学技术院);UNIST(蔚山科学技术院)
最近,深度神经网络在许多时间或序列数据的分类和回归任务中表现出竞争力。然而,时间深度神经网络的分类机制仍然很难理解。在本文中,我们提出了两个新的框架来可视化从深度神经网络学习的时间表示。给定输入数据和输出,我们的算法解释的时间神经网络的决定,通过提取高度活跃的时期和可视化的子序列的输入数据,有助于激活的单位。此外,我们的特点,这样的子序列与聚类和计算的不确定性,建议的类型和实际数据。我们还建议从一个单元的输出,而不是从最终的输出,逐层的相关性与向后蒙特卡洛辍学,以显示每个输入点的相关性得分,以激活单元,提供有关这种影响的不确定性的视觉表示。
2020-07-10 cs.LG cs.NE
Geometry- and Accuracy-Preserving Random Forest Proximities
Idaho State University(爱达荷州立大学);Utah State University(犹他州立大学)
随机森林被认为是最好的开箱即用的分类和回归算法之一,因为它们的预测性能高,调整相对较少。成对接近度可以从训练的随机森林中计算出来,并测量数据点之间相对于监督任务的相似性。随机森林近似性已被用于许多应用中,包括变量重要性的识别,数据填补,离群值检测和数据可视化。然而,现有的定义的随机森林接近度不准确地反映了数据的几何形状学习的随机森林。在本文中,我们介绍了一种新的定义的随机森林逼近称为随机森林几何和精度保持逼近(RF-GAP)。我们证明了使用RF-GAP的邻近加权和(回归)或多数投票(分类)与包外随机森林预测完全匹配,从而捕获了随机森林学习的数据几何。我们的经验表明,这种改进的几何表示优于传统的随机森林近似的任务,如数据插补,并提供离群值检测和可视化结果与学习的数据几何结构一致。
2023-02-28 cs.LG stat.AP stat.ME
Adversarial Robustness as a Prior for Learned Representations
MIT(麻省理工学院)
深度学习的一个重要目标是学习输入数据的通用、高级特征表示。然而,标准网络的表示似乎具有缺点,正如我们所示,阻止他们完全实现这一目标。在这项工作中,我们证明了鲁棒优化可以重新作为一种工具,用于在深度神经网络学习的特征上执行先验。事实证明,通过鲁棒模型学习的表示解决了上述缺点,并在学习输入的高级编码方面取得了重大进展。特别是,这些表示是近似可逆的,同时允许显着输入特征的直接可视化和操纵。更广泛地说,我们的研究结果表明对抗鲁棒性是改进学习表示的一个有前途的途径。我们用于重现这些结果的代码和模型可在https://git.io/robust-reps上获得。
2019-09-27 cs.CV cs.LG cs.NE
Learning Adaptive Sampling and Reconstruction for Volume Visualization
Technical University of Munich(慕尼黑工业大学)
数据可视化的一个核心挑战是理解需要哪些数据样本来生成数据集的图像,其中相关信息被编码。在这项工作中,我们对回答人工神经网络是否可以预测在哪里采样的数据具有更高或更低的密度,通过学习数据,采样模式和生成的图像之间的对应关系的问题迈出了第一步。我们介绍了一种新的神经渲染管道,它是训练端到端生成一个稀疏的自适应采样结构从一个给定的低分辨率输入图像,并重建一个高分辨率的图像从稀疏的样本集。这是第一次,据我们所知,我们证明了选择的结构,是相关的最终视觉表示可以共同学习与重建的表示,从这些结构。因此,我们引入了可微分采样和重建阶段,这可以利用基于监督损失的反向传播,仅在最终图像上。我们阐明了网络管道产生的自适应采样模式,并分析了其用于体可视化,包括等值面和直接体渲染。
2020-07-20 cs.GR cs.LG eess.IV
Feature Visualization within an Automated Design Assessment leveraging Explainable Artificial Intelligence Methods
Fraunhofer Institute for Manufacturing Engineering and Automation IPA(弗劳恩霍夫制造工程与自动化研究所)
不仅制造过程的自动化,而且自动化过程本身的自动化也越来越与自动化研究相关。在此背景下,已经提出了主要由从3D CAD数据驱动的深度学习系统利用的自动化能力评估。当前的评估系统可能能够评估关于抽象特征的CAD数据,例如自动将组件与散装货物分离的能力,或抓持表面的存在。然而,他们遭受黑箱系统的因素,其中可以很容易地学习和生成评估,但没有任何几何指标的原因,系统的决定。通过使用可解释AI(xAI)方法,我们试图打开黑盒。可解释的人工智能方法已经被用来评估神经网络是否成功地学习了给定的任务,或者分析输入的哪些特征可能导致对抗攻击。这些方法旨在通过分析来自给定输入的模式及其对网络输出的影响来获得对神经网络的额外见解。在NeuroCAD项目中,xAI方法用于识别与特定抽象特征相关的几何特征。在这项工作中,灵敏度分析(SA),逐层相关传播(LRP),加权类激活映射(Grad-CAM)方法以及本地可解释模型不可知推理(LIME)已在NeuroCAD环境中实现,不仅允许评估CAD模型,而且还可以识别与网络决策相关的功能。在中期运行中,这可能有助于识别感兴趣的区域,支持产品设计师优化他们的装配过程模型。
2022-01-28 cs.AI cs.CV cs.LG
Approximate UMAP allows for high-rate online visualization of high-dimensional data streams
Donders Institute for Brain, Cognition and Behaviour, Radboud University(拉德堡德大学唐德斯脑、认知与行为研究所)
针对BCI领域高维脑信号实时可视化难的问题,提出近似UMAP(aUMAP)算法,相比标准UMAP和参数化UMAP,其能复现标准UMAP投影空间,投影速度提升一个数量级且训练时间不变,可支撑高维数据流的高速在线可视化。
2024-04-05 cs.AI cs.HC cs.LG
Smart Sensing for Safer Bridges: From Sensor Signals to AI-Driven Anomaly Detection
Smart Sensor Systems AS(智能传感器系统公司)
本文利用信号处理与孤立森林机器学习模型对挪威桥梁传感器数据进行异常检测,通过多种指标评估并验证了机器学习方法的有效性。
2026-10-05 cs.LG
Deep Learning for Radio-based Human Sensing: Recent Advances and Future Directions
虽然长达十年的研究已经清楚地证明了射频(RF)在许多人类感知任务中的巨大潜力,但将这种技术扩展到大型场景仍然存在问题。最近,研究人员成功地应用了深度学习,将基于无线电的传感技术提升到了一个新的水平。已经提出了许多不同类型的深度学习模型,以在大量人口和活动集以及看不见的环境中实现高感知精度。深度学习还可以检测到以前不可能的新的人类感知现象。在本次调查中,我们对最近基于深度学习的射频传感研究工作进行了全面的回顾和分类。我们还识别和比较了几个公开发布的标记RF传感数据集,这些数据集可以促进这种深度学习研究。最后,我们总结了经验教训,并讨论了基于深度学习的RF传感的当前局限性和未来发展方向。
2021-02-07 cs.LG eess.SP
PiGGO: Physics-Guided Learnable Graph Kalman Filters for Virtual Sensing of Nonlinear Dynamic Structures under Uncertainty
Department of Civil, Environmental and Geomatic Engineering, ETH Zürich(土木、环境与地理工程系,苏黎世联邦理工学院);Future Resilient Systems(未来韧性系统)
本文提出PiGGO框架,结合物理引导的图神经ODE与扩展卡尔曼滤波,实现非线性动态结构的在线虚拟传感和不确定性感知状态估计,优于传统方法和开环图神经模型。
2026-04-29 cs.LG physics.app-ph
Warped Gaussian Processes in Remote Sensing Parameter Estimation and Causal Inference
Universitat de València(瓦伦西亚大学)
本文介绍了翘曲高斯过程(WGP)回归在遥感中的应用。WGP将输出观测建模为GP的参数非线性变换。然后通过标准最大似然法学习这种先验模型的参数。我们表现出良好的性能所提出的模型估计海洋叶绿素含量的多光谱数据,植被参数(叶绿素,叶面积指数,植被覆盖率)从高光谱数据,并在检测的因果方向在一个集合的28个双变量地球科学和遥感因果问题。该模型在准确性和更合理的置信区间方面始终优于标准GP和更先进的异方差GP模型。
2020-12-09 cs.CV cs.LG
Summit: Scaling Deep Learning Interpretability by Visualizing Activation and Attribution Summarizations
Georgia Tech(佐治亚理工学院)
深度学习越来越多地用于决策任务。然而,理解神经网络如何产生最终预测仍然是一个根本性的挑战。解释图像的神经网络预测的现有工作通常集中在解释单个图像或神经元的预测。由于预测通常是根据数百万个权重计算的,这些权重是在数百万张图像上优化的,因此这种解释很容易错过更大的画面。我们介绍了Summit,这是一个交互式系统,可扩展和系统地总结和可视化深度学习模型已经学习的功能以及这些功能如何相互作用以进行预测。Summit引入了两种新的可扩展摘要技术:(1)激活聚合发现重要的神经元,(2)神经元影响聚合识别这些神经元之间的关系。Summit将这些技术结合起来,创建了新颖的归因图,揭示和总结了有助于模型结果的关键神经元关联和子结构。Summit可扩展到大数据,例如包含120万张图像的ImageNet数据集,并利用神经网络特征可视化和数据集示例,帮助用户将大型复杂的神经网络模型提取为紧凑的交互式可视化。我们提出了神经网络探索方案,其中Summit帮助我们发现了对流行的大规模图像分类器的学习表示的多个令人惊讶的见解,并为未来的神经网络架构设计提供了信息。Summit可视化在现代Web浏览器中运行,并且是开源的。
2019-09-02 cs.CV cs.HC cs.LG
Convolutional LSTMs for Cloud-Robust Segmentation of Remote Sensing Imagery
Technical University of Munich(慕尼黑工业大学)
云经常覆盖地球表面,对光学地球观测方法构成无所不在的挑战。绝大多数遥感方法要么选择性地选择单一的无云观测,要么采用预分类策略来识别和掩盖多云像素。我们遵循不同的策略,并将云覆盖视为观测卫星数据固有的噪声。在以前的工作中,我们直接采用了一个简单的\emph{convolutional long short-term memory}网络的植被分类没有明确的云过滤,并取得了国家的最先进的分类精度。在这项工作中,我们通过可视化内部细胞激活并对不同云覆盖率的数据集进行消融实验来进一步研究这种云的鲁棒性。在网络状态的可视化中,我们发现了一些细胞,其中调制和输入门在多云像素上关闭。这表明网络已经内化了云过滤机制,而没有专门针对云标签进行训练。总的来说,我们的研究结果质疑了多时间深度学习方法的复杂预处理管道的必要性。
2018-12-02 cs.CV cs.LG stat.ML
NeuralDivergence: Exploring and Understanding Neural Networks by Comparing Activation Distributions
Georgia Institute of Technology(佐治亚理工学院)
随着深度神经网络越来越多地用于解决高风险问题,迫切需要了解其内部决策机制。可视化通过帮助解释复杂的深层神经网络来帮助解决这个问题。然而,当前的工具通常只支持单个数据实例,或者孤立地可视化层。我们介绍了NeuralDivergence,一个交互式可视化系统,它使用激活分布作为模型学习的高级摘要。NeuralDivergence使用户能够交互式地总结和比较跨层、类和实例的激活分布(例如,对抗攻击和良性图像对),帮助他们更好地理解神经网络模型。
2019-06-02 cs.CV cs.LG
Comparing Deep Neural Nets with UMAP Tour
The University of Arizona(亚利桑那大学)
神经网络应该是人类可以理解的。特别是,人们对层中学习的概念和层之间的相似性越来越感兴趣。在这项工作中,一个工具,UMAP旅游,建立了视觉检查和比较内部行为的真实世界的神经网络模型使用良好对齐,实例级表示。在可视化中使用的方法也意味着一个新的相似性度量之间的神经网络层。使用可视化工具和相似性度量,我们发现了在最先进的模型中学习的概念以及它们之间的差异,例如GoogLeNet和ResNet。
2021-10-18 cs.CV cs.HC cs.LG
NeuroInspect: Interpretable Neuron-based Debugging Framework through Class-conditional Visualizations
Korea University(高丽大学)
提出NeuroInspect,一个基于神经元的可解释调试框架,通过反事实解释、类条件特征可视化和虚假相关性缓解,无需额外数据或调整模型,有效改善错误决策并提升人类理解。
2023-10-17 cs.CV cs.LG