PRNet: Self-Supervised Learning for Partial-to-Partial Registration
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一个简单,灵活,通用的框架,题为部分注册网络(PRNet),部分到部分点云注册。受最近提出的基于学习的注册方法的启发,我们使用深度网络来解决对齐和部分对应问题的非凸性。虽然以前的基于学习的方法假设整个形状是可见的,但PRNet适用于部分到部分配准,在合成数据上优于PointNetLK,DCP和非学习方法。PRNet是自我监督的,共同学习适当的几何表示,关键点检测器,可以找到部分视图之间的共同点,以及关键点到关键点的对应关系。我们展示了PRNet在视图和对象之间一致地预测关键点和对应关系。此外,学习的表示可转移到分类。
2019-10-29 cs.LG stat.ML
PROTOCOL: Partial Optimal Transport-enhanced Contrastive Learning for Imbalanced Multi-view Clustering
Shanghai Key Laboratory of Intelligent Information Processing, College of Computer Science and Artificial Intelligence, Fudan University, China(上海智能信息处理实验室,计算机科学与人工智能学院,复旦大学);College of Computer Science and Technology, Qingdao University, China(计算机科学与技术学院,青岛大学);Shanghai Key Laboratory of Navigation and Location-based Services, School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University, China(上海导航与位置服务实验室,电子信息与电气工程学院,上海交通大学);Institute of Science and Technology for Brain-Inspired Intelligence and Key Laboratory of Computational Neuroscience and Brain-Inspired Intelligence, Fudan University, China(脑启发智能科学技术研究院和计算神经科学与脑启发智能重点实验室,复旦大学)
针对现有对比多视图聚类隐含类别均衡假设、在真实不平衡多视图数据上性能下降的问题,提出PROTOCOL框架,通过部分最优传输建模不平衡分布、结合双层再平衡对比学习强化少数类表征,显著提升不平衡多视图聚类性能。
2025-06-14 cs.LG stat.ML
SMART: Semantic Matching Contrastive Learning for Partially View-Aligned Clustering
College of Computer Science and Technology, Huaqiao University(华侨大学计算机科学与技术学院);Department of Computer Science, Shantou University(汕头大学计算机科学系);Chongqing Key Laboratory of Nonlinear Circuits and Intelligent Information Processing, College of Electronic and Information Engineering, Southwest University(西南大学电子信息工程学院非线性电路与智能信息处理重点实验室);School of Computer Science and Engineering, South China University of Technology(华南理工大学计算机科学与工程学院);Department of Computer Science, City University of Hong Kong(香港城市大学计算机科学系)
SMART通过语义匹配对比学习解决部分视图对齐聚类中的分布偏移问题,提升对齐和非对齐数据的语义利用效果。
2025-12-17 cs.AI cs.CV cs.LG
Semi-supervised Deep Representation Learning for Multi-View Problems
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Northwestern University(西北大学);Lehigh University(理海大学);Google Inc.(谷歌公司)
虽然用于学习多视图数据的表示的神经网络先前已经被提出作为最先进的多视图降维技术之一,但是如何仅用少量的标记数据使表示具有区分性还没有得到很好的研究。本文提出了一种半监督的神经网络模型,称为多视图判别神经网络(MDNN)。MDNN通过使用多个耦合的深度网络将样本投影到公共特征空间来找到非线性视图特定映射。它能够利用标记和未标记的数据来投影多视图数据,以便将来自不同类别的样本分离,并将来自同一类别的样本聚类在一起。它还使用视图之间的视图间相关性来利用标记和未标记数据中的可用信息。在四个数据集上进行的实验证明了该算法在多视图半监督学习中的有效性。
2018-11-11 cs.LG stat.ML
Multi-view Clustering via Deep Matrix Factorization and Partition Alignment
近年来,多视图聚类(MVC)被广泛研究以收集多个源信息。一种典型的MVC方法是基于矩阵分解来有效地执行降维和聚类。然而,现有的方法可以进一步改进以下考虑:i)当前的单层矩阵分解框架不能充分利用有用的数据表示。ii)大多数算法只关注共享信息,而忽略了视图特定的结构,导致次优解。iii)在现有工作中尚未利用分区级别信息。针对上述问题,提出了一种基于深度矩阵分解和分区对齐的多视图聚类算法。具体地说,通过深度矩阵分解得到每个视图的分区表示,然后与最优分区表示联合用于融合多视图信息。最后,一个交替优化算法被开发来解决优化问题,证明收敛性。在六个基准多视图数据集上进行的综合实验结果清楚地表明了该算法对SOTA方法的有效性。
2021-05-10 cs.LG stat.ML
Interpretable Deep Representation Learning from Temporal Multi-view Data
The Pennsylvania State University(宾夕法尼亚州立大学);Duke University(杜克大学)
在许多科学问题中,如视频监控,现代基因组学和金融,数据通常是从不同的测量跨时间,表现出时间依赖的异质性。因此,重要的是不仅要集成来自多个源的数据(称为多视图数据),而且要纳入时间依赖性,以便深入理解底层系统。我们提出了一个基于变分自动编码器和递归神经网络的生成模型来推断多视图时态数据的潜在动态。这种方法使我们能够在考虑时间因素的同时识别跨视图的未纠缠的潜在嵌入。我们调用我们提出的模型分析三个数据集上,我们证明了模型的有效性和可解释性。
2022-10-07 cs.LG stat.ML
Multi-View Multiple Clusterings using Deep Matrix Factorization
Southwest University(西南大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);George Mason University(乔治梅森大学)
多视图聚类的目的是整合来自多个异构视图的互补信息,以提高聚类结果。现有的多视图聚类解决方案只能输出单个聚类的数据。由于其多样性,多视图数据可以从不同的角度进行合理和有趣的不同分组。然而,如何从多视图数据中发现多个、有意义的、多样的聚类结果仍然是多视图聚类和多聚类中一个很少研究和具有挑战性的课题。在本文中,我们引入了一个基于深度矩阵分解的解决方案(DMClusts)来发现多个聚类。DMClusts逐步将多视图数据矩阵分解为逐层的表示子空间,并在每层中生成一个聚类。为了加强所生成的聚类之间的多样性,它最小化了一个新的冗余量化项,该量化项来自这些子空间中样本之间的接近度。我们进一步引入了一个迭代优化过程,同时寻求多个聚类的质量和多样性。在基准数据集上的实验结果证实,DMClusts优于最先进的多个聚类解决方案。
2019-11-26 cs.LG stat.ML
Mask-informed Deep Contrastive Incomplete Multi-view Clustering
Faculty of Data Science, City University of Macau(澳门城市大学数据科学学院);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);School of Computer Science, China University of Geosciences(中国地质大学计算机学院)
针对多视图聚类中缺失样本影响知识整合的问题,提出掩码感知融合网络与先验知识辅助对比学习的Mask-IMvC方法,实验证明其在完整和不完整场景下均优于现有方法。
2025-03-30 cs.CV cs.LG
Contrastive Meta-Learning for Partially Observable Few-Shot Learning
University of Edinburgh(爱丁堡大学);Microsoft Research(微软研究院)
许多对比和元学习方法通过识别多个视图中的共同特征来学习表示。然而,这些方法的形式主义通常假设要在一致地捕获的视图之间共享的特征。我们考虑的问题,学习一个统一的表示从部分观测,其中有用的功能可能只存在于一些意见。我们通过概率的形式主义,使视图映射到不同组件中具有不同程度的不确定性的表示方法,这些视图可以通过边缘化的不确定性相互整合。我们的方法,部分观察专家建模(POEM),然后使我们能够从部分观察元学习一致的表示。我们评估了我们的方法适应一个全面的少样本学习基准,元数据集,并证明了POEM的好处比其他元学习方法在表示学习从部分观察。我们进一步证明了POEM的效用,通过元学习来表示从代理探索环境所观察到的部分视图的环境。
2023-01-30 cs.LG
Partial Multi-View Clustering via Meta-Learning and Contrastive Feature Alignment
针对部分视图缺失导致聚类性能欠佳的问题,提出基于对比学习的双优化框架,结合微调Vision Transformer、KNN填补缺失视图并利用自监督与元学习动态调整权重,在BDGP和HW数据集上优于现有方法。
2024-11-14 cs.CV cs.LG
Enhanced Federated Deep Multi-View Clustering under Uncertainty Scenario
本文提出EFDMVC框架,通过语义对齐、视图自适应漂移和平衡聚合机制,解决联邦多视图聚类中的视图不确定性和聚合不确定性问题,实验验证其在异构不确定视图下的鲁棒性。
2025-11-19 cs.LG
Deep Variational Canonical Correlation Analysis
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);University of Michigan(密歇根大学)
我们提出了深度变分典型相关分析(VCCA),这是一种深度多视图学习模型,它将线性CCA的潜变量模型解释扩展到由深度神经网络参数化的非线性观测模型。我们通过参数化潜在变量的后验概率,从测试时可用的视图中获得数据似然的变分下界。我们还提出了一种称为VCCA-private的VCCA变体,除了两种视图的“公共变量”之外,还可以提取每个视图中的“私有变量”,并在没有硬监督的情况下为多视图数据解开共享和私有信息。在真实世界数据集上的实验结果表明,我们的方法是跨领域的竞争力。
2017-02-25 cs.LG
Few-shot Partial Multi-view Learning
Hefei University of Technology(合肥工业大学);University of Rochester(罗切斯特大学)
针对数据稀缺与视图缺失共存问题,提出少样本部分多视图学习任务,并设计统一高斯密集锚定方法,通过将数据映射到统一密集表示空间缓解双重挑战,在多个数据集上验证了有效性。
2023-05-18 cs.CV cs.LG
Multi-view Orthonormalized Partial Least Squares: Regularizations and Deep Extensions
University of Texas at Arlington(德克萨斯大学阿灵顿分校);National Chiao Tung University(台湾交通大学)
以最小二乘法为基本原理,建立了一种基于子空间的多视点学习方法。具体来说,我们调查正交归一化偏最小二乘(OPLS)和多元回归和分类研究其重要属性。基于OPLS的最小二乘重构,我们提出了一个统一的多视图学习框架,用于在所有视图共享的公共潜在空间上学习分类器。正则化技术被进一步利用来释放所提出的框架的力量,通过提供三种通用类型的正则化器,其固有成分包括模型参数,决策值和潜在的投影点。我们根据各种先验实例化一组正则化器。通过适当选择正则化子,该框架不仅可以重铸现有的方法,而且可以启发新的模型。为了进一步提高所提出的框架在复杂实际问题上的性能,我们建议学习由深度网络参数化的非线性变换。在9个不同视图数的数据集上进行了大量的实验,从特征提取和跨模态检索两个方面对各种方法进行了比较。
2020-07-09 cs.CV cs.LG stat.ML
Fusing Bird View LIDAR Point Cloud and Front View Camera Image for Deep Object Detection
University of California, Berkeley(加利福尼亚大学伯克利分校);Department of Mechanical Engineering(机械工程系)
我们提出了一种在深度卷积神经网络(CNN)中融合LIDAR点云和相机捕获图像的新方法。该方法构造了一个新的层,称为非均匀池层,用于鸟瞰图和正视图之间的特征转换。稀疏LIDAR点云用于构建两个地图之间的映射。池化层允许在网络的任何阶段有效地融合鸟瞰图和正视图特征。这对于在自动驾驶场景中使用相机-LIDAR融合的3D-目标检测是有利的。设计了相应的深度CNN,并在KITTI鸟瞰图目标检测数据集上进行了测试,该数据集从鸟瞰图中产生3D边界框。与其他基于融合的目标检测网络相比,该融合方法对鸟瞰图中行人的检测具有特别的优势。
2018-02-14 cs.CV cs.LG
Variational Inference for Deep Probabilistic Canonical Correlation Analysis
University of Alberta(阿尔伯塔大学)
在本文中,我们提出了一种深度概率多视图模型,该模型由基于潜在空间中的概率典型相关分析(CCA)描述的线性多视图层以及作为观察模型的深度生成网络组成。该网络的目的是将所有视图的变化分解成一个共享的潜在表示和一组视图特定的组件,其中共享的潜在表示旨在描述视图之间的变化的共同的潜在来源。一个有效的变分推理过程的开发,近似的后验分布的潜在概率多视图层,同时考虑到概率CCA的解决方案。还提出了一个推广到任意数量的视图模型。实验结果表明,所提出的深度生成式多视图模型能够有效地整合多视图间的关系,降低学习难度,并将深度变分推理成功地扩展到多视图学习中。
2020-03-09 cs.LG stat.ML
Deep Embedded Multi-view Clustering with Collaborative Training
University of Electronic Science and Technology of China(电子科技大学);Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Lab(鹏城实验室)
多视图聚类是一种利用多个视图信息的聚类方法。然而,现有的多视图聚类方法要么计算量大,空间复杂度高,要么缺乏表示能力。为了解决这些问题,我们在本文中提出了深度嵌入式多视图聚类与协作训练(DEMVC)。首先,多个视图的嵌入式表示由深度自动编码器单独学习。在此基础上,综合考虑多个视图的一致性和互补性,提出了一种新的协同训练方案。具体地说,所有视图的特征表示和聚类分配是协同学习的。进一步提出了一种新的聚类中心初始化一致性策略,以提高协同训练的多视图聚类性能。在几个流行的多视图数据集上的实验结果表明,DEMVC实现了显着的改进,比国家的最先进的方法。
2020-07-26 cs.LG stat.ML
Attentive Multi-View Deep Subspace Clustering Net
China University of Petroleum, Beijing(中国石油大学(北京))
本文提出了一种新的注意多视图深子空间网(Attentive Multi-View Deep Subspace Nets,AMVDSN),该网络深入挖掘多视图中潜在的一致性和视图特定信息,并通过考虑注意力机制获得的每个视图的动态贡献来融合它们。与大多数多视图子空间学习方法直接在原始数据上重建数据点或在深或浅空间中学习表示时只考虑一致性或互补性不同,我们提出的方法寻求找到一个联合潜在表示,该联合潜在表示显式地考虑多个视图之间的一致性和视图特定信息,然后对学习到的联合潜在表示进行子空间聚类。由于不同视角对表示学习的贡献不同,本文引入了注意力机制来获取每个视角的动态权重,在多视角子空间聚类中,该融合方法的性能优于以往的融合方法。由于神经网络的框架,该算法是直观的,可以很容易地优化,只需使用随机梯度下降(SGD),这也提供了强大的非线性表征能力相比,传统的子空间聚类方法。七个真实世界的数据集上的实验结果表明,我们提出的算法对一些国家的最先进的子空间学习方法的有效性。
2021-12-23 cs.CV cs.LG
Adversarial Attacks for Multi-view Deep Models
East China Normal University(华东师范大学);Tongji University(同济大学)
最近的研究强调了许多深度机器学习模型在对抗性示例中的脆弱性。对抗攻击是一种在模型部署前对其安全性和鲁棒性进行评估的方法,因此受到越来越多的关注。然而,据我们所知,目前还没有针对多视图深度模型的对抗攻击的具体研究。本文提出了两种多视图攻击策略:两阶段攻击(TSA)和端到端攻击(ETEA)。在目标多视图模型所基于的单视图模型已知的假设下,我们首先提出了TSA策略。TSA的主要思想是通过攻击相关联的单视图模型生成对抗性示例来攻击多视图模型,从而将现有的单视图攻击方法直接扩展到多视图场景。在此基础上,进一步提出了多视图模型公开时的ETEA策略。利用ETEA算法实现了对目标多视图模型的直接攻击,提出了三种有效的多视图攻击方法。最后,基于对抗性攻击在不同模型间具有较好的泛化性,以多视图卷积神经网络的对抗攻击为例,验证了所提出的多视图攻击方法的有效性。大量的实验结果表明,我们的多视图攻击策略能够攻击多视图深度模型,我们还发现,多视图模型比单视图模型更强大。
2020-06-19 cs.LG stat.ML
Deep Multi-view Models for Glitch Classification
Northwestern University(西北大学)
被称为“毛刺”的非宇宙、非高斯扰动出现在高级激光干涉仪引力波天文台(alIGO)的引力波数据中。在本文中,我们提出了一种深度多视图卷积神经网络自动分类毛刺。对毛刺进行分类的主要目的是了解它们的特性和起源,这有助于将它们从数据或检测器中完全移除。我们将故障可视化为频谱图,并在我们的模型中利用最先进的图像分类技术。所建议的分类器是利用四个不同视图进行分类的多视图深度神经网络。实验结果表明,与传统的单视图算法相比,该模型提高了分类的整体准确率。
2017-04-28 cs.CV cs.LG
Deep Multi-view Image Fusion for Soybean Yield Estimation in Breeding Applications Deep Multi-view Image Fusion for Soybean Yield Estimation in Breeding Applications
Iowa State University(爱荷华州立大学)
可靠的种子产量估计是主要行栽作物品种开发的植物育种计划中不可或缺的一步。本研究的目的是开发一种适合于大豆[ \textit{Glycine max} L.](Merr.)]荚果计数以使得能够从由地面机器人收集的田间视频数据预测基因型种子产量等级。为了实现这一目标,我们利用深度学习架构开发了一个基于多视图图像的产量估计框架。从不同角度拍摄的植物图像被融合以估计产量,并随后对大豆基因型进行排序,以用于育种决策。我们使用来自田间受控成像环境以及田间植物育种试验田的数据,通过与人工荚果计数和产量估计的性能比较来证明我们的框架的有效性。我们的研究结果证明了ML模型在育种决策中的前景,大大减少了时间和人力,并为开发品种开辟了新的育种方法途径。
2020-11-13 cs.CV cs.LG
ICDAR 2019 Competition on Large-scale Street View Text with Partial Labeling -- RRC-LSVT
Baidu Inc(百度公司);University of Malaya(马来亚大学);South China University of Technology(华南理工大学);Computer Vision Center, Universitat Autònoma de Barcelona(巴塞罗那自治大学计算机视觉中心)
从街景图像中读取强大的文本为各种应用提供了有价值的信息。现有方法在这种具有挑战性的情况下的性能改进严重依赖于完全注释的训练数据的量,这是昂贵的和低效的获得。为了扩大训练数据的数量,同时保持标签过程的成本效益,本次比赛引入了一个新的挑战,大规模街景文本与部分标签(LSVT),提供50000和400000图像的完整和弱注释,分别。该竞赛旨在探索最先进的方法从大规模街景图像中检测和识别文本实例的能力,缩小研究基准与实际应用之间的差距。在比赛期间,共有41支队伍参加了两项建议任务,并提交了132份有效作品,文本检测和端到端文本定位。本文包括ICDAR 2019-LSVT挑战的数据集描述、任务定义、评估方案和结果总结。
2019-09-17 cs.CV cs.LG cs.MM
Self-Supervised Information Bottleneck for Deep Multi-View Subspace Clustering
Beijing Institute of Technology(北京理工大学)
本文从信息论的角度探讨了深度多视点子空间聚类框架问题。我们扩展了传统的信息瓶颈原理,以自监督的方式学习不同视图之间的共同信息,并相应地建立了一个新的框架称为自监督信息瓶颈的多视图子空间聚类(SIB-MSC)。继承了信息瓶颈的优点,SIB-MSC可以为每个视图学习潜在空间,通过从视图本身去除多余的信息,同时为其他视图的潜在表示保留足够的信息,来捕获不同视图的潜在表示之间的公共信息。实际上,每个视图的潜在表示为训练其他视图的潜在表示提供了一种自监督信号。此外,SIB-MSC尝试学习其他潜在空间为每个视图捕捉视图特定的信息,通过引入互信息为基础的正则化条款,以便进一步提高多视图子空间聚类的性能。据我们所知,这是第一个工作,探讨多视图子空间聚类的信息瓶颈。对真实世界多视图数据的大量实验表明,我们的方法比相关的国家的最先进的方法取得了优越的性能。
2022-04-29 cs.AI cs.LG
Multi-way Spectral Clustering of Augmented Multi-view Data through Deep Collective Matrix Tri-factorization
National University of Singapore(新加坡国立大学)
我们提出了第一个基于深度学习的架构,用于任意矩阵集合的集体矩阵三分解(DCMTF),也称为增强多视图数据。DCMTF可以用于关系数据矩阵的异构集合的多路谱聚类,以发现每个输入矩阵中的潜在聚类,跨两个维度,以及跨聚类的关联强度。DCMTF的源代码可以在我们的公共存储库中找到:https://bitbucket.org/cdal/dcmtf_generic
2022-01-24 cs.LG stat.ML
A unified deep artificial neural network approach to partial differential equations in complex geometries
Uppsala University(乌普萨拉大学)
在本文中,我们使用深度前馈人工神经网络来近似复杂几何中的偏微分方程的解。我们展示了如何修改反向传播算法来计算网络输出相对于空间变量的偏导数,这是需要近似的微分算子。该方法是基于对解决方案的分析,它只需要前馈神经网络和基于无约束梯度的优化方法,如梯度下降或拟牛顿法。我们展示了一个例子,经典的网格为基础的方法不能使用和神经网络可以被看作是一个有吸引力的替代。最后,我们强调了深度神经网络与浅层神经网络相比的好处,并提出了一些其他的收敛增强技术。
2018-08-22 cs.LG stat.ML
Deep Partial Updating: Towards Communication Efficient Updating for On-device Inference
ETH Zurich(苏黎世联邦理工学院);UT Dallas(德克萨斯大学达拉斯分校)
新兴的边缘智能应用要求服务器重新训练和更新部署在远程边缘节点上的深度神经网络,以利用新收集的数据样本。不幸的是,由于高度受限的通信资源,在实践中可能不可能连续地向这些边缘节点发送完全更新的权重。在本文中,我们提出了加权深度部分更新范式,该范式在每个服务器到边缘的通信回合中智能地选择一小部分权重进行更新,同时与完全更新相比实现了类似的性能。我们的方法是通过解析上界的部分更新和完全更新之间的损失差异,并只更新的权重,使最大的贡献上限。大量的实验结果表明,我们的部分更新方法,实现了高的推理精度,同时更新相当少量的权重的有效性。
2022-07-27 cs.LG stat.ML
Hierarchical Decomposed Dual-domain Deep Learning for Sparse-View CT Reconstruction
Soongsil University(崇实大学)
针对稀疏视图CT中条纹伪影及深度学习缺乏重建理论依据的问题,提出基于深度卷积框架与分层分解测量的双域框架,利用低秩性和傅里叶域蝶形支撑提升投影域网络,取得优于传统方法的重建效果。
2025-01-09 cs.LG eess.SP
Embedded Deep Bilinear Interactive Information and Selective Fusion for Multi-view Learning
Northwestern Polytechnical University(西北工业大学);Nanjing University(南京大学);National University of Defense Technology(国防科技大学)
多视图分类作为多视图学习的一种具体应用,通过对多个视图的最优融合,对传统的分类方法进行了改进。虽然以往的研究已经证明了多视点学习的优越性,但在深入研究中,还可以通过全面嵌入更强大的跨视点交互信息和更可靠的多视点融合策略来进一步提高多视点学习的优越性。为了实现这一目标,我们提出了一个新的多视图学习框架,使多视图分类更好地针对上述两个方面。也就是说,我们无缝地嵌入各种视图内的信息,跨视图的多维双线性交互信息,和一个新的视图集成机制到一个统一的框架,通过优化决策。特别地,我们训练不同的深度神经网络来学习各种视图内表示,然后通过视图之间的双线性函数从不同的双线性相似性动态地学习多维双线性交互信息。在此基础上,通过灵活调整视图权值的参数,自适应地融合多个视图的表示,不仅避免了权重的繁琐求解,而且为多视图分类提供了一种新的方法来选择有利于决策的少数有区别的视图.在六个公开数据集上的实验证明了该方法的有效性。
2020-07-13 cs.CV cs.LG
Multi-view Deep Subspace Clustering Networks
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Haihe Lab of ITAI(海河人工智能与自主智能实验室);University at Albany, State University of New York(纽约州立大学奥尔巴尼分校)
针对多视图聚类中视图关系未嵌入特征学习及端到端学习不适用的问题,提出多视图深度子空间聚类网络(MvDSCN),通过双子网络结合HSIC正则化实现端到端的多视图自表示学习,统一多骨干网络提升性能。
2024-03-24 cs.CV cs.LG
Deep IDA: A Deep Learning Method for Integrative Discriminant Analysis of Multi-View Data with Feature Ranking -- An Application to COVID-19 severity
University of Minnesota(明尼苏达大学)
COVID-19的严重程度是由于SARS-Cov-2的并发症,但感染的临床过程因人而异,强调需要在分子水平上更好地了解这种疾病。我们使用从(或未)入住重症监护室的COVID-19患者和非COVID-19患者中获得的临床和多种分子数据(或视图)来阐明COVID-19的严重程度。用于联合关联视图和分离COVID-19组(即,一步法)集中于线性关系。然而,视图与COVID-19患者群体之间的关系过于复杂,无法仅通过线性方法来理解。现有的非线性一步法不能用于识别特征,以帮助我们理解疾病的复杂性。我们提出了深度IDA(综合判别分析)来解决我们感兴趣的问题中的分析挑战。深度IDA学习两个或多个视图的非线性投影,最大限度地关联视图并分离每个视图中的类,并允许对可解释的发现进行特征排名。我们的应用表明,与其他最先进的方法相比,Deep IDA具有竞争力的分类率,并且能够识别有助于理解COVID-19严重程度的分子特征。
2021-11-24 cs.LG stat.ME stat.ML
Next-Best-View Estimation based on Deep Reinforcement Learning for Active Object Classification
University of Koblenz(科布伦茨大学);York University(约克大学)
从单个视点呈现和分析图像数据通常不足以解决任务。为了获得更多的信息,需要几个视角。下一个最佳视图问题试图为底层任务找到具有最大信息增益的最佳视角。在这项工作中,一个机器人手臂持有的对象在其末端执行器,并搜索一系列的下一个最佳视图,以明确地识别对象。我们使用Soft Actor-Critic(SAC),一种深度强化学习的方法,来学习这些特定对象集的下一个最佳视图。评估结果表明,代理可以学习,以确定机器人手臂应该移动对象的对象姿势。这导致提供更准确的预测以更好地将这样的对象与其他对象区分开的视点。我们向科学界公开提供代码并确保其可重复性。
2021-10-14 cs.LG cs.RO
Deep Partial Multiplex Network Embedding
Facebook AI(脸书人工智能);Santa Clara University(圣克拉拉大学);Google Research(谷歌研究院);Meituan NLP Center(美团自然语言处理中心);Sun Yat-sen University(中山大学);Rochester Institute of Technology(罗切斯特理工学院)
网络嵌入是学习网络中节点的低维表示的一种有效技术。现实世界的网络通常是多路复用的,或者具有来自不同关系的多视图表示。近年来,对复用数据的网络嵌入的兴趣日益增加。然而,大多数现有的多路复用方法假设数据在所有视图中是完整的。但在实际应用中,常常会出现每个视图丢失部分数据,从而导致部分复用数据的情况。本文提出了一种新的深度部分复用网络嵌入方法来处理不完整数据。特别地,网络嵌入通过同时最小化与自动编码器神经网络的深度重建损失来学习,通过公共潜在子空间学习来加强视图之间的数据一致性,并且通过图拉普拉斯算子来保持同一网络内的数据拓扑结构。我们进一步证明了学习的嵌入的正交不变性,并连接我们的方法与二进制嵌入技术。四个多路复用基准测试的实验表明,该方法优于几个国家的最先进的方法在节点分类,链接预测和聚类任务的性能。
2022-03-05 cs.LG cs.SI
Deep Lattice Networks and Partial Monotonic Functions
Google Inc.(谷歌公司)
我们建议通过交替线性嵌入层、格的集合和校准器(分段线性函数)来学习深度模型,这些模型相对于用户指定的输入集是单调的,并对单调性进行适当的约束,并联合训练所得网络。我们在TensorFlow中使用新的计算图节点实现了层和投影,并使用了ADAM优化器和批量随机梯度。在基准和真实世界数据集上的实验表明,六层单调深度格型网络在单调性保证的情况下实现了最先进的分类和回归性能。
2017-09-19 cs.LG stat.ML
Multi-view Deep One-class Classification: A Systematic Exploration
National University of Defense Technology (NUDT)(国防科技大学);Dongguan University of Technology(东莞理工学院)
一类分类(OCC),它模拟一个单一的积极类,并将其与消极类区分开来,一直是一个长期的主题,在异常检测等领域有着重要的应用。由于现代社会经常处理由多个来源产生的海量高维复杂数据,因此从多视图深度学习的角度考虑OCC是很自然的。然而,它还没有被文献讨论,仍然是一个未探索的话题。基于这一空白,本文做出了四方面的贡献:第一,据我们所知,这是第一个正式识别和制定多视图深度OCC问题的工作。其次,我们考虑到相关领域的最新进展,系统地设计了11种不同的多视图深度OCC基线解决方案,为多视图深度OCC的研究奠定了基础。第三,针对多视角深度OCC可用基准数据集有限的问题,我们广泛收集现有的公共数据,通过多种方式处理成30多个新的多视角深度OCC基准数据集,为多视角深度OCC提供一个公开可用的评估平台。最后,通过在基准数据集上对设计方案进行综合评价,对设计基线的有效性进行了深入分析,希望能为其他研究者提供有益的指导和见解。我们的数据和代码分别在https://github.com/liujiyuan13/MvDOCC-datasets和https://github.com/liujiyuan13/MvDOCC-code上开放,以方便未来的研究。
2021-04-27 cs.CV cs.LG cs.MM
Deep Reinforcement Learning for Online Control of Stochastic Partial Differential Equations
University of Toronto(多伦多大学);Vector Institute(向量研究所)
在许多领域,如物理科学,生命科学和金融,控制方法被用来实现由微分方程控制的复杂动力系统的预期目标。在这项工作中,我们制定了控制随机偏微分方程(SPDE)的问题作为一个强化学习问题。提出了一种基于学习的分布式控制方法,利用深度确定性策略梯度方法对具有高维状态-动作空间的SPDE系统进行在线控制。我们测试了我们的方法控制随机Burgers方程的问题上的性能,描述了一个湍流流体流动在一个无限大的域。
2021-12-08 cs.LG math.DS
Deep Multi-View Learning for Tire Recommendation
Université Lyon1(里昂第一大学);Lizeo IT(Lizeo信息技术公司)
我们经常使用推荐系统,甚至没有注意到。他们建立了我们的个人资料,以便推荐我们最有可能感兴趣的内容。代表用户、他们与系统或产品的交互的数据可能来自不同的来源,并且具有各种性质。我们的目标是使用多视图学习方法来改进我们的推荐系统,并提高其管理多视图数据的能力。我们提出了几个国家的最先进的多视图模型应用到我们的工业数据之间的比较研究。我们的研究证明了在推荐系统中使用多视图学习的相关性。
2022-03-23 cs.IR cs.LG
Applications of Deep Learning for Top-View Omnidirectional Imaging: A Survey
Chemnitz University of Technology(开姆尼茨工业大学)
本文综述了深度学习结合俯视全向相机的研究,涵盖数据集、人体与物体检测、姿态估计和活动识别等任务,并分析了其相比传统多透视相机方案在部署成本上的优势。
2023-04-17 cs.AI cs.CV cs.LG
Attention-based Deep Reinforcement Learning for Multi-view Environments
Wayne State University(韦恩州立大学)
在强化学习算法中,通常只考虑环境的单个视图来做出所需的决策;然而,利用环境的多个视图可以帮助促进复杂策略的学习。由于视图可能经常遭受部分可观察性,因此它们提供的观察可以具有不同的重要性级别。在本文中,我们提出了一种新的基于注意力的深度强化学习方法在多视图环境中,其中每个视图可以提供各种代表性的信息的环境。具体来说,我们的方法学习一个政策,动态地参加的意见,环境的基础上,他们在决策过程中的重要性。我们评估我们的方法的性能TORCS赛车模拟器和其他三个复杂的3D环境中的障碍。
2019-05-10 cs.AI cs.LG stat.ML
Deep Relaxation: partial differential equations for optimizing deep neural networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);McGill University(麦吉尔大学);Université Paris IX Dauphine(巴黎第九大学)
在本文中,我们建立了用于训练深度神经网络和非线性偏微分方程(PDE)的非凸优化方法之间的联系。松弛技术在统计物理已经成功地用于在这方面产生的重新解释为粘性的Hamilton-Jacobi偏微分方程的解决方案。使用随机控制解释允许我们证明,修改后的算法执行更好的预期,随机梯度下降。众所周知的PDE规律性的结果,使我们能够分析放松的能量景观的几何形状,确认经验证据。偏微分方程是来自一个随机均匀化问题,这是在该算法的实施。该算法在实际应用中具有良好的可扩展性,可以有效地解决现代神经网络的高维问题。
2017-06-01 cs.LG math.AP math.OC
Enhanced DeepONet for Modeling Partial Differential Operators Considering Multiple Input Functions
Phillips Academy(菲利普斯学院);University of California, Riverside(加州大学河滨分校)
机器学习,特别是深度学习,由于在各种认知应用中的突破性表现而备受关注。近年来,神经网络(NN)被广泛地用于偏微分方程的建模,因为NN可以被看作是非线性函数的通用逼近器。提出了一种深度网络算子(DeepONet)架构,用于对偏微分方程(PDE)的一般非线性连续算子进行建模,该架构具有比现有主流深度神经网络架构更好的泛化能力。然而,现有的DeepONet只能接受一个输入函数,这限制了它的应用。在这项工作中,我们探索了DeepONet架构,以扩展它来接受两个或更多的输入函数。我们提出了一种新的增强型DeepONet或EDeepONet高级神经网络结构,其中两个输入函数由两个分支DNN子网络表示,然后通过内积与输出卡车网络连接,以生成整个神经网络的输出。所提出的EDeepONet结构可以很容易地扩展到处理多个输入功能。我们对两个偏微分方程示例进行建模的数值结果表明,所提出的增强型DeepONet比完全连接的神经网络精确约7 X-17 X或约一个数量级,并且比简单的扩展DeepONet在训练和测试方面都精确约2X-3X。
2022-02-25 cs.LG cs.NA math.NA
Quantifying the Value of Lateral Views in Deep Learning for Chest X-rays
Mila, Quebec Artificial Intelligence Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
由于缺乏其他可用视图,大多数胸部X射线预测中的深度学习模型都使用后前位(PA)视图。PadChest是一个大型胸部X射线数据集,有近200个标签和多个视图可用。在这项工作中,我们使用PadChest探索多种方法来合并PA和侧位视图,以预测与X射线图像相关的放射学标签。我们发现,不同的方法合并模型利用不同的侧视图。我们还发现,包括侧视图可以提高数据集中32个标签的性能,而对其他标签则是中性的。总体性能的提高与仅使用PA视图获得的性能相当,其中训练集中的患者数量是PA视图的两倍。
2020-02-07 cs.CV cs.LG eess.IV
An Actor-Critic-Attention Mechanism for Deep Reinforcement Learning in Multi-view Environments
Wayne State University(韦恩州立大学);AIWAYS AUTO(爱驰汽车)
在强化学习算法中,利用环境的多个视图可以改善复杂策略的学习。在多视图环境中,由于视图可能经常遭受部分可观测性的事实,它们的重要性水平通常是不同的。在本文中,我们提出了一种深度强化学习方法和多视图环境下的注意力机制。每个视图可以提供关于环境的各种代表性信息。通过我们的注意力机制,我们的方法产生一个单一的特征表示的环境给出了它的多个视图。它学习一种策略,根据每个视图在决策过程中的重要性动态地关注每个视图。通过实验,我们表明,我们的方法优于其国家的最先进的基线TORCS赛车模拟器和其他三个复杂的三维环境中的障碍。我们还提供了实验结果来评估我们的方法在噪声条件和部分观测设置的性能。
2019-07-19 cs.AI cs.LG stat.ML
Framing U-Net via Deep Convolutional Framelets: Application to Sparse-view CT
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
使用稀疏投影视图的X射线计算机断层扫描(CT)是最近的一种减少辐射剂量的方法。然而,由于投影视图不足,使用滤波反投影(FBP)的分析重建方法产生严重的条纹伪影。最近,使用诸如U-Net的大感受野神经网络的深度学习方法已经展示了用于稀疏视图CT重建的令人印象深刻的性能。然而,理论上的论证仍然缺乏。受最近深度卷积框架理论的启发,本文的主要目标是揭示U-Net的局限性,并提出新的多分辨率深度学习方案。特别是,我们表明,替代U-网的变种,如双框架和紧框架U-网满足所谓的框架条件,使他们更好地有效恢复稀疏视图- CT中的高频边缘。通过对真实患者数据集的大量实验,我们证明了新的网络架构提供了更好的重建性能。
2018-03-28 cs.CV cs.LG stat.ML
Extreme Few-view CT Reconstruction using Deep Inference
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
少视角X射线CT数据的重建是一个高度不适定的问题。它通常用于临床CT、快速工业扫描或固定机架CT中需要低辐射剂量的应用。现有的分析或迭代算法通常产生重建不佳的图像,严重恶化的伪影和噪声,特别是当X射线投影的数量是相当低。本文提出了一种深度网络驱动的方法,通过将基于卷积神经网络的推理结合到最先进的迭代重建中来解决极端少视图CT。所提出的方法使用基于注意力的深度网络来解释少视图正弦图数据以推断重建图像。预测的图像,然后作为先验知识,在迭代算法的最终重建。我们证明了所提出的方法的有效性进行重建实验上的胸部CT数据集。
2019-10-11 cs.CV cs.LG eess.IV
Deep Learning for Single-View Instance Recognition
Stanford University(斯坦福大学)
深度学习方法通常是在大型数据集上训练的,其中有许多训练样本可用。然而,许多真实世界的产品数据集只有少量的图像可用于每个产品。我们探索使用深度学习方法识别对象实例时,我们只有一个训练样本每类。我们表明,前馈神经网络优于国家的最先进的方法,从新的观点识别对象,即使从一个单一的图像每个对象训练。为了进一步提高我们在这项任务上的性能,我们建议利用一个补充数据集,在该数据集中,我们从多个角度观察一组单独的对象。我们引入了一种新的方法来训练深度学习方法,例如使用有限的训练数据进行识别,在这种方法中,我们使用辅助的多视图数据集来训练我们的网络,使其对视点变化具有鲁棒性。我们发现,这种方法导致了一个更强大的分类器,从新的角度来识别对象,优于以前的国家的最先进的方法,包括关键点匹配,基于模板的技术,稀疏编码。
2015-07-29 cs.CV cs.LG cs.NE
Deep Learning Reconstruction for 9-View Dual Energy CT Baggage Scanner
KAIST(韩国科学技术院);GEMSS Medical Co.(GEMSS医疗公司)
在国土安全和交通安全领域,二维X射线爆炸物探测系统(EDS)得到了广泛的应用,但在识别隐藏物体的三维形状方面存在局限性。在各种类型的三维计算机断层扫描(CT)系统,以解决这个问题,本文感兴趣的是一个固定的CT使用固定的X射线源和探测器。然而,由于投影视图的数量有限,解析重建算法产生严重的条纹伪影。受最近用于稀疏视图CT重建的深度学习方法的成功的启发,在这里,我们提出了一种新的图像和正弦图域深度学习架构,用于从非常稀疏的视图测量进行3D重建。该算法已被测试的实际数据从原型9-视图双能量固定CT EDS随身行李扫描仪开发的GEMSS医疗系统,韩国,这证实了优越的重建性能比现有的方法。
2018-01-04 cs.AI cs.CV cs.LG
A Unified View of Relational Deep Learning for Drug Pair Scoring
AstraZeneca(阿斯利康)
近年来,已经提出了许多机器学习模型,试图解决多种药物副作用识别,药物相互作用预测和联合治疗设计任务。在这里,我们提出了一个统一的理论观点的关系机器学习模型,可以解决这些任务。我们提供基本的定义,比较现有的模型架构,并讨论性能指标,数据集和评估协议。此外,我们强调可能的高影响力的应用和重要的未来研究方向在这一领域。
2021-12-11 cs.AI cs.LG cs.SI
Deep Multi-View Enhancement Hashing for Image Retrieval
哈希算法是一种在大规模数据空间中进行最近邻搜索的有效方法,它将高维特征描述符嵌入到低维的保持相似性的汉明空间中。但是,通过二进制代码进行大规模高速检索,与传统检索方式相比,在检索精度上有一定程度的降低。我们已经注意到,多视图方法可以很好地保持数据的多样性特征。因此,我们尝试将多视图深度神经网络引入到哈希学习领域,设计了高效创新的检索模型,在检索性能上取得了显著提升。本文提出了一种有监督的多视图散列模型,它可以通过神经网络增强多视图信息。这是一种全新的哈希学习方法,结合了多视图和深度学习方法。该方法利用一种有效的视图稳定性评价方法,主动探索视图间的关系,从而影响整个网络的优化方向。我们还设计了各种各样的多数据融合方法在汉明空间,以保持卷积和多视图的优点。为了避免在检索过程中对增强过程投入过多的计算资源,我们建立了一个单独的结构,称为记忆网络,共同参与训练。在CIFAR-10、NUS-WIDE和MS-COCO数据集上对所提出的方法进行了系统的评估,结果表明,该方法的性能明显优于现有的单视图和多视图散列方法。
2020-06-16 cs.CV cs.LG eess.IV
A brief review of the Deep BSDE method for solving high-dimensional partial differential equations
Weinan E(魏纳·E)
本文简要综述了Deep BSDE方法,该方法利用深度学习技术有效求解高维非线性偏微分方程,克服了传统网格方法的维数灾难,并讨论了其后续发展与未来方向。
2025-05-07 cs.CE cs.LG cs.NA
Deep Models for Multi-View 3D Object Recognition: A Review
本文综述多视图3D目标识别的深度模型,系统梳理基于深度学习与Transformer的分类、检索方法、数据集、视图配置、融合策略及应用,并指出关键发现与未来方向。
2024-04-23 cs.AI cs.CV cs.LG
D3M: A deep domain decomposition method for partial differential equations
ShanghaiTech University(上海科技大学);University of Southern California(南加州大学)
提出了一种基于变分原理的求解偏微分方程的深度区域分解方法。偏微分方程的解可以表示为一个约束优化问题的解,我们设计了一个多保真度的神经网络框架来解决这个优化问题。我们的贡献是开发一个系统的计算程序的基本问题并行区域分解。我们的分析表明,D3M近似解收敛到潜在的偏微分方程的精确解。我们提出的框架为在大规模工程问题和设计中使用变分深度学习奠定了基础。我们提出了一个通用的数学框架的D3M,验证其准确性和数值实验证明其效率。
2019-09-24 cs.LG cs.NA math.NA
Deep Joint Transmission-Recognition for Multi-View Cameras
Imperial College London(帝国理工学院)
我们提出了联合传输识别方案,在无线边缘进行有效的推理。出于与无线摄像机的监控应用,我们认为在无线信道上的多视角摄像机作为边缘设备进行的人的分类任务。我们介绍了基于深度神经网络(DNN)的压缩方案,该方案结合了数字(单独)传输和联合信源-信道编码(JSCC)方法。我们评估了不同的信道信噪比,带宽和功率约束下的设备边缘通信方案。我们表明,JSCC计划不仅提高了端到端的准确性,但也简化了编码过程,并提供优雅的降级与信道质量。
2020-11-03 cs.CV cs.IT cs.LG
A Unified View of Group Fairness Tradeoffs Using Partial Information Decomposition
University of Maryland College Park(马里兰大学帕克分校)
本文利用偏信息分解(PID)揭示统计 parity、均等机会与预测 parity 三种群体公平性度量的精确关系、重叠与权衡区域,并以数值模拟验证。
2024-10-23 cs.CY cs.IT cs.LG
A deep learning approach to the probabilistic numerical solution of path-dependent partial differential equations
Nanyang Technological University(南洋理工大学)
最近的工作路径依赖偏微分方程(PPDE)表明,PPDE的解决方案可以近似的概率表示,在文献中实现的条件期望估计使用回归。然而,这种方法的限制是需要在函数空间中选择基。在本文中,我们通过使用深度学习方法克服了这一限制,并且我们证明了这种设置允许推导条件期望近似的误差界。数值例子的基础上,两个人的零和博弈,以及亚洲和障碍期权定价。与其他深度学习方法相比,我们的算法似乎更准确,特别是在大维度上。
2022-10-04 cs.LG cs.NA math.AP