ViewMix: Augmentation for Robust Representation in Self-Supervised Learning
University of Nebraska at Omaha(内布拉斯加大学奥马哈分校)
针对自监督学习中区域丢弃策略不适于生成正样本对的问题,提出ViewMix增强策略,通过跨视图剪切粘贴图块,提升模型定位能力与表示鲁棒性且无额外计算开销。
2023-09-06 cs.CV cs.LG
Self-Supervised Multi-View Learning via Auto-Encoding 3D Transformations
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Futurewei Seattle Cloud Lab(未来华西雅图云实验室)
3D对象表示学习是计算机视觉中推断3D世界的基本挑战。深度学习的最新进展已经显示了它们在3D对象识别中的效率,其中基于视图的方法迄今为止表现最好。然而,现有方法中的多视图特征学习大多是以监督的方式进行的,这通常需要大量的数据标签,成本很高。相比之下,自监督学习旨在学习多视图特征表示而不涉及标记数据。为此,我们提出了一种新的自监督范式来学习多视图变换等变表示(MV-TER),探索3D对象及其投影的多个视图的等变变换。具体来说,我们对3D对象执行3D变换,并通过投影获得变换前后的多个视图。然后,我们自我训练的表示捕捉内在的3D对象表示通过解码3D变换参数从融合的特征表示的多个视图之前和之后的变换。实验结果表明,MV-TER算法在3D对象分类和检索任务中的性能明显优于现有的基于视图的方法,并具有较好的泛化能力.
2021-03-01 cs.CV cs.LG
Self-supervised Contrastive Learning of Multi-view Facial Expressions
Ingenuity Labs Research Institute(Ingenuity Labs 研究所)
人脸表情识别是人机交互系统的重要组成部分。尽管FER最近取得了进展,但非正面面部图像的性能通常会显着下降。我们提出了多视角面部表情的对比学习(CL-MEx),以利用从不同角度同时捕获的面部图像对FER。CL-MEx是一个两步培训框架。在第一步中,编码器网络使用所提出的自监督对比度损失进行预训练,其中它学习为主题的不同视图生成视图不变嵌入。然后在监督设置中使用标记数据对模型进行微调。我们证明了所提出的方法在两个多视图FER数据集,KDEF和DDCF,其中最先进的性能实现的性能。进一步的实验表明,我们的方法在处理具有挑战性的角度和减少标记的数据量的鲁棒性。
2021-08-15 cs.CV cs.LG
Broaden Your Views for Self-Supervised Video Learning
DeepMind;University of Oxford(牛津大学)
BraVe提出一种新的自监督视频学习框架,通过让一个视图访问窄时间窗口、另一视图广泛访问视频内容,并利用不同骨干网络整合多种模态,在多个视频和音频基准上达到最先进性能。
2026-10-06 cs.CV cs.LG
Self-supervised Spatial Reasoning on Multi-View Line Drawings
New York University Tandon School of Engineering(纽约大学坦登工程学院);University of California, Berkeley(加州大学伯克利分校)
通过最先进的监督深度网络对多视图线条图进行空间推理,最近在SPARE3D数据集上表现出令人困惑的低性能。基于自监督学习在大量数据可用时很有帮助的事实,我们提出了两种自监督学习方法来提高SPARE 3D数据集上视图一致性推理和相机姿态推理任务的基线性能。对于第一个任务,我们使用自监督二进制分类网络来对比任何两个相似3D对象的各种视图之间的线条画差异,使训练后的网络能够有效地学习3D对象的细节敏感但视图不变的线条画表示。对于第二种类型的任务,我们提出了一个自我监督的多类分类框架,训练模型选择正确的相应的视图,从该视图中绘制线条图。我们的方法甚至有助于下游任务与看不见的相机姿势。实验表明,我们的方法可以显着提高基线性能在SPARE3D,而一些流行的自监督学习方法不能。
2022-05-16 cs.AI cs.CV cs.LG
Investigating and Mitigating the Side Effects of Noisy Views for Self-Supervised Clustering Algorithms in Practical Multi-View Scenarios
University of Electronic Science and Technology of China(电子科技大学);Shenzhen Institute for Advanced Study(深圳高等研究院);Harbin Institute of Technology(哈尔滨工业大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Singapore University of Technology and Design(新加坡科技设计大学)
本文研究了实际多视图场景中噪声视图导致聚类性能退化的问题,提出深度多视图聚类方法MVCAN,通过允许跨视图不共享参数和预测不一致,并设计两级迭代优化生成稳健目标,有效缓解噪声副作用并提升了聚类鲁棒性。
2024-03-25 cs.CV cs.LG
Cross-view Self-Supervised Learning on Heterogeneous Graph Neural Network via Bootstrapping
Korea Advanced Institute of Science and Technology(韩国科学技术院)
异构图神经网络能够以优异的能力表示异构图的信息。最近,研究了自监督学习方式,其通过对比学习方法来学习图的唯一表达式。在没有标签的情况下,这种学习方法显示出巨大的潜力。然而,对比学习在很大程度上依赖于正负对,并且从异构图生成高质量的对是困难的。在本文中,根据最近的创新自监督学习称为BYOL或自举,我们介绍了一个可以生成良好的表示,而不会产生大量的对。此外,注意到异构图可以从两个角度,网络模式和元路径视图的事实,在图中的高层次表达式的捕获和表示。该模型在各种真实世界数据集中表现出比其他方法更先进的性能。
2022-01-11 cs.AI cs.LG
Self Supervised Correlation-based Permutations for Multi-View Clustering
Faculty of Engineering Bar Ilan University(工程学院巴伊兰大学)
针对现有多视图聚类方法领域受限或两阶段流程次优且计算量大的问题,提出基于置换典型相关目标的端到端多视图聚类框架,有理论支撑且在10个基准数据集上验证有效。
2025-05-20 cs.LG stat.ML
Mine Your Own vieW: Self-Supervised Learning Through Across-Sample Prediction
Georgia Tech(佐治亚理工学院);DeepMind;JHU-APL(约翰斯·霍普金斯大学应用物理实验室);WashU-St Louis(圣路易斯华盛顿大学)
提出MYOW方法,通过挖掘数据集中表征空间的邻近样本作为视角,进行跨样本预测,在视觉基准和神经科学记录中优于现有自监督方法,并常超过监督基线。
2026-10-06 cs.LG stat.ML
Self-Contrastive Learning: Single-viewed Supervised Contrastive Framework using Sub-network
KAIST(韩国科学技术院);SK Hynix(SK海力士)
对比损失通过使用利用增强和标签信息的多视图框架,显着提高了监督分类任务的性能。增强功能可以实现与单个图像的另一个视图的对比,但会增加训练时间和内存使用。为了利用多视图的优势,同时避免高计算成本,我们引入了一个多出口架构,输出多个功能的一个单一的图像在一个单一的视图框架。为此,我们提出了自对比(SelfCon)学习,它在单个网络的不同级别的多个输出中进行自对比。多出口架构有效地替换多增强图像并利用来自网络不同层的各种信息。我们证明了SelfCon学习提高了编码器网络的分类性能,并实证分析了其在单视图和子网络方面的优势。此外,我们提供了基于互信息界的性能提高的理论证据。对于ResNet-50上的ImageNet分类,SelfCon将准确率提高了+0.6%,具有59%的内存和48%的监督对比学习时间,并且多出口输出的简单集成将性能提高了+1.5%。我们的代码可在https://github.com/raymin0223/self-contrastive-learning上获得。
2022-11-24 cs.AI cs.LG
Contrastive learning, multi-view redundancy, and linear models
Data Science Institute, Columbia University(哥伦比亚大学数据科学研究所);Microsoft Research(微软研究院);Department of Computer Science, Columbia University(哥伦比亚大学计算机科学系)
自监督学习是一种基于人工监督学习问题的无监督学习的成功方法。表示学习的一种流行的自监督方法是对比学习,它利用自然发生的相似和不相似数据点对,或同一数据的多个视图。本文从理论上分析了多视角背景下的对比学习,即每个数据都有两个视角。主要的结果是,学习表示的线性函数在下游预测任务中几乎是最优的,只要这两个视图提供关于标签的冗余信息。
2021-04-14 cs.LG stat.ML
Semi-supervised multi-view concept decomposition
Guangdong University of Technology(广东工业大学);RIKEN(理化学研究所)
提出半监督多视图概念分解模型 SMVCF,整合多视图 CF、标签传播与流形学习并引入自适应权重,有效利用有限标签信息提升多视图聚类性能。
2023-07-03 cs.CV cs.LG
Latent Multi-view Semi-Supervised Classification
Glasgow College, University of Electronic Science and Technology of China(电子科技大学格拉斯哥学院);School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院);School of Foreign Languages, University of Electronic Science and Technology of China(电子科技大学外国语学院)
为了从多个视图中挖掘潜在的互补信息,本文提出了一种新的潜在多视图半监督分类(LMSSC)方法。与大多数现有的使用原始特征学习图的多视图半监督分类方法不同,我们的方法寻求一个潜在的潜在表示,并根据学习到的潜在表示进行图学习和标签传播。由于多视图的互补性,潜在表示比单个视图更能全面地描述数据,从而使图更准确、更鲁棒。最后,LMSSC将潜在表示学习、图构造和标签传播集成到一个统一的框架中,使每个子任务都得到优化。在真实基准数据集上的实验结果验证了该方法的有效性。
2019-09-09 cs.AI cs.CV cs.LG
Multiview Pseudo-Labeling for Semi-supervised Learning from Video
Facebook AI Research (FAIR)(脸书人工智能研究院)
我们提出了一个多视图伪标记的方法来视频学习,一个新的框架,使用互补的意见的形式的外观和运动信息的半监督学习在视频。互补视图有助于在未标记的视频上获得更可靠的伪标签,以学习比纯监督数据更强的视频表示。虽然我们的方法利用了多个视图,但它仍然训练了一个跨外观和运动输入共享的模型,因此,通过设计,在推理时不会产生额外的计算开销。在多个视频识别数据集上,我们的方法大大优于其监督对应,并与以前在自监督视频表示学习中的标准基准上的工作相比毫不逊色。
2021-04-01 cs.AI cs.CV cs.LG
A Multi-view Perspective of Self-supervised Learning
Nanjing University of Aeronautics & Astronautics(南京航空航天大学)
自监督学习(Self-supervised learning,SSL)作为一种新兴的无监督学习范式,近年来受到了广泛的关注。在它的帮助下,SSL有效地学习了对下游任务有益的特征表示。因此,托词任务起着关键作用。然而,目前对它的设计,特别是它的本质的研究还处于开放状态。在本文中,我们借用多视图的角度来解耦一类流行的借口任务到视图数据增强(VDA)和视图标签分类(VLC)的组合,在那里我们试图探索这种借口任务的本质,同时提供一些见解,其设计。具体而言,一个简单的多视图学习框架(SSL-MV)是专门设计的,它有助于通过增强视图上的相同任务的下游任务(原始视图)的特征学习。SSL-MV专注于VDA,而放弃VLC,根据经验发现是VDA而不是通常认为的VLC主导了此类SSL的性能。此外,由于用VDA任务取代了VLC,SSL-MV还可以实现集成推理,结合来自增强视图的预测,进一步提高性能。在多个基准数据集上的实验证明了该方法的优越性。
2020-05-15 cs.CV cs.LG stat.ML
Noise2Ghost: Self-supervised deep convolutional reconstruction for ghost imaging
Algorithms and scientific Data Analysis group, ESRF — The European Synchrotron(算法与科学数据分析组,ESRF — 欧洲同步辐射实验室);Physics Department and Institute of Nanotechnology and Advanced Materials(物理系和纳米技术与先进材料研究所);Université Grenoble Alpes, CEA, IRIG-MEM(格勒诺布尔大学,CEA,IRIG-MEM);Leiden Institute of Advanced Computer Science, Leiden Universiteit(莱顿先进计算机科学研究所,莱顿大学)
Noise2Ghost通过自监督深度卷积方法提升鬼成像在低光条件下的重建质量与降噪能力,适用于微纳米尺度X射线成像等应用。
2026-03-05 cs.CV cs.LG physics.data-an
Multi-View Semi-Supervised Label Distribution Learning with Local Structure Complementarity
School of Computers, Guangdong University of Technology(计算机学院,广东技术大学);School of Automation, Guangdong University of Technology(自动化学院,广东技术大学)
针对多视图半监督标签分布学习问题,提出MVSS-LDL方法,利用视图间局部最近邻结构互补性构建图学习模型,首次实现多视图LDL,性能优于单视图方法。
2025-10-15 cs.LG
On the robustness of self-supervised representations for multi-view object classification
University of the Witwatersrand(威特沃特斯兰德大学)
众所周知,来自自监督预训练的表示可以在各种下游任务上与来自完全监督预训练的表示表现相当,并且通常更好。这已经在诸如通用对象分类和检测、语义分割和图像检索之类的大量设置中示出。然而,最近出现了一些问题,展示了自监督表示的一些失败模式,例如非ImageNet类数据或复杂场景的性能。在本文中,我们表明,自我监督表示的基础上的实例歧视目标导致更好的表示对象,更强大的变化的观点和观点的对象。我们对多个监督基线进行现代自监督方法的实验来证明这一点,包括通过单应性近似对象视点变化,以及基于多个多视图数据集的真实世界测试。我们发现,自监督表示更强大的对象的观点,似乎编码更多的相关信息的对象,促进从新的观点对象的识别。
2022-07-27 cs.CV cs.LG
Self-Supervised Information Bottleneck for Deep Multi-View Subspace Clustering
Beijing Institute of Technology(北京理工大学)
本文从信息论的角度探讨了深度多视点子空间聚类框架问题。我们扩展了传统的信息瓶颈原理,以自监督的方式学习不同视图之间的共同信息,并相应地建立了一个新的框架称为自监督信息瓶颈的多视图子空间聚类(SIB-MSC)。继承了信息瓶颈的优点,SIB-MSC可以为每个视图学习潜在空间,通过从视图本身去除多余的信息,同时为其他视图的潜在表示保留足够的信息,来捕获不同视图的潜在表示之间的公共信息。实际上,每个视图的潜在表示为训练其他视图的潜在表示提供了一种自监督信号。此外,SIB-MSC尝试学习其他潜在空间为每个视图捕捉视图特定的信息,通过引入互信息为基础的正则化条款,以便进一步提高多视图子空间聚类的性能。据我们所知,这是第一个工作,探讨多视图子空间聚类的信息瓶颈。对真实世界多视图数据的大量实验表明,我们的方法比相关的国家的最先进的方法取得了优越的性能。
2022-04-29 cs.AI cs.LG
No Data Wasted: A Semi-supervised Generative Model for Incomplete Multi-view Data Integration with Missing Labels
针对带缺失标签和视图的多视图学习问题,提出半监督生成模型,结合标记与未标记样本,在共享潜在空间最大化似然与互信息,提升预测与生成性能。
2026-09-03 cs.AI cs.LG
Weakly-Supervised 3D Human Pose Learning via Multi-view Images in the Wild
NVIDIA(英伟达)
在野外进行单目3D人体姿态估计的一个主要挑战是获取训练数据,该训练数据包含用准确的3D姿态注释的无约束图像。在本文中,我们通过提出一种弱监督方法来解决这一挑战,该方法不需要3D注释,并学会从未标记的多视图数据中估计3D姿态,这些数据可以在野外环境中轻松获取。我们提出了一种新的端到端学习框架,可以使用多视图一致性进行弱监督训练。由于多视图一致性容易退化的解决方案,我们采用了2.5D姿态表示,并提出了一种新的目标函数,只有当训练模型的预测在所有相机视图中一致且合理时,该目标函数才能最小化。我们在两个大规模数据集(Human3.6M和MPII-INF-3DHP)上评估了我们提出的方法,在半/弱监督方法中,它达到了最先进的性能。
2020-03-17 cs.CV cs.LG
A Re-node Self-training Approach for Deep Graph-based Semi-supervised Classification on Multi-view Image Data
North China University of Water Resources and Electric Power(北方水利水电大学);University of the Basque Country(巴斯克大学);IKERBASQUE
针对多视图图像缺清晰图结构、图整合难等问题,提出RSGSLM方法,结合GCN框架下的特征变换与图融合、动态伪标记等策略,在多视图半监督分类任务上性能优于现有方法。
2025-10-27 cs.CV cs.LG
Deep Multi-View Semi-Supervised Clustering with Sample Pairwise Constraints
College of Information Science and Technology, Hainan University(海南大学信息科学技术学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Hainan University(海南大学)
针对现有多视图聚类忽略弱监督信息、难以保留多视图特征属性的问题,提出联合三类损失、融入成对约束、微调完整自编码器的DMSC方法,在8个图像数据集上性能优于现有最优方法。
2023-05-05 cs.CV cs.LG
Multi-view Tracking Using Weakly Supervised Human Motion Prediction
EPFL(洛桑联邦理工学院);Tencent(腾讯)
在拥挤的场景中,多视角的人跟踪方法比单视角的人跟踪方法有可能更好地处理遮挡。它们通常依赖于通过检测进行跟踪的模式,即首先检测人,然后将检测结果连接起来。在本文中,我们认为,一个更有效的方法是预测随着时间的推移的人的运动,并推断出人的存在,从这些个别帧。这使得能够在时间上和跨单个时间帧的视图两者实施一致性。我们在PETS 2009和WILDTRACK数据集上验证了我们的方法,并证明它优于最先进的方法。
2022-10-19 cs.CV cs.LG
SAT: Improving Semi-Supervised Text Classification with Simple Instance-Adaptive Self-Training
Singapore University of Technology and Design(新加坡科技设计大学)
自训练方法在近年来已经被探索,并且在改进半监督学习方面表现出很好的性能。本文提出了一种简单的实例自适应自训练方法(SAT)用于半监督文本分类。SAT首先为每个未标记的数据生成两个增强视图,然后训练元学习器基于原始视图和增强视图之间的相似性自动识别增强的相对强度。将弱增强视图馈送到模型以产生伪标签,并且使用强增强视图来训练模型以预测相同的伪标签。我们在三个文本分类数据集上进行了广泛的实验和分析,发现与现有的半监督学习方法相比,在不同大小的标记训练数据下,SAT始终表现出具有竞争力的性能。我们的代码可以在\url{https://github.com/declare-lab/SAT.git}中找到。
2022-10-23 cs.CL cs.LG
Self-Supervised Discriminative Feature Learning for Deep Multi-View Clustering
School of Computer Science and Engineering, University of Electronic Science and Technology of China(计算机科学与工程学院,电子科技大学);School of Information and Communication Engineering, University of Electronic Science and Technology of China(信息与通信工程学院,电子科技大学);Department of Computer Science, University of Illinois at Chicago(计算机科学系,伊利诺伊大学芝加哥分校);Department of Computer Science and Engineering, Lehigh University(计算机科学与工程系,莱斯大学)
SDMVC通过自监督判别特征学习提升多视图聚类性能,利用深度自编码器和统一目标分布实现特征学习与聚类一致性。
2025-11-20 cs.CV cs.LG
Ghost in the Kernel: In-Context Learning with Efficient Transformers via Domain Generalization
School of Mathematics and Statistics, University of Sydney(悉尼大学数学与统计学院)
本文从领域泛化角度研究线性Transformer的近似与泛化能力,证明其通过上下文分布到响应函数的映射实现上下文学习,并基于理论提出激活函数与损失函数设计新视角。
2026-07-02 cs.LG stat.ML
A Reconstruction Error Formulation for Semi-Supervised Multi-task and Multi-view Learning
University of California, Davis(加州大学戴维斯分校)
使学习技术更适合于通用用途的一个重大挑战是超越i)完全监督,ii)低维数据,iii)每个实例的单个任务和单个视图。解决这些挑战允许处理通常具有多个(但可能不完整)标签和视图的高维“大数据”问题。虽然其他工作已经分别解决了这些问题,但在本文中,我们将展示如何将它们结合在一起,即多任务和多视图学习的半监督降维(SSDR-MML),它在半监督设置中对降维和标签推理进行优化。所提出的框架旨在处理多任务和多视图的学习设置,可以很容易地适应许多有用的应用程序。从所有任务和视图获得的信息通过重建误差以线性方式组合,可以使用交替优化方案有效地解决。我们的配方有许多优点。我们明确建模的信息组合机制作为一个数据结构(权重/最近邻矩阵),它允许调查多任务和多视图学习的基本问题。我们解决这样一个问题,提出了一个通用的措施,以量化的成功,同时学习多个任务或从多个角度。我们表明,我们的SSDR-MML方法可以优于许多最先进的基线方法,并证明了将降维和学习联系起来的有效性。
2012-02-04 cs.LG stat.ML
A New Semi-supervised Learning Benchmark for Classifying View and Diagnosing Aortic Stenosis from Echocardiograms
Tufts University(塔夫茨大学);CVAI Solutions(CVAI解决方案公司);Tufts Medical Center(塔夫茨医疗中心)
半监督图像分类在从有限的标记数据中学习方面已经取得了实质性的进展,但最近的进展在很大程度上尚未经过临床应用的测试。由于迫切需要提高对危及生命的心脏疾病,特别是主动脉瓣狭窄的及时诊断,我们开发了一个基准数据集,以评估与心脏超声(超声心动图)解释相关的两项任务的半监督方法:视图分类和疾病严重程度分类。我们发现,一种名为MixMatch的最先进的方法在这两项任务的保持准确性方面都取得了可喜的进展,从大量真正未标记的图像以及以高昂代价收集的标记集中学习,以实现比单独使用标记集更好的性能。我们进一步追求患者级别的诊断预测,这需要聚合数百个不同视图类型的图像,其中大多数是不相关的,以做出一致的预测。通过新方法实现最佳患者级性能,这些新方法优先考虑来自被预测为临床相关视图的图像的诊断预测,并将知识从视图任务转移到诊断任务。我们希望我们发布的Tufts医学超声心动图数据集和评估框架能够激发临床应用中多任务半监督学习的进一步改进。
2021-07-30 cs.CV cs.LG
Correlated random features for fast semi-supervised learning
ETH Zürich(苏黎世联邦理工学院)
本文提出了相关Nystrom视图(XNV),一个快速的半监督算法的回归和分类。该算法借鉴了两个主要思想。首先,它生成两个视图组成的计算成本低廉的随机功能。其次,XNV应用多视图回归,使用典型相关分析(CCA)对未标记的数据进行回归,使回归偏向有用的特征。已经表明,如果视图包含准确的估计量,CCA回归可以在偏差增加最小的情况下大大减少方差。最近的理论和实证工作表明,随机功能的回归非常接近核回归,这意味着随机视图可以预期包含准确的估计,随机视图是合理的。我们表明,XNV始终优于最先进的半监督学习算法:大大提高了预测性能,降低了各种真实世界数据集上的性能变化,同时还减少了运行时间的数量级。
2013-11-05 cs.LG stat.ML
S-multi-SNE: Semi-Supervised Classification and Visualisation of Multi-View Data
Imperial College London(帝国理工学院)
越来越多的多视图数据正在由多个领域的研究发表。这种类型的数据对应于多个数据视图,每个数据视图代表同一组样本的不同方面。我们最近提出了多SNE,这是t-SNE的扩展,可以生成多视图数据的单一可视化。多SNE方法提供了样本的低维嵌入,通过不同的数据视图迭代更新而产生。在这里,我们进一步扩展多SNE的半监督的方法,分类未标记的样本作为一个额外的数据视图的标签信息。我们通过将这两种方法应用于具有不同挑战的各种多视图数据集,深入研究了multi-SNE及其扩展S-multi-SNE的性能,局限性和优势。我们表明,通过包括标签信息,样本的投影大幅提高,并伴随着强大的分类性能。
2021-11-05 cs.HC cs.LG stat.ML
Semi- and Self-Supervised Multi-View Fusion of 3D Microscopy Images using Generative Adversarial Networks
Institute of Imaging and Computer Vision, RWTH Aachen University(亚琛工业大学成像与计算机视觉研究所)
荧光显微镜的最新发展允许随着时间的推移捕获高分辨率的3D图像,用于活的模式生物。为了能够对甚至更大的标本进行成像,多视图光片成像等技术在每个时间点记录不同的方向,然后可以将其融合成单个高质量体积。基于测量的点扩散函数(PSF),去卷积和内容融合能够在很大程度上恢复成像过程中发生的不可避免的退化。经典的多视图解卷积和融合方法主要采用迭代过程和基于内容的平均。最近,卷积神经网络(CNN)已被部署到接近3D单视图去卷积显微镜,但多视图的情况下有待研究。我们研究了基于CNN的多视图去卷积和融合的有效性,其中两个合成数据集模拟发育中的胚胎,并涉及两个或四个互补的3D视图。与经典的最先进的方法相比,所提出的半监督和自监督模型分别在两视图和四视图的情况下实现了具有竞争力和优越的反卷积和融合质量。
2021-08-05 cs.CV cs.LG eess.IV
ASM2TV: An Adaptive Semi-Supervised Multi-Task Multi-View Learning Framework for Human Activity Recognition
George Washington University(乔治华盛顿大学);Shandong University(山东大学)
许多现实世界的场景,例如物联网中的人类活动识别(HAR),可以形式化为多任务多视图学习问题。每个特定的任务都由多个共享的特征视图组成,这些特征视图是从多个同源或异构源收集的。在最近的方法中,共同的是采用典型的硬/软共享策略,在初始阶段分别为每个视图跨任务,以揭示共同的知识,假设所有的视图是有条件的独立。一方面,在实际情况下,跨任务的多个视图可能相互关联。另一方面,当标记数据稀缺时,监督方法可能不够。为了解决这些挑战,我们引入了一个新的框架ASM 2 TV用于半监督多任务多视图学习。我们提出了一个新的视角命名为门控策略,一个可学习的任务视图交互共享策略,自适应地选择最理想的候选共享块的任何视图在任何任务,揭示更细粒度的任务视图交互的相关性,提高推理效率。值得注意的是,我们提出的收集一致性自适应过程充分利用了大量未标记的碎片时间序列,使其成为一个通用的框架,可容纳广泛的应用。两个不同的真实世界的HAR基准数据集从不同的主题和来源收集的实验表明,我们的框架的优越性,比其他国家的最先进的。详细代码可在https://github.com/zachstarkk/ASM2TV上获得。
2022-01-19 cs.AI cs.LG cs.MM
Semi-supervised Multi-sensor Classification via Consensus-based Multi-View Maximum Entropy Discrimination
US Army Research Office(美国陆军研究局)
在本文中,我们考虑多传感器分类时,有大量的未标记的样本。在多视图学习框架下对该问题进行了建模,并提出了一种基于贝叶斯网络的多视图最大熵判别(CMV-MED)算法。通过迭代最大化多个分类器在未标记数据集上的随机一致性,该算法同时学习多个高精度分类器。我们证明,我们提出的方法可以产生改进的性能比以前的多视图学习方法,通过比较三个真实的多传感器数据集的性能。
2015-07-05 cs.AI cs.IT cs.LG
Semi-Supervised Learning of Visual Features by Non-Parametrically Predicting View Assignments with Support Samples
Facebook AI Research(脸书人工智能研究院);Mila – Quebec AI Institute(米拉——魁北克人工智能研究所);McGill University(麦吉尔大学);Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
本文提出了一种新的学习方法预测视图分配与支持样本(PAWS)。该方法训练模型以最小化一致性损失,这确保相同未标记实例的不同视图被分配类似的伪标签。通过将图像视图的表示与一组随机采样的标记图像的表示进行比较,非参数化地生成伪标签。视图表示和标记表示之间的距离用于提供类标签的权重,我们将其解释为软伪标签。通过以这种方式非参数化地合并标记样本,PAWS将BYOL和SwAV等自监督方法中使用的距离度量损失扩展到半监督设置。尽管这种方法很简单,但PAWS在架构上优于其他半监督方法,为ImageNet上的ResNet-50设置了一个新的最先进的水平,使用10%或1%的标签进行训练,分别达到75.5%和66.5%的top-1。PAWS需要的训练比以前的最佳方法少4倍到12倍。
2021-07-30 cs.AI cs.CV cs.LG