Adversarial Background-Aware Loss for Weakly-supervised Temporal Activity Localization
University of Michigan(密歇根大学)
近年来,对未修剪视频中的时间定位活动进行了广泛的研究。尽管最近的进展,现有的方法弱监督的时间活动本地化的斗争,以识别活动时,没有发生。为了解决这个问题,我们提出了一种新的方法命名为A2 CL-PT。在我们的方法中考虑了特征空间的两个三元组:一个三元组用于学习每个活动类的判别特征,另一个三元组用于区分每个视频的活动相关特征和没有活动发生的特征(即背景特征)。为了进一步提高性能,我们使用两个并行的分支来构建我们的网络,这两个分支以对抗的方式运行:第一个分支定位视频中最突出的活动,第二个分支从视频的非本地化部分中找到其他补充活动。在THUMOS 14和ActivityNet数据集上进行的大量实验表明,我们提出的方法是有效的。具体而言,THUMOS 14数据集上从0.1到0.9的IoU阈值的平均mAP从27.9%显著提高到30.0%。
2020-07-13 cs.CV
Wearable-based behaviour interpolation for semi-supervised human activity recognition
Durham University(杜伦大学);Newcastle University(纽卡斯尔大学);Tencent YouTu Lab(腾讯优图实验室);Chinese Academy of Sciences R&D Center for Internet of Things(中国科学院物联网研究发展中心)
提出深度半监督HAR方法MixHAR,通过线性插值混合标记与未标记数据,并设计校准机制解决活动入侵问题,显著提升识别性能。
2024-05-24 cs.CV
Weakly Supervised Lesion Localization With Probabilistic-CAM Pooling
JF Healthcare(JF医疗);Greybird Ventures LLC(灰鸟风险投资有限责任公司)
胸部疾病的X线定位在诊断和治疗计划等临床实践中起着至关重要的作用。然而,当前基于深度学习的方法通常需要强监督,例如注释的边界框,用于训练这样的系统,这对于大规模收获是不可行的。我们提出了概率类激活图(PCAM)池,一种新的全球池操作病灶定位与图像级的监督。PCAM池在训练期间以概率方式显式地利用CAM的出色本地化能力。在ChestX-ray 14数据集上的实验表明,使用PCAM池训练的ResNet-34模型在分类任务和定位任务上的表现都优于最先进的基线。与CAM生成的定位热图相比,对PCAM合并生成的概率图的目视检查显示病变区域周围的清晰和尖锐边界。PCAM池在https://github.com/jfhealthcare/Chexpert上是开源的。
2020-05-29 cs.CV
Human Activity Recognition Using Robust Adaptive Privileged Probabilistic Learning
在这项工作中,一种新的方法的基础上学习使用特权信息(LUPI)范式识别复杂的人类活动的建议,在测试过程中处理丢失的信息。我们提出了一种监督概率方法,集成LUPI到一个隐藏的条件随机场(HCRF)模型。所提出的模型被称为HCRF+,可以使用最大似然法和最大边际法进行训练。它采用了自训练技术的目标函数的正则化参数的自动估计。此外,该方法通过由学生的\textit{t} -密度函数对特权信息的条件分布进行建模,提供了对离群值(如噪声或缺失数据)的鲁棒性,该密度函数自然地集成到HCRF+框架中。对不同形式的保密信息进行了调查。使用四个具有挑战性的公开可用的数据集和实验结果表明,该方法的有效性相对于最先进的LUPI框架中使用手工制作的功能和功能提取的卷积神经网络。
2017-09-19 cs.CV
SPARTAN: Self-supervised Spatiotemporal Transformers Approach to Group Activity Recognition
University of Arkansas(阿肯色大学);West Virginia University(西弗吉尼亚大学)
本研究提出自监督时空Transformer方法SPARTAN,通过构建多尺度时空视图的自监督匹配目标,利用无标注视频提升群体活动识别效果,在两个基准数据集上的关键指标显著超越现有最优水平。
2023-08-28 cs.CV
Detect, anticipate and generate: Semi-supervised recurrent latent variable models for human activity modeling
KTH Royal Institute of Technology(KTH皇家理工学院)
成功的人机协作需要人类行为的预测模型。机器人需要能够识别当前的目标和行动,并在给定的背景下预测未来的活动。然而,人类行为的时空序列很难建模,因为潜在的因素,如意图,任务,知识,直觉和偏好决定了每个人的行动选择。在这项工作中,我们引入了半监督变分递归神经网络,它能够a)对潜在因素和可观察特征空间的时间分布进行建模,b)在可用时加入离散标签,如活动类型,以及c)在特征和标签级别上生成可能的未来动作序列。我们在Cornell Activity Dataset CAD-120数据集上评估了我们的模型。我们的模型在活动和启示检测和预测方面都优于最先进的方法。此外,我们展示了未来可能的动作序列的样本是如何与过去的观察一致的。
2018-09-19 cs.CV
Detector-Free Weakly Supervised Group Activity Recognition
POSTECH(浦项科技大学)
群体活动识别是在多人视频中理解由一组人作为整体进行的活动的任务。现有的模型,这项任务往往是不切实际的,因为他们需要地面实况限界框标签的演员,即使在测试或依赖于现成的对象检测器。受此启发,我们提出了一种新的模型,既不依赖于限界框标签,也不依赖于对象检测器的群体活动识别。我们的模型基于Transformer,通过利用注意力机制对群体活动的部分上下文进行定位和编码,并将视频片段表示为一组部分上下文嵌入。然后,将嵌入向量聚合以形成反映活动的整个上下文的单个组表示,同时捕获每个部分上下文的时间演变。我们的方法在排球和NBA两个基准数据集上取得了出色的性能,不仅超过了用相同水平的监督训练的最先进的模型,而且超过了一些依赖于更强监督的现有模型。
2022-04-05 cs.CV
EventSSEG: Event-driven Self-Supervised Segmentation with Probabilistic Attention
Defence Research and Development Organization, Bangalore and Indian Institute of Science, Bangalore(国防研究与发展组织、班加罗尔和印度科学学院,班加罗尔);Department of Electronics Systems Engineering, Indian Institute of Science, Bangalore(电子系统工程系,印度科学学院,班加罗尔)
针对自动驾驶道路分割中基于帧相机的低延迟低计算挑战,提出EventSSEG方法,通过仅事件计算、概率注意力机制和基于事件的自监督学习,在DSEC-Semantic和DDD17数据集上以少量标注事件实现最先进性能。
2025-08-20 cs.CV
Social Adaptive Module for Weakly-supervised Group Activity Recognition
Nanjing University of Science and Technology(南京理工大学);Huawei Inc.(华为公司)
本文提出了一种新的任务称为弱监督的群体活动识别(GAR),它不同于传统的GAR任务,只有视频级的标签是可用的,但每个帧内的重要人物,即使在训练数据不提供。这使得我们可以轻松地收集和注释大规模的NBA数据集,从而对GAR提出新的挑战。为了从弱监督中挖掘有用的信息,我们提出了一个关键的见解,即关键实例可能彼此相关,从而设计了一个社会适应模块(SAM)来从噪声数据中推理关键人物和帧。实验表明,NBA数据集以及流行的排球数据集显着改善。特别是,我们在视频级注释上训练的模型实现了与需要强标签的先前算法相当的准确性。
2020-07-18 cs.CV
Self-Supervised Human Activity Recognition by Augmenting Generative Adversarial Networks
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
本文提出了一种新的方法来增强生成对抗网络(GAN)的自监督任务,以提高其编码视频表示的能力,这些视频表示在人类活动识别等下游任务中非常有用。在所提出的方法中,输入视频帧通过不同的空间变换(诸如旋转、平移和剪切)或时间变换(诸如重排帧的时间顺序)来随机变换。然后,通过引入辅助损耗,鼓励用户预测应用变换。随后,结果证明了所提出的方法优于基线方法,用于提供在KTH,UCF 101和Ball-Drop等数据集上进行的人类活动识别中使用的视频的有用表示。Ball-Drop数据集是一个专门设计的数据集,用于通过身体和认知要求高的任务来测量儿童的执行功能。使用所提出的方法而不是基线方法的功能,导致前1名的分类精度提高了4%以上。此外,消融研究进行了调查的下游任务的不同转换的贡献。
2020-12-28 cs.CV
Supervised Multilabel Image Classification Using Residual Networks with Probabilistic Reasoning
Amrita School of Computing(阿姆里塔计算学院);Amrita Vishwa Vidyapeetham(阿姆里塔世界学院)
针对多标签图像分类任务,提出融合概率推理的改进ResNet-101模型,在COCO-2014上取得0.794 mAP,优于ResNet-SRN、ViT基线,性能接近当前最优。
2025-11-15 cs.CV
Self-supervised Multi-actor Social Activity Understanding in Streaming Videos
Auburn University(奥本大学)
针对社会活动识别任务依赖密集标注、传统方法受单智能体假设限制的问题,提出基于多智能体预测学习的自监督框架,通过视觉-语义图建模社会交互,在少标注下实现鲁棒性能与良好泛化性。
2024-06-20 cs.CV
VicKAM: Visual Conceptual Knowledge Guided Action Map for Weakly Supervised Group Activity Recognition
School of Information Science and Technology, Beijing University of Technology(北京工业大学信息科学与技术学院);Institute of automation, Chinese Academy of Science(中国科学院自动化研究所)
针对现有弱监督群体活动识别方法忽略区域语义信息的问题,提出VicKAM框架,通过生成动作原型作为视觉概念知识引导动作图生成,并结合群体统计信息增强,在两个基准数据集上验证了有效性。
2025-02-14 cs.CV
DiffCAD: Weakly-Supervised Probabilistic CAD Model Retrieval and Alignment from an RGB Image
Technical University of Munich(慕尼黑工业大学)
DiffCAD提出首个弱监督概率性CAD检索与对齐方法,利用扩散模型从单张RGB图像生成多假设CAD重建,仅用合成数据训练即可在Scan2CAD上超越有监督SOTA 5.9%。
2024-06-06 cs.CV
Self-supervised Learning of Geometrically Stable Features Through Probabilistic Introspection
University of Oxford(牛津大学);NAVER LABS Europe(欧洲NAVER实验室)
自我监督可以大大减少训练深度神经网络所需的手动标记数据量。虽然自我监督通常被认为是任务,如图像分类,在本文中,我们的目标是将其扩展到面向几何的任务,如语义匹配和部分检测。我们这样做的基础上,最近的几个想法,在无监督的地标检测。我们的方法学习密集独特的视觉描述符从一个未标记的图像数据集使用合成图像变换。它这样做的一个强大的概率公式,可以introductionally确定哪些图像区域可能会导致稳定的图像匹配的装置。我们的经验表明,以这种方式预训练的网络与许多预训练方案相比,需要更少的监督来学习语义对象部分。我们还表明,预先训练的表示是优秀的语义对象匹配。
2018-04-04 cs.CV
Leveraging Multimodal LLM Descriptions of Activity for Explainable Semi-Supervised Video Anomaly Detection
Department of Electrical Engineering University of South Florida(电气工程系 佛罗里达州立大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
本文提出利用多模态大语言模型描述活动,以实现可解释的半监督视频异常检测,有效检测复杂交互异常并提升模型可解释性。
2026-02-26 cs.CV
Probabilistic Vision-Language Representation for Weakly Supervised Temporal Action Localization
Sejong University(世宗大学);Electronics and Telecommunications Research Institute(电子通信研究院)
针对弱监督时序动作定位中任务差异与细粒度运动捕捉难的问题,提出在概率嵌入空间对齐动作与VLP知识的框架,结合分布内外对比学习增强表示,性能超越现有最优方法。
2024-08-12 cs.CV
Day2Dark: Pseudo-Supervised Activity Recognition beyond Silent Daylight
University of Amsterdam(阿姆斯特丹大学)
针对黑暗环境下行为识别性能差的问题,提出伪监督学习方案和黑暗自适应音视频识别器,利用无标注黑暗视频和光照不变的音频信息提升识别效果,在多个数据集上表现优于现有方法。
2023-08-27 cs.CV
Activity Driven Weakly Supervised Object Detection
University of Southern California(南加州大学);Facebook AI(Facebook人工智能)
弱监督目标检测旨在减少训练检测模型所需的监督量。这样的模型传统上是从仅用对象类而不是对象限界框标记的图像/视频中学习的。在我们的工作中,我们不仅尝试利用对象类标签,还尝试利用与数据相关联的操作标签。我们表明,在图像/视频中描绘的动作可以提供强有力的线索,相关对象的位置。我们根据动作学习对象的空间先验(例如,“球”在“踢球”中更接近“人的腿”),并在同时训练联合目标检测和动作分类模型之前将其合并。我们在视频数据集和图像数据集上进行了实验,以评估我们的弱监督目标检测模型的性能。我们的方法在Charades视频数据集上的mAP中优于当前最先进的(SOTA)方法超过6%。
2019-04-02 cs.CV
Probabilistic Watershed: Sampling all spanning forests for seeded segmentation and semi-supervised learning
Heidelberg University(海德堡大学)
图上的种子分水岭算法/极大极小半监督学习计算将每个像素/未标记节点连接到种子/标记节点的最小生成森林。相反,我们建议考虑所有可能的生成森林,并计算每个节点的抽样森林连接某个种子与该节点的概率。我们称这种方法为“可能的分水岭”。Leo Grady(2006)已经指出了它与随机沃克/谐波能量最小化的等价性。在这里,我们给出了一个简单的证明,这种等价性,并建立计算的可行性与基尔霍夫的矩阵树定理的概率分水岭。此外,我们显示了一个新的随机沃克概率和三角形不等式的有效电阻之间的联系。最后,我们得出一个新的和直观的解释权力分水岭。
2019-11-06 cs.CV cs.DS
Group-DINOmics: Incorporating People Dynamics into DINO for Self-supervised Group Activity Feature Learning
Toyota Technological Institute(丰田工业大学)
本文提出无需群体活动标注的群体活动特征学习方法,通过动态感知和群体感知的预训练任务,结合DINO提供的局部和全局特征,提升群体活动识别与检索性能。
2026-04-06 cs.CV
Enhancing Weakly Supervised 3D Medical Image Segmentation through Probabilistic-aware Learning
Carnegie Mellon University(卡内基梅隆大学);Towson University(托森大学);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);University of Maryland(马里兰大学)
提出概率感知弱监督学习流程,整合伪标签生成、多头自注意力网络和概率损失函数,在CT和MRI数据上超越现有弱监督方法,最高提升Dice分数18.1%。
2025-06-20 cs.CV eess.IV
ProDepth: Boosting Self-Supervised Multi-Frame Monocular Depth with Probabilistic Fusion
Yonsei University(延世大学)
针对动态场景下自监督多帧单目深度估计的特征失配问题,提出ProDepth框架,通过概率代价体调制和损失重加权策略提升精度与泛化性,在多个数据集上表现优于现有方法。
2024-07-12 cs.CV
Boosting Semi-Supervised Semantic Segmentation with Probabilistic Representations
Northeastern University(东北大学);The University of Sydney(悉尼大学);SenseTime Research(商汤科技研究院)
半监督语义分割的最新突破是通过对比学习实现的。在流行的逐像素对比学习解决方案中,模型将像素映射到确定性表示,并在潜在空间中将其正则化。然而,由于模型的认知能力有限,存在不准确的伪标签,将模糊的像素表示映射到错误的类。在本文中,我们定义了像素级表示从概率论的一个新的角度,并提出了一个概率表示对比学习(PRCL)框架,提高表示质量,考虑其概率。通过将从像素到表示的映射建模为经由多变量高斯分布的概率,我们可以调整模糊表示的贡献以容忍不准确的伪标签的风险。此外,我们定义的原型的形式分布,这表明一个类的信心,而点原型不能。此外,我们建议正则化的分布方差,以提高表示的可靠性。利用这些优点,可以在潜在空间中导出高质量的特征表示,从而可以进一步提高语义分割的性能。我们在Pascal VOC和CityScapes上进行了充分的实验来评估PRCL,以证明其优越性。该代码可在https://github.com/Haoyu-Xie/PRCL上获得。
2022-12-16 cs.CV
Weakly Supervised Temporal Convolutional Networks for Fine-grained Surgical Activity Recognition
University of Verona(维罗纳大学);University of Strasbourg(斯特拉斯堡大学);CNRS(法国国家科学研究中心);IHU Strasbourg(斯特拉斯堡大学医院研究所);University Hospital of Strasbourg(斯特拉斯堡大学医院);IRCAD(斯特拉斯堡微创外科研究中心);Fondazione Policlinico Universitario Agostino Gemelli IRCCS(阿戈斯蒂诺·杰梅利大学医院基金会IRCCS)
本文提出利用粗粒度阶段标签作为弱监督,通过步骤-阶段依赖损失和以ResNet-50为骨干的SS-TCN,在少量步骤标注下实现细粒度手术步骤识别,并在两个手术视频数据集上验证了有效性。
2023-04-11 cs.CV
Human Activity Recognition on wrist-worn accelerometers using self-supervised neural networks
Verily Life Sciences, LLC (Alphabet)(Verily生命科学有限责任公司(Alphabet))
日常生活活动能力(ADL)是整体健康的重要指标,但难以在临床上测量。使用腕戴式加速度计的自动化和准确的人类活动识别(HAR)实现了对ADL的实用且具有成本效益的远程监测。开发高质量HAR的关键障碍是缺乏大型标记数据集,以及将在小型策划数据集上训练的模型应用于现实生活中连续的异构数据流时的性能损失。在这项工作中,我们设计了一个自监督学习范例,以创建一个强大的表示加速度计数据,可以概括跨设备和主题。我们证明了这种表示可以分离日常生活活动,并使用很少的标签实现强大的HAR准确性(在多个基准数据集上)。我们还提出了一种分割算法,可以识别显着活动的片段,并在连续的现实生活数据上提高HAR的准确性。
2021-12-22 cs.CV cs.LG
Cross-Sentence Temporal and Semantic Relations in Video Activity Localisation
Queen Mary University of London(伦敦玛丽女王大学);WICT, Peking University(北京大学王选计算机研究所);Adobe Research(Adobe研究院)
视频活动本地化最近获得了越来越多的关注,由于其实用价值,在自动本地化的最显着的视觉片段,对应于他们的语言描述(句子)从未经修剪和非结构化的视频。对于监督模型训练,必须给出句子(视频时刻)的每个视频片段的开始和结束时间索引的时间注释。这不仅非常昂贵,而且对模糊性和主观注释偏见敏感,这是一项比图像标记更难的任务。在这项工作中,我们开发了一个更准确的弱监督的解决方案,通过引入跨句关系挖掘(CRM)在视频时刻的建议生成和匹配时,只有一个段落的活动描述没有每句时间注释。具体而言,我们探讨了两个跨句子的关系约束:(1)时间顺序和(2)在一个段落的视频活动的描述句子之间的语义一致性。现有的弱监督技术在训练中只考虑句子内视频片段的相关性,而不考虑跨句子段落上下文。这可能会误导,因为单个句子的模糊表达与孤立的视觉上无差别的视频时刻建议。在两个公开的活动定位数据集上的实验表明,我们的方法优于最先进的弱监督方法,特别是当视频活动描述变得更加复杂时。
2021-08-17 cs.CV
Contrastive Learning with Cross-Modal Knowledge Mining for Multimodal Human Activity Recognition
Maastricht University(马斯特里赫特大学)
人类活动识别是输入数据可以采取多种形式的研究领域。每一种可能的输入方式都以不同的方式描述人类行为,每一种都有自己的优点和缺点。我们探讨的假设,利用多种形式可以导致更好的识别。由于手动注释的输入数据是昂贵和耗时的,重点是自我监督的方法,可以学习有用的功能表示没有任何地面真值标签。我们扩展了一些最近的对比自我监督的方法,人类活动识别的任务,利用惯性和骨架数据。此外,我们提出了一个灵活的,通用的框架进行多模态自监督学习,名为对比多视图编码与跨模态知识挖掘(CMC-CMKM)。该框架利用模态特定的知识,以减轻典型的自我监督框架的局限性。在两个广泛使用的数据集上进行的大量实验表明,所提出的框架在不同的场景下,包括全监督微调,活动检索和半监督学习,显着优于对比单峰和多峰基线。此外,即使与监督方法相比,它也显示出性能竞争力。
2022-05-20 cs.AI cs.CV
2by2: Weakly-Supervised Learning for Global Action Segmentation
Institut de Robòtica i Informàtica Industrial, CSIC-UPC(机器人学与工业信息研究所(西班牙国家研究委员会-加泰罗尼亚理工大学联合机构))
本文提出一种基于稀疏变换器孪生网络和三元组学习的弱监督方法,利用活动标签学习动作表示,实现跨视频的全局动作分割,并在Breakfast和YouTube Instructions数据集上超越现有方法。
2024-12-17 cs.CV
Weakly-Supervised Physically Unconstrained Gaze Estimation
NVIDIA(英伟达);Rochester Institute of Technology(罗切斯特理工学院);Lunit Inc.(Lunit公司)
物理上不受约束的注视估计的主要挑战是获取具有野外和室外场景的3D注视注释的训练数据。相比之下,在不受约束的环境中,人类交互的视频是丰富的,可以更容易地用帧级活动标签进行注释。在这项工作中,我们解决了以前从未探索过的问题,即从人类互动的视频中进行弱监督的凝视估计。我们利用的洞察力,强大的凝视相关的几何约束存在时,人们执行的活动“看着对方”(LAEO)。为了从LAEO标签中获得可行的3D凝视监督,我们提出了一种训练算法以及几种专门为该任务设计的新型损失函数。通过两个大规模CMU-Panoptic和AVA-LAEO活动数据集的弱监督,我们在(a)半监督凝视估计的准确性和(b)最先进的物理上不受约束的野外凝视估计基准Gaze360上的跨领域泛化方面显示出显着的改进。我们在www.example.com上开源我们的代码。
2021-05-20 cs.CV
GenRadar: Self-supervised Probabilistic Camera Synthesis based on Radar Frequencies
Ulm University(乌尔姆大学)
自主系统需要持续可靠的环境感知来进行导航和决策,这最好通过组合不同类型的传感器来实现。雷达在摄像机受损的情况下继续稳健地运行,保证了信息的稳定流入。然而,相机图像提供了一个更直观和更容易适用的世界印象。这项工作结合了两种传感器类型的互补优势,在一个独特的自学习融合方法的概率场景重建在不利的环境条件。在通过解耦随机自监督压缩技术降低了两个高维测量的内存需求后,所提出的算法利用相似性,并在训练过程中在不同的特征级别上建立两个域之间的对应关系。然后,在推理时,完全依赖于无线电频率,该模型连续预测相机成分的自回归和自包含的过程。这些离散的标记最终被转换回各自周围环境的指导性视图,从而可以直观地感知下游重要任务的潜在危险。
2021-07-19 cs.CV cs.LG
Self-Supervised Multi-View 3D Gaze Target Estimation via Probabilistic Ray Marching
University of Strasbourg(斯特拉斯堡大学);IHU Strasbourg(斯特拉斯堡大学医院研究所);Indian Institute of Technology (IIT) Madras(印度理工学院马德拉斯分校)
本文提出自监督方法Self-MVGTE,首次直接估计3D注视目标,利用概率射线行进框架处理噪声伪标签,在MVGT数据集上超越全监督方法。
2026-09-09 cs.CV
DiscrimNet: Semi-Supervised Action Recognition from Videos using Generative Adversarial Networks
Georgia Institute of Technology(佐治亚理工学院);Google(谷歌)
我们提出了一个使用生成对抗网络的动作识别框架。我们的模型涉及使用没有标签信息的大型视频活动数据集训练深度卷积生成对抗网络(DCGAN)。然后,我们使用来自GAN模型的训练后的神经网络作为无监督的预训练步骤,并在标记数据集上微调训练后的神经网络模型以识别人类活动。我们确定了良好的网络架构和超参数设置,以便使用DCGAN的训练模型来学习有用的动作识别表示。我们的半监督框架仅使用外观信息,在两个具有挑战性的视频活动数据集UCF 101和HMDB 51上实现了优于或与当前最先进的半监督动作识别方法相当的性能。
2018-01-22 cs.CV
A Probabilistic Attention Model with Occlusion-aware Texture Regression for 3D Hand Reconstruction from a Single RGB Image
Lancaster University(兰卡斯特大学);St John’s College of the University of Oxford(牛津大学圣约翰学院)
针对单RGB图像3D手部重建现有方法的缺陷,提出融合先验网络、AMVUR模型和遮挡感知纹理回归的概率模型,可在监督/弱监督场景下实现SOTA的手部及纹理重建精度。
2023-04-27 cs.CV
Probabilistic Noise2Void: Unsupervised Content-Aware Denoising
MPI-CBG/PKS (CSBD)(马克斯·普朗克分子细胞生物学与遗传学研究所/普朗克计算生物学中心(德累斯顿系统生物学中心));Brno University of Technology(布尔诺理工大学)
如今,卷积神经网络(CNN)是图像去噪的主要方法。传统上,它们是在成对的图像上训练的,这通常很难在实际应用中获得。这激发了自我监督的训练方法,如Noise 2 Void ~(N2 V),它们对单个噪声图像进行操作。不幸的是,自监督方法与在图像对上训练的模型没有竞争力。在这里,我们提出了“ProbabilityNoise 2 Void”(PN 2 V),这是一种训练CNN来预测每像素强度分布的方法。结合这些与适当的描述的噪声,我们得到一个完整的概率模型的噪声观测和真实的信号在每个像素。我们评估PN 2 V上公开可用的显微镜数据集,在广泛的噪声制度,并实现有竞争力的结果与监督的最先进的方法。
2019-06-04 cs.CV eess.IV
Weakly Supervised Knowledge Transfer with Probabilistic Logical Reasoning for Object Detection
KU Leuven(鲁汶大学)
训练目标检测模型通常需要实例级注释,例如每个图像中存在的所有对象的位置和标签。不幸的是,这种监督并不总是可用的,更常见的是,只提供图像级信息,也称为弱监督。最近的工作已经解决了这个限制,利用知识丰富的注释领域。然而,这些办法所支持的监督不力,范围非常有限,使它们无法利用所有现有信息。在这项工作中,我们提出了ProbKT,一个框架的基础上概率逻辑推理,允许训练目标检测模型与任意类型的弱监督。我们在不同的数据集上经验性地表明,使用所有可用的信息是有益的,因为与现有的基线相比,我们的ProbKT导致目标域的显着改进和更好的泛化。我们还展示了我们的方法来处理复杂的逻辑语句作为监督信号的能力。
2023-03-09 cs.CV stat.ML
Temporal Feature Alignment in Contrastive Self-Supervised Learning for Human Activity Recognition
Maastricht University(马斯特里赫特大学)
人体活动自动识别一直是以人为中心的普适计算领域的研究热点。在过去的几年中,已经提出了大量基于深度神经网络的监督学习算法,以使用各种模态来解决这个问题。虽然每种模式都有其自身的局限性,但都存在一个共同的挑战。也就是说,监督学习需要大量的注释数据,这实际上是很难收集的。在本文中,我们受益于自监督学习范式(SSL),通常用于从未标记的数据中学习深度特征表示。此外,我们升级了一个对比SSL框架,即Simplified,广泛应用于各种应用程序中,通过引入一个时间特征对齐过程的人类活动识别。具体来说,我们建议在潜在空间中集成动态时间规整(DTW)算法,以强制在时间维度中对齐特征。已经进行了大量的实验,为单峰的情况下,惯性模态,以及在多模态设置使用惯性和骨架数据。根据所获得的结果,所提出的方法具有很大的潜力,在学习鲁棒的特征表示相比,最近的SSL基线,并明显优于监督模型在半监督学习。单峰情况的代码可通过以下链接获得:www.example.com。
2022-10-07 cs.AI cs.CV cs.MM
Importance of user inputs while using incremental learning to personalize human activity recognition models
University of Oulu(奥卢大学)
在这项研究中,用户输入的重要性进行了研究的背景下,个性化的人类活动识别模型,使用增量学习。使用来自三个身体位置的惯性传感器数据,并且分类基于Learn++集成方法。比较了三种不同的模型更新方法:非监督、半监督和监督。非监督方法完全依赖于预测标签,监督完全依赖于用户标记的数据,而所提出的半监督学习方法是这两者的组合。事实上,我们的实验表明,通过依赖于高置信度的预测标签,并要求用户只标记不确定的观察结果(根据所使用的基本分类器,从12%到26%的观察结果),几乎可以实现与使用监督方法一样低的出错率。事实上,差异小于2%-单位。此外,与非监督方法不同,半监督方法不会遭受剧烈的概念漂移,因此,非监督方法的出错率超过5%,比使用半监督方法高。
2019-05-28 cs.CV cs.HC cs.LG
Representation Synthesis by Probabilistic Many-Valued Logic Operation in Self-Supervised Learning
Panasonic Holdings(松下控股);Ritsumeikan University(立命馆大学)
本文提出一种可进行逻辑运算的自监督表示学习方法,用概率多值逻辑的 OR 运算替代传统表示合成,使表示支持 OR/AND 操作,并在分类和图像检索任务中验证了其有效性。
2024-10-03 cs.CV
Table-Top Scene Analysis Using Knowledge-Supervised MCMC
Technische Universität München(慕尼黑工业大学);Siemens AG(西门子股份公司)
在本文中,我们提出了一种概率方法来生成抽象的场景图的桌面场景从6D物体姿态估计。我们明确地利用特定于任务的上下文知识编码为马尔可夫逻辑网络中的描述性规则。我们的方法来生成场景图是概率的:对象姿态的不确定性是由嵌入在数据驱动的MCMC过程中的概率传感器模型来解决的。我们应用马尔可夫逻辑推理隐藏的对象的原因,并检测错误的估计对象构成。我们的方法的有效性证明和评估在现实世界中的实验。
2020-02-19 cs.CV cs.RO
WOAD: Weakly Supervised Online Action Detection in Untrimmed Videos
Salesforce Research(赛富时研究院)
未裁剪视频中的在线动作检测旨在识别发生的动作,这对于实时应用非常重要。以前的方法依赖于繁琐的时间动作边界的注释进行训练,这阻碍了在线动作检测系统的可扩展性。我们提出了WOAD,这是一个弱监督框架,可以只使用视频类标签进行训练。WOAD包含两个联合训练模块,即,时间建议生成器(TPG)和在线动作识别器(OAR)。在视频类标签的监督下,TPG离线工作,目标是准确挖掘OAR的伪帧级标签。通过TPG的监督信号,OAR学习以在线方式进行动作检测。在THUMOS'14,ActivityNet1.2和ActivityNet1.3上的实验结果表明,我们的弱监督方法在很大程度上优于弱监督基线,并实现了与以前的强监督方法相当的性能。除此之外,WOAD还可以灵活地利用强有力的监督。当强监督时,我们的方法在在线每帧动作识别和在线动作开始检测的任务中获得了最先进的结果。
2021-05-18 cs.CV
Context-driven Active and Incremental Activity Recognition
Università degli Studi di Milano(米兰大学)
基于移动终端传感器数据的人体活动识别是移动计算和普适计算领域的一个研究热点。虽然大多数提出的技术是基于监督学习,半监督的方法正在考虑显着减少初始化识别模型所需的训练集的大小。这些方法通常应用自我训练或主动学习来逐步完善模型,但它们的有效性似乎仅限于有限的身体活动。我们声称围绕用户的上下文(例如,语义位置、与运输路线的接近度、一天中的时间)与关于该上下文和人类活动之间的关系的常识相结合,可以有效地显著增加所识别的活动的集合,所识别的活动包括仅考虑惯性传感器难以区分的活动以及高度依赖于上下文的活动。在本文中,我们提出了CAVIAR,一种新的混合半监督和基于知识的实时活动识别系统。我们的方法将语义推理应用于上下文数据,以改进半监督分类器的预测。上下文细化的预测被用作新的标记样本,以更新分类器结合自训练和主动学习技术。从26个科目获得的真实数据集上的结果显示的有效性的上下文感知方法的识别率和查询的数量由主动学习模块生成的主题。为了评估上下文推理的影响,我们还将CAVIAR与纯统计版本进行了比较,将上下文数据计算的特征视为机器学习过程的一部分。
2019-06-07 cs.CV
Self-supervised Learning via Cluster Distance Prediction for Operating Room Context Awareness
Intuitive Surgical Inc.(直觉外科公司);ICube, University of Strasbourg, CNRS(斯特拉斯堡大学ICube实验室、法国国家科学研究中心);IHU Strasbourg(斯特拉斯堡大学医院研究所)
本文提出一种利用 ToF 深度图预测图像块相对 3D 距离的自监督任务,为手术室语义分割与活动分类学习判别性特征,并在临床多视图数据集上验证其低数据场景优势。
2024-07-07 cs.CV
Timestamp-supervised Wearable-based Activity Segmentation and Recognition with Contrastive Learning and Order-Preserving Optimal Transport
Shanghai Jiao Tong University(上海交通大学);University of Southern California(南加州大学)
针对可穿戴活动识别中标注成本高的问题,提出仅需每段一个时间戳标注的联合分割与识别方法,结合对比学习与最优传输生成伪标签,在四个公开数据集上超越弱监督方法并接近全监督性能。
2023-10-13 cs.AI cs.CV
Flow-Assisted Motion Learning Network for Weakly-Supervised Group Activity Recognition
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
本文提出流辅助运动学习网络(Flaming-Net),通过运动感知编码器和双路径关系模块,利用训练阶段的光流模态增强运动感知,在弱监督群体活动识别中取得新最先进结果,包括NBA数据集MPCA提升2.8%。
2024-05-28 cs.CV eess.IV
ProSub: Probabilistic Open-Set Semi-Supervised Learning with Subspace-Based Out-of-Distribution Detection
Saab AB(萨博公司);Chalmers University of Technology(查尔姆斯理工大学)
ProSub通过基于子空间的角度和概率分布估计,实现开放集半监督学习中的ID/OOD分类与高精度预测。
2026-01-23 cs.CV cs.LG stat.ML
Weakly- and Semi-Supervised Probabilistic Segmentation and Quantification of Ultrasound Needle-Reverberation Artifacts to Allow Better AI Understanding of Tissue Beneath Needles
Carnegie Mellon University(卡内基梅隆大学)
超声图像质量一直在不断提高。然而,当针或其他金属物体在组织内操作时,所产生的混响伪影会严重破坏周围的图像质量。这些影响对于现有的用于医学图像分析的计算机视觉算法是具有挑战性的。针状混响伪影有时可能难以识别,并且在不同程度上影响各种像素值。这种工件的边界是模糊的,导致人类专家之间的分歧标记的工件。我们提出了一种弱监督和半监督的概率针和混响伪影分割算法,以分离所需的基于组织的像素值从叠加的伪影。我们的方法模拟了伪影强度的强度衰减,旨在最大限度地减少人类标记错误。我们证明了该方法的适用性,并将其与其他分割算法进行比较。我们的方法是能够区分的混响从伪影的补丁,以及建模的强度下降的文物。我们的方法与最先进的伪影分割性能相匹配,并在估计伪影与基础解剖结构的每像素贡献方面设定了一个新标准,特别是在混响线之间的紧邻区域。我们的算法也能够提高下游图像分析算法的性能。
2021-06-03 cs.CV eess.IV
Self-supervised Neural Audio-Visual Sound Source Localization via Probabilistic Spatial Modeling
National Institute of Advanced Industrial Science and Technology(日本产业技术综合研究所);Waseda University(早稻田大学)
在视觉观察范围内检测声源目标对于自主机器人理解周围环境具有重要意义。由于在我们的生活环境中,发声物体具有大量的种类和不同的外观,在实践中标记所有发声物体是不可能的。这就需要自监督学习,它不需要人工标记。大多数传统的自监督学习使用单声道音频信号和图像,并且由于音频信号中的差的空间信息而不能区分具有相似外观的声源对象。针对这一问题,提出了一种基于360°图像和多声道音频信号的自监督训练方法。通过结合多声道音频信号中的空间信息,我们的方法训练深度神经网络(DNN)来区分多个声源对象。我们用于定位图像中声源对象的系统由音频和视觉DNN组成。视觉DNN被训练以定位输入图像内的声源候选。音频DNN验证每个候选是否实际产生声音。这些DNN基于概率空间音频模型以自监督方式联合训练。模拟数据的实验结果表明,我们的方法训练的DNN定位多个扬声器。我们还证明了视觉DNN检测对象,包括说话的游客和特定的展品从真实的数据记录在科学博物馆。
2020-07-28 cs.CV cs.SD eess.AS
More Information Supervised Probabilistic Deep Face Embedding Learning
Guangzhou Huya Technology Co., Ltd(广州虎牙科技有限公司);University of Oxford(牛津大学)
基于间隔的比较损失的研究证明了惩罚人脸特征与其对应的类中心之间的距离的有效性。尽管他们的流行和出色的性能,他们没有明确鼓励通用嵌入学习的开集识别问题。本文从概率的角度分析了基于容限的softmax损失。从这个角度出发,我们提出了两个一般原则:1)单调递减和2)边际概率惩罚,用于设计新的边际损失函数。与使用单一比较度量进行优化的方法不同,我们提供了一个新的视角,将开集人脸识别视为一个信息传输问题。同时,该算法在保证更多干净信息的前提下,具有较好的泛化能力。提出了一种称为线性自动TS编码器(LASSE)的自动编码器架构来证实这一发现。在多个基准测试上的大量实验表明,LASSE有助于人脸嵌入获得更强的泛化能力,并在MegaFace测试中将开放训练数据集的单个模型性能提高到$99\%$以上。
2020-06-11 cs.CV cs.LG
PRCL: Probabilistic Representation Contrastive Learning for Semi-Supervised Semantic Segmentation
School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);Intelligent Game and Decision Laboratory(智能游戏与决策实验室);Alibaba DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Zhejiang University(浙江大学)
针对半监督语义分割中自指导噪声干扰无监督训练的问题,提出 PRCL 框架,利用概率表示、全局分布原型和虚拟负样本增强对比学习鲁棒性,并在两个基准上验证优越性。
2024-02-28 cs.CV cs.LG
NP-Match: Towards a New Probabilistic Model for Semi-Supervised Learning
University of Oxford(牛津大学);Tsinghua University(清华大学);TU Wien(维也纳工业大学)
本文提出了一种名为NP-Match的新方法,将神经过程(NPs)应用于半监督图像分类任务,通过隐式比较数据点提高伪标签质量,并利用不确定性估计选择可靠样本,在多个数据集和分类设置下取得优于或媲美SOTA的性能。
2023-06-25 cs.CV cs.LG
Contrastive Classification and Representation Learning with Probabilistic Interpretation
Toyota Motor Europe(丰田汽车欧洲公司);Czech Technical University in Prague(捷克布拉格技术大学)
交叉熵损失已经作为基于分类的任务的主要目标函数。广泛用于学习神经网络分类器,它显示了有效性和概率解释。最近,在自监督对比表示学习方法取得成功之后,已经提出了监督对比方法来学习表示,并且与具有交叉熵损失的单独训练相比,监督对比方法已经显示出优越且更鲁棒的性能。然而,交叉熵损失仍然需要训练最终的分类层。在这项工作中,我们研究学习的表示和分类器使用一个目标函数,结合了对比学习的鲁棒性和交叉熵损失的概率解释的可能性。首先,我们重新审视了以前提出的基于对比度的目标函数,该目标函数近似交叉熵损失,并提出了一个简单的扩展来共同学习分类器。其次,我们提出了一个新版本的监督对比训练,它联合学习分类器和网络骨干的参数。我们的经验表明,我们提出的目标函数在各种具有挑战性的设置中具有更高的训练稳定性和鲁棒性,比标准交叉熵损失有显着改善。
2022-11-07 cs.CV cs.LG
SimPro: A Simple Probabilistic Framework Towards Realistic Long-Tailed Semi-Supervised Learning
Tsinghua University(清华大学);BNRist(北京信息科学与技术国家研究中心)
针对现实长尾半监督学习中未标注数据分布未知且不匹配的问题,提出无需预定义假设的概率框架 SimPro,通过解耦条件与边缘分布改进 EM 算法,在多个基准上取得一致的最先进性能。
2024-07-30 cs.CV cs.LG
Subject Invariant Contrastive Learning for Human Activity Recognition
Georgia Institute of Technology(佐治亚理工学院);Center for Signal and Information Processing CSIP(信号与信息处理中心)
本文提出主体不变对比学习(SICL)损失函数,通过对同一主体的负样本对重新加权来抑制主体特定线索,从而提升人类活动识别模型对新主体的泛化能力,并在三个公开基准上验证了其有效性。
2025-07-04 cs.CV cs.LG