Adapting Dense Vision-Language Relationships for Multi-label Classification with Partial Label
State Key Laboratory of Virtual Reality Technology and Systems(虚拟现实技术与系统国家重点实验室);School of Computer Science and Engineering(计算机科学与工程学院);Beihang University(北京航空航天大学)
针对部分标签多标签分类中统计先验导致的过拟合问题,提出语言驱动的密集语义适配器LDSA,结合密集对比适配器与类特定提示调整的交互解码器,在公开基准上取得当前最佳性能。
2026-08-25 cs.CV
Error Correction for Dense Semantic Image Labeling
KU-Leuven/ESAT-PSI(鲁汶大学电子工程系-图像与语音处理中心);Toyota Motor Europe (TRACE)(丰田汽车欧洲(TRACE));IMEC(比利时微电子研究中心);ETH/DITET-CVL(苏黎世联邦理工学院信息技术与电气工程系-计算机视觉实验室)
像素级语义图像标记是一个重要的,但具有挑战性的,许多应用的任务。解决这个问题的典型方法涉及在大量图像上训练深度网络以直接推断标签,或者使用概率图模型来联合建模输入(即图像)和输出(即标签)的依赖关系。然而,前一种方法没有捕获输出标签的结构,这对密集标签的性能至关重要,而后者依赖于精心设计的先验,需要通过优化技术进行昂贵的参数调整,这反过来又导致长的推理时间。为了减轻这些限制,我们探索如何在给定输入图像和输出标签的初始估计的情况下获得密集的语义像素标签。我们提出了一种并行架构:1)通过LabelPropagation网络利用上下文信息从附近的像素传播正确的标签以改善对象边界,2)使用LabelReplacement网络直接用新的标签替换可能错误的初始标签,以及3)通过Fusion网络组合不同的中间结果以获得最终的每像素标签。我们实验验证我们的方法在两个不同的数据集上分别为语义分割和人脸解析任务,在那里我们表现出改进的国家的最先进的。我们还提供了一个定量和定性分析生成的结果。
2017-12-11 cs.CV
DDS3D: Dense Pseudo-Labels with Dynamic Threshold for Semi-Supervised 3D Object Detection
Huazhong University of Science and Technology(华中科技大学)
在本文中,我们提出了一个简单而有效的半监督三维物体检测器DDS3D。我们的主要贡献有两方面。一方面,与以往使用非最大值抑制(NMS)或其变体来获得稀疏伪标签的方法不同,本文提出了一种密集伪标签生成策略来获得密集伪标签,从而为学生网络保留更多潜在的监督信息。另一方面,本文提出了一种动态阈值的伪标签生成方法,取代了传统的固定阈值方法,保证了整个训练过程中伪标签的质量和数量。受益于这两个组件,我们的DDS 3D优于最先进的半监督3D目标检测,在1%样本的相同配置下,行人的mAP为3.1%,骑自行车的为2.1%。KITTI数据集上的广泛消融研究证明了我们的DDS 3D的有效性。代码和模型将在https://github.com/hust-jy/DDS3D上公开发布
2023-03-10 cs.CV
Weakly-Supervised Dense Action Anticipation
National University of Singapore(新加坡国立大学)
密集预期的目的是预测未来的行动及其长期持续时间。现有方法依赖于完全标记的数据,即标有所有未来行动及其持续时间的序列。我们提出了一个(半)弱监督的方法,只使用少量的完全标记的序列和占主导地位的序列,其中只有(一个)即将到来的行动被标记。为此,我们提出了一个框架,生成伪标签为未来的行动和他们的持续时间,并自适应地完善他们通过一个细化模块。仅给定即将到来的动作标签作为输入,这些伪标签指导未来的动作/持续时间预测。我们进一步设计了一个注意力机制来预测上下文感知的持续时间。早餐和50 Salads基准上的实验验证了我们方法的有效性;即使与完全监督的最先进模型相比,我们也具有竞争力。我们将在https://github.com/zhanghaotong1/WSLVideoDenseAnticipation上提供我们的代码。
2021-11-15 cs.CV
Fully Convolutional Networks for Dense Semantic Labelling of High-Resolution Aerial Imagery
Defence Science & Technology Group(国防科学技术集团)
高分辨率遥感图像的趋势促进了从土地使用分类向物体一级场景理解的过渡。而不是纯粹依赖于光谱内容,基于外观的图像特征发挥作用。在这项工作中,深度卷积神经网络(CNN)应用于高分辨率遥感数据的语义标记。全卷积网络(FCN)的最新进展适用于开销数据,并与其他领域一样有效。使用深度FCN推断全分辨率标记,无需下采样,从而无需反卷积或插值。为了更好地利用图像特征,预先训练的CNN在混合网络环境中对遥感数据进行微调,与从头开始训练的网络相比,结果更好。所提出的方法适用于高分辨率航空影像,精细的边界细节是很重要的标签的问题。密集的标签为ISPRS Vaihingen和波茨坦基准数据集提供了最先进的准确性。
2016-06-08 cs.CV
Virtual Category Learning: A Semi-Supervised Learning Method for Dense Prediction with Extremely Limited Labels
WMG, University of Warwick(华威大学WMG学院);University of Sheffield(谢菲尔德大学)
本文提出虚拟类别学习半监督方法,通过为混淆样本分配虚拟类别参与优化而不纠正标签,有效缓解确认偏差并提升类间信息共享上界,在极有限标签下的语义分割和目标检测任务上显著超越现有方法。
2024-02-12 cs.CV
TAN: Temporal Aggregation Network for Dense Multi-label Action Recognition
Institution for Advanced Computer Studies(高级计算机研究所);University of Maryland, College Park(马里兰大学帕克分校)
我们提出了时间聚合网络(TAN),它将3D卷积分解为空间和时间聚合块。通过重复堆叠空间和时间卷积,TAN形成了用于捕获视频中的时空信息的深度分层表示。由于我们没有在每一层中应用3D卷积,而是在网络中的每个空间下采样层之后仅应用一次时间聚合块,因此我们显着降低了模型复杂度。在网络的不同分辨率下使用扩张卷积有助于有效地聚合多尺度时空信息。实验表明,我们的模型非常适合密集的多标签动作识别,这是一个具有挑战性的子主题的动作识别,需要预测多个动作标签在每帧。我们在Charades和Multi-THUMOS数据集上的表现分别优于最先进的方法5%和3%。
2018-12-14 cs.CV
LLA: Loss-aware Label Assignment for Dense Pedestrian Detection
Waseda University(早稻田大学);Megvii Technology(旷视科技)
标记分配由于其对检测器性能的影响而在一般目标检测中得到了广泛的研究。然而,这些工作都没有集中在密集的行人检测标签分配。在本文中,我们提出了一个简单而有效的分配策略,称为损耗感知标签分配(LLA),以提高行人检测器在人群场景中的性能。LLA首先计算每个锚点和地面实况(GT)对之间的分类(cls)和回归(reg)损失。然后将联合损失定义为cls和reg损失的加权总和作为分配指标。最后,锚与前K个最小节点损失为某一GT盒指定为它的正锚。未分配给任何GT框的参数被认为是负数。损失感知标签分配是基于这样的观察,即具有较低联合损失的锚通常包含更丰富的语义信息,因此可以更好地表示其对应的GT盒。在CrowdHuman和CityPersons上的实验表明,这种简单的标签分配策略可以在两个著名的一级检测器RetinaNet和FCOS上分别提高MR 9.53%和5.47%,证明了LLA的有效性。
2021-03-12 cs.CV
Active Label Cleaning for Reliable Detection of Electron Dense Deposits in Transmission Electron Microscopy Images
School of Biomedical Engineering(生物医学工程学院);Southern Medical University(南方医科大学);College of Letters and Science(文理学院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);School of Basic Medical Sciences(基础医学学院);Department of Nephrology(肾内科);Nanfang Hospital, Southern Medical University(南方医科大学南芳医院)
本文提出主动标签清洗方法,通过主动学习和专家重新标注,提升透射电子显微镜图像中电子致密沉积物检测的准确性和效率,降低标注成本。
2026-02-05 cs.CV
One-to-Few Label Assignment for End-to-End Dense Detection
The Hong Kong Polytechnic University(香港理工大学);OPPO Research Institute(OPPO研究院)
一对一(o2o)标签分配对于基于Transformer的端到端检测起着关键作用,并且其最近已经被引入到用于端到端密集检测的全卷积检测器中。然而,由于正样本的数量有限,o2o会降低特征学习效率。虽然在最近的DETR中引入了额外的正样本来缓解这个问题,但解码器中的自关注和交叉关注的计算限制了其在密集和完全卷积检测器中的实际应用。在这项工作中,我们提出了一个简单而有效的一对几(o2f)标签分配策略的端到端密集检测。除了为每个对象定义一个正锚点和多个负锚点外,我们还定义了几个软锚点,它们同时作为正样本和负样本。这些软锚的正负权重在训练过程中动态调整,以便它们在早期训练阶段对“表示学习”贡献更大,在后期对"重复预测去除“贡献更大。以这种方式训练的检测器不仅可以学习强特征表示,而且还可以执行端到端的密集检测。COCO和CrowdHuman数据集上的实验证明了o2f方案的有效性。代码可在https://github.com/strongwolf/o2f上获得。
2023-03-21 cs.CV
Gated Feedback Refinement Network for Coarse-to-Fine Dense Semantic Image Labeling
University of Manitoba(曼尼托巴大学)
局部和全局上下文信息的有效集成对于语义分割和密集图像标记至关重要。我们开发了两种基于编码器-解码器的深度学习架构来解决这个问题。首先,我们提出了一种称为标签细化网络(LRN)的网络架构,它可以在几个空间分辨率下以粗到细的方式预测分割标签。在该网络中,我们还在多个阶段定义了损失函数,以在训练的不同阶段提供监督。然而,如果模糊的信息被向前传递,则可能存在对细化质量的限制。为了解决这个问题,我们还提出了门控反馈细化网络(G-FRNet)来解决这个限制。最初,G-FRNet进行粗粒度预测,通过在细化阶段有效整合本地和全局上下文信息,逐步细化以恢复细节。这是通过在这项工作中提出的门单元来实现的,即控制信息向前传递以解决模糊性。实验在四个具有挑战性的密集标记数据集(CamVid,PASCAL VOC 2012,Horse-Cow Parsing,PASCAL-Person-Part和SUN-RGBD)上进行。G-FRNet在CamVid和Horse-Cow Parsing数据集上实现了最先进的语义分割结果,并产生了与其他三个数据集文献中出现的最佳性能方法相竞争的结果。
2018-06-29 cs.CV
Efficient Teacher: Semi-Supervised Object Detection for YOLOv5
Alibaba Group(阿里巴巴集团)
半监督目标检测(SSOD)已经成功地提高了R-CNN系列和无锚检测器的性能。然而,单级锚点检测器缺乏生成高质量或灵活的伪标签的结构,导致SSOD中严重的不一致性问题。在本文中,我们提出了一个高效的教师框架,可扩展的和有效的一阶段基于锚的SSOD训练,由密集检测器,伪标签分配器,和时代适配器。Dense Detector是一个基线模型,它使用受YOLOv 5启发的密集采样技术扩展了RetinaNet。Efficient Teacher框架引入了一种新的伪标签分配机制,称为伪标签分配器,它可以更精确地使用来自Dense Detector的伪标签。Epoch Adaptor是一种为Dense Detector实现稳定和高效的端到端半监督训练计划的方法。伪标签分配器避免了师生互学机制中大量低质量伪标签对密集检测器的干扰而产生偏差,历元适配器利用域和分布自适应,使密集检测器学习全局分布的一致特征,使得训练与标签数据的比例无关。我们的实验表明,高效的教师框架实现了最先进的结果VOC,COCO标准,COCO附加使用更少的FLOP比以前的方法。据我们所知,这是首次尝试将半监督目标检测应用于YOLOv 5。代码可在https://github.com/AlibabaResearch/efficientteacher上找到
2023-03-14 cs.CV
A Survey on Label-efficient Deep Image Segmentation: Bridging the Gap between Weak Supervision and Dense Prediction
Shanghai Jiao Tong University(上海交通大学);Huawei Inc.(华为公司)
图像分割是计算机视觉的基本任务之一,随着深度学习的迅速发展,图像分割取得了很大的进展。然而,目前的分割算法大多依赖于像素级标注的可用性,这往往是昂贵的,繁琐的,费力的。为了减轻这一负担,过去几年人们越来越关注构建标签高效、基于深度学习的图像分割算法。本文提供了一个全面的审查标签有效的图像分割方法。为此,我们首先开发了一个分类法来组织这些方法,根据不同类型的弱标签(包括无监督,不精确监督,不完全监督和不准确监督)提供的监督,并辅以分割问题的类型(包括语义分割,实例分割和全景分割)。接下来,我们从一个统一的角度总结了现有的标签有效的图像分割方法,讨论了一个重要的问题:如何弥合弱监督和密集预测之间的差距-目前的方法大多是基于启发式先验知识,如跨像素相似性,跨标签约束,跨视图一致性,跨图像关系。最后,我们分享了我们对标签高效深度图像分割未来研究方向的看法。
2023-02-15 cs.CV
Revisiting hand-crafted feature for action recognition: a set of improved dense trajectories
Hiroshima University(广岛大学);ENSICAEN(卡昂国立高等工程师学校)
在改进的密集轨迹(iDT)的基础上,我们提出了一个用于动作识别的特征,称为轨迹集(TS)。TS特征仅对密集采样的兴趣点周围的轨迹进行编码,而没有任何外观特征。在UCF 50、UCF 101和HMDB 51动作数据集上的实验结果表明,TS与最先进的方法相当,并且优于许多其他方法;对于HMDB,准确率为85.4%,而深度方法获得的最佳准确率为80.2%。我们的代码可以在https://github.com/Gauffret/TrajectorySet上找到。
2017-11-28 cs.CV
Perturb-and-MPM: Quantifying Segmentation Uncertainty in Dense Multi-Label CRFs
University of Bern(伯尔尼大学);University Hospital and University of Bern(伯尔尼大学医院和伯尔尼大学)
提出了一种稠密条件随机场不确定性量化的新方法。所提出的方法,称为扰动和MPM,使有效的,近似采样密集的多标签CRF通过随机扰动。进行了分析误差分析,确定了近似误差的主要原因,以及显示的错误是有界的。空间不确定性图可以从扰动和MPM模型中导出,其可以用于可视化图像分割结果中的不确定性。该方法在合成和临床磁共振成像数据上进行了验证。该方法的有效性证明了具有挑战性的问题,在胶质母细胞瘤的肿瘤核心分割。我们发现,高不确定性的区域对应错误分割的图像区域。此外,我们证明了不确定性地图的潜在用途,以改善脑肿瘤患者的切除范围和残留肿瘤体积的情况下的成像生物标志物。
2017-03-02 cs.CV
Reframing Dense Action Detection (RefDense): A Paradigm Shift in Problem Solving & a Novel Optimization Strategy
University of Surrey(萨里大学)
RefDense将密集歧义动作检测分解为无歧义子概念检测并分配子网络,同时提出语言引导对比学习损失显式建模同时出现概念间的关系,在Charades和MultiTHUMOS上显著超越现有方法。
2025-03-11 cs.CV
MultiAct: Long-Term 3D Human Motion Generation from Multiple Action Labels
IPAI;Seoul National University(首尔大学);Meta Reality Labs Research(Meta现实实验室)
我们解决了从多个动作标签生成长期3D人体运动的问题。两个主要的以前的方法,如动作和运动条件的方法,有局限性,以解决这个问题。动作条件方法从单个动作生成运动序列。因此,它不能生成由多个动作和动作之间的转换组成的长期运动。同时,运动条件方法从初始运动生成未来运动。生成的未来运动仅依赖于过去,因此它们不能由用户的期望动作控制。我们提出了MultiAct,第一个框架,以产生长期的三维人体运动从多个动作标签。MultiAct通过统一的循环生成系统同时考虑动作和运动条件。它重复使用先前的运动和动作标签;然后,它生成平滑的过渡和给定动作的运动。因此,MultiAct可生成由给定序列的多个动作标签控制的逼真的长期运动。代码可在https://github.com/TaeryungLee/MultiAct_RELEASE上获得。
2023-02-17 cs.CV
Multi-Task Label Discovery via Hierarchical Task Tokens for Partially Annotated Dense Predictions
Texas A\&M University College Station Texas USA;Hong Kong University of Science;Texas A\&M University
针对部分标注多任务密集预测缺乏直接像素级监督等问题,提出基于分层任务令牌的标签发现方法,在多个基准数据集上取得优于现有最优方法的性能。
2025-07-31 cs.CV
Modeling Multi-Label Action Dependencies for Temporal Action Localization
University of Central Florida(中佛罗里达大学)
真实世界的视频包含许多复杂的动作,动作类之间存在固有的关系。在这项工作中,我们提出了一个基于注意力的架构,这些动作关系模型的任务,在未修剪的视频时间动作本地化。相对于以前的作品,利用视频级同现的行动,我们区分在同一时间步发生的行动和发生在不同的时间步(即那些之前或之后彼此)的行动之间的关系。我们将这些不同的关系定义为动作依赖关系。我们建议通过在一个新的基于注意力的多标签动作依赖(MLAD)层中对这些动作依赖进行建模来提高动作本地化性能。MLAD层由两个分支组成:共现依赖性分支和时间依赖性分支,分别对共现动作依赖性和时间动作依赖性进行建模。我们观察到,用于多标签分类的现有指标没有明确衡量如何以及动作依赖建模,因此,我们提出了新的指标,考虑共同出现和动作类之间的时间依赖关系。通过实证评估和广泛的分析,我们在f-mAP和我们提出的指标方面显示了对多标签动作本地化基准(MultiTHUMOS和Charades)的最先进方法的改进性能。
2021-05-29 cs.CV
Action Selection Learning for Multi-label Multi-view Action Recognition
Nagoya University(名古屋大学);RIKEN(理化学研究所)
本文提出MultiASL方法,通过多视角时空Transformer和基于弱标签的动作选择学习,在帧级别筛选关键信息以增强多视角融合,并在MM-Office数据集上验证了其在多标签多视角动作识别中的优越性能。
2024-10-18 cs.CV
Dense semantic labeling of sub-decimeter resolution images with convolutional neural networks
University of Zurich(苏黎世大学)
超高分辨率图像(<10 cm)中的语义标注(或像素级土地覆盖分类)需要能够从空间数据中学习高级概念的统计模型,具有较大的外观变化。卷积神经网络(CNN)通过有区别地学习抽象程度不断提高的表示层次来实现这一目标。在本文中,我们提出了一个基于CNN的系统依赖于下采样,然后上采样架构。具体来说,它首先通过卷积学习高级表示的粗略空间映射,然后通过去卷积学习将它们上采样回原始分辨率。通过这样做,CNN学会以图像的原始分辨率密集地标记每个像素。这导致许多优点,包括i)最先进的数值精度,ii)改进的预测几何精度和iii)推理时间的高效率。我们在Vaihingen和波茨坦分分米分辨率数据集上测试了所提出的系统,分别涉及9厘米和5厘米分辨率的航空图像的语义标记。这些数据集由许多大的和完全注释的图块组成,允许利用空间信息对模型进行无偏评估。我们这样做是通过比较两个标准的CNN架构的建议:标准补丁分类,预测局部标签补丁只采用卷积和完整的补丁标记采用反卷积。所有的系统都比得上或优于依赖于超像素和强大的外观描述符的最先进的基线。所提出的完整补丁标记CNN大大优于这些模型,也显示出非常吸引人的推理时间。
2016-10-10 cs.CV
Multi-modal Multi-label Facial Action Unit Detection with Transformer
University of Electronic Science and Technology of China(中国电子科技大学)
面部动作编码系统是面部表情分析的一种重要方法,本文介绍了我们参加2022年第三届情感行为分析(ABAW)竞赛的情况。提出了一种基于人脸识别器的人脸动作单元检测模型。具体来说,我们首先训练了一个多模态模型来提取音频和视觉特征。在此基础上,提出了一个动作单元关联模块来学习各个动作单元标签之间的关系,并对动作单元检测结果进行细化。在验证数据集上的实验结果表明,该方法比基线模型具有更好的性能,验证了该网络的有效性。
2022-03-28 cs.CV
Learning Visual Actions Using Multiple Verb-Only Labels
University of Bristol(布里斯托大学)
这项工作介绍了动词只表示识别和检索的视觉动作,在视频中。当前的方法忽略了动词之间的合法语义歧义,而是选择动词的明确子集以及对象来消除动作的歧义。相反,我们提出了多个仅限动词的标签,我们通过硬或软分配作为回归来学习。这使得学习更大的动词词汇,包括这些动词的上下文重叠。我们收集了三个动作视频数据集的多动词注释,并评估了动作识别和跨模态检索(视频到文本和文本到视频)的动词标签表示。我们证明了多标签动词表示优于传统的单动词标签。我们还探索了多动词表示的其他好处,包括跨数据集检索和动词类型(方式和结果动词类型)检索。
2019-08-01 cs.CV
Fast Learning of Temporal Action Proposal via Dense Boundary Generator
Tencent(腾讯);Xiamen University(厦门大学)
生成时间动作提案仍然是一个非常具有挑战性的问题,其中主要问题在于预测精确的时间提案边界和长且未修剪的真实世界视频中的可靠动作置信度。在本文中,我们提出了一个有效的和统一的框架来生成时间的行动建议命名为密集边界生成器(DBG),它的灵感来自边界敏感的方法,并实现了密集分布的建议边界分类和行动完整性回归。具体地说,DBG由两个模块组成:时间边界分类(TBC)和可感知的完整性回归(ACR)。TBC的目的是提供两个时间边界的信心地图的低级别的两个流功能,而ACR的目的是生成一个动作的完整性得分地图的高级别的动作感知功能。此外,我们引入了一个双流BaseNet(DSB)编码的RGB和光流信息,这有助于捕获判别边界和动作的功能。在流行的基准测试ActivityNet-1.3和THUMOS 14上进行的大量实验证明了DBG优于最先进的提案生成器(例如,MGG和BMN)。我们的代码将在发布时提供。
2019-11-11 cs.CV
PointTAD: Multi-Label Temporal Action Detection with Learnable Query Points
Nanjing University(南京大学);Tencent(腾讯);Shanghai AI Lab(上海人工智能实验室)
传统的时间动作检测(Temporal Action Detection,简称TACT)通常处理来自单个标签(例如,ActivityNet,THUMOS).然而,这种设置可能不切实际,因为不同类别的行动在实践中往往同时发生。在本文中,我们专注于任务的多标签的时间动作检测,旨在本地化的所有动作实例从多标签的未修剪的视频。多标签分类更具挑战性,因为它需要在单个视频中进行细粒度的类别区分,并精确定位共现实例。为了解决这个问题,我们扩展了基于稀疏查询的检测范式,从传统的并行检测,并提出了多标签并行检测框架的PointData。具体来说,我们的PointSort引入了一小部分可学习的查询点来表示每个动作实例的重要框架。这种基于点的表示提供了一种灵活的机制来定位边界处的判别帧以及动作内部的重要帧。此外,我们执行的动作解码过程与多层次交互模块捕捉点级和实例级的动作语义。最后,我们的PointSide采用了一个端到端的可训练框架,简单地基于RGB输入,便于部署。我们评估我们提出的方法在两个流行的基准,并介绍了新的度量检测-mAP的多标签标签识别。我们的模型在检测-mAP度量下的性能优于所有以前的方法,并且在分割-mAP度量下也取得了有希望的结果。代码可在https://github.com/MCG-NJU/PointTAD上获得。
2023-03-21 cs.CV
AutoAssign: Differentiable Label Assignment for Dense Object Detection
MEGVII Technology(旷视科技)
确定用于目标检测的阳性/阴性样本称为标签分配。在这里,我们提出了一个无锚检测器名为自动分配。它几乎不需要人类知识,并通过完全可区分的加权机制实现外观感知。在训练过程中,为了既满足数据的先验分布,又适应类别特征,我们提出了中心加权来调整特定类别的先验分布。为了适应对象的外观,提出了置信度加权来调整每个实例的具体分配策略。然后将两个加权模块组合以生成正权重和负权重,以调整每个位置的置信度。在MS COCO上的大量实验表明,我们的方法稳定地超过了其他最佳采样策略的大利润率与各种骨干。此外,我们最好的模型达到52.1%的AP,优于所有现有的一级检测器。此外,在其他数据集上的实验,例如,PASCAL VOC、Objects 365和WiderFace证明了AutoAssign的广泛适用性。
2020-11-25 cs.CV
Improving Weakly Supervised Temporal Action Localization by Bridging Train-Test Gap in Pseudo Labels
The Chinese University of Hong Kong(香港中文大学);Centre for Perceptual and Interactive Intelligence(香港感知与交互智能研究中心);Beihang University(北京航空航天大学)
本文针对弱监督时序动作定位中训练与测试不一致的问题,提出高斯加权融合、约束优化伪标签生成和Δ伪标签自我校正机制,在THUMOS14和ActivityNet1.3上显著提升了定位性能。
2023-04-17 cs.CV
Towards Adaptive Pseudo-label Learning for Semi-Supervised Temporal Action Localization
Lancaster University(兰卡斯特大学)
针对半监督时序动作定位中伪标签噪声问题,提出自适应伪标签学习框架APL,通过联合评估分类与定位质量、实例级一致性判别器及动作感知对比预训练,实现更精准的伪标签选择,在多个基准上达到SOTA性能。
2024-07-24 cs.CV
Temporal Action Segmentation with High-level Complex Activity Labels
National University of Singapore(新加坡国立大学)
时间动作分割任务对视频进行时间分割,并预测所有帧的动作标签。充分监督这样的分割模型需要密集的帧明智的行动注释,这是昂贵的和繁琐的collect.This工作是第一个提出一个组成行动发现(CAD)框架,只需要视频明智的高层次的复杂活动标签作为监督时间动作分割。该方法使用活动分类任务自动发现组成视频动作。具体来说,我们定义了有限数量的潜在动作原型来构建视频级的双重表示,这些原型通过活动分类训练集体学习。这种设置赋予我们的方法在多个复杂活动中发现潜在共享操作的能力。由于缺乏行动层面的监督,我们采用匈牙利匹配算法相关的潜在行动原型地面真实语义类进行评估。我们表明,与高层次的监督,匈牙利匹配可以从现有的视频和活动水平扩展到全球水平。全局级匹配允许跨活动的行动共享,这在以前的文献中从未被考虑过。大量的实验表明,我们发现的动作可以帮助执行时间动作分割和活动识别任务。
2022-12-17 cs.CV
Beyond Label Semantics: Language-Guided Action Anatomy for Few-shot Action Recognition
School of Information Science and Electronic Engineering, Shanghai Jiao Tong University(上海交通大学信息科学与电子工程学院);MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能教育部重点实验室);The University of Tokyo(东京大学);Shanghai AI Laboratory(上海人工智能实验室);E-surfing Vision Technology Co., Ltd(亿欧视觉科技有限公司)
针对少样本动作识别中标签无法充分利用动作固有知识的问题,提出语言引导动作解剖(LGA)框架,利用LLM分解标签为原子动作描述、视觉模块分割视频为原子阶段并细粒度融合特征,结合多模态匹配机制,在多个基准上取得最优性能。
2025-08-24 cs.CV
Connectionist Temporal Modeling for Weakly Supervised Action Labeling
Computer Science Department, Stanford University(斯坦福大学计算机科学系)
我们提出了一个弱监督的框架,用于视频中的动作标记,在训练时间内只需要动作发生的顺序。关键的挑战是输入(视频)和标签(动作)序列之间的每帧对齐在训练期间是未知的。我们通过引入扩展连接主义时间分类(ECTC)框架来解决这个问题,通过动态规划来有效地评估所有可能的对齐,并明确地执行它们与帧到帧视觉相似性的一致性。这可以保护模型免受视觉上不一致或退化对齐的干扰,而无需时间监督。我们进一步扩展我们的框架时,在视频中稀疏注释的几个帧的半监督的情况下。每个视频的标记帧不到1%,我们的方法能够优于现有的半监督方法,并实现与完全监督方法相当的性能。
2016-07-28 cs.CV
Learning Group Activities from Skeletons without Individual Action Labels
University of Florence(佛罗伦萨大学)
为了理解人类行为,我们不仅要识别个体行为,还要对复杂的群体活动和互动进行建模。层次模型在群体活动识别中获得最佳结果,但需要在演员级别上进行细粒度的个人动作注释。在本文中,我们表明,只使用骨架数据,我们可以训练一个国家的最先进的端到端系统,只使用组活动标签在序列水平。我们的实验表明,在没有个人动作监督的情况下训练的模型表现不佳。另一方面,我们证明了可以从任何预训练的特征提取器中计算伪标签,并具有可比的最终性能。最后,我们精心设计的精益构成唯一的架构显示出高度竞争力的结果,甚至在自我监督的变体更复杂的多模态方法。
2021-05-14 cs.CV
Learning Temporal Action Proposals With Fewer Labels
Stanford University(斯坦福大学)
时间动作建议是当今动作检测管道中的常见模块。目前大多数用于训练动作建议模块的方法依赖于完全监督的方法,该方法需要长视频序列中的大量注释的时间动作间隔。大量的成本和精力在注释,这需要促使我们研究的问题,培训建议模块较少的监督。在这项工作中,我们提出了一个半监督学习算法,专门设计用于训练时间的行动建议网络。当只有少量标签可用时,我们的半监督方法生成的建议明显优于完全监督的对应方法和其他强半监督基线。我们在两个具有挑战性的动作检测视频数据集ActivityNet v1.3和THUMOS 14上验证了我们的方法。我们表明,我们的半监督方法始终匹配或优于完全监督的最先进的方法。
2019-10-03 cs.CV
Weakly Supervised Temporal Action Localization with Segment-Level Labels
Xidian University(西安电子科技大学);IntelliFusion(云天励飞);The University of Sydney(悉尼大学)
时间动作定位提出了测试性能和注释时间成本之间的权衡。完全监督的方法通过耗时的边界注释实现了良好的性能。具有更便宜的视频级类别标签注释的弱监督方法导致更差的性能。在本文中,我们引入了一个新的段级监督设置:当注释者观察到这里发生的动作时,段被标记。我们将这种段级监督与一个新的本地化模块一起纳入培训中。具体来说,我们设计了一个部分段损失视为一个损失抽样学习的标记段的整体动作部分。由于标记的片段只是动作的一部分,因此模型往往会随着训练过程而过拟合。为了解决这个问题,我们首先获得一个相似性矩阵的判别功能的指导下,球损失。然后,基于矩阵设计传播损失以充当正则化项,从而允许在训练期间隐式未标记的片段传播。实验证明,该方法在标注时间几乎相同的情况下,性能优于视频级监督方法。
2020-07-03 cs.CV
Dense Pixel-Labeling for Reverse-Transfer and Diagnostic Learning on Lung Ultrasound for COVID-19 and Pneumonia Detection
Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh Medical Center(匹兹堡大学医学中心);Louisiana State University(路易斯安那州立大学);Cosmeticsurg.net, LLC(Cosmeticsurg.net有限责任公司)
我们建议使用预训练的分割模型来执行诊断分类,以实现更好的泛化和可解释性,将该技术称为反向迁移学习。我们提出了一个架构转换分割模型的分类模型。我们比较和对比密集与稀疏分割标记,并研究其对诊断分类的影响。我们比较了使用密集和稀疏标签训练的U-Net在4名患者的肺部超声扫描自定义数据集上分割A线,B线和胸膜线的性能。我们的实验表明,密集标签有助于减少误报检测。我们研究了密集和稀疏训练的U-Net的分类能力,并将其与非预训练的U-Net进行对比,以在约40 k曲线和线性探头图像的大型超声数据集上检测和区分COVID-19和肺炎。当使用预训练的分割权重时,我们基于分割的模型可以执行更好的分类,其中密集标签预训练的U-Net表现最好。
2022-01-25 cs.CV eess.IV
POTLoc: Pseudo-Label Oriented Transformer for Point-Supervised Temporal Action Localization
The City College, City University of New York(纽约城市大学城市学院)
本文提出POTLoc,通过自训练生成伪标签并结合Transformer与时序特征金字塔,仅用点级标注实现连续动作结构建模,在THUMOS'14和ActivityNet-v1.2上超越现有方法。
2024-06-05 cs.CV
Discovering Multi-Label Actor-Action Association in a Weakly Supervised Setting
University of Bonn(波恩大学)
由于收集和注释用于时空动作检测的数据是非常昂贵的,因此需要学习具有较少监督的方法。弱监督方法不需要任何限界框注释,并且可以仅从指示动作是否发生在视频剪辑中的标签进行训练。然而,当前的方法不能处理在视频中存在同时执行多个动作的多个人的情况。在这项工作中,我们第一次解决这个非常具有挑战性的任务。我们提出了一个基于多实例和多标签学习的基线。此外,我们提出了一种新的方法,使用一组动作作为表示,而不是单独的动作类建模。由于计算,全功率集的概率变得棘手的动作类的数量增加,我们分配一个动作集的约束下,每个检测到的人的分配是一致的注释的视频剪辑。我们评估所提出的方法在具有挑战性的AVA数据集上,所提出的方法优于MIML基线,并且与完全监督的方法相比具有竞争力。
2021-01-21 cs.CV
Adaptive Prototype Model for Attribute-based Multi-label Few-shot Action Recognition
Wuhan University(武汉大学)
针对多属性联合识别导致准确率下降的问题,提出AAPM,通过TCM引入标签文本约束并利用AAM缓解训练偏差,同时构建Multi-Kinetics数据集,在多标签与单标签少样本动作识别上均达到SOTA。
2025-02-18 cs.CV
Graph Convolutional Label Noise Cleaner: Train a Plug-and-play Action Classifier for Anomaly Detection
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);Institute of Intelligent Video Audio Technology(智能视频音频技术研究所);Tencent America(腾讯美国)
弱标记下的视频异常检测在以前的作品中被描述为一个典型的多示例学习问题。在本文中,我们提供了一个新的视角,即,噪声标签下的监督学习任务。在这样的观点下,只要清除标签噪声,我们可以直接将全监督动作分类器应用于弱监督异常检测,并最大限度地利用这些成熟的分类器。为此,我们设计了一个图卷积网络来纠正噪声标签。基于特征相似性和时间一致性,我们的网络将监督信号从高置信度片段传播到低置信度片段。以这种方式,网络能够为动作分类器提供干净的监督。在测试阶段,我们只需要从动作分类器获取片段预测,而无需任何额外的后处理。在3个不同尺度的数据集上进行了大量的实验,使用了2种类型的动作分类器,证明了该方法的有效性。值得注意的是,我们在UCF-Crime上获得了82.12%的帧级AUC分数。
2019-03-18 cs.CV
KCP: Kernel Cluster Pruning for Dense Labeling Neural Networks
National Taiwan University(国立台湾大学)
剪枝已经成为一种很有前途的压缩和加速神经网络的技术。现有的方法主要是评估备用标签的应用。然而,密集标记应用程序是那些更接近现实世界的问题,需要在资源受限的移动设备上实时处理。密集标签应用的剪枝仍然是一个未开发的领域。流行的滤波器通道修剪方法移除整个滤波器通道。因此,一个滤波器通道中的每个内核之间的交互被忽略。在这项研究中,我们提出了核簇修剪(KCP)修剪密集标记网络。我们开发了一种聚类技术来识别每层中最不具代表性的内核。通过迭代删除这些内核,可以更好地代表整个网络的参数被保留下来;因此,我们可以实现更好的准确性,同时减少模型大小和计算量。当评估立体匹配和语义分割神经网络,我们的方法可以减少超过70%的FLOP小于1%的准确率下降。此外,对于ILSVRC-2012上的ResNet-50,我们的KCP可以在0.13%的Top-1精度增益下减少超过50%的FLOP减少。因此,KCP实现了最先进的剪枝结果。
2021-01-17 cs.CV cs.LG
Improving Dense Contrastive Learning with Dense Negative Pairs
UIUC(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊);Google Research(谷歌研究院);Google(谷歌)
许多对比表示学习方法学习整个图像的单个全局表示。然而,密集对比表示学习方法,如DenseCL(Wang et al.,2021)可以学习更好的表示,用于需要更强的空间定位功能的任务,如多标签分类,检测和分割。在这项工作中,我们研究了如何通过修改训练方案和目标函数来提高DenseCL学习的表示质量,并提出了DenseCL++。我们还进行了几项消融研究,以更好地了解以下因素的影响:(i)在不同图像的增强之间形成密集负对的各种技术,(ii)交叉视图密集负对和正对,以及(iii)辅助重建任务。我们的结果显示,与Simplified相比,mAP改善了3.5%和4%(Chen等人,2020a)和COCO多标签分类中的DenseCL。在COCO和VOC分割任务中,我们分别比Simplified实现了1.8%和0.7%的mIoU改进。
2023-01-10 cs.CV
Density-Guided Label Smoothing for Temporal Localization of Driving Actions
Eindhoven University of Technology(埃因霍温理工大学);VCA Group(VCA集团)
本文提出密度引导标签平滑与多视角后处理融合方法,将视频动作识别网络适配于驾驶动作时序定位,并在NVIDIA AI City Challenge A2测试集上取得F1分数0.271。
2024-03-11 cs.CV
Finding Action Tubes with a Sparse-to-Dense Framework
Shanghai Jiao Tong University(上海交通大学);Shanghai University(上海大学);Multimedia University(多媒体大学);Adobe Research(Adobe 研究院);Nanjing University(南京大学)
时空行为检测的研究越来越受到研究者的关注。现有的主要方法通过依赖于每个单独的帧或片段上的短期信息和密集的串行检测来解决这个问题。尽管这些方法很有效,但它们对长期信息的利用不足,而且往往效率低下。在本文中,我们提出了第一次,一个有效的框架,从视频流中生成动作管建议与一个单一的前向通过稀疏到密集的方式。该框架有两个关键特征:(1)在我们的时空网络中明确利用了长期和短期采样信息;(2)设计了一个新的动态特征采样模块(DynamicFeatureSampling Module,简称EVM),以有效地近似管输出,同时保持系统易于处理。我们评估了我们的模型在UCF 101 -24,JHMDB-21和UCFSports基准数据集上的有效性,取得了与最先进方法竞争的有希望的结果。提出的稀疏到密集的策略使我们的框架比最接近的竞争对手的效率高出7.6倍。
2020-08-30 cs.CV
An Action Is Worth Multiple Words: Handling Ambiguity in Action Recognition
University of Edinburgh(爱丁堡大学)
准确地命名视频中描述的动作可能是一项具有挑战性且经常模糊的任务。与表示为名词的对象实例(例如狗、猫、椅子等)相反,在动作的情况下,人类注释者通常缺乏关于什么构成特定动作(例如慢跑与跑步)的共识。在实践中,给定的视频可以包含针对同一动作的多个有效的积极注释。因此,视频数据集通常包含大量的标签噪声和原子动作类之间的重叠。在这项工作中,我们解决了仅从单个正训练标签训练多标签动作识别模型的挑战。我们提出了两种方法,是基于生成伪训练样本的训练集内类似的情况下。与其他使用模型衍生伪标签的方法不同,我们的伪标签来自人类注释,并基于特征相似性进行选择。为了验证我们的方法,我们创建了一个新的评估基准手动注释EPIC-Kitchen-100的验证集的一个子集,多个动词标签。我们在这个新的测试集上给出了结果,以及在新版本的HMDB-51上的其他结果,称为混淆-HMDB-102,在这两种情况下,我们都优于现有的方法。数据和代码可在https://github.com/kiyoon/verb_ambiguity上获得
2022-10-10 cs.CV
RFAssigner: A Generic Label Assignment Strategy for Dense Object Detection
Guangzhou Institutes of Biomedicine and Health, Chinese Academy of Sciences(广州生物医学研究院,中国科学院);North China Institute of Science and Technology(华北科学技术学院);RIKEN AIP, Japan(日本RIKEN AIP)
RFAssigner通过多尺度学习增强策略,提升密集目标检测器在不同物体尺度上的性能表现。
2026-01-03 cs.CV
Deep Functional Maps: Structured Prediction for Dense Shape Correspondence
Tel Aviv University(特拉维夫大学);Intel(英特尔);USI Lugano(卢加诺大学);Sapienza University of Rome(罗马大学);Technion(以色列理工学院)
我们介绍了一个新的框架,学习可变形的3D形状之间的密集对应。现有的基于学习的方法将形状对应建模为标签问题,其中查询形状的每个点接收标识某个参考域上的点的标签;然后通过组成两个输入形状的标签预测来构造后验对应。我们提出了一个范式转变,并设计了一个结构化的预测模型的空间功能图,线性算子,提供了一个紧凑的表示的对应关系。我们通过深度残差网络对学习过程进行建模,该网络将定义在两个形状上的密集描述符字段作为输入,并输出两个给定对象之间的软映射。由此产生的对应关系被证明是准确的几个具有挑战性的基准,包括多个类别,合成模型,真正的扫描与采集伪影,拓扑噪声,和噪声。
2017-07-30 cs.CV
Iterative Contrast-Classify For Semi-supervised Temporal Action Segmentation
National University of Singapore(新加坡国立大学)
时间动作分割是对长视频序列中每一帧的动作进行分类。由于逐帧标记的成本很高,我们提出了第一个半监督的时间动作分割方法。我们的方法取决于无监督的表示学习,这对于时间动作分割来说是一个独特的挑战。未修剪视频中的动作长度各不相同,并且具有未知的标签和开始/结束时间。跨视频的动作的顺序也可能不同。我们提出了一种新的方法来学习从时间卷积网络(TCN)的逐帧表示通过聚类输入功能添加时间接近条件和多分辨率相似性。通过将表示学习与传统的监督学习相结合,我们提出了一种“迭代-对比-分类(ICC)”的半监督学习方案。随着更多的标记数据,ICC的性能逐渐提高; ICC半监督学习,40%的标记视频,表现类似于完全监督的同行。对于100%标记的视频,我们的ICC在早餐、50份沙拉和GTEA上分别将MoF提高{+1.8,+5.6,+2.5}%。
2021-12-08 cs.CV
DLA-Count: Dynamic Label Assignment Network for Dense Cell Distribution Counting
Hohai University(河海大学)
本文提出 DLA-Count 动态标签分配网络,通过 KHM、MDGC 和 GFD 解决密集、多形态细胞计数难题,并在四个数据集上显著降低计数误差。
2025-03-15 cs.CV
Towards an Unequivocal Representation of Actions
University of Bristol(布里斯托尔大学)
这项工作介绍了动词只表示动作和交互;描述类似的运动(例如“开门”,“打开橱柜”)的问题,并区分不同的(例如“开门”与“开瓶”)使用动词只标签。当前的动作识别方法忽略了动词之间合理的语义歧义和类重叠(图1),依赖于对象来消除交互的歧义。我们偏离了单动词标签,并引入了观察和多个动词标签之间的映射-为了创建一个明确的动作表示。新的表示受益于增加的词汇量和软分配到丰富的动词标签空间。我们使用双流融合CNN将这些表示作为多输出回归进行学习。所提出的方法优于传统的单动词标签(也称为多数表决)的三个自我中心的数据集的识别和检索。
2018-05-10 cs.CV
Composite Learning for Robust and Effective Dense Predictions
ETH Zürich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
多任务学习通过与辅助任务联合优化目标任务,保证了模型在目标任务上的更好泛化。然而,目前的做法需要额外的标记工作的辅助任务,而不能保证更好的模型性能。在本文中,我们发现,联合训练密集预测(目标)任务和自监督(辅助)任务可以持续提高目标任务的性能,同时消除标记辅助任务的需要。我们将这种联合训练称为复合学习(CompL)。CompL在单目深度估计、语义分割和边界检测上的实验表明,在完全标记和部分标记的数据集中,CompL的性能得到了一致的提高。对深度估计的进一步分析表明,具有自我监督的联合训练优于大多数标记辅助任务。我们还发现,CompL可以提高模型的鲁棒性时,模型在新的领域进行评估。这些结果证明了自我监督作为一种辅助任务的好处,并建立了新的任务特定的自我监督方法的设计,作为未来多任务学习研究的一个新的调查轴。
2022-10-13 cs.CV
Localizing Actions from Video Labels and Pseudo-Annotations
University of Amsterdam(阿姆斯特丹大学);Columbia University(哥伦比亚大学)
本文的目标是确定视频中的动作的时空位置。在从难以获得的框注释进行训练是常态的情况下,我们提出了一种直观有效的算法,该算法仅从其类标签中定位动作。我们受到最近工作的启发,这些工作表明,使用人类点监督选择的无监督行动建议执行以及使用昂贵的框注释。而不是要求用户提供点监督,我们提出了全自动的视觉提示,取代手动点注释。我们称之为线索伪注释,介绍其中五个,并提出了一个自动选择和组合它们的相关性度量。对具有挑战性的动作定位数据集的彻底评估表明,我们达到了与全框监督结果相当的结果。我们还表明,在测试过程中可以利用伪注释来改进弱监督和强监督定位器。
2017-07-28 cs.CV
Volume-based Semantic Labeling with Signed Distance Functions
University of Bologna(博洛尼亚大学)
关于语义分割和SLAM(同时定位与地图构建)这两个主题的研究工作一直遵循不同的轨道。在这里,我们通过描述一种类别标签融合技术将它们紧密地联系在一起,该技术允许将语义信息嵌入到由基于体积的SLAM算法(如KinectFusion)创建的密集地图中。因此,我们的方法是第一个根据RGB-D图像流提供语义标记的环境密集重建的方法。我们使用公开可用的语义注释的RGB-D数据集和a)采用地面真值标签,b)用合成噪声破坏这种注释,c)部署基于卷积神经网络的最先进的语义分割算法来验证我们的提议。
2015-11-13 cs.CV
Generating Self-Guided Dense Annotations for Weakly Supervised Semantic Segmentation
National Tsing Hua University(国立清华大学)
在图像级监督下学习语义分割模型比在完全监督设置下更具挑战性。在不知道确切的像素-标签对应关系的情况下,大多数弱监督方法依赖于外部模型来推断伪像素级标签以用于训练语义分割模型。在本文中,我们的目标是开发一个单一的神经网络,而不诉诸任何外部模型。我们提出了一种新的自我引导策略,充分利用在多个级别上学习的特征,逐步生成密集的伪标签。首先,我们使用高级特征作为类特定的本地化映射来粗略定位类。接下来,我们提出了一个亲和度指导的方法,鼓励每个本地化地图是一致的,他们的中间水平的功能。第三,我们采用训练图像本身作为指导,并提出一种自我指导的细化,以进一步将图像的固有结构转移到地图中。最后,我们从这些本地化地图中获得伪像素级标签,并使用伪标签作为地面实况来训练语义分割模型。我们提出的自指导策略是一个统一的框架,它建立在单个网络上,并在训练过程中交替更新特征表示和细化定位图。在PASCAL VOC 2012分割基准上的实验结果表明,在相同的设置下,我们的方法优于其他弱监督方法。
2018-10-16 cs.CV
DenseDPO: Fine-Grained Temporal Preference Optimization for Video Diffusion Models
Snap Research;University of Toronto(多伦多大学);Vector Institute(向量研究所)
DenseDPO通过基于真实视频损坏副本生成对齐视频对,并在短片段上标注偏好,以更少数据提升视频扩散模型的运动生成性能,同时支持VLM自动标注。
2025-10-10 cs.CV