NUTA: Non-uniform Temporal Aggregation for Action Recognition
Amazon Web Services（亚马逊云科技）
在动作识别研究领域，一个主要的焦点是如何构建和训练网络来对输入视频的时空体积进行建模。这些方法通常均匀地采样输入剪辑的片段（沿着时间维度）。然而，并非视频的所有部分对于确定剪辑中的动作都同样重要。在这项工作中，我们专注于学习在哪里提取特征，以便专注于视频中信息量最大的部分。我们提出了一种称为非均匀时间聚合（NUTA），它只从信息的时间段聚合功能的方法。我们还介绍了一种同步方法，使我们的NUTA功能与传统的均匀采样的视频功能在时间上对齐，使本地和剪辑级功能可以结合起来。我们的模型在四个广泛使用的大规模动作识别数据集（Kinetics 400，Kinetics 700，Something-something V2和Charades）上实现了最先进的性能。此外，我们还创建了一个可视化来说明所提出的NUTA方法如何只选择视频剪辑中最相关的部分。
2020-12-15 cs.CV
AdaScan: Adaptive Scan Pooling in Deep Convolutional Neural Networks for Human Action Recognition in Videos
IIT Kanpur（印度理工学院坎普尔分校）；SRI International（SRI国际）；UCSD（加州大学圣地亚哥分校）
我们提出了一种新的方法，用于在视频中的人类动作识别任务的时间池帧。该方法的动机是观察到，只有少量的帧，它们一起包含足够的信息来区分存在于视频中的动作类，从其余的。所提出的方法学习池这样的歧视性和信息帧，而丢弃在一个单一的时间扫描的视频中的非信息帧的大部分。我们的算法通过连续预测每个视频帧的区分重要性并随后将其汇集在深度学习框架中来实现。我们在标准基准上展示了我们提出的池化方法的有效性，它始终改进了基线池化方法，并基于RGB和光流的卷积网络。此外，结合互补的视频表示，我们显示的结果是有竞争力的两个具有挑战性的和公开可用的基准数据集上的最先进的结果。
2017-06-25 cs.CV
Face Recognition Based on Polar Frequency Features
提出了一种新的基于极频率的生物动机人脸识别算法。通过傅里叶-贝塞尔变换（FBT）从人脸图像中提取极频率描述子。接下来，计算所有图像之间的欧几里德距离，并且每个图像现在由其与其他图像的相异性表示。在此相异性空间上建立了一个伪Fisher线性判别式。离散傅里叶变换（DFT）描述符的性能，以及两种特征类型的组合也进行了评估。该算法进行了测试，40和1196主题的人脸数据库（ORL和FERET，分别）。在训练和测试数据集中每个受试者有5张图像的情况下，对于FBT、DFT和组合分类器，ORL数据库上的出错率分别为3.8%、1.25%和0.2%，而之前最好的算法所达到的错误率为2.6%。信息量最大的极频率特征集中在低至中等角频率和低径向频率。在FERET数据库上，应用仿射归一化预处理，FBT算法在等级识别测试中仅优于PCA。然而，当通过验证测试进行评价时，其性能与最先进的方法相当。这些结果表明，人脸图像的极性频率内容的识别和验证任务的高信息价值，笛卡尔频率内容可以补充有关受试者身份的信息，但可能只有当图像没有预先规范化。人脸识别的可能影响进行了讨论。
2005-09-27 cs.CV
Context-Aware Query Selection for Active Learning in Event Recognition
Comcast Labs（康卡斯特实验室）；University of California, Riverside（加州大学河滨分校）
活动识别是一个具有挑战性的问题，有许多实际应用。除了视觉特征之外，最近的方法还受益于上下文的使用，例如，活动和对象之间的相互关系。然而，这些方法需要对数据进行标记，预先完全可用，并且不被设计为连续更新，这使得它们不适合监控应用。相比之下，我们提出了一个连续学习框架，用于从未标记视频中识别上下文感知的活动，与现有方法相比，它具有两个明显的优势。首先，它采用了一种新的主动学习技术，不仅利用个人活动的信息，但也利用他们的上下文信息在查询选择，这导致显着减少昂贵的手动注释工作。第二，随着更多数据的可用，可以在线调整学习模型。我们制定了一个条件随机场模型，编码的上下文，并设计了一个信息理论的方法，利用熵和互信息的节点来计算一组最翔实的查询，这是由一个人标记。这些标签与图形推理技术相结合，用于增量更新。我们提供了一个理论公式的主动学习框架的分析解决方案。在六个具有挑战性的数据集上的实验表明，我们的框架实现了卓越的性能，大大减少了手动标记。
2019-04-09 cs.CV
Annotation-Efficient Untrimmed Video Action Recognition
Peking University（北京大学）；University of California, Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
深度学习在识别视频动作方面取得了巨大的成功，但训练数据的收集和标注仍然相当费力，这主要在于两个方面：（1）需要标注的数据量很大;（2）在时间上标注每个动作的位置很耗时。已经提出了诸如少样本学习或未修剪视频识别之类的工作来处理一个方面或另一个方面。然而，很少有现有的作品可以同时处理这两个问题。在本文中，我们针对一个新的问题，注释有效的视频识别，以减少对大量样本和动作位置的注释的要求。这样的问题是具有挑战性的，由于两个方面：（1）未修剪的视频只有弱监督;（2）视频片段不相关的当前感兴趣的动作（背景，BG）可能包含在新的类的感兴趣的动作（前景，FG），这是一个广泛存在的现象，但很少被研究在Few-Shot未修剪的视频识别。为了实现这一目标，通过分析BG的属性，我们将BG分为信息BG（IBG）和非信息BG（NBG），我们提出了（1）一个基于开集检测的方法来找到NBG和FG，（2）一个对比学习方法学习IBG和区分NBG在一个自我监督的方式，和（3）一个自加权机制，更好地区分IBG和FG。在ActivityNet v1.2和ActivityNet v1.3上进行的大量实验验证了所提方法的合理性和有效性。
2021-11-01 cs.CV
CMAE-V: Contrastive Masked Autoencoders for Video Action Recognition
Nankai University（南开大学）；Bytedance Inc.（字节跳动公司）；University of Science and Technology Beijing（北京科技大学）
对比掩码自编码器（CMAE）作为一种新的自监督框架，在视觉图像识别中显示出了学习表情特征表示的潜力。这项工作表明，CMAE也平凡推广以及视频动作识别，而无需修改的架构和损失准则。通过直接用时间偏移替换原始像素偏移，我们的用于视觉动作识别的CMAE，简称CMAE-V，可以生成比基于纯掩码自编码器的对应物更强的特征表示。值得注意的是，具有混合架构的CMAE-V可以在Kinetics-400和Something-something V2数据集上分别实现82.2%和71.6%的top-1准确度。希望本报告能为今后的工作提供一些有益的启示。
2023-01-15 cs.CV
Online Action Recognition based on Incremental Learning of Weighted Covariance Descriptors
China University of Geosciences（中国地质大学）；University of Wollongong（卧龙岗大学）
与传统的基于视频片段的动作识别不同，在线动作识别旨在以连续的方式从未分割的数据流中识别动作。在线识别的一种方法是基于随着时间的推移而积累的证据来从流视频中进行预测。本文提出了一种快速有效的方法从噪声骨架数据流中识别动作，并采用一种新的加权协方差描述子来积累证据。特别是，一个快速增量更新方法的加权协方差描述符的时间信息的积累和在线预测。加权协方差描述符考虑了以下原则：过去的帧对识别的贡献较小，最近的和有信息的帧（如关键帧）对识别的贡献较大。在线识别是使用一个简单的最近邻搜索对一组离线训练的动作模型。MSC-12 Kinect手势数据集和我们新构建的在线动作识别数据集上的实验结果证明了所提出的方法的有效性。
2017-07-06 cs.CV
KFFocus: Highlighting Keyframes for Enhanced Video Understanding
School of Data Science, Fudan University（复旦大学数据科学学院）
针对视频LLM压缩策略易遗漏关键帧的问题，提出KFFocus方法，通过基于时间冗余识别关键帧并动态分配压缩率，结合时空建模模块，有效减少token冗余并在长视频理解基准上显著提升效率与准确率。
2025-08-12 cs.CV
Scene Summarization: Clustering Scene Videos into Spatially Diverse Frames
New York University（纽约大学）
SceneSum通过自监督方法将场景视频聚类为空间多样化的关键帧，提升空间推理能力，优于现有视频摘要方法。
2025-11-23 cs.CV
Learning Coupled Spatial-temporal Attention for Skeleton-based Action Recognition
Beihang University（北京航空航天大学）
在本文中，我们提出了一个耦合的时空注意力（CSTA）模型的基于动作识别，其目的是找出最具歧视性的关节和帧在空间和时间域的同时。传统的方法通常认为骨骼序列中的所有关节或帧都同等重要，这对模糊和冗余的信息是不鲁棒的。为了解决这个问题，我们首先通过两个子网络分别为不同的关节和帧学习两组权重，这使得模型具有“关注”相对信息部分的能力。然后，我们计算叉积的关节和帧的权重的时空耦合的注意。此外，我们的CSTA机制可以很容易地插入到现有的分层CNN模型（CSTA-CNN），以实现其功能。在最近收集的UESTC数据集和目前最大的NTU数据集上进行的大量实验结果表明，我们提出的方法对基于手势的动作识别是有效的。
2019-09-23 cs.CV
High Performance Human Face Recognition using Gabor based Pseudo Hidden Markov Model
Indian Statistical Institute（印度统计研究所）；Jadavpur University（贾达普大学）
本文介绍了一种新的方法，结合了多分辨率的Gabor小波变换（GWT）的特点，通过伪隐马尔可夫模型（PHMM）表示的面部结构的局部相互作用。与传统的用于特征提取的Z字形扫描方法不同，已经提出了从左上角到右然后从上到下、从右到左等直到图像的右到下的连续扫描方法，即螺旋扫描技术，以用于更好的特征选择。与传统的HHMM不同，PHMM不执行可见观测序列假设的状态条件独立性。这是通过PHMM引入的局部结构的概念来实现的，PHMM用于提取面部带并自动选择面部图像的最具信息量的特征。因此，传统的拦截器固有的长距离依赖性问题已经大大减少。再次，使用信息量最大的像素而不是整个图像，使得所提出的方法对于人脸识别来说合理地更快。该方法已成功地测试了正面的人脸图像从ORL，FRAV2D和FERET人脸数据库中的图像不同的姿态，照明，表情和规模。FERET数据集包含200名受试者的2200张正面人脸图像，而FRAV 2D数据集由100名受试者的1100张图像组成，并考虑了完整的ORL数据库。本申请中报告的结果远远好于最近和大多数参考系统。
2013-12-05 cs.CV
Multi-Temporal Convolutions for Human Action Recognition in Videos
Utrecht University（乌得勒支大学）
时间模式的有效提取对于视频中时变动作的识别至关重要。我们认为，可以改进卷积神经网络（CNN）中使用的固定大小的时空卷积核，以提取在不同时间尺度上执行的信息运动。为了解决这一挑战，我们提出了一种新的时空卷积块，能够提取时空模式在多个时间分辨率。我们提出的多时间卷积（MTConv）块利用两个分支，分别专注于简短和延长的时空模式。所提取的时变特征在第三分支中相对于通过复发细胞的全局运动模式对齐。所提出的块是轻量级的，可以集成到任何3D-CNN架构中。这大大降低了计算成本。在Kinetics、Moments in Time和HACS动作识别基准数据集上进行的大量实验表明，与最先进的技术相比，MTConvs具有竞争力的性能，且计算占用空间显著降低。
2021-03-31 cs.CV
SCSampler: Sampling Salient Clips from Video for Efficient Action Recognition
Facebook AI（Facebook人工智能（Facebook AI））
虽然许多动作识别数据集由简短的修剪视频的集合组成，每个视频包含相关动作，但现实世界中的视频（例如，在YouTube上）表现出非常不同的属性：它们通常是几分钟长，其中简短的相关剪辑通常与包含很少变化的延长持续时间的片段交错。将动作识别系统密集地应用于这样的视频内的每个时间片段是非常昂贵的。此外，正如我们在实验中所示，这导致了次优的识别准确性，因为来自相关剪辑的信息预测在视频的长时间无信息部分上被无意义的分类输出超过。在本文中，我们介绍了一个轻量级的“剪辑采样”模型，可以有效地识别最显着的时间剪辑内的长视频。我们证明，未修剪的视频动作识别的计算成本可以显着降低调用识别只在这些最突出的剪辑。此外，我们表明，这会产生显着的收益相比，所有剪辑或随机/均匀选择的剪辑的分析识别精度。在Sports 1 M上，我们的剪辑采样方案将已经最先进的动作分类器的准确性提高了7%，并将其计算成本降低了15倍以上。
2019-08-30 cs.CV
Image recognition via Vietoris-Rips complex
Fukuoka University（福冈大学）；Shibaura Institute of Technology（芝浦工业大学）；RIKEN（理化学研究所）
从图像中提取信息特征在计算机视觉中具有重要意义。在本文中，我们提出了一种方法来提取这样的功能从图像的方法基于代数拓扑。为此，我们从图像中构造一个加权图，它提取图像的局部信息。通过把这个加权图看作一个伪度量空间，我们构造了一个Vietoris-Rips复形的参数$\varepsilon$由一个著名的代数拓扑过程。我们可以提取图像的复杂性信息，并可以从该Vietoris-Rips复合体中检测具有相对高浓度信息的子图像。Vietoris-Rips复合体的参数$\varepsilon$产生对噪声的鲁棒性。我们的经验表明，提取的特征捕捉图像的特性。
2021-09-06 cs.CV
GhostVLAD for set-based face recognition
University of Oxford（牛津大学）；DeepMind（深度思维）
本文的目的是学习一个紧凑的表示图像集的模板为基础的人脸识别。我们做出了以下贡献：首先，我们提出了一种网络架构，它将深度卷积神经网络产生的人脸描述符聚合并嵌入到一个紧凑的固定长度表示中。这种紧凑的表示需要最小的存储器存储，并使高效的相似性计算。其次，我们提出了一种新的GhostVLAD层，其中包括{ \em鬼簇}，不有助于聚合。我们表明，输入的人脸质量加权自动出现，使信息丰富的图像比低质量的图像贡献更多，鬼集群增强了网络处理低质量图像的能力。第三，我们探讨了输入特征维数、聚类数和不同训练技术对识别性能的影响。鉴于这种分析，我们训练了一个远远超过IJB-B人脸识别数据集最先进水平的网络。这是目前最具挑战性的公共基准之一，我们在识别和验证协议方面都超过了最先进的水平。
2018-10-23 cs.CV
Beam-Guided Knowledge Replay for Knowledge-Rich Image Captioning using Vision-Language Model
KFUPM（科威特理工学院）
提出KRCapVLM框架，通过束搜索解码、注意力模块和训练调度器，提升视觉语言模型生成知识丰富图像描述的质量和泛化能力。
2025-05-29 cs.CV
No frame left behind: Full Video Action Recognition
Delft University of Technology（代尔夫特理工大学）；TomTom（通腾导航科技公司）
并非所有的视频帧对于识别动作都具有同等的信息量。当动作发展超过数百帧时，在所有视频帧上训练深度网络在计算上是不可行的。一个常见的启发式算法是均匀地采样少量的视频帧，并使用这些来识别动作。相反，在这里，我们提出了完整的视频动作识别，并考虑所有的视频帧。为了使这种计算易于处理，我们首先根据它们与分类任务的相似性沿着时间维度对所有帧激活进行聚类，然后在时间上将聚类中的帧聚合成较少数量的表示。我们的方法是端到端的可训练和计算效率，因为它依赖于时间本地化聚类与特征空间中的快速汉明距离相结合。我们评估UCF101，HMDB51，早餐，和东西的东西V1和V2，在那里我们比较有利，现有的启发式帧采样方法。
2021-03-29 cs.CV
Selectivity Drives Efficiency: Dataset Pruning for Visual Place Recognition
Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Shenzhen University of Advanced Technology（深圳先进技术研究院）
针对视觉场所识别中数据集存储和训练成本高的问题，提出场所级数据集剪枝框架，引入IPD和IPS指标评估场所训练价值，构建核心集，实验证明该方法能在不同剪枝率下降低成本并保持高识别性能。
2026-07-17 cs.CV
Passive Attention in Artificial Neural Networks Predicts Human Visual Selectivity
Princeton University（普林斯顿大学）；Max Planck Institute for Empirical Aesthetics（马克斯·普朗克经验美学研究所）；UC Berkeley（加州大学伯克利分校）；DeepMind
在过去的十年中，机器学习可解释性技术的发展提供了新的工具来观察人工神经网络（ANN）中最具分类和定位信息的图像区域。同样的区域对人类观察者来说也是同样的信息吗？使用来自79个新实验和7，810名参与者的数据，我们发现被动注意技术与来自6个不同行为任务的人类视觉选择性估计有显着重叠，这些任务包括视觉辨别，空间定位，可识别性，自由观看，线索对象搜索和显着性搜索固定。我们发现，从相对简单的人工神经网络架构探测使用引导反向传播方法的输入可视化是最好的预测共享组件的联合变化的人类措施。我们验证这些相关的结果与因果操纵识别实验。我们发现，在一个快速识别实验中，人工神经网络注意力图掩盖的图像比控制掩模更容易被人类分类。同样，我们发现，在相同的人工神经网络模型的识别性能同样受到使用人类视觉选择性地图掩蔽输入图像。这项工作提供了一种新的方法来评估领先的人工神经网络作为人类视觉模型的生物和心理有效性：通过研究它们对图像中包含的信息的视觉选择性的相似性和差异性。
2021-10-31 cs.CV
Fully Convolutional Recurrent Network for Handwritten Chinese Text Recognition
South China University of Technology（华南理工大学）
提出了一种用于手写体中文文本识别的端到端框架--全卷积递归网络。与严重依赖分割的传统方法不同，我们的FCRN直接使用在线文本数据进行训练，并学会将笔尖轨迹与字符序列相关联。FCRN由四部分组成：用于从输入笔尖轨迹提取签名特征的路径签名层、用于学习信息表示的全卷积网络、用于对输入序列进行每帧预测的序列建模层以及用于将预测转换为标签序列的转录层。FCRN是端到端可训练的，而传统方法的组件是单独训练和调整的。我们还提出了一种改进的束搜索方法，有效地集成了语言模型解码的FCRN和显着提高识别结果。在CASIA-OLHWDB数据库和ICDAR 2013中国手写体识别大赛的测试集上，我们对所提方法的性能进行了评估，正确率分别达到96.40%和95.00%。
2016-04-18 cs.CV
Adaptive Focus for Efficient Video Recognition
Tsinghua University（清华大学）
在本文中，我们探讨了视频识别中的空间冗余，旨在提高计算效率。据观察，视频的每帧中信息量最大的区域通常是一个小的图像块，它在帧间平滑地移动。因此，我们将补丁定位问题建模为顺序决策任务，并提出了一种基于强化学习的高效空间自适应视频识别（AdaFocus）方法。具体来说，首先采用一个轻量级的ConvNet来快速处理完整的视频序列，其特征被一个循环策略网络用来定位最相关的任务区域。然后，所选择的补丁推断的高容量网络的最终预测。在离线推理期间，一旦生成了信息补丁序列，大部分计算可以并行完成，并且在现代GPU设备上是高效的。此外，我们证明了所提出的方法可以很容易地通过进一步考虑时间冗余，例如，动态跳过不太有价值的帧。在五个基准数据集上进行了广泛的实验，ActivityNet，FCVID，Mini-Kinetics，Something-Something V1和V2，证明我们的方法比竞争基线更有效。代码可在https://github.com/blackfeather-wang/AdaFocus上获得。
2021-08-18 cs.CV cs.LG eess.IV
Dynamic Gesture Recognition by Using CNNs and Star RGB: a Temporal Information Condensation
Federal University Espírito Santo（圣埃斯皮里图联邦大学）
由于技术的进步，机器越来越多地出现在人们的日常生活中。因此，已经有越来越多的努力来开发提供交互的直观方式的接口，诸如动态手势。目前，最常见的趋势是使用多模态数据作为深度和骨架信息，以实现动态手势识别。然而，仅使用颜色信息会更有趣，因为RGB相机通常在几乎每个公共场所都可用，并且可以用于手势识别而无需安装其他设备。这种方法的主要问题是仅使用颜色来表示时空信息的困难。考虑到这一点，我们提出了一种技术，能够凝聚一个动态的姿态，在视频中显示，在一个RGB图像。我们把这种技术称为Star RGB。然后将该图像传递到由两个Resnet CNN、软注意力集成和全连接层组成的分类器，该分类器指示输入视频中存在的手势的类别。使用Montalbano和GRIT数据集进行实验。对于Montalbano数据集，所提出的方法实现了94.58%的准确率。当考虑该数据集并且仅考虑颜色信息时，这样的结果达到最先进水平。关于GRIT数据集，我们的建议实现了超过98%的准确率，召回率，精度和F1分数，比参考方法高出6%以上。
2019-09-08 cs.CV cs.HC cs.LG
Open-set Adversarial Defense with Clean-Adversarial Mutual Learning
Hong Kong Baptist University（香港浸会大学）；AWS AI Labs（亚马逊云科技人工智能实验室）；Johns Hopkins University（约翰斯·霍普金斯大学）
开放集识别和对抗性防御研究了深度学习的两个关键方面，这对现实世界的部署至关重要。开集识别的目标是在测试过程中从开集类中识别样本，而对抗性防御的目标是使网络鲁棒化，以对抗受不可感知的对抗性噪声干扰的图像。本文证明了开集识别系统容易受到对抗性样本的影响。此外，本文表明，在已知类上训练的对抗性防御机制无法很好地推广到开集样本。基于这些观察，我们强调开放式对抗防御（OSAD）机制的必要性。本文提出了一种开放集合防御网络与清洁对抗相互学习（OSDN-CAML）作为解决OSAD问题。所提出的网络设计了一个编码器，该编码器具有双关注特征去噪层，再加上一个分类器来学习无噪声的潜在特征表示，该表示自适应地去除由信道和空间关注滤波器引导的对抗性噪声。利用几种技术来学习无噪声和信息丰富的潜在特征空间，目的是提高对抗性防御和开集识别的性能。首先，我们结合了一个解码器，以确保干净的图像可以很好地重建所获得的潜在功能。然后，自我监督，以确保潜在的功能是足够的信息进行辅助任务。最后，为了利用干净图像分类中更多的互补知识来促进特征去噪和搜索开集识别的更广义的局部最小值，我们进一步提出了干净对抗相互学习，其中进一步引入对等网络（分类干净图像）与分类器（分类对抗图像）相互学习。
2022-02-12 cs.CV
From Recognition to Prediction: Analysis of Human Action and Trajectory Prediction in Video
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
随着计算机视觉深度学习的进步，系统现在能够分析前所未有的视频中丰富的视觉信息，以实现自动驾驶，社交机器人助手和公共安全监控等应用。在这些应用中，破译人类行为以预测他们未来的路径/轨迹以及他们会从视频中做什么是很重要的。然而，人体轨迹预测仍然是一个具有挑战性的任务，因为场景语义和人类意图很难建模。许多系统不提供高级语义属性来推理行人的未来。这种设计阻碍了来自不同领域和未知场景的视频数据的预测性能。为了实现最佳的未来人类行为预测，系统必须能够检测和分析人类活动以及场景语义，将信息特征传递给后续的预测模块以进行上下文理解。
2021-07-16 cs.CV
Predictive Coding Networks Meet Action Recognition
Singapore University of Technology and Design（新加坡科技设计大学）；Goethe University of Frankfurt am Main（法兰克福大学）
动作识别是计算机视觉中的一个关键问题，它用一组预定义的动作来标记视频。捕捉语义内容和运动，沿着视频帧是实现高精度性能的关键。大多数最先进的方法依赖于RGB帧来提取语义和预先计算的光流场作为运动提示。然后，使用深度神经网络将两者结合起来。然而，有人认为，这样的模型不能利用从光流提取的运动信息，而是光流允许更好地识别视频中的人和对象。这就迫切需要探索不同的线索或模型，以更丰富的方式提取运动。为了解决这个问题，我们建议探索预测编码网络，即所谓的PredNet，这是一种循环神经网络，可以跨层和时间步长传播预测编码错误。我们分析PredNet是否可以更好地捕捉视频中的动作，方法是随着时间的推移估计从预先训练的网络中提取的动作识别表示。以这种方式，模型仅依赖于视频帧，并且不需要预处理的光流作为输入。我们报告了我们提出的模型在UCF101和HMDB51数据集上的有效性。
2019-10-22 cs.CV
Lightweight Pedestrian Head-Orientation Recognition Network for Safe Pedestrian-Vehicle Interaction
Technische Universität Berlin（柏林工业大学）
提出轻量级低分辨率头部朝向卷积神经网络（LRHO-CNN），用于自动驾驶中行人头部朝向识别，通过新数据集和增强处理，在多个数据集上取得最高分类准确率，支持行人行为预测。
2026-10-01 cs.CV
On the Importance of Video Action Recognition for Visual Lipreading
本文重点研究了单词级的视觉唇读，这需要从说话人的视频中解码出单词。最近，许多最先进的视觉唇读方法探索端到端可训练深度模型，涉及使用2D卷积网络（例如，ResNet）作为前端视觉特征提取器和序列模型（例如，Bi-LSTM或Bi-GRU）作为后端。虽然深度2D卷积神经网络可以提供信息丰富的基于图像的特征，但它忽略了相邻帧之间存在的时间运动。在这项工作中，我们研究了I3 D（充气3D ConvNet）的时空容量的视觉唇读能力。我们证明，在对大规模视频动作识别数据集（例如，动力学），我们的模型表现出相当大的改善唇读任务的性能。一组视频模型架构和输入数据表示之间的比较也报告。我们在LRW上的大量实验表明，以RGB视频和光流作为输入的双流I3 D模型达到了最先进的性能。
2019-09-16 cs.CV
Recurrent Attentional Reinforcement Learning for Multi-label Image Recognition
School of Data and Computer Science, Sun Yat-sen University（中山大学数据与计算机学院）；SenseTime Group Limited（商汤集团有限公司）
识别图像的多个标签是计算机视觉中的一项基本但具有挑战性的任务，通过使用深度卷积神经网络定位语义感知的图像区域并预测其标签，已经取得了显着进展。然而，在这些现有的多标签图像识别流水线中，假设区域（区域提议）定位的步骤通常需要冗余的计算成本，例如，产生了数百个无意义的建议与非歧视性的信息和提取其特征，和局部区域之间的空间上下文依赖建模往往被忽略或过于简化。为了解决这些问题，本文提出了一种循环注意强化学习框架，迭代地发现一系列与不同语义对象相关的注意和信息区域，并进一步预测以这些区域为条件的标签得分。此外，我们的方法显式地对这些注意区域之间的长期依赖关系进行建模，这有助于捕获语义标签同现，从而促进多标签识别。在两个大规模基准上进行了广泛的实验和比较（即，PASCAL VOC和MS-COCO）表明，我们的模型在性能和效率方面都优于现有的最先进的方法，并且可以显式地识别特定对象区域的图像级语义标签。
2017-12-20 cs.CV
Towards End-to-end Text Spotting with Convolutional Recurrent Neural Networks
The University of Adelaide（阿德莱德大学）
在这项工作中，我们共同解决基于卷积循环神经网络的自然场景图像中的文本检测和识别问题。我们提出了一个统一的网络，它可以通过一次向前传递同时定位和识别文本，避免了图像裁剪和特征重新计算、单词分离或字符分组等中间过程。与现有的将文本检测和识别视为两个不同任务并逐个解决的方法相比，所提出的框架同时解决了这两个任务。整个框架可以进行端到端的训练，只需要图像，地面实况边界框和文本标签。通过端到端的训练，学习到的特征可以提供更多信息，从而提高整体性能。卷积特征仅计算一次，并由检测和识别共享，这节省了处理时间。我们提出的方法在几个基准数据集上取得了有竞争力的性能。
2017-07-13 cs.CV
PMI Sampler: Patch Similarity Guided Frame Selection for Aerial Action Recognition
University of Maryland - College Park（马里兰大学帕克分校）
提出PMI Sampler算法，利用补丁互信息分数和自适应帧选择策略，从空中视频中选取运动显著帧，可集成于任何动作识别模型，在多个数据集上提升top-1准确率2.2%-13.8%。
2023-11-15 cs.CV
Learning Spatial-Semantic Context with Fully Convolutional Recurrent Network for Online Handwritten Chinese Text Recognition
College of Electronic and Information Engineering, South China University of Technology（华南理工大学电子与信息工程学院）；Oxford-Man Institute for Quantitative Finance, University of Oxford（牛津大学牛津曼定量金融研究所）；Mathematical Institute, University of Oxford（牛津大学数学研究所）；The Alan Turing Institute, University of Oxford（牛津大学艾伦·图灵研究所）
联机手写中文文本识别是一个具有挑战性的问题，因为它涉及到大规模的字符集，歧义切分和可变长度的输入序列。在本文中，我们利用出色的能力，路径签名在线笔尖轨迹转化为信息签名特征图使用基于滑动窗口的方法，成功地捕捉分析和几何性质的笔笔划具有很强的局部不变性和鲁棒性。提出了一种多空间上下文全卷积递归网络（MCFCRN），利用签名特征图中的多个空间上下文，生成预测序列，同时完全避免了难以分割的问题。此外，一个隐式的语言模型的开发进行预测的基础上的预测特征序列的语义上下文，提供了一个新的视角，结合词汇约束和先验知识的某种语言的识别过程。在Dataset-CASIA和Dataset-ICDAR两个标准基准上的实验取得了出色的结果，正确率分别为97.10%和97.15%，明显优于文献中迄今为止报道的最佳结果。
2017-05-25 cs.CV
Surgical Phase Recognition of Short Video Shots Based on Temporal Modeling of Deep Features
腹腔镜手术（LS）操作的视频识别阶段构成了有效的内容表示，索引和检索手术视频数据库中的基本步骤。在文献中，大多数技术集中于使用手工制作的视觉特征、仪器使用信号和最近的卷积神经网络（CNN）对整个LS视频进行相位分割。在本文中，我们解决的问题，相位识别的短视频镜头（10秒）的操作，而不利用信息的前/即将到来的视频帧，其相位标签或所使用的仪器。我们研究了四种最先进的CNN架构（Alexnet，VGG 19，GoogleNet和ResNet 101），用于通过迁移学习进行特征提取。采用视觉显著性来选择图像的信息量最大的区域作为CNN的输入。视频镜头表示是基于两个时间池机制。最重要的是，我们调查了“运行时间”（从操作开始）的作用，我们表明，包含此功能可以显着提高性能（69%与75%的平均准确度）。最后，基于CNN特征与“经过时间”的融合，训练了一个长短期记忆（LSTM）网络用于视频镜头分类，将准确率提高到86%。我们的研究结果突出了视觉显着性，长距离的时间递归和“流逝的时间”（一个功能，到目前为止被忽略），手术阶段识别的突出作用。
2018-12-07 cs.CV
Feature Selection via Sparse Approximation for Face Recognition
Institute of Information Science and Engineering, Central South University（中南大学信息科学与工程学院）
受生物视觉系统的启发，具有巨大基数的过完备局部特征在人脸识别中的应用越来越广泛。因此，特征选择变得越来越重要，在人脸数据描述和识别中起着至关重要的作用。本文提出了一种基于正则化框架的可训练特征选择人脸识别算法。通过在最小平方误差（MSE）准则下引入稀疏惩罚项，将特征选择问题转化为组合稀疏逼近问题，并利用贪婪算法或凸松弛算法求解.此外，基于同一框架，我们提出了一个稀疏Ho-Kashyap（HK）过程，同时获得最佳稀疏解和相应的边际向量的MSE准则。该方法用于选择最具信息量的人脸图像的Gabor特征进行识别，在基准人脸数据库上的实验结果证明了该方法的有效性。
2011-02-14 cs.AI cs.CV
Collaborative Attention Mechanism for Multi-View Action Recognition
Northeastern University（东北大学）；Santa Clara University（圣克拉拉大学）；University of Georgia（佐治亚大学）
多视角动作识别（MVAR）利用来自不同视角的互补时间信息来提高学习性能。获取信息的视图特定的表示在MVAR中起着至关重要的作用。注意作为一种有效的策略被广泛采用，用于发现隐含在时间数据中的辨别性线索。然而，大多数现有的MVAR方法只利用注意力单独提取每个视图的表示，忽略了潜在的挖掘潜在模式的基础上相互支持的信息在注意力空间。为此，我们提出了一个协作注意力机制（CAM）解决MVAR问题在本文中。提出的CAM检测多视图之间的注意力差异，并自适应地整合帧级信息，以使彼此受益。具体来说，我们将长短期记忆（LSTM）扩展到互助RNN（MAR），以实现多视图协作过程。CAM利用视点特异性注意模式来引导另一视点，发现自身难以发现的潜在信息。它为利用注意信息和增强多视角表示学习提供了一种新的途径。在四个动作数据集上的实验表明，该方法对每个视图都有更好的效果，同时也提高了多视图的性能。
2020-11-25 cs.CV
Temporal Flow Mask Attention for Open-Set Long-Tailed Recognition of Wild Animals in Camera-Trap Images
KAIST（韩国科学技术院）
相机陷阱、无人观测设备和基于深度学习的图像识别系统大大减少了人类在收集和分析野生动物图像方面的努力。然而，通过上述装置收集的数据表现出1）长尾和2）开放式分布问题。为了解决开集长尾识别问题，我们提出了时间流掩码注意力网络，它包括三个关键构建模块：1）光流模块，2）注意力残差模块，3）元嵌入分类器。我们使用光流模块提取序列帧的时间特征，并使用注意力残差块学习信息表示。此外，我们表明，应用元嵌入技术提高了该方法在开集长尾识别中的性能。我们将此方法应用于韩国非军事区（DMZ）数据集。我们进行了大量的实验，定量和定性分析，以证明我们的方法有效地解决了开集长尾识别问题，同时对未知类具有鲁棒性。
2022-08-31 cs.AI cs.CV
Enhancing Low-resolution Face Recognition with Feature Similarity Knowledge Distillation
Gwangju Institute of Science and Technology（光州科学技术院）
本文提出一种基于余弦相似度的特征知识蒸馏框架，将高分辨率人脸识别网络的知识迁移到低分辨率网络，在AgeDB-30上较先前最优方法提升3%，并保持高分辨率性能。
2023-04-11 cs.CV
SS-VAERR: Self-Supervised Apparent Emotional Reaction Recognition from Video
Meta Reality Labs（Meta现实实验室）；Imperial College London（帝国理工学院）
这项工作的重点是明显的情绪反应识别（AERR）从视频只有输入，在自我监督的方式进行。该网络首先在不同的自我监督借口任务上进行预训练，然后在下游目标任务上进行微调。自监督学习有助于使用预训练的架构和较大的数据集，这些数据集可能被认为不适合目标任务，但可能有助于学习信息表示，因此提供有用的初始化，以进一步微调更小更合适的数据。我们提出的贡献是两方面的：（1）分析不同的国家的最先进的（SOTA）借口任务的视频只有明显的情绪反应识别架构，以及（2）分析的各种组合的回归和分类损失，可能会进一步提高性能。这两个贡献一起导致当前最先进的性能的视频只有自发的明显的情绪反应识别与连续的注释。
2022-10-20 cs.CV cs.LG
Smile detection in the wild based on transfer learning
University of Delaware（特拉华大学）；American Family Mutual Insurance Company（美国家庭互助保险公司）
无约束人脸图像中的微笑检测是一个特殊而具有挑战性的问题。作为信息量最大的表情之一，微笑传达了基本的潜在情感，如快乐和满足，这导致了多种应用，例如，人的行为分析和交互控制。与人脸识别数据库的规模相比，可用于训练微笑检测系统的标记数据要少得多。为了充分利用人脸识别数据库中的大量标记数据，并有效抑制过拟合对笑脸检测的影响，提出了一种基于迁移学习的笑脸检测方法。与之前使用手工设计的特征或从头开始训练深度卷积网络的作品不同，我们探索并微调了一个经过良好训练的深度人脸识别模型，用于野外的微笑检测。通过使用不同的输入（包括从GENKI-4K数据集生成的对齐、未对齐和灰度图像）对人脸识别模型进行微调，构建了三种不同的模型。实验表明，该方法实现了改进的国家的最先进的性能。本文还评估了该模型对噪声和模糊伪影的鲁棒性。
2018-01-17 cs.CV
Intelligent Reference Curation for Visual Place Recognition via Bayesian Selective Fusion
University of Melbourne（墨尔本大学）；Queensland University of Technology（昆士兰科技大学）
视觉位置识别（VPR）的一个关键挑战是识别位置，尽管由于一天中的时间，季节，天气或照明条件等因素而导致视觉外观发生剧烈变化。基于深度学习的图像描述符、序列匹配、域转换和概率定位的许多方法都成功地解决了这一挑战，但大多数方法都依赖于可能地点的精心策划的代表性参考图像的可用性。在本文中，我们提出了一种新的方法，称为贝叶斯选择性融合，积极选择和融合信息参考图像，以确定最佳的地方匹配给定的查询图像。我们的方法的选择性元素避免了每个参考图像的适得其反的融合，并能够在视觉条件不断变化的环境中动态选择信息参考图像（例如室内闪烁的灯光，在阳光下或在昼夜循环期间的室外）。我们的方法的概率元素提供了一种融合多个参考图像的方法，该方法通过一种新的VPR无训练似然函数来解释它们的不确定性。在两个基准数据集的困难查询图像上，我们证明了我们的方法匹配并超过了几种替代融合方法的性能，以及最先进的技术，这些技术提供了最佳参考图像的先验（不公平）知识。我们的方法非常适合于长期的机器人自主性，其中动态视觉环境是常见的，因为它是免费的，不可知的，并补充现有的技术，如序列匹配。
2021-01-03 cs.CV cs.RO
Hybrid Relation Guided Set Matching for Few-shot Action Recognition
Huazhong University of Science and Technology（华中科技大学）；Alibaba Group（阿里巴巴集团）
当前的Few-Shot动作识别方法通过情节训练和设计各种时间对齐策略来学习每个视频的区分特征，从而达到令人印象深刻的性能。然而，它们的局限性在于：（a）在不考虑整个任务的情况下学习单个特征可能会丢失当前事件中最相关的信息，以及（b）这些对齐策略可能会在未对齐的情况下失败。为了克服这两个限制，我们提出了一种新的混合关系引导集匹配（HyRSM）的方法，它包括两个关键组成部分：混合关系模块和集匹配度量。混合关系模块的目的是通过充分利用剧集中的视频内和跨视频的关联关系来学习特定于任务的嵌入。基于特定于任务的特征，我们将查询和支持视频之间的距离度量重新定义为集合匹配问题，并进一步设计了双向Mean Hausdorff度量，以提高对未对齐实例的弹性。通过这种方式，所提出的HyRSM可以具有高度的信息性和灵活性，可以在Few-Shot设置下查询预测类别。我们在六个具有挑战性的基准上评估了HyRSM，实验结果显示了它在最先进的方法上的优越性。项目页面：https://hyrsm-cvpr2022.github.io/。
2022-04-28 cs.CV
Temporal Stochastic Softmax for 3D CNNs: An Application in Facial Expression Recognition
École de technologie supérieure（高等技术学院）；Concordia University（康考迪亚大学）
训练深度学习模型以准确地时空识别视频中的面部表情需要大量的计算资源。出于实际原因，3D卷积神经网络（3D CNN）通常使用从视频中随机提取的相对较短的剪辑进行训练。然而，这样的均匀采样通常是次优的，因为相等的重要性被分配给每个时间剪辑。在本文中，我们提出了一种基于视频的3D CNN有效训练策略。它依赖于softmax时间池和加权采样机制来选择最相关的训练片段。所提出的softmax策略提供了几个优点：由于有效的剪辑采样而降低了计算复杂性，并且由于时间加权在训练和推理期间都集中于更相关的剪辑而提高了准确性。在几个面部表情识别基准上使用所提出的方法获得的实验结果显示了在训练视频中关注更多信息片段的好处。特别是，我们的方法提高了性能和计算成本，减少不准确的修剪和粗略的视频注释的影响，以及视觉信息在不同时间的异构分布。
2020-11-10 cs.CV cs.LG
Differentiable Patch Selection for Image Recognition
EPFL（洛桑联邦理工学院）；Google Research Brain Team（谷歌研究院大脑团队）
神经网络需要大量的内存和计算来处理高分辨率图像，即使只有一小部分图像实际上是手头任务的信息。我们提出了一种基于可微Top-K算子的方法来选择输入中最相关的部分，以有效地处理高分辨率图像。我们的方法可以与任何下游神经网络接口，能够以灵活的方式聚合来自不同补丁的信息，并允许使用反向传播对整个模型进行端到端训练。我们展示了在训练过程中不使用对象/部分限界框注释的交通标志识别、补丁间关系推理和细粒度识别的结果。
2021-04-07 cs.AI cs.CV cs.LG
Visual Concept Recognition and Localization via Iterative Introspection
Weizmann Institute of Science（魏茨曼科学研究所）
卷积神经网络已经被证明可以开发出内部表示，这些表示与语义上有意义的对象和部分密切对应，尽管只在类标签上进行训练。类激活映射（CAM）是一种新的方法，它可以轻松地突出显示有助于网络分类决策的图像区域。我们在这两个发展的基础上，使网络能够重新检查信息图像区域，我们称之为内省。我们提出了一个弱监督的迭代方案，它转移其注意力的中心越来越歧视性的地区，因为它的进展，通过交替阶段的分类和反省。我们评估了我们的方法，并在一系列数据集上显示了它的有效性，在这些数据集上我们获得了具有竞争力或最先进的结果：在斯坦福大学40行动上，我们设置了一个新的81.74%的最先进的结果。在FGVC-Aircraft和Stanford Dogs数据集上，我们显示出与基线相比的一致改进，其中一些包括更多的监督。
2016-05-25 cs.CV cs.LG
MITFAS: Mutual Information based Temporal Feature Alignment and Sampling for Aerial Video Action Recognition
University of Maryland - College Park（马里兰大学学院公园分校）
提出基于互信息的时序特征对齐与采样方法，用于无人机视频动作识别，在多个基准上显著提升Top-1准确率。
2023-11-15 cs.CV cs.RO
One-vs-Rest Network-based Deep Probability Model for Open Set Recognition
Yonsei University（延世大学）
在训练过程中看不到的未知示例经常出现在现实世界的计算机视觉任务中，智能自学习系统应该能够区分已知和未知示例。开集识别，解决了这个问题，已经研究了大约十年。然而，传统的基于深度神经网络（DNN）的开集识别方法缺乏识别后分数分析的基础。在本文中，我们提出了一种DNN结构，其中多个one-vs-rest sigmoid网络跟随卷积神经网络特征提取器。一个一对休息的网络，它是由整流的线性单位激活函数的隐藏层和一个单一的sigmoid目标类输出节点，可以最大限度地提高能力，从不匹配的例子学习信息。此外，该网络产生了一个复杂的非线性特征到输出的映射，在特征空间中是可解释的。通过引入基于极值理论的校准技术，非线性和可解释的映射提供了一个基础良好的类成员概率模型。我们的实验表明，one-vs-rest网络可以为未知的示例提供比常用的SoftMax层更多的信息隐藏表示。此外，所提出的概率模型在开集分类场景中优于最先进的方法。
2020-05-28 cs.CV cs.LG
Informative Viewpoint Selection for Episodic-Memory Embodied Question Answering using Omnidirectional Images
针对全景图像在情节记忆具身问答中的几何畸变与背景干扰问题，提出基于立方体贴图投影、BLIP-2相关性估计及多样性贪婪选择的视角选择方法，在OpenEQA上取得最先进性能。
2026-09-29 cs.CV cs.RO
DeepGaze II: Reading fixations from deep features trained on object recognition
在这里，我们介绍了DeepGaze II，这是一个预测人们在图像中观看位置的模型。该模型使用VGG-19深度神经网络的特征来识别图像中的对象。与其他使用深度特征的显着性模型相反，这里我们使用VGG特征进行显着性预测，无需额外的微调（相反，在VGG特征之上训练一些读出层来预测显着性）。因此，该模型是对迁移学习的有力检验。经过保守的交叉验证，DeepGaze II解释了注视模式中约87%的可解释信息增益，并在MIT 300保持基准测试的曲线下面积指标中实现了最佳性能。这些结果证实了DeepGaze I的发现（解释了56%的可解释信息增益），即在对象识别上训练的深度特征为执行相关视觉任务提供了通用的特征空间。我们探讨了促成这一成功的因素，并提出了几个信息丰富的图像例子。可以在http://deepgaze.bethgelab.org上使用Web服务来计算模型预测。
2016-10-05 cs.CV q-bio.NC stat.AP
Deep Neural Networks in Video Human Action Recognition: A Review
IEEE Publication Technology Group（IEEE出版技术组）
本文综述了2020至2022年深度神经网络在视频人体动作识别中的研究进展，比较了不同深度学习框架与数据集的优缺点，并指出深度神经网络在特征学习与提取任务中优于多数传统技术。
2023-05-25 cs.AI cs.CV cs.HC
Inertial Sensor Data To Image Encoding For Human Action Recognition
卷积神经网络（CNN）是计算机视觉领域中成功的深度学习模型。为了最大限度地发挥CNN模型在惯性传感器数据人体动作识别中的优势，本文采用4种空间域方法将惯性传感器数据转换为活动图像，并将其应用于一种新的融合框架中。这四种类型的活动图像是信号图像（SI），Gramian角场（GAF）图像，马尔可夫转移场（MTF）图像和递归图（RP）图像。此外，为了创建一个多模态融合框架，并利用活动图像，我们使每种类型的活动图像的多模态卷积与两个空间域滤波器：Prewitt滤波器和High-boost滤波器。Resnet-18是一种CNN模型，用于从多模态中学习深度特征。从每个ReNet的最后一个池层中提取学习特征，然后通过基于典型相关的融合（CCF）进行融合，以提高人体动作识别的准确性。这些高度信息化的特征被用作多类支持向量机（SVM）的输入。三个公开的惯性数据集上的实验结果表明，所提出的方法优于当前国家的最先进的。
2021-05-28 cs.CV cs.HC cs.LG
Class Feature Pyramids for Video Explanation
Utrecht University（乌得勒支大学）；University of Essex（埃塞克斯大学）；London South Bank University（伦敦南岸大学）
深度卷积网络广泛用于视频动作识别。3D卷积是处理额外时间维度的一种重要方法。虽然3D卷积通常会导致更高的准确性，但训练模型的内部工作更难以解释。我们专注于创建人类可理解的视觉解释，代表时空网络的层次部分。我们引入了类特征金字塔，这是一种遍历整个网络结构并逐步发现不同网络深度的内核的方法，这些内核为特定类提供了信息。我们的方法不依赖于网络的架构或3D卷积的类型，支持分组和深度卷积，纤维卷积和分支卷积。我们在六个最先进的3D卷积神经网络（CNN）上展示了该方法，这些卷积神经网络用于三个动作识别（Kinetics-400，UCF-101和HMDB-51）和两个以自我为中心的动作识别数据集（EPIC-Kitterfly和EGTEA Gaze+）。
2019-09-18 cs.CV cs.LG
Weakly-Supervised Action Localization and Action Recognition using Global-Local Attention of 3D CNN
Brawijaya University（布拉维贾亚大学）；Nagasaki University（长崎大学）；Hiroshima University（广岛大学）
3D卷积神经网络（3D CNN）捕获关于3D数据（诸如视频序列）的空间和时间信息。然而，由于卷积和池化机制，信息丢失似乎不可避免。为了改善3D CNN中的视觉解释和分类，我们提出了两种方法; i）使用训练的3DResNext网络聚合逐层全局到局部（全局-局部）离散梯度，以及ii）实现注意力门控网络以提高动作识别的准确性。所提出的方法旨在通过视觉归因、弱监督动作定位和动作识别来显示3D CNN中称为全局-局部注意力的每一层的有用性。首先，3DResNext被训练并应用于使用关于最大预测类的反向传播的动作分类。然后对每个层的梯度和激活进行上采样。之后，聚合被用来产生更细微的注意力，指出预测类的输入视频中最关键的部分。我们使用轮廓阈值的最终注意力的最终定位。我们通过3DCam使用细粒度的视觉解释来评估修剪视频中的空间和时间动作定位。实验结果表明，该方法产生信息丰富的视觉解释和歧视性的注意。此外，通过在每一层上的注意力门控动作识别产生比基线模型更好的分类结果。
2022-08-16 cs.AI cs.CV cs.NE
LRTD: Long-Range Temporal Dependency based Active Learning for Surgical Workflow Recognition
The Chinese University of Hong Kong（香港中文大学）
视频中的自动手术流程识别是开发计算机辅助和机器人辅助手术的基本但具有挑战性的问题。现有的深度学习方法在分析手术视频方面取得了显着的性能，但是，严重依赖于大规模的标记数据集。不幸的是，注释通常并不丰富，因为它需要外科医生的领域知识。在本文中，我们提出了一种新的主动学习方法，成本效益的手术视频分析。具体来说，我们提出了一种非局部递归卷积网络（NL-RCNet），它引入了非局部块来捕获连续帧之间的长距离时间依赖性（LRTD）。然后，我们制定了一个片段内依赖性分数，以表示该片段内的整体依赖性。通过对未标记数据池中的片段进行评分，我们选择具有弱依赖性的片段进行注释，这表明信息量最大的片段更有利于网络训练。我们通过执行手术工作流程识别任务，在大型手术视频数据集（Cholec 80）上验证了我们的方法。通过使用我们基于LRTD的选择策略，我们可以胜过其他最先进的主动学习方法。仅使用高达50%的样本，我们的方法就可以超过全数据训练的性能。
2020-04-23 cs.CV cs.LG stat.ML
