DeepWriter: A Multi-Stream Deep CNN for Text-independent Writer Identification
Shenzhen Institutes of Advanced Technology, CAS（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；The Chinese University of Hong Kong（香港中文大学）
文本无关的作者识别是具有挑战性的，因为巨大的变化的书面内容和模糊的写作风格的不同作家。本文提出了DeepWriter，这是一种深度多流CNN，可以学习用于识别作者的深度强大表示。DeepWriter将本地手写补丁作为输入，并使用softmax分类损失进行训练。主要贡献如下：1）针对作者识别任务设计并优化了多流结构; 2）引入数据增强学习来提高DeepWriter的性能; 3）引入补丁扫描策略来处理不同长度的文本图像。此外，我们发现，不同的语言，如英语和中文可能有共同的特征，作家识别，和联合训练可以产生更好的性能。在IAM和HWDB数据集上的实验结果表明，该模型具有较高的识别准确率：对301名作者和657名作者输入一句英文的识别准确率分别为99.01%和97.03%;对300名作者输入一个汉字的识别准确率为93.85%，明显优于已有的方法。此外，我们的模型获得了98.01%的准确性，对301名作家，只有4个英文字母作为输入。
2016-08-03 cs.CV
Learning Spatio-Temporal Features with Two-Stream Deep 3D CNNs for Lipreading
Carnegie Mellon University（卡内基梅隆大学）
我们专注于单词级视觉唇读，这需要识别正在说的单词，只给出视频而不是音频。现有技术的方法探索端到端神经网络的使用，包括浅（多达三层）3D卷积神经网络（CNN）+深2D CNN（例如，ResNet）作为提取视觉特征的前端，以及递归神经网络（例如，双向LSTM）作为分类的后端。在这项工作中，我们提出用最近成功的深3D CNN-双流（即，灰度视频和光流流）I3 D。我们评估了前端和后端模块与LRW数据集上的灰度视频和光流输入的不同组合。实验表明，与浅3D CNN+深2D CNN前端相比，在大规模图像和视频数据集上进行预训练的深3D CNN前端（例如，ImageNet和Kinetics）可以提高分类精度。此外，我们证明，单独使用的光流输入可以实现相当的性能，使用灰度视频作为输入。此外，使用灰度视频和光流输入的双流网络可以进一步提高性能。总的来说，我们的双流I3 D前端与Bi-LSTM后端相比，在LRW数据集上的绝对性能提高了5.3%。
2019-07-19 cs.CV cs.MM
Shallow Triple Stream Three-dimensional CNN (STSTNet) for Micro-expression Recognition
Feng Chia University（逢甲大学）；National Taipei University of Nursing and Health Sciences（台北护理健康大学）；Multimedia University（多媒体大学）；Xinyang Normal University（信阳师范大学）
近年来，深度神经网络极大地促进了面部微表情识别的发展。深度学习的鲁棒性已经产生了超越传统手工方法的有前途的性能。文献中的大多数作品强调增加网络的深度，并使用高度复杂的目标函数来学习更多的特征。在本文中，我们设计了一个浅三码流三维CNN（STSTSTNet），计算量小，同时能够提取有区别的高层次特征和微表情的细节。网络从三个光流特征（即，光学应变、水平和垂直光流场）。我们的实验结果表明，建议STSTNet的有效性，它获得了一个未加权的平均召回率为0.7605和未加权的F1得分为0.7353的复合数据库组成的442个样本从SMIC，CASME II和SAMM数据库。
2019-08-21 cs.CV
Two-Stream 3D Convolutional Neural Network for Skeleton-Based Action Recognition
如何有效地从骨架序列中提取时空信息用于三维人体动作识别仍然是一个挑战。虽然大多数最近的动作识别方法是基于递归神经网络表现出出色的性能，这些方法的缺点之一是倾向于过分强调时间信息。由于3D卷积神经网络（3D CNN）是一种通过捕捉三维信号之间的相关性同时从空间和时间维度学习特征的强大工具，本文提出了一种新的基于3D CNN的双流模型。据我们所知，这是3D CNN在基于神经网络的动作识别中的首次应用。我们的方法包括三个阶段。首先，骨骼关节映射到三维坐标空间，然后编码的空间和时间信息，分别。其次，分别采用三维CNN模型从两个流中提取深度特征。第三，为了增强深度特征捕捉全局关系的能力，我们将每个流扩展为多时态版本。在SmartHome数据集和大规模NTU RGB-D数据集上进行的大量实验表明，我们的方法优于大多数基于RNN的方法，这验证了空间和时间信息之间的互补性以及对噪声的鲁棒性。
2017-06-07 cs.CV
Dynamic Spatio-temporal Graph-based CNNs for Traffic Prediction
Alibaba Damo Academy, Alibaba Group（阿里巴巴集团阿里巴巴达摩院）；Alibaba Cloud, Alibaba Group（阿里巴巴集团阿里云）
由于交通流时空结构的复杂性和动态性，预测未来交通流是一个具有挑战性的问题。大多数现有的基于图的CNN试图捕捉静态关系，而在很大程度上忽略了序列数据背后的动态。在本文中，我们提出了动态时空图为基础的CNN（DST-GCNN）通过学习表达功能来表示时空结构和预测未来的交通流量从监控视频数据。特别地，DST-GCNN是双流网络。在流量预测流中，我们提出了一种新的基于图形的时空卷积层，从流量的图形表示中提取特征。然后将几个这样的层堆叠在一起，以预测未来随时间的流量。同时，图中的交通流之间的关系往往是时变的，因为交通状况随时间变化。为了捕获图的动态性，我们使用图预测流来预测动态图结构，并且预测的结构被馈送到流预测流中。在真实数据集上的实验表明，与其他最先进的方法相比，该模型具有竞争力的性能。
2020-03-05 cs.CV
Evaluating Two-Stream CNN for Video Classification
Fudan University（复旦大学）
视频包含非常丰富的语义信息。传统的手工制作的功能是众所周知的，在分析复杂的视频语义是不够的。受深度学习方法在分析图像、音频和文本数据方面取得巨大成功的启发，最近正在致力于设计用于视频分析的深度网络。在许多实际需要中，基于视频（或视频剪辑）的主要语义类别（例如，“滑雪”）在许多应用中都很有用。在本文中，我们进行了深入的研究，以调查可能影响深度网络视频分类性能的重要实现选项。我们的评估是在最近的双流卷积神经网络（CNN）管道上进行的，该管道使用静态帧和运动光流，并且已经证明了与最先进的方法相比具有竞争力的性能。为了获得洞察力并达到实用的指导方针，研究了许多重要的选择，包括网络结构，模型融合，学习参数和最终的预测方法。基于评估，非常有竞争力的结果，达到两个流行的视频分类基准。我们希望本文的讨论和结论能够帮助相关领域的研究人员快速建立一个良好的基础，沿着这个非常有前途的方向进一步研究。
2015-04-08 cs.CV
Two-Stream UNET Networks for Semantic Segmentation in Medical Images
Intel Corp.（英特尔公司）
语义图像分割的最新进展大大受益于更深和更大的卷积神经网络（CNN）模型。与自然界中的图像分割相比，由于过拟合，医学图像本身和现有医学数据集的属性阻碍了训练更深和更大的模型。为此，我们提出了一种新的双流UNET架构的自动端到端的医学图像分割，其中强度值和梯度向量流（GVF）是两个输入，分别为每个流。我们证明了具有更多低级特征的双流CNN极大地有利于不完美医学图像数据集的语义分割。我们提出的双流网络在流行的医学图像分割基准上进行了训练和评估，结果与最先进的技术相比具有竞争力。
2022-07-27 cs.CV
Gated-SCNN: Gated Shape CNNs for Semantic Segmentation
NVIDIA（英伟达）；University of Waterloo（滑铁卢大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
当前用于图像分割的最先进的方法形成密集图像表示，其中颜色、形状和纹理信息都在深度CNN内一起处理。然而，这可能并不理想，因为它们包含与识别相关的非常不同类型的信息。在这里，我们提出了一个新的双流CNN架构的语义分割，明确电线形状信息作为一个单独的处理分支，即形状流，并行处理信息的经典流。这种架构的关键是一种新型的门，它连接两个流的中间层。具体来说，我们使用经典流中的较高级别激活来门控形状流中的较低级别激活，有效地去除噪声并帮助形状流只专注于处理相关的边界相关信息。这使我们能够使用一个非常浅的架构的形状流上的图像级分辨率。我们的实验表明，这导致了一个非常有效的架构，可以在对象边界周围产生更清晰的预测，并显着提高对更薄和更小对象的性能。我们的方法在Cityscapes基准测试中实现了最先进的性能，在掩模（mIoU）和边界（F-score）质量方面，比强基线提高了2%和4%。
2019-07-12 cs.CV cs.LG
Two-stream Fusion Model for Dynamic Hand Gesture Recognition using 3D-CNN and 2D-CNN Optical Flow guided Motion Template
IIT Guwahati（印度理工学院古瓦哈提分校）
手势的使用对于人机交互社区中的许多应用来说可以是有用的工具。在广泛的领域中，手势技术可以具体应用于手语识别、机器人手术等。在手势识别的过程中，由于手的形状和大小不同，正确检测和跟踪移动的手变得具有挑战性。这里的目标是跟踪手的运动，而不管手的形状、大小和颜色。为此，提出了一种光流引导的运动模板（OFMT）。OFMT是编码到单个图像中的姿势的运动信息的紧凑表示。在实验中，使用了不同的数据集，使用裸露的手与打开的手掌，和折叠的手掌戴着绿色手套，在这两种情况下，我们可以生成具有相同精度的OFMT图像。最近，与传统的手工制作的基于特征的技术相比，基于深度网络的技术已经显示出令人印象深刻的改进。此外，在文献中，可以看出，使用具有信息性输入数据的不同流有助于提高识别精度的性能。本文提出了一种基于光流的手势识别双流融合模型和一种简洁高效的运动模板。具体来说，双流网络由两层组成：将手势视频作为输入的3D卷积神经网络（C3 D）和将OFMT图像作为输入的2D-CNN。C3 D已经显示出其在捕获视频的时空信息方面的效率。而OFMT有助于消除不相关的手势，提供额外的运动信息。虽然每个流可以独立工作，但它们与融合方案相结合，以提高识别结果。我们已经在两个数据库上展示了所提出的双流网络的效率。
2020-07-17 cs.CV eess.IV
Two-Stream CNN with Loose Pair Training for Multi-modal AMD Categorization
Renmin University of China（中国人民大学）；Visionary Intelligence Ltd.（远景智能有限公司）；Peking Union Medical College Hospital（北京协和医院）；Chinese Academy of Medical Sciences（中国医学科学院）
本文研究了多模态输入下的年龄相关性黄斑变性（AMD）的自动分类，该输入由来自特定眼睛的彩色眼底图像和光学相干断层扫描（OCT）图像组成。以前的工作使用传统的方法，包括特征提取和分类器训练，不能联合优化。相比之下，我们提出了一个端到端的双流卷积神经网络（CNN）。CNN的融合层根据融合来自眼底和OCT流的信息的需要而定制。为了生成更多的多模态训练实例，我们引入了Loose Pair训练，其中眼底图像和OCT图像基于类别标签而不是眼睛进行配对。此外，为直观的解释如何个别模态作出贡献，我们扩展类激活映射技术的多模态的情况下。对从门诊诊所收集的真实世界数据集的实验证明了我们提出的多模态AMD分类的可行性。
2019-07-28 cs.CV eess.IV
Cloud based Scalable Object Recognition from Video Streams using Orientation Fusion and Convolutional Neural Networks
Comsats University（科姆萨特大学）；University of Leicester（莱斯特大学）；University of Calabria（卡拉布里亚大学）；Free University of Bozen-Bolzano（博岑-博尔扎诺自由大学）；Edinburgh Napier University（爱丁堡龙比亚大学）
从实时视频流中进行对象识别面临着许多挑战，例如照明条件和姿势的变化。卷积神经网络（CNN）已被广泛用于执行智能视觉对象识别。然而，CNN仍然遭受严重的准确性下降，特别是在照明变量数据集上。为了解决这个问题，我们提出了一种新的CNN方法的基础上，方向融合的视觉目标识别。所提出的基于云的视频分析系统开创了使用二维经验模式分解将视频帧分割成固有模式函数（IMF）。我们进一步提出这些IMF来承受Reisz变换以产生单基因对象组件，这些组件反过来用于CNN的训练。过去的工作已经证明了如何对象定向组件可以用来追求高达93%的准确度。在这里，我们展示了如何的方向组件的特征融合策略，导致进一步提高视觉识别精度到97%。我们还评估了我们的方法的可扩展性，同时查看正在审查的视频流的数量和大小。我们在公开的耶鲁数据集上进行了广泛的实验，包括一个自己生成的视频数据集，发现与AlexNet，LeNet和SE-ResNeXt相比，这是三个最常用的深度学习模型，用于视觉对象识别和分类。
2021-06-19 cs.CV
Low-resolution Face Recognition in the Wild via Selective Knowledge Distillation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beihang University（北京航空航天大学）
通常，在野外部署人脸识别模型需要以极低的计算成本识别低分辨率人脸。为了解决这个问题，一个可行的解决方案是压缩一个复杂的人脸模型，以达到更高的速度和更低的内存，以最小的性能下降的代价。受此启发，本文提出了一种基于选择性知识蒸馏的低分辨率人脸识别方法。在该方法中，首先初始化双流卷积神经网络（CNN）以分别利用教师流和学生流来识别高分辨率人脸和分辨率降级人脸。教师流由复杂的CNN表示，用于高精度识别，而学生流由简单得多的CNN表示，用于低复杂度识别。为了避免学生流的显著性能下降，我们然后通过解决稀疏图优化问题来选择性地从教师流中提取信息量最大的面部特征，然后将其用于正则化学生流的微调过程。通过这种方式，学生流实际上是通过同时处理两个具有有限计算资源的任务来训练的：通过特征回归来近似最具信息量的面部线索，以及通过低分辨率面部分类来恢复丢失的面部线索。实验结果表明，学生流在识别低分辨率人脸方面表现出色，仅占用0.15MB内存，在CPU上每秒运行418张人脸，在GPU上每秒运行9，433张人脸。
2019-03-13 cs.CV
A Two-stream Hybrid CNN-Transformer Network for Skeleton-based Human Interaction Recognition
针对单一CNN或Transformer在人体交互识别中的局限性，提出双流混合网络THCT-Net，结合CNN局部特征提取与Transformer全局依赖建模，通过双分支融合骨架坐标与运动特征，在多个数据集上优于现有方法。
2023-12-31 cs.AI cs.CV
Two-stream convolutional neural network for accurate RGB-D fingertip detection using depth and edge information
Tsinghua University（清华大学）
深度图像中指尖的准确检测是人机交互的关键。在本文中，我们提出了一种新的双流卷积神经网络（CNN）的RGB-D指尖检测。首先利用随机森林从原始深度图像中提取边缘图像。然后在我们的CNN结构中将边缘信息与深度信息相结合。我们研究了几种融合方法，并提出了一个缓慢的融合策略，作为一个有前途的方式指尖检测。如我们的实验所示，我们的实时算法在公共数据集HandNet上的性能优于最先进的指尖检测方法，平均3D误差为9.9mm，并且在纽约大学手部数据集上显示出相当的指尖估计精度。
2016-12-23 cs.CV
Multi-scale 3D Convolution Network for Video Based Person Re-Identification
Peking University（北京大学）
本文提出了一种双流卷积网络来提取空间和时间线索，用于基于视频的人重新识别（ReID）。该网络中的时间流是通过将若干多尺度3D（M3 D）卷积层插入到2D CNN网络中来构造的。由此产生的M3 D卷积网络将一小部分参数引入到2D CNN中，但获得了多尺度时间特征学习的能力。通过这种紧凑的架构，M3 D卷积网络也比现有的3D卷积网络更高效，更容易优化。时间流进一步涉及剩余注意力层（RAL）来细化时间特征。通过以残差方式联合学习时空注意掩模，RAL识别有区别的空间区域和时间线索。我们网络中的另一个流是用2D CNN实现的，用于空间特征提取。最后融合两个流的空间和时间特征，得到基于视频的人物ReID。对三个广泛使用的基准数据集进行评价，即，MARS，PRID 2011和iLIDS-VID证明了我们的方法相对于现有的3D卷积网络和最先进的方法的实质性优势。
2018-11-19 cs.CV
Multi-Stream Single Shot Spatial-Temporal Action Detection
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
我们提出了一种基于3D卷积神经网络（CNN）的Single Shot检测器，用于时空动作检测任务。我们的模型包括：（1）两个短期外观和运动流，分别输入单个RGB和光流图像，以便捕获当前帧的空间和时间信息;（2）两个基于3D ConvNet的长期流，处理连续RGB和光流图像序列，以捕获来自过去帧的上下文。我们的模型在视频中的动作检测方面具有很强的性能，并且可以很容易地集成到任何当前的双流动作检测方法中。我们在具有挑战性的UCF 101 -24动作数据集上报告了71.30%的帧mAP，实现了一阶段方法的最新结果。据我们所知，我们的工作是第一个在动作检测任务中结合3D CNN和SSD的系统。
2019-08-22 cs.CV
Shallow Optical Flow Three-Stream CNN for Macro- and Micro-Expression Spotting from Long Videos
Multimedia University（多媒体大学）；Heriot-Watt University Malaysia（赫瑞-瓦特大学马来西亚校区）
面部表情从可见到细微都有变化。近年来，微表情分析$-$一种自然发生的抑制一个人的真实情绪，引起了研究人员的注意，具有广泛的潜在应用。然而，在长视频中发现微表情与正常或宏观表情交织在一起时变得越来越具有挑战性。在本文中，我们提出了一个浅光流三流CNN（CNN Net）模型来预测一个分数，该分数捕获了一个帧在一个表达区间中的可能性。通过将定位任务作为回归问题，我们引入伪标签来促进学习过程。我们在最近的MEGC 2020基准测试中证明了所提出的方法的有效性和效率，其中CAS（ME）$^{2}$实现了最先进的性能，SAMM长视频也取得了同样有希望的结果。
2021-06-11 cs.CV cs.MM
Breaking of brightness consistency in optical flow with a lightweight CNN network
State Key Laboratory of Intelligent Manufacturing Equipment and Technology（智能制造装备与技术国家重点实验室）；School of Mechanical Science and Engineering, Huazhong University of Science and Technology（华中科技大学机械科学与工程学院）
针对HDR环境下光流亮度一致性失效问题，提出轻量级CNN提取光照鲁棒特征，以特征一致性替代亮度一致性，实现鲁棒光流，在HDR数据集上平移误差降低93%。
2024-05-27 cs.CV
Analysis of Video Feature Learning in Two-Stream CNNs on the Example of Zebrafish Swim Bout Classification
Semmelhack等人（2014年）使用支持向量机（SVM）在区分斑马鱼的游泳回合中实现了高分类精度。卷积神经网络（CNN）在各种图像识别任务中已经达到了优于SVM的性能，但这些强大的网络仍然是一个黑匣子。实现更高的透明度有助于建立对其分类的信任，并使专家能够解释学到的特征。使用最近开发的称为深度泰勒分解的技术，我们生成了热图，以突出与预测高度相关的输入区域。我们发现，我们的CNN通过分析尾部躯干的稳定性来进行预测，这与Semmelhack等人（2014）使用的手动提取特征明显不同。我们进一步发现，该网络关注实验性人工制品。去除这些伪影确保了预测的有效性。校正后，我们最好的CNN比SVM高出6.12%，分类准确率达到96.32%。因此，我们的工作证明了人工智能可解释性对于CNN的实用性。
2019-12-20 cs.CV cs.LG eess.IV
Correlation Net: Spatiotemporal multimodal deep learning for action recognition
Hiroshima University（广岛大学）；Universitas Brawijaya（布劳爪哇大学）
本文描述了一个网络，捕捉多模态相关性在任意时间戳。所提出的方案作为一个互补的，扩展的多模态卷积神经网络（CNN）的网络。深度CNN的动作识别需要空间流和时间流，但是过拟合减少和融合这两个流仍然是开放的问题。现有的融合方法对两个流进行平均。在这里，我们提出了一个具有香农融合的相关网络，用于学习预训练的CNN。远程视频可以由任意时间上的时空相关性组成，其可以通过从简单的全连接层形成相关性网络来捕获。这种方法被认为是对现有网络融合方法的补充。在UCF-101和HMDB-51数据集上的对比实验验证了多模态相关的重要性。多模态相关提高了视频识别结果的准确性。
2019-12-16 cs.CV
Single-stream CNN with Learnable Architecture for Multi-source Remote Sensing Data
Peking University（北京大学）；University of Cambridge（剑桥大学）
提出了一种基于深度卷积神经网络（CNN）的多源遥感数据联合分类方法。虽然最近的方法大多基于多流架构，但我们使用组卷积在单流网络中有效地构建等效网络架构。我们进一步采用并改进了动态分组卷积（DGConv），使组卷积超参数，从而使整个网络架构在网络训练过程中可学习。因此，所提出的方法理论上可以调整任何现代CNN模型到任何多源遥感数据集，并且可以潜在地避免由手动决定的架构超参数引起的次优解。在实验中，将所提出的方法应用于ResNet和UNet，并在三个非常不同的基准数据集（即，Houston 2018数据、Berlin数据和MUUFL数据）。实验结果证明了所提出的单流CNN的有效性，特别是ResNet 18-DGConv提高了HS-SAR柏林数据集的最先进的分类整体精度（OA）从$62.23\%$到$68.21\%$。在实验中，我们有两个有趣的发现。首先，使用DGConv通常会降低测试OA方差。第二，如果将多流应用于前几层，则对模型性能有害，但如果应用于更深层，则变得有益。总之，研究结果表明，多流架构，而不是一个严格必要的组成部分，在深度学习模型的多源遥感数据，本质上扮演的角色模型正则化。我们的代码可在https://github.com/yyyyangyi/Multi-source-RS-DGConv上公开获取。我们希望我们的工作能在未来激发新的研究。
2022-02-07 cs.CV cs.LG eess.IV
ACTNET: end-to-end learning of feature activations and multi-stream aggregation for effective instance image retrieval
University of Surrey（萨里大学）
我们提出了一种新的CNN架构称为ACTNET强大的实例图像检索从大规模数据集。我们的关键创新是一个可学习的激活层，旨在提高深度卷积特征映射的信噪比（SNR）。此外，我们还引入了一种受控的多流聚合，其中来自不同卷积层的互补深度特征在聚合成全局描述符之前，使用我们的新型激活层进行最佳转换和平衡。重要的是，我们的激活块的可学习参数与CNN参数一起以端到端的方式显式训练，最大限度地减少了三重损失。这意味着我们的网络联合学习CNN过滤器及其最佳激活和聚合以执行检索任务。据我们所知，这是第一次使用参数函数来控制和学习最佳聚合。我们进行了深入的实验研究三个非线性激活函数：正弦双曲线，指数和修改的威布尔，表明，虽然所有带来显着的收益威布尔函数表现最好，由于其能力，以均衡强激活。结果清楚地表明，我们的ACTNET架构显着增强了深层特征的区分能力，在所有数据集上的最新检索结果上都有显着改善。
2020-10-23 cs.CV
Attention Filtering for Multi-person Spatiotemporal Action Detection on Deep Two-Stream CNN Architectures
Carnegie Mellon University（卡内基梅隆大学）；Instituto Superior Técnico（高等技术学院）
动作检测和识别任务由于其在安全、机器人和推荐系统等领域的广泛应用而成为计算机视觉界的研究热点。最近，像AVA这样的数据集提供了多人，多标签，时空动作检测和识别的挑战。一旦视觉任务涉及具有多个标签的多个人，则无法辨别输入的哪些部分用于分类是双流CNN方法的限制。我们解决了这一限制，并提高了双流CNN的最新性能。在本文中，我们提出了四个贡献：我们的中央凹的注意力过滤，突出目标的分类，而不丢弃背景;一个广义的二进制损失函数设计的AVA数据集; miniAVA，分区的AVA，保持时间连续性和类分布只有十分之一的数据集大小;和消融研究替代注意力过滤器。我们的方法，使用中央凹注意力过滤和我们的广义二进制损失，实现了相对视频mAP改善20%以上的两个流基线在AVA，是有竞争力的国家的最先进的UCF 101 -24。我们还显示了12.6%的相对视频mAP改善时，使用我们的广义二进制损失超过标准的总和S形。
2019-07-21 cs.CV cs.LG stat.ML
Two-Stream RNN/CNN for Action Recognition in 3D Videos
Siemens AG（西门子股份公司）；Ludwig Maximilian University of Munich（慕尼黑大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Volkswagen Group（大众汽车集团）；German Aerospace Center (DLR)（德国航空航天中心）
从视频序列中识别动作在健康监测、辅助生活、监控和灵巧家庭中有许多应用。尽管在传感方面取得了进展，特别是与3D视频相关的进展，但处理数据的方法仍有待研究。我们展示了优越的结果，结合了循环神经网络与卷积神经网络的投票方法的系统。基于门控递归单元的神经网络特别适合区分基于长期信息的动作和光学跟踪数据; 3D-CNN更关注视频数据中的详细、最新信息。所得到的特征被合并到SVM中，然后SVM对运动进行分类。在这种架构中，我们的方法在标准数据集上将最先进方法的识别率提高了14%。
2018-10-02 cs.CV cs.LG
Real-time Action Recognition with Enhanced Motion Vector CNNs
Shenzhen Institutes of Advanced Technology, CAS（中国科学院深圳先进技术研究院）；Tongji University（同济大学）；ETH Zurich（苏黎世联邦理工学院）
深度两流架构在基于视频的动作识别上表现出优异的性能。在这种方法中，计算成本最高的步骤来自光流的计算，这妨碍了它的实时的【形】。本文通过用运动矢量代替光流来加速这种结构，运动矢量可以直接从压缩视频中获得，而无需额外的计算。然而，运动矢量缺乏精细结构，包含噪声和不准确的运动模式，导致识别性能明显下降。我们解决这个问题的关键是光流和运动矢量是内在相关的。将光流CNN学习到的知识转移到运动向量CNN可以显著提高后者的性能。具体来说，我们介绍了三种策略，初始化转移，监督转移和他们的组合。实验结果表明，我们的方法达到了与最先进的识别性能相当，而我们的方法可以处理每秒390.7帧，这是27倍的速度比原来的双流方法。
2016-04-26 cs.CV
Learning Two-Stream CNN for Multi-Modal Age-related Macular Degeneration Categorization
Renmin University of China（中国人民大学）；Visionary Intelligence Ltd.（远见智能有限公司）；Chinese Academy of Medical Sciences（中国医学科学院）；Peking Union Medical College Hospital（北京协和医院）
这篇论文解决了视网膜相关黄斑变性（AMD）的自动分类，AMD是50岁以上人群中常见的黄斑疾病。以前的研究工作主要集中在AMD分类与单模态输入，让它是一个彩色眼底照片（CFP）或OCT B扫描图像。相比之下，我们认为AMD分类给出了多模态输入，这是一个临床上有意义但大多未探索的方向。与采用不能联合优化的特征提取加分类器训练的传统方法的现有技术相反，我们选择端到端多模态卷积神经网络（MM-CNN）。我们的MM-CNN由双流CNN实例化，具有空间不变融合以组合来自CFP和OCT流的信息。为了直观地解释各个模态对最终预测的贡献，我们将类激活映射（CAM）技术扩展到多模态场景。为了有效训练MM-CNN，我们开发了两种数据增强方法。一个是基于GAN的CFP/OCT图像合成，我们新颖地使用CAM作为高分辨率图像到图像转换GAN的条件输入。另一种方法是松散配对，其基于CFP图像和OCT图像的类别而不是眼睛身份来配对CFP图像和OCT图像。在由1，093只不同眼睛采集的1，094张CFP图像和1，289张OCT图像组成的临床数据集上进行的实验表明，所提出的解决方案获得了比多基线更好的F1和准确性，用于多模态AMD分类。代码和数据可在https://github.com/li-xirong/mmc-amd上获得。
2022-05-04 cs.AI cs.CV
Three-stream network for enriched Action Recognition
Imagination Technologies（想象力科技）
了解人类行为的准确信息是机器智能中最重要的任务之一。由于存在背景、摄像机运动和数据集变化等各种问题，旨在从视频中理解人类活动的人类活动识别是一项具有挑战性的任务。本文提出了两种基于CNN的架构，具有三个流，允许模型在不同的设置下利用数据集。这三种路径在帧速率方面不同。单路径以单帧速率操作以捕获空间信息，慢路径以低帧速率操作以捕获空间信息，且快路径以高帧速率操作以捕获精细时间信息。在CNN编码器之后，我们分别添加双向LSTM和注意力头来捕获上下文和时间特征。通过在UCF-101、Kinetics-600和AVA数据集上进行各种算法的实验，我们观察到所提出的模型在人类动作识别任务中达到了最先进的性能。
2021-06-23 cs.CV
Motion Representation with Acceleration Images
National Institute of Advanced Industrial Science and Technology (AIST)（国立产业技术综合研究所（AIST））
时间微分的信息对于运动表示是极其重要的线索。我们已经从位置信息应用了一阶微分速度，此外，我们相信二阶微分加速度也是运动表示中的一个重要特征。然而，基于典型光流的加速度图像包括运动噪声。我们没有使用加速度图像，因为噪声太强，无法捕捉图像序列中的有效运动特征。一方面，最近的卷积神经网络（CNN）对输入噪声具有鲁棒性。在本文中，我们采用加速度流除了空间和时间流的基础上双流CNN。我们清楚地表明了将加速流添加到双流CNN的有效性。
2016-08-30 cs.CV cs.RO
Scene Separation & Data Selection: Temporal Segmentation Algorithm for Real-Time Video Stream Analysis
Southwest Jiaotong University（西南交通大学）；University of Leeds（利兹大学）
本文提出用于实时视频流分析的时间分割算法2SDS，通过比较帧间图像差异检测场景变化并结合CNN模型为各场景选择最优结果，总体准确率超90%。
2023-08-01 cs.CV
Text-promptable Object Counting via Quantity Awareness Enhancement
College of Electronic and Information Engineering, Tongji University（同济大学电子与信息学院）；College of Computer Science, Wuhan University（武汉大学计算机学院）；College of Computer Science, Tongji University（同济大学计算机学院）；State Key Laboratory of Autonomous Intelligent Unmanned Systems（自主智能无人系统国家重点实验室）
提出QUANet，通过数量导向文本提示和双流解码器增强数量感知，实现零样本类别无关物体计数，在多个基准上表现优异。
2025-07-09 cs.CV
Motion Representation Using Residual Frames with 3D CNN
The University of Tokyo（东京大学）
最近，3D卷积网络（3D ConvNets）在动作识别方面表现良好。但仍需要光流流来保证较好的性能，其成本非常高。在本文中，我们提出了一种快速，但有效的方法来提取运动特征，从视频利用残留帧作为输入数据在三维ConvNets。通过用残差帧替换传统的堆叠RGB帧，当ResNet-18模型从头开始训练时，UCF 101和HMDB 51数据集上的top-1准确度分别提高了35.6%和26.6%。并在此模式下取得了较好的效果。分析表明，与RGB相比，使用残差帧可以提取更好的运动特征。通过与一个简单的外观路径相结合，我们的建议甚至可以比一些方法使用光流流。
2020-06-21 cs.CV
Transformer-CNN Cohort: Semi-supervised Semantic Segmentation by the Best of Both Students
HKUST(GZ)（香港科技大学（广州））；HKUST（香港科技大学）；Brown University（布朗大学）；Northeastern University（东北大学）
提出融合 ViT 与 CNN 双学生的 TCC 半监督语义分割框架，通过 CFCD 和 CCD 实现伪标签、特征与预测一致性蒸馏，并在 Cityscapes、Pascal VOC 2012 上显著优于现有方法。
2023-12-17 cs.CV
Beyond accuracy: quantifying trial-by-trial behaviour of CNNs and humans by measuring error consistency
University of Tübingen（图宾根大学）；IMPRS-IS（智能系统国际马克斯·普朗克研究学院）
认知科学和行为神经科学以及机器学习和人工智能研究的一个核心问题是确定两个或多个决策者（无论是大脑还是算法）是否使用相同的策略。准确性本身并不能区分不同的策略：两个系统可以用非常不同的策略达到相似的准确性。如果两个系统的性能接近天花板，就像卷积神经网络（CNN）和人类在视觉物体识别上的表现一样，那么区分准确性之外的差异就显得尤为迫切。在这里，我们介绍了一次又一次的试错一致性，这是一种定量分析，用于衡量两个决策系统是否在相同的输入上系统地犯错误。在一次又一次尝试的基础上犯下一致的错误是决策者之间相似处理策略的必要条件。我们的分析适用于比较算法与算法，人类与人类，以及算法与人类。当错误一致性应用于物体识别时，我们得到了三个主要发现：（1）。无论架构如何，CNN彼此之间都非常一致。（2.）然而，CNN和人类观察者之间的一致性仅略高于偶然的预期-这表明人类和CNN可能实施非常不同的策略。（3.）CORnet-S是一种被称为“灵长类动物腹侧视觉流的当前最佳模型”的递归模型，它未能捕获人类行为数据的基本特征，并且在我们的分析中表现得基本上像一个标准的纯前馈ResNet-50。总的来说，错误一致性分析表明人类和机器视觉使用的策略仍然非常不同-但我们设想我们的通用错误一致性分析作为量化未来进展的有效工具。
2020-12-18 cs.CV cs.LG q-bio.NC
Two Stream LSTM: A Deep Fusion Framework for Human Action Recognition
Queensland University of Technology（昆士兰科技大学）
在本文中，我们解决的问题，从视频序列的人体动作识别。受计算机视觉中通过自动特征学习和深度学习方法获得的示例性结果的启发，我们将注意力集中在通过卷积神经网络（CNN）学习显着的空间特征上，然后借助长短期记忆（LSTM）网络映射它们的时间关系。我们在本文中的贡献是一个深度融合框架，它更有效地利用了CNN的空间特征和LSTM模型的时间特征。我们还广泛评估了它们的优点和缺点。我们发现，通过组合这两组特征，全连接特征有效地充当了一种注意力机制，将LSTM引导到卷积特征序列的有趣部分。我们的融合方法的意义是它的简单性和有效性相比，其他国家的最先进的方法。评估结果表明，这种分层多流融合方法具有更高的性能相比，单流映射方法，使其能够实现高精度优于目前最先进的方法在三个广泛使用的数据库：UCF11，UCFSports，jHMDB。
2017-04-04 cs.CV
WaterWave: Bridging Underwater Image Enhancement into Video Streams via Wavelet-based Temporal Consistency Field
University of Science and Technology of China（中国科学技术大学）；Hefei University of Technology（合肥工业大学）
WaterWave通过小波基于的时间一致性场，解决水下视频增强中缺乏时间一致性的问题，提升视频质量和下游跟踪任务性能。
2025-12-05 cs.CV
Video Classification With CNNs: Using The Codec As A Spatio-Temporal Activity Sensor
University College London（伦敦大学学院）；Dithen（Dithen公司）
我们通过双流卷积神经网络（CNN）设计，直接摄取从压缩视频比特流中提取的信息，研究视频分类。我们的方法开始于所有现代视频编解码器将输入帧划分为宏块（MB）的观察。我们证明了对压缩视频比特流内的MB运动矢量（MV）信息的选择性访问也可以提供选择性的、运动自适应的MB像素解码（也称为，MB纹理解码）。这又允许与常规的全帧解码之后进行光流估计相比以极高的速度导出时空视频活动区域。为了评估基于此类活动数据的视频分类框架的准确性，我们独立地对MB纹理和MV对应关系进行训练两个CNN架构，然后融合它们的分数以得出每个测试视频的最终分类。两个标准数据集上的评估表明，该方法是最好的双流视频分类方法在文献中找到的竞争力。与此同时：（i）基于CPU的MV提取实现比基于GPU的光流方法快977倍以上;（ii）选择性解码比全帧解码快12倍;（iii）我们提出的空间和时间CNN以比文献中最快的方法低5到49倍的云计算成本进行推理。
2017-12-19 cs.CV
Stream4D: 4D-Consistency for Streaming Autoregressive Diffusion Video Models
UCLA（加州大学洛杉矶分校）；Tsinghua University（清华大学）
Stream4D用显式建模场景动力学的前馈4D重建奖励替代静态评判器，结合运动先验与感知锚，提升流式自回归扩散视频模型的4D重建质量、运动保留效果及人类对齐偏好。
2026-08-21 cs.AI cs.CV
Multi-View Region Adaptive Multi-temporal DMM and RGB Action Recognition
人类行为识别仍然是一个重要而具有挑战性的任务。本文提出了一种新的动作识别系统。它使用了一种新的多视角区域自适应多分辨率的时间深度运动映射（MV-RAMDMM）公式结合外观信息。多流3D卷积神经网络（CNN）在区域自适应深度运动图的不同视图和时间分辨率上进行训练。多个视图被合成以增强视图不变性。基于局部运动的区域自适应权重强调和区分具有更快运动的动作的部分。还包括用于多时间分辨率外观信息（RGB）的专用3D CNN流。这些有助于识别和区分小对象之间的相互作用。这里使用预训练的3D-CNN，对每个流进行微调，以及多个类支持向量机（SVM）。在输出上使用平均分数融合。所开发的方法是能够识别人类的行动和人与物体的互动。三个公共领域的数据集，包括：MSR 3D行动，西北加州大学洛杉矶分校的多视图行动和MSR 3D日常活动被用来评估所提出的解决方案。实验结果表明，这种方法的鲁棒性相比，国家的最先进的算法。
2019-04-12 cs.CV
Attention-based Temporal Weighted Convolutional Neural Network for Action Recognition
Xi’an Jiaotong University（西安交通大学）；HERE Technologies（HERE科技）；Alibaba Group（阿里巴巴集团）；Microsoft Research（微软研究院）
自从卷积神经网络（CNN）等强大的机器学习工具问世以来，人类动作识别的研究速度显著加快。然而，在最近的文献中，将时间信息并入CNN的有效和高效的方法仍在积极探索中。受自然语言处理研究领域中流行的递归注意模型的启发，本文提出了基于注意的时间加权CNN（ATW），它将视觉注意模型嵌入到时间加权的多流CNN中。这种注意力模型简单地实现为时间加权，但它有效地提高了视频表示的识别性能。此外，建议的ATW框架中的每个流都能够进行端到端的训练，网络参数和时间权重都通过具有反向传播的随机梯度下降（SGD）进行优化。我们的实验表明，所提出的注意力机制的性能增益与更多的歧视性片段，专注于更相关的视频片段。
2018-03-19 cs.CV
Hidden Two-Stream Convolutional Networks for Action Recognition
University of California at Merced（加州大学默塞德分校）；Carnegie Mellon University（卡内基梅隆大学）
分析人类动作的视频涉及理解视频帧之间的时间关系。最先进的动作识别方法依赖于传统的光流估计方法来预先计算CNN的运动信息。这种两阶段的方法在计算上是昂贵的，存储要求高，并且不是端到端可训练的。在本文中，我们提出了一种新的CNN架构，隐式捕获相邻帧之间的运动信息。我们将我们的方法命名为隐藏双流CNN，因为它只将原始视频帧作为输入，并直接预测动作类，而无需显式计算光流。我们的端到端方法比其两阶段基线快10倍。在UCF 101、HMDB 51、THUMOS 14和ActivityNet v1.2四个具有挑战性的动作识别数据集上的实验结果表明，我们的方法明显优于以前的最佳实时方法。
2018-10-30 cs.CV cs.LG cs.MM
Real-Time Hand Gesture Recognition: Integrating Skeleton-Based Data Fusion and Multi-Stream CNN
The American University in Cairo (AUC)（美国亚历山大大学）；The Norwegian University of Science and Technology (NTNU)（挪威科学技术大学）；Amazon（亚马逊）
本文提出一种基于骨架的实时手部姿态识别框架，通过将动态手部姿态识别转化为静态图像分类任务，降低硬件和计算需求，采用多流CNN架构优化数据表示的语义连接，实现在消费级PC上高效运行。
2024-10-06 cs.CV cs.HC
Style-Aware Blending and Prototype-Based Cross-Contrast Consistency for Semi-Supervised Medical Image Segmentation
School of Information Science and Engineering（信息科学与工程学院）；Yunnan University（云南大学）；Yunnan Key Laboratory of Intelligent Systems and Computing（智能系统与计算云南省重点实验室）
本文提出了一种风格感知混合与基于原型的交叉对比一致性学习框架，通过风格引导的分布混合模块打破独立训练数据流，并利用基于原型的交叉对比策略从双向预测中学习监督信号以减轻噪声，有效解决了半监督医学图像分割中数据流分离和监督信息利用不完整的问题。
2025-11-01 cs.CV
Decoupled Sensitivity-Consistency Learning for Weakly Supervised Video Anomaly Detection
School of Computer Science, Hunan University, China（湖南大学计算机科学学院）；School of Computer Science, Xiangtan University, China（湘潭大学计算机科学学院）
本文提出解耦敏感性-一致性框架DeSC，通过两种专用流分别优化，提升视频异常检测的敏感性和一致性，实验显示在UCF-Crime和XD-Violence数据集上取得新高性能。
2026-03-20 cs.CV
A Global Appearance and Local Coding Distortion based Fusion Framework for CNN based Filtering in Video Coding
Shandong University（山东大学）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央理工-高等电力学院）
环路内滤波用于视频编码中以处理重构帧以便去除块效应。随着卷积神经网络（CNN）的发展，CNN已经被探索用于环路滤波，认为它可以被视为图像去噪任务。然而，除了是失真图像之外，重构帧还通过视频编码中的基于块的编码操作的固定行来获得。它携带一些类似特性的基于编码单元的编码失真。因此，在本文中，我们从两个方面来解决过滤问题，全局外观恢复中断纹理和局部编码失真恢复所造成的固定管道的编码。在此基础上，提出了一种基于全局外观和局部编码失真的三流融合网络，该融合网络由高层全局特征流、高层局部特征流和低层局部特征流组成。通过消融研究验证了不同特征的必要性，证明了全局特征和局部特征在滤波中可以相互补充，结合起来可以获得更好的滤波效果。据我们所知，我们是第一个通过实验验证从上述全局外观和局部编码失真恢复方面清楚地描述视频滤波过程的人，为开发滤波器技术提供了明确的途径。实验结果表明，该方法显着优于现有的单帧为基础的方法，并实现了13.5%，11.3%，11.7%的平均BD率节省分别为AI，LDP和RA配置，与HEVC参考软件。
2021-06-24 cs.CV eess.IV
Remote Sensing Image Fusion Based on Two-stream Fusion Network
Beihang University（北京航空航天大学）
遥感图像融合（也称为全色锐化）的目的是从高空间分辨率的单波段全色（PAN）图像和低空间分辨率的多光谱图像的输入生成高分辨率的多光谱（MS）图像。受卷积神经网络（CNN）在各种计算机视觉任务中取得的惊人成就的启发，本文提出了一种双流融合网络（TFNet）来解决全色锐化问题。与以前的基于CNN的方法，认为泛锐化作为一个超分辨率的问题，并在像素级执行泛锐化，建议TFNet的目的是融合PAN和MS图像的特征级和重建泛锐化图像从融合的功能。TFNet主要由三部分组成。第一部分由两个网络组成，分别从PAN和MS图像中提取特征。随后的网络将它们融合在一起，形成紧凑的功能，同时代表PAN和MS图像的空间和光谱信息。最后，通过图像重建网络从融合特征恢复期望的高空间分辨率MS图像。在Quickbird和\mbox{GaoFen-1}卫星图像上的实验表明，该算法能够有效地融合PAN和MS图像，并产生具有竞争力的泛锐化图像，甚至优于现有技术。
2018-01-26 cs.CV
Rethinking the Faster R-CNN Architecture for Temporal Action Localization
University of Michigan（密歇根大学）；Google Research（谷歌研究院）
我们提出了TAL-Net，这是一种改进的视频中时间动作定位方法，其灵感来自Faster R-CNN目标检测框架。TAL-Net解决了现有方法的三个关键缺点：（1）我们使用多尺度架构来改进感受野对齐，该架构可以适应动作持续时间的极端变化;（2）我们通过适当扩展感受野来更好地利用动作的时间上下文来进行建议生成和动作分类;以及（3）我们明确地考虑了多流特征融合，并证明了融合运动延迟是重要的。我们在THUMOS的14个检测基准上的行动建议和本地化方面都取得了最先进的性能，在ActivityNet挑战赛上也取得了有竞争力的性能。
2018-04-20 cs.CV
Depth-Adapted CNNs for RGB-D Semantic Segmentation
Université Bourgogne Franche-Comté（勃艮第-弗朗什孔泰大学）；CNRS（法国国家科学研究中心）；Shanghai Jiao Tong University（上海交通大学）
最近的RGB-D语义分割已经激发了研究兴趣，这要归功于从输入侧补充模态的可访问性。现有的作品通常采用双流架构，并行处理光度和几何信息，很少有方法明确利用深度线索的贡献来调整RGB图像上的采样位置。在本文中，我们提出了一种新的框架，将深度信息纳入RGB卷积神经网络（CNN），称为Z-ACN（深度自适应CNN）。具体来说，我们的Z-ACN生成一个2D深度自适应偏移量，它完全受到低级别特征的约束，以指导RGB图像上的特征提取。通过生成的偏移量，我们引入了两个直观有效的操作来取代基本的CNN运算符：深度自适应卷积和深度自适应平均池化。室内和室外语义分割任务上的大量实验证明了我们的方法的有效性。
2022-06-08 cs.CV
Revisiting Weak-to-Strong Consistency in Semi-Supervised Semantic Segmentation
Nanjing University（南京大学）；Southeast University（东南大学）；SenseTime Research（商汤科技研究院）
在这项工作中，我们重新审视了由半监督分类的FixMatch推广的弱到强一致性框架，其中弱扰动图像的预测作为其强扰动版本的监督。有趣的是，我们观察到，这样一个简单的管道已经取得了竞争力的结果，对最近的先进作品，当转移到我们的细分方案。它的成功在很大程度上依赖于强数据增强的手动设计，然而，这可能是有限的，不足以探索更广泛的扰动空间。出于这一动机，我们提出了一个辅助特征扰动流作为补充，导致扩展的扰动空间。另一方面，为了充分探测原始图像级增强，我们提出了一种双流扰动技术，使两个强视图同时引导一个共同的弱视图。因此，我们的整体统一双流扰动方法（UniMatch）在Pascal，Cityscapes和COCO基准的所有评估协议中显著优于所有现有方法。在遥感解译和医学图像分析中也显示了其优越性。我们希望我们复制的FixMatch和我们的结果可以启发更多的未来作品。代码和日志可在https://github.com/LiheYoung/UniMatch上获得。
2023-03-26 cs.CV
Saliency-guided video classification via adaptively weighted learning
Peking University（北京大学）
视频分类在许多实际应用中是富有成效的，最近的深度学习大大提高了其准确性。然而，现有的工作往往模型的视频帧不加区别，但从运动的角度来看，视频帧可以分解成显着和非显着的地区自然。显著区域和非显著区域应该用不同的网络来建模，因为前者提供外观和运动信息，而后者提供静态背景信息。针对这一问题，本文首先采用无监督的光流预测视频显著性。然后，针对显著区域上的原始帧和光流分别训练3D CNN的两个流，并且针对非显著区域上的原始帧训练另一个2D CNN。由于这三个流对每个类起不同的作用，因此每个流的权重对于每个类是自适应学习的。实验结果表明，显著性引导的建模和自适应加权学习可以相互加强，我们达到了最先进的结果。
2017-03-26 cs.CV
Multi-stream CNN based Video Semantic Segmentation for Automated Driving
Valeo Vision Systems, Ireland（法雷奥视觉系统公司（爱尔兰））；Valeo Troy, United States（法雷奥特洛伊公司（美国））
即使在视频的情况下，大多数语义分割算法也对单个帧进行操作。在这项工作中，我们的目标是利用算法模型内的时间信息，利用运动线索和时间的一致性。我们提出了两个简单的高层次架构的基础上循环FCN（RFCN）和多流FCN（MSFCN）网络。在RFCN的情况下，在编码器和解码器之间插入一个递归网络，即LSTM。MSFCN通过1x 1通道卷积将不同帧的编码器组合成融合编码器。我们使用ResNet 50网络作为基线编码器，并构建了三个网络，即2阶和3阶的MSFCN和2阶的RFCN。MSFCN-3使用平均IoU度量在SYNTHIA-CVPR'16数据集中产生了最佳结果，对于高速公路和类似纽约的城市场景，准确性提高了9%和15%。MSFCN-3还为SegTrack V2和DAVIS数据集产生了11%和6%的基线FCN网络。我们还设计了一个有效的版本的MSFCN-2和RFCN-2使用两个编码器之间的权重共享。高效的MSFCN-2为KITTI和SYNTHIA提供了11%和5%的改进，与基线版本相比，计算复杂性的增加可以忽略不计。
2019-01-08 cs.CV cs.LG stat.ML
Leveraging Tacit Information Embedded in CNN Layers for Visual Tracking
RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心）；Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
CNN中的不同层不仅提供了用于描述输入中的对象的不同抽象级别，而且还编码了关于它们的各种隐式信息。不同功能的激活模式包含有关传入图像流的有价值的信息：空间关系、时间模式以及空间和时空（ST）功能的共现。到目前为止，视觉跟踪文献中的研究仅使用了CNN层中的一个，它们的预先固定组合，或建立在各个层上的跟踪器的集合。在这项研究中，我们采用了一个自适应组合的几个CNN层在一个单一的DCF跟踪器，以解决目标外观的变化，并提出使用风格统计的空间和时间属性的目标，直接从CNN层提取的视觉跟踪。实验表明，使用额外的CNN隐式数据显着提高了跟踪器的性能。实验结果表明，使用风格相似性和激活一致性正则化在提高其定位和缩放精度的有效性。
2020-10-02 cs.CV
Interactive Control over Temporal Consistency while Stylizing Video Streams
Hasso Plattner Institute for Digital Engineering, University of Potsdam（波茨坦大学哈索·普拉特纳数字工程研究院）；Digital Masterpieces GmbH（Digital Masterpieces有限公司）
提出一种实时视频流风格化方法，在全高清分辨率下通过轻量级光流网络和局部全局一致性特征的自适应组合，实现交互式时间一致性控制，优于现有方法。
2023-06-29 cs.CV cs.GR
Vehicle-Rear: A New Dataset to Explore Feature Fusion for Vehicle Identification Using Convolutional Neural Networks
[-15pt]1 Federal University of Technology - Paran\' a , Curitiba, Brazil 2 Federal University of Paran\'a, Curitiba, Brazil [0.5ex]
这项工作解决了通过非重叠摄像机识别车辆的问题。作为我们的主要贡献，我们引入了一个用于车辆识别的新型数据集，称为Vehicle-Rear，其中包含超过三个小时的高分辨率视频，以及近3，000辆汽车的制造，型号，颜色和年份的准确信息，以及车牌的位置和识别。为了探索我们的数据集，我们设计了一个双流CNN，它同时使用两个最独特和持久的特征：车辆的外观和车牌。这是为了解决一个主要问题：由设计相似的车辆或非常接近的车牌识别器引起的误报。在第一个网络流中，形状相似性由连体CNN识别，该连体CNN使用由两个不同摄像机记录的一对低分辨率车辆补丁。在第二个流中，我们使用CNN进行OCR，以从一对高分辨率车牌补丁中提取文本信息、置信度得分和字符串相似性。然后，来自两个流的特征通过一系列完全连接的层进行合并以进行决策。在我们的实验中，我们使用单个或多个车辆特征将双流网络与几种知名的CNN架构进行了比较。架构，训练模型和数据集可在https://github.com/icarofua/vehicle-rear上公开获得。
2021-07-25 cs.CV cs.LG
Live Stream Temporally Embedded 3D Human Body Pose and Shape Estimation
Northeastern University（东北大学）
时间序列内的3D人体姿态和形状估计对于理解人类行为非常关键。尽管近年来在基于单幅图像或视频的人体姿态估计方面取得了很大的进展，但考虑到其对实时输出和时间一致性的特殊要求，实时流视频上的人体运动估计仍然是一个很少涉及的领域。为了解决这个问题，我们提出了一个时间嵌入的三维人体姿态和形状估计（TePose）方法，以提高实时流视频中的姿态估计的准确性和时间一致性。TePose使用以前的预测作为桥梁，以反馈当前帧中的错误，以便更好地估计，并学习历史数据帧和预测之间的对应关系。提出了一种多尺度时空图卷积网络作为运动训练器，用于使用没有任何3D标记的数据集进行对抗训练。针对直播流媒体特殊的数据处理需求，提出了一种顺序加载策略。我们通过大量的实验证明了每个模块的重要性。结果表明，TePose在广泛使用的人体姿势基准测试中具有最先进的性能。
2022-07-25 cs.CV
