Progress Regression RNN for Online Spatial-Temporal Action Localization in Unconstrained Videos
Nanyang Technological University(南洋理工大学);University of Buffalo(布法罗大学)
以往的时空动作定位方法通常遵循目标检测的流水线来估计动作的边界框和标签。然而,一个动作的时间关系还没有得到充分的探讨。在本文中,我们提出了一个端到端的进度回归递归神经网络(PR-RNN),用于在线时空动作定位,它通过时间进度回归来学习推断动作。两个新的动作属性,称为进度和进度率,被引入到描述的时间参与和相对时间位置的动作。在我们的方法中,帧级特征首先由全卷积网络(FCN)提取。随后,检测结果和动作进度属性由卷积门控递归单元(ConvGRU)基于所有观察到的帧而不是单个帧或短剪辑来回归。最后,设计了一种新颖的在线连接方法,借助估计的动作进度属性将单帧结果连接到时空管。大量的实验表明,进度属性通过提供更精确的时间位置的动作在无约束的视频提高定位精度。我们提出的PR-RNN在两个基准数据集上实现了大多数IoU阈值的最先进性能。
2019-03-01 cs.CV
Online Convolutional Dictionary Learning for Multimodal Imaging
Université catholique de Louvain(鲁汶天主教大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
可以利用多种模态的计算成像方法具有增强传统传感系统的能力的潜力。在本文中,我们提出了一种新的方法,重建多模态图像从他们的线性测量,通过利用不同的方式冗余。我们的方法将图像的卷积组稀疏表示与全变差(TV)正则化相结合,以实现高质量的多模态成像。我们开发了一种在线算法,该算法能够在此类应用中典型的大规模数据集上对卷积字典进行无监督学习。我们说明了我们的方法在联合强度-深度成像的背景下的好处。
2017-06-13 cs.CV
Online Convolutional Dictionary Learning
UCLA(加州大学洛杉矶分校);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
虽然最近已经提出了许多不同的算法用于卷积字典学习,但这仍然是一个昂贵的问题。从大型训练集学习的最大障碍是内存需求,由于所有现有方法都是批处理算法,内存需求至少与训练集的大小呈线性增长。本文报告的工作通过将在线词典学习思想扩展到卷积上下文来解决这一限制。
2017-08-30 cs.CV cs.LG eess.IV
An Efficient Approximate Method for Online Convolutional Dictionary Learning
Aalto University(阿尔托大学)
大多数现有的卷积字典学习(CDL)算法都是基于批处理学习的,其中字典滤波器和卷积稀疏表示使用训练数据集以交替的方式进行优化。当使用大型训练数据集时,批量CDL算法变得非常内存密集。在线学习技术是用来减少CDL的内存需求,通过优化字典增量后,找到每个训练样本的稀疏表示。然而,使用现有的在线CDL(OCDL)算法学习大型字典仍然是非常昂贵的计算。在本文中,我们提出了一种新的近似OCDL方法,结合稀疏分解的训练样本。由此产生的优化问题,使用交替方向的乘法器。使用几个图像数据集的广泛的实验评估表明,该方法大大降低了计算成本,同时保持了最先进的OCDL算法的有效性。
2023-01-25 cs.CV
ECOVNet: An Ensemble of Deep Convolutional Neural Networks Based on EfficientNet to Detect COVID-19 From Chest X-rays
University of Chittagong(吉大港大学);Charles Sturt University(查尔斯特大学)
本文提出了一种基于EfficientNet的深度卷积神经网络(CNN)集成,称为ECOVNet,用于使用大型胸部X射线数据集检测COVID-19。首先,对开放访问的大型胸部X射线集合进行增强,然后将ImageNet预先训练的EfficientNet权重与一些经过训练的自定义微调顶层一起传输,然后是模型快照的集合,以分类对应于COVID-19,正常和肺炎的胸部X射线。在单个训练期间创建的模型快照的预测通过两种集成策略组合,即,硬集成和软集成,以改善分类性能和在分类胸部X射线的相关任务中的泛化。
2020-10-16 cs.CV eess.IV
Online Convolutional Sparse Coding with Sample-Dependent Dictionary
Hong Kong University of Science and Technology University(香港科技大学);Paradigm Inc(第四范式有限公司);University of Macau(澳门大学)
卷积稀疏编码(CSC)已广泛用于图像和信号处理中平移不变字典的学习。然而,现有的方法具有有限的可扩展性。在本文中,而不是卷积与所有样本共享的字典,我们提出了使用一个样本相关的字典,其中过滤器获得的线性组合的一个小的一组基础过滤器从数据中学习。这种增加的灵活性允许捕获大量依赖于样本的模式,同时仍然可以通过在线学习有效地学习所得模型。大量的实验结果表明,该方法优于现有的CSC算法,显着降低了时间和空间的要求。
2018-06-07 cs.CV
First and Second Order Methods for Online Convolutional Dictionary Learning
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
卷积稀疏表示是一种具有结构化的、平移不变字典的稀疏表示形式。迄今为止,大多数卷积字典学习算法都以批处理模式操作,需要在学习过程中同时访问所有训练图像,这导致非常高的存储器使用率,并严重限制了可以使用的训练数据。然而,最近,许多作者已经考虑了在线卷积字典学习算法的设计,该算法提供了比批处理方法更好的存储器和计算成本与训练集大小的缩放。本文扩展了我们以前的工作,改进了我们以前算法的一些方面;提出了一个全新的算法,具有更好的性能,并且支持包含空间掩码以从不完整数据中学习;并对这些方法进行了严格的理论分析。
2018-06-16 cs.CV cs.LG eess.IV
Online Video Super-Resolution with Convolutional Kernel Bypass Graft
the Hong Kong Polytechnic University(香港理工大学);Microsoft Research Asia(微软亚洲研究院)
近年来,基于深度学习的模型在视频超分辨率(VSR)方面取得了显著的性能,但这些模型大多不太适用于在线视频应用。这些方法仅考虑失真质量,而忽略了在线应用的关键要求,例如,低延迟和低模型复杂度。本文主要研究在线视频传输,其中要求采用VSR算法实时的逐帧生成高分辨率的视频序列。为了解决这些挑战,我们提出了一个极低的延迟VSR算法的基础上一种新的内核知识转移方法,命名为卷积核旁路移植(CKBG)。首先,我们设计了一个轻量级的网络结构,不需要未来的帧作为输入,并节省额外的时间成本缓存这些帧。然后,我们提出的CKBG方法通过使用“内核移植”绕过原始网络来增强这个轻量级的基础模型,这些内核移植是包含外部预训练图像SR模型的先验知识的额外卷积内核。在测试阶段,我们通过将嫁接的多分支网络转换为简单的单路径结构来进一步加速嫁接的多分支网络。实验结果表明,我们提出的方法可以处理高达110 FPS的在线视频序列,具有非常低的模型复杂度和竞争力的SR性能。
2022-08-04 cs.CV
Fully Convolutional Online Tracking
Nanjing University(南京大学)
在线学习已被证明对提高跟踪性能是有效的。然而,它可以简单地应用于分类分支,但由于其复杂的设计和对高质量在线样本的内在要求,适应回归分支仍然具有挑战性。为了解决这个问题,我们提出了完全卷积的在线跟踪框架,被称为FCOT,并专注于通过使用基于目标过滤器的跟踪范式来实现分类和回归分支的在线学习。我们的主要贡献是引入了一个在线回归模型生成器(RMG),用于使用在线样本初始化目标滤波器的权重,然后根据第一帧的地面真实样本优化此目标滤波器权重。基于在线RGM,我们设计了一个简单的无锚跟踪器(FCOT),由一个功能骨干,上采样解码器,多尺度分类分支,多尺度回归分支。由于RMG的独特设计,我们的FCOT不仅可以更有效地处理目标沿时间维度的变化,从而产生更精确的结果,但也克服了在跟踪过程中的误差积累的问题。此外,由于其设计简单,我们的FCOT可以以完全卷积的方式进行训练和部署,具有实时运行速度。拟议的FCOT在包括VOT 2018,LaSOT,TrackingNet,GOT-10k,OTB100,UAV123和NFS在内的七个基准上实现了最先进的性能。我们的FCOT的代码和模型已发布在:\url{https://github.com/MCG-NJU/FCOT}。
2021-09-26 cs.CV
OSVNet: Convolutional Siamese Network for Writer Independent Online Signature Verification
Indian Institute of Information Technology, Sri City(斯里城印度信息技术学院);University of Mysore(迈索尔大学)
在线签名验证是作者身份识别和数字取证中最具挑战性的任务之一。由于个体内变异性大,准确地学习签名的个体内变异以实现更高的分类准确度是关键要求。为了实现这一点,在本文中,我们提出了一个基于深度卷积暹罗网络(DCSN)的OSV框架。DCSN基于度量损失函数自动提取鲁棒的特征描述,该损失函数降低了作者内部的变异性(伪迹-真实)并增加了个体间的变异性(伪迹-伪造),并指导DCSN对在线签名进行有效的区分性表示学习,并将其扩展为一次性学习框架。在三个被广泛接受的基准数据集MCYT-100(DB 1),MCYT-330(DB2)和SVC-2004-Task 2上进行的综合实验表明,我们的框架能够区分真伪样本。实验结果通过实现与许多最近的和最先进的OSV技术相比更低的出错率来确认基于深度卷积暹罗网络的OSV的效率。
2019-05-21 cs.CV
EcoBin: A Two-Stage Deep Convolutional Neural Network for Contamination-Aware Waste Classification
BASIS Phoenix(BASIS凤凰学校)
提出EcoBin两阶段深度CNN,通过合成污染数据集和污染检测模块,显著提升回收废物分类中污染物的识别准确率。
2026-06-16 cs.AI cs.CV
Semi-supervised Learning for Convolutional Neural Networks via Online Graph Construction
深度学习最近取得的有希望的成就依赖于大量的标记数据。考虑到网络上丰富的数据,其中大多数根本没有标签。因此,重要的是要提高泛化性能,使用未标记的数据在监督任务与少数标记的实例。在这项工作中,我们重新审视了基于图的半监督学习算法,并提出了一种更适合深度卷积神经网络的在线图构造技术。我们考虑一种用于深度神经网络上的半监督学习的类EM算法:在前向传递中,基于网络输出构建图,然后将图用于损失计算,以帮助在后向传递中通过反向传播更新网络。我们证明了我们的在线方法的强度相比,传统的,其图形是静态的,但不够强大的功能表示事先。
2016-01-19 cs.CV cs.LG cs.NE
Scalable Online Convolutional Sparse Coding
Hong Kong University of Science and Technology(香港科技大学);University of Macau(澳门大学)
卷积稀疏编码(CSC)通过从数据中学习平移不变字典来改进稀疏编码。然而,现有的CSC算法在批处理模式下操作,并且在大型数据集上在空间和时间方面都是昂贵的。在本文中,我们通过使用在线学习来缓解这些问题。关键是重新制定的CSC目标,使卷积可以很容易地处理在频域和更小的历史矩阵是必要的。我们使用交替方向的乘法器(ADMM)来解决由此产生的优化问题和ADMM子问题有效率的封闭形式的解决方案。理论分析表明,学习字典收敛到一个稳定点的优化问题。大量的实验表明,该方法收敛速度快,重建效果好。此外,虽然现有的CSC算法只能在少量图像上运行,但所提出的方法可以处理至少十倍以上的图像。
2017-11-02 cs.CV
Online Convolutional Re-parameterization
Zhejiang University(浙江大学);Alibaba Cloud Computing Ltd.(阿里云计算有限公司)
结构重新参数化在各种计算机视觉任务中引起了越来越多的关注。它旨在提高深度模型的性能,而不引入任何推理时间成本。虽然在推理过程中是有效的,但这些模型严重依赖于复杂的训练时间块来实现高精度,导致大量的额外训练成本。在本文中,我们提出了在线卷积重新参数化(OREPA),这是一个两阶段的流水线,旨在通过将复杂的训练时间块压缩到单个卷积中来减少巨大的训练开销。为了实现这一目标,我们引入了一个线性缩放层,以更好地优化在线块。在降低训练成本的同时,我们还探索了一些更有效的参数化组件。与最先进的re-param模型相比,OREPA能够节省约70%的训练时间内存成本,并将训练速度提高约2倍。同时,在ImageNet平台上,基于OREPA的模型性能优于之前的方法,最高可达+0.6%。我们还对目标检测和语义分割进行了实验,并在下游任务上显示出一致的改进。代码可在https://github.com/JUGGHM/OREPA_CVPR2022上获得。
2022-04-02 cs.CV
Online Adaptation of Convolutional Neural Networks for Video Object Segmentation
RWTH Aachen University(亚琛工业大学)
我们解决了半监督视频对象分割的任务,即使用第一帧的地面真实像素掩码分割属于视频中对象的像素。我们建立在最近引入的单镜头视频对象分割(OSVOS)方法的基础上,该方法使用预训练的网络并在第一帧上对其进行微调。虽然取得了令人印象深刻的性能,但在测试时,OSVOS以不变的形式使用微调的网络,并且无法适应对象外观的大变化。为了克服这一局限性,我们提出了在线自适应视频对象分割(OnAVOS)更新网络在线使用训练样本的基础上选择的网络和空间配置的信心。此外,我们添加了一个基于对象的预训练步骤,这是在PASCAL上学习的。我们的实验表明,这两个扩展是非常有效的,并提高了国家的最先进的DAVIS上的交集超过工会得分为85.7%。
2017-08-01 cs.CV
Online Hand Gesture Recognition Using 3D Convolutional Neural Networks
School of Electronic Engineering and Computer Science(电子工程与计算机科学学院);Queen Mary, University of London(伦敦大学Queen Mary)
提出一种基于3D卷积神经网络的在线手势识别系统,通过滑动窗口优化实时视频流中的手势定位与分类,在Jester数据集上检测器准确率超98%,分类器超90%。
2026-05-22 cs.AI cs.CV
Characters as Graphs: Recognizing Online Handwritten Chinese Characters via Spatial Graph Convolutional Network
University of Chinese Academy of Sciences(中国科学院大学)
中文是世界上使用最广泛的语言之一,但在线手写汉字识别(OLHCCR)仍然具有挑战性。在汉字识别中,一种常用的方法是对提取的特征图像采用二维卷积神经网络(2D-CNN),另一种方法是对提取的时间序列特征采用递归神经网络(RNN)或一维CNN。而不是查看字符作为静态图像或时间轨迹,在这里,我们建议表示字符的几何图形,同时保留空间结构和时间顺序。因此,我们提出了一种新的空间图卷积网络(SGCN),有效地分类这些字符图的第一次。具体来说,我们的SGCN通过空间图卷积结合了局部邻域信息,并进一步学习具有分层残差结构的全局形状属性。在IAHCC-UCAS 2016、ICDAR-2013和UNIPEN数据集上的实验表明,SGCN可以实现与最先进的字符识别方法相当的识别性能。
2020-04-20 cs.CV
Free-Space Detection with Self-Supervised and Online Trained Fully Convolutional Networks
Eindhoven University of Technology(埃因霍温理工大学)
最近,基于视觉的高级驾驶员辅助系统获得了广泛的关注。在这项工作中,我们研究自由空间检测,我们建议采用全卷积网络(FCN)。我们表明,该FCN可以以自我监督的方式进行训练,并实现与手动注释数据训练相似的结果,从而减少了对大型手动注释训练集的需求。为此,我们的自监督训练依赖于立体视觉视差系统,为基于颜色的FCN自动生成(弱)训练标签。此外,我们的自我监督培训促进了FCN的在线培训,而不是离线培训。因此,考虑到所应用的FCN相对较小,自由空间分析变得高度适应车辆遇到的任何交通场景。我们已经使用公开的数据和本文发布的新的具有挑战性的基准数据集验证了我们的算法。实验表明,与离线训练相比,在线训练的性能提高了5%,无论是Fmax还是AP。
2017-01-05 cs.CV
Improved Deep Convolutional Neural Network For Online Handwritten Chinese Character Recognition using Domain-Specific Knowledge
South China University of Technology(华南理工大学)
深度卷积神经网络(DCNN)在各种计算机视觉和模式识别应用中取得了巨大成功,包括手写体汉字识别(HCCR)。然而,目前大多数基于DCNN的HCCR方法将手写样本简单地视为图像位图,忽略了一些可能有用但无法通过传统网络学习的重要领域特定信息。在本文中,我们提出了一种增强的DCNN方法,通过结合各种特定领域的知识,包括变形,非线性归一化,虚构的笔画,路径签名和8方向特征,在线HCCR。我们的贡献是双重的。首先,研究这些特定于领域的技术,并将其与DCNN集成,以形成复合网络,从而提高性能。其次,使用混合串并行(HSP)策略将所得到的DCNN与其领域知识的多样性相结合。因此,我们在CASIA-OLHWDB 1.0和CASIA-OLHWDB 1.1上分别实现了97. 20%和96. 87%的有希望的准确性,优于文献中先前报道的最佳结果。
2015-05-28 cs.CV
ECONet: Efficient Convolutional Online Likelihood Network for Scribble-based Interactive Segmentation
King’s College London(伦敦国王学院)
提出ECONet,一种在线学习的卷积神经网络,用于基于涂鸦的交互式分割,通过补丁训练和加权交叉熵损失,在COVID-19肺部病变标注中Dice分数提高16%,执行时间减少3倍。
2022-03-29 cs.CV cs.LG eess.IV
Training convolutional neural networks with cheap convolutions and online distillation
Xiamen University(厦门大学);National University of Singapore(新加坡国立大学)
卷积神经网络(CNN)中的大量存储器和计算消耗一直是将其部署在资源有限的系统上的主要障碍之一。为此,大多数廉价的卷积(例如,群卷积、深度卷积和移位卷积)最近已经被用于存储器和计算减少,但是具有特定的体系结构设计。此外,直接用这些廉价的卷积代替标准卷积会导致压缩网络的低分辨力。在本文中,我们提出使用知识蒸馏,以提高性能的紧凑型学生网络与廉价的卷积。在我们的例子中,教师是一个具有标准卷积的网络,而学生是教师架构的简单转换,无需复杂的重新设计。特别是,我们提出了一种新的在线蒸馏方法,该方法在线构建教师网络,无需预先训练,并进行教师和学生网络之间的相互学习,以提高学生模型的性能。大量的实验表明,与最先进的CNN压缩和加速方法相比,所提出的方法实现了卓越的性能,同时减少了不同数据集(包括CIFAR-10/100和ImageNet ILSVRC 2012)上尖端CNN的内存和计算开销。这些守则可在https://github.com/EthanZhangYC/OD-cheap-convolution上公开查阅。
2019-10-10 cs.CV
Learning Spatial-Semantic Context with Fully Convolutional Recurrent Network for Online Handwritten Chinese Text Recognition
College of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息工程学院);Oxford-Man Institute for Quantitative Finance, University of Oxford(牛津大学牛津曼定量金融研究所);Mathematical Institute, University of Oxford(牛津大学数学研究所);The Alan Turing Institute, University of Oxford(牛津大学艾伦·图灵研究所)
联机手写中文文本识别是一个具有挑战性的问题,因为它涉及到大规模的字符集,歧义切分和可变长度的输入序列。在本文中,我们利用出色的能力,路径签名在线笔尖轨迹转化为信息签名特征图使用基于滑动窗口的方法,成功地捕捉分析和几何性质的笔笔划具有很强的局部不变性和鲁棒性。提出了一种多空间上下文全卷积递归网络(MCFCRN),利用签名特征图中的多个空间上下文,生成预测序列,同时完全避免了难以分割的问题。此外,一个隐式的语言模型的开发进行预测的基础上的预测特征序列的语义上下文,提供了一个新的视角,结合词汇约束和先验知识的某种语言的识别过程。在Dataset-CASIA和Dataset-ICDAR两个标准基准上的实验取得了出色的结果,正确率分别为97.10%和97.15%,明显优于文献中迄今为止报道的最佳结果。
2017-05-25 cs.CV
Stroke Sequence-Dependent Deep Convolutional Neural Network for Online Handwritten Chinese Character Recognition
Harbin Institute of Technology Shenzhen Graduate School(哈尔滨工业大学深圳研究生院)
本文提出了一种新的模型,命名为笔划序列相关的深度卷积神经网络(SSDCNN),利用笔划序列信息和八个方向的特征进行联机手写汉字识别(OLHCCR)。一方面,SSDCNN可以学习在线手写汉字(OLHCC)的表示,通过纳入自然的笔画序列信息。另一方面,SSDCNN可以以自然的方式合并八个方向的特征。为了训练SSDCNN,我们将训练过程分为两个阶段:1)使用训练数据对整个体系结构进行预训练,直到性能趋于收敛。2)进一步训练了用于将基于笔划序列的八向特征表示与softmax层相结合的全连接神经网络。实验是在ICDAR 2013的OLHCCR竞赛任务上进行的。实验结果表明,与只使用8个方向特征的模型相比,SSDCNN可以将识别错误率降低50%(5.13vs2.56)。与ICDAR 2013竞赛上提交的最佳系统相比,所提出的SSDCNN实现了97.44%的准确率,将识别错误降低了约1.9%。这些结果表明,SSDCNN可以利用笔划序列信息来学习OLHCC的高质量表示。它还表明,学习的表示和经典的八方向特征在SSDCNN架构中相互补充。
2016-10-13 cs.CV
Exploring Online Ad Images Using a Deep Convolutional Neural Network Approach
Sizmek Technologies LTD(Sizmek 科技有限公司)
在线广告是当今世界一个巨大的、快速增长的广告市场。在线广告的一种常见形式是使用图像广告。每次用户看到广告时都会做出决定(通常是实时的),广告商急于确定要显示的最佳广告。因此,已经开发了许多算法来计算当前时间向当前用户显示的最佳广告。通常,这些算法专注于广告的变化,在不同的属性之间进行优化,例如背景颜色,图像大小或图像集。然而,还有一个更基本的层面。我们的研究着眼于广告的新质量,这些质量可以在广告显示之前确定(而不是在线优化),并定义哪些广告最有可能成功。我们提出了一套新的算法,利用深度学习图像处理,机器学习和图论来研究在线广告,并构建预测模型,可以预见图像广告的成功。我们在一个包含超过260,000张广告图像的数据集上评估了我们的算法,以及一个专门与汽车行业相关的较小数据集,我们成功地构建了用于广告图像点击率预测的回归模型。所获得的结果强调了使用深度学习算法有效分析图像广告并创建更好,更创新的在线广告的巨大潜力。此外,本文提出的算法可以帮助预测广告的成功,并可以应用于分析其他大型图像语料库。
2015-09-02 cs.CV
Targeted Gradient Descent: A Novel Method for Convolutional Neural Networks Fine-tuning and Online-learning
Johns Hopkins University(约翰斯·霍普金斯大学);Canon Medical Research USA, INC.(佳能医疗研究美国公司)
卷积神经网络(ConvNet)通常使用从相同分布中提取的图像进行训练和测试。将ConvNet推广到各种任务通常需要一个完整的训练数据集,该数据集由从不同任务中绘制的图像组成。在大多数情况下,几乎不可能先验地收集每个可能的代表性数据集。只有在ConvNet在临床实践中部署后,新数据才可用。然而,ConvNet可能会在分布外测试样本上生成工件。在这项研究中,我们提出了目标梯度下降(TGD),这是一种新的微调方法,可以将预训练的网络扩展到新任务,而无需重新访问先前任务的数据,同时保留从先前训练中获得的知识。在更进一步的程度上,所提出的方法还使得能够对患者特异性数据进行在线学习。该方法基于重用预训练ConvNet的冗余内核来学习新知识的思想。我们比较了TGD的性能,几种常用的训练方法的正电子发射断层扫描(PET)图像去噪的任务。来自临床图像的结果表明,TGD生成的结果与从头开始的训练相当,同时显着减少了数据准备和网络训练时间。更重要的是,它使在线学习的测试研究,以提高网络的泛化能力,在现实世界中的应用。
2021-09-29 cs.CV
Deep Lip Reading: a comparison of models and an online application
University of Oxford(牛津大学)
本文的目标是发展最先进的唇读模型-视觉语音识别。我们开发了三种架构,并比较了它们的准确性和训练时间:(i)使用LSTM的递归模型;(ii)完全卷积模型;以及(iii)最近提出的Transformer模型。循环和完全卷积模型使用连接主义时间分类损失进行训练,并使用显式语言模型进行解码,Transformer是序列到序列模型。我们的最佳性能模型将具有挑战性的BBC-Oxford Lip Reading Sentences 2(LRS 2)基准数据集上的最先进单词出错率提高了20%以上。作为进一步的贡献,我们研究了全卷积模型用于在线(实时的)唇读连续语音时,并表明它实现了高性能与低延迟。
2018-06-15 cs.CV
Online Handwriting Trajectory Reconstruction from Kinematic Sensors using Temporal Convolutional Network
IRISA, Université de Rennes, INSA Rennes(IRISA研究所、雷恩大学、雷恩国立应用科学学院);IRISA, Université Rennes 2(IRISA研究所、雷恩第二大学);LETG(LETG机构)
本研究针对数字笔与数位板采样率差异问题,结合动态时间规整与时间卷积网络架构,构建新基准数据集,实现从运动传感器信号到在线手写轨迹的高精度重建。
2026-07-30 cs.CV cs.LG
Fully Convolutional Networks for Continuous Sign Language Recognition
The Hong Kong University of Science and Technology(香港科技大学);Tencent(腾讯);Kwai Inc.(快手公司)
连续手语识别(SLR)是一个具有挑战性的任务,需要学习的空间和时间维度的签名帧序列。最近的工作通过使用CNN和RNN混合网络来实现这一点。然而,训练这些网络通常是不平凡的,并且它们中的大多数在学习看不见的序列模式时失败,导致在线识别的性能不令人满意。在本文中,我们提出了一个全卷积网络(FCN)的在线SLR同时学习空间和时间的功能,从弱注释的视频序列,只给出了字幕级注释。一个光泽特征增强(GFE)模块中引入了建议的网络,以加强更好的序列比对学习。所提出的网络是端到端可训练的,无需任何预训练。我们在两个大规模的SLR数据集上进行了实验。实验结果表明,该方法对连续SLR图像是有效的,并具有良好的在线识别性能。
2020-07-24 cs.CV
Online Streaming Video Super-Resolution with Convolutional Look-Up Table
Zhejiang University(浙江大学);Tongji University(同济大学);University of Science and Technology of China(中国科学技术大学);Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asia(微软亚洲研究院)
本文针对在线流媒体视频超分辨率问题,构建LDV-WebRTC基准数据集,提出卷积与LUT混合模型及专家混合LUT模块,在约100 FPS下实现720P超分辨率,性能优于现有LUT方法并媲美高效CNN方法。
2023-07-25 cs.CV eess.IV
A hybrid convolutional neural network/active contour approach to segmenting dead trees in aerial imagery
The Hong Kong Polytechnic University(香港理工大学);Bavarian Forest National Park(巴伐利亚森林国家公园);Albert-Ludwigs-Universität Freiburg(弗赖堡大学)
生态系统的稳定性和抵御气候变化的能力与其生物多样性直接相关。枯树是森林整体健康的重要指标,拥有三分之一的森林生态系统生物多样性,占全球碳储量的8%。它们被几个自然因素分解,例如气候,昆虫和真菌。准确检测和建模死木质量是至关重要的了解森林生态,碳循环和分解。我们提出了一种新的方法来构建精确的形状轮廓的死树从航空照片相结合的卷积神经网络与一种新的主动轮廓模型在能量最小化的框架。我们的方法在检测到的死树的联合上的精确度、召回率和交集方面比最先进的方法具有更高的性能准确性。这一改进的性能对于应对气候变化(和其他人为的系统扰动)造成的新挑战至关重要,特别是对于监测和估计碳储存衰减率、监测森林健康和生物多样性以及枯木对气候变化和气候变化造成的总体影响。
2021-12-06 cs.CV
Video Rain/Snow Removal by Transformed Online Multiscale Convolutional Sparse Coding
Xi’an Jiaotong University(西安交通大学);The Hong Kong Polytechnic University(香港理工大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
监控视频中的雨雪会严重影响监控系统的性能,因此视频雨雪去除是计算机视觉领域的一项重要任务。各种方法已被广泛研究,但大多数只考虑稳定背景场景下的一致雨/雪。然而,从实际的监控摄像机捕获的雨/雪,总是高度动态的时间与背景场景偶尔变换。针对这一问题,本文提出了一种新的雨雪去除方法,该方法充分考虑了视频序列中雨雪和背景场景的动态统计特性。具体地说,雨/雪被编码为一个在线多尺度卷积稀疏编码(OMS-CSC)模型,它不仅精细地提供了稀疏散射和多尺度形状的真实雨/雪,但也很好地编码其时间动态配置的实时改进的模型中的参数。此外,该模型还嵌入了一个对背景场景进行处理的变换算子,较好地表达了真实视频序列中不可避免的背景旋转、缩放和失真等动态变换。该方法能较好地适应动态雨雪和背景的变化,同时也适用于流媒体视频的在线学习模式。该模型是制定在一个简洁的最大后验(MAP)框架,并很容易解决的ADMM算法。与现有的在线和离线视频除雨/雪方法相比,该方法在人工合成和真实视频数据集上均取得了更好的视觉效果和定量效果。具体来说,我们的方法可以实现在相对较高的效率,显示其潜力,实时视频雨/雪去除。
2019-09-13 cs.CV eess.IV
Deep Convolutional Neural Network for Plant Seedlings Classification
农业对人类生存至关重要,仍然是世界各地几个经济体的主要驱动力;在欠发达和发展中经济体中更是如此。由于全球人口不断增长和气候变化带来的挑战,对粮食和经济作物的需求不断增加,迫切需要在增加农业产出的同时将成本降到最低。以前为选择性除草开发的机器视觉技术面临着可靠和准确的杂草检测的挑战。我们提出了植物幼苗分类的方法,该数据集包含约960个独特的植物属于12个物种在几个生长阶段的4,275个图像。我们比较了两种传统算法和卷积神经网络(CNN)的性能,卷积神经网络是一种广泛应用于图像识别的深度学习技术。我们的研究结果表明,当用于农业自动化时,CNN驱动的幼苗分类应用程序有可能优化作物产量,并在适当设计时提高生产力和效率。
2018-11-20 cs.CV
Recurrent Fully Convolutional Networks for Video Segmentation
University of Alberta(阿尔伯塔大学)
图像分割是大多数视觉任务中的重要步骤。虽然卷积神经网络已被证明在单个图像分割上表现良好,但据我们所知,尚未对利用递归门控架构进行视频分割进行研究。因此,我们提出了一种新的方法,结合时间数据的视频序列的在线分割。该网络是由完全卷积的元素和递归单元构建的,该单元在时间数据上的滑动窗口上工作。我们还介绍了一种新的卷积门控递归单元,它保留了空间信息并减少了学习的参数。我们的方法的优点是,它可以在线工作,而不是在整个输入批次的视频帧操作。该网络在变化检测数据集上进行了测试,并被证明在每帧分割方面比普通全卷积网络的F-测量提高了5.5%。与我们称之为FCN 12的基线网络相比,它的F测量值也提高了1.4%。
2016-10-31 cs.CV
Land Use Classification using Convolutional Neural Networks Applied to Ground-Level Images
University of California at Merced(加州大学默塞德分校)
土地利用制图是地理科学中一项基本而又具有挑战性的任务。与土地覆盖物制图不同,一般不可能使用俯拍图像。最近,爆炸性增长的在线地理参考照片集提出了另一种方法来发现地理知识。在这项工作中,我们提出了一个通用的框架,使用地面图像从Flickr的土地利用地图。我们的方法受益于几个新的方面。首先,我们通过执行位置和室内/室外过滤以及半监督数据集增强来解决在线照片集合的噪声,例如不精确的地理位置和不均匀的空间分布。我们的室内/室外分类器在几个基准数据集上实现了最先进的性能,并接近人类水平的准确性。其次,我们利用使用深度学习提取的高级语义图像特征,特别是卷积神经网络,这使我们能够在具有挑战性的八类土地利用映射问题上实现高达76%的准确率。
2016-09-21 cs.CV cs.CY cs.MM
CORSAIR: Convolutional Object Retrieval and Symmetry-AIded Registration
University of California San Diego(加州大学圣迭戈分校)
本文考虑在线对象级映射使用在线获得的部分点云观测在未知的环境。我们开发和方法完全卷积对象检索和对称辅助注册(CORSAIR)。我们的模型扩展了全卷积几何特征模型,除了从点云观测中学习局部逐点特征外,还可以学习全局对象形状嵌入。全局特征用于从类别数据库中检索相似对象,局部特征用于观察对象和检索对象之间的鲁棒姿态配准。我们的配方还利用对称性,目前在对象的形状,以获得有前途的本地功能对从不同的对称类匹配。我们提出了来自不同对象类别的合成和真实世界数据集的结果,以验证我们的方法的鲁棒性。
2021-09-04 cs.CV cs.RO
Sorting of Smartphone Components for Recycling Through Convolutional Neural Networks
Institute of Informatics, Federal University of Rio Grande do Sul(南里奥格兰德联邦大学信息学研究所);LACOR – Department of Materials, Federal University of Rio Grande do Sul(南里奥格兰德联邦大学材料系LACOR实验室)
本研究利用VGG-16图像分类神经网络对热解智能手机组件进行自动分类回收,构建1127张图像数据集,达到83.33%准确率,验证了该方法作为低成本高效材料分离替代方案的可行性。
2023-12-27 cs.AI cs.CV cs.LG
Convolutional Gated Recurrent Networks for Video Segmentation
University of Alberta(阿尔伯塔大学)
语义分割最近取得了重大进展,其中全卷积神经网络表现良好。然而,大多数以前的工作集中在改善单图像分割。据我们所知,没有以前的工作已经利用了时间视频信息的循环网络。在本文中,我们介绍了一种新的方法,隐式地利用时间数据的视频在线语义分割。该方法依赖于嵌入到门控递归架构中的完全卷积网络。该设计接收一系列连续的视频帧,并输出最后一帧的分割。卷积门控递归网络用于递归部分,以保持图像中的空间连通性。我们提出的方法可以应用于在线和批量分割。该架构进行了测试的二进制和语义视频分割任务。实验在SegTrack V2、Davis、CityScapes和Synthia的最新基准上进行。在我们所有的实验中,使用递归的全卷积网络提高了基线网络的性能。也就是说,SegTrack 2和Davis的F测量值分别提高了5%和3%,Synthia的平均IoU提高了5.7%,CityScapes的分类平均IoU提高了3.5%。RFCN网络的性能取决于其基准全卷积网络。因此,RFCN架构可以被看作是一种通过利用视频中的时空信息来改进其基线分割网络的方法。
2016-11-21 cs.CV
Acute Lymphoblastic Leukemia Classification from Microscopic Images using Convolutional Neural Networks
University of Oldenburg(奥尔登堡大学)
当没有昂贵的流式细胞仪设备时,检查白血病的血液显微镜图像是必要的。自动化系统可以减轻医学专家进行这种检查的负担,并且可能特别有助于快速筛选大量患者。我们提出了一种简单而有效的分类方法,使用ResNeXt卷积神经网络与挤压和激励模块。该方法在C-NMC在线挑战中进行了评估,并在测试集上获得了88.91%的加权F1分数。代码可在https://github.com/jprellberg/isbi2019cancer上获得
2020-04-01 cs.CV
Detecting Forged Facial Videos using convolutional neural network
University of South Florida(南佛罗里达大学)
在本文中,我们提出了检测伪造的视频,人脸,在线视频。为了促进这种检测,我们建议使用更小(更少的参数学习)的卷积神经网络(CNN),用于数据驱动的伪造视频检测方法。为了验证我们的方法,我们调查了FaceForensics公共数据集,详细介绍了基于帧和基于视频的结果。所提出的方法被证明优于当前最先进的。我们还进行了消融研究,分析批量大小,过滤器数量和网络层数对检测伪造视频的准确性的影响。
2020-05-17 cs.CV
Automated Detection of Dolphin Whistles with Convolutional Networks and Transfer Learning
针对海洋生态声学监测中人工分析声学数据耗时的问题,提出基于卷积神经网络的海豚哨声自动检测方法,在噪声环境下仍能有效检测并降低误检与漏检率,助力海洋生态自动监测。
2022-11-28 cs.CV cs.LG cs.SD