Context-aware Proposal Network for Temporal Action Detection
Huazhong University of Science and Technology（华中科技大学）；Alibaba Group（阿里巴巴集团）
本技术报告介绍了我们在CVPR-2022 ActivityNet挑战赛中获得第一名的时间动作检测任务解决方案。该任务的目的是本地化的时间边界的动作实例与特定的类在长的未修剪的视频。最近的主流尝试是基于密集的边界匹配和枚举所有可能的组合，以产生建议。我们认为，生成的建议包含丰富的上下文信息，这可能有利于检测置信度预测。为此，我们的方法主要包括以下三个步骤：1）动作分类和特征提取的慢，CSN，时间变换器，TSP，I3 D-flow，VGGish-audio，TPN和ViViT; 2）建议生成。我们提出的上下文感知建议网络（CPN）建立在BMN，GRESS和PRN之上，通过随机屏蔽一些建议功能来聚合上下文信息。3)动作侦测最终的检测预测计算通过分配与相应的视频级分类结果的建议。最后，我们在不同的特征组合设置下集成了结果，并在测试集上实现了45.8%的性能，这使得CVPR-2021 ActivityNet Challenge的冠军结果在平均mAP方面提高了1.1%。
2022-06-18 cs.CV
Evaluation of a Region Proposal Architecture for Multi-task Document Layout Analysis
PRHLT Research Center（PRHLT研究中心）；Universitat Politècnica de València（瓦伦西亚理工大学）
自动识别手写文档的布局是从这些文档中提取有用信息的重要一步。最常见的应用是为下游应用提供信息，如自动文本识别和关键字定位;然而，布局的识别也有助于建立文档中元素之间的关系，从而丰富可以提取的信息。大多数现代文档布局分析系统都是针对文档布局问题的一个部分而设计的，即：基线检测或区域分割。相比之下，我们评估了Mask-RCNN架构以综合方式解决基线检测和区域分割问题的有效性。我们提出了两个手写文本数据集和一个手写音乐数据集的实验结果。所分析的架构产生了有希望的结果，在所有三个数据集上都优于最先进的技术。
2021-06-22 cs.CV
Object-Adaptive LSTM Network for Real-time Visual Tracking with Adversarial Data Augmentation
Xiamen University（厦门大学）；Tsinghua University（清华大学）；Xiamen University of Technology（厦门理工学院）；Queen’s University Belfast（贝尔法斯特女王大学）
近年来，由于卷积神经网络（CNN）强大的特征表示能力，基于深度学习的视觉跟踪方法取得了巨大的成功。在这些方法中，基于分类的跟踪方法表现出优异的性能，但它们的速度受到大规模建议特征提取的昂贵计算的严重限制。相比之下，基于匹配的跟踪方法（如暹罗网络）具有显着的速度优势。然而，在线更新的缺乏使得这些方法不适用于显著的对象外观变化。本文提出了一种新的实时的【形】视觉跟踪方法，该方法采用对象自适应LSTM网络来有效地捕获视频序列依赖性，并自适应地学习对象外观变化。为了提高计算效率，我们还提出了一种快速建议选择策略，该策略利用基于匹配的跟踪方法来预先估计密集建议，并选择高质量的建议馈送到LSTM网络进行分类。该策略有效地过滤掉了一些不相关的建议，避免了特征提取的冗余计算，这使得我们的方法比传统的基于分类的跟踪方法更快。此外，为了解决在线跟踪过程中样本不足和类别不平衡的问题，我们采用了基于生成对抗网络（GAN）的数据增强技术来促进LSTM网络的训练。在四个视觉跟踪基准上的实验表明，该方法在跟踪精度和速度上都达到了最高水平，显示了递归结构在视觉跟踪中的巨大潜力.
2020-02-07 cs.CV
TPE-Net: Track Point Extraction and Association Network for Rail Path Proposal Generation
Thales Group（泰雷兹集团）；York University（约克大学）；Lassonde School of Engineering（拉桑德工程学院）
提出TPE-Net全卷积网络，通过回归中心点及左右轨道像素并聚类生成路线拓扑，在无3D数据与几何约束下高效提取本车路径，实现0.9207精度与0.8721召回率。
2023-02-11 cs.AI cs.CV
Knowledge-guided Pairwise Reconstruction Network for Weakly Supervised Referring Expression Grounding
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；University of Science and Technology of China（中国科学技术大学）
弱监督指称表达式接地（REG）的目的是根据语言查询定位图像中的指称实体，其中图像区域（建议）和查询之间的映射在训练阶段是未知的。在指称表达中，人们通常根据目标实体与其他上下文实体的关系以及视觉属性来描述目标实体。然而，以前的弱监督REG方法很少关注实体之间的关系。在本文中，我们提出了一个知识引导的成对重建网络（KPRN），它模型之间的关系的目标实体（主体）和上下文实体（对象），以及接地这两个实体。具体来说，我们首先设计了一个知识抽取模块，用于指导建议书主体和客体的选择。先验知识是以每个建议和主题/对象之间的语义相似性的特定形式获得的。其次，在这些知识的指导下，我们设计了主体和客体注意模块来构建主体-客体建议对。主题关注度将不相关的提案从候选提案中排除。客体注意选择最合适的建议作为上下文建议。第三，我们引入了成对的注意力和自适应加权方案来学习这些建议对和查询之间的对应关系。最后，一个成对的重建模块被用来衡量弱监督学习的接地。在四个大规模数据集上的大量实验表明，我们的方法大大优于现有的最先进的方法。
2019-09-05 cs.CV
A feature extraction technique based on character geometry for character recognition
Amrita School of Engineering（阿姆里塔工程学院）
本文介绍了一种基于几何的特征提取技术，适用于基于分割的单词识别系统。该系统提取字符轮廓的几何特征。此功能基于构成角色骨架的基本线型。该系统给出一个特征向量作为其输出。从训练集生成的特征向量然后用于训练基于神经网络的模式识别引擎，使得可以对系统进行基准测试。
2012-02-17 cs.CV
Rapid Feature Extraction for Optical Character Recognition
North South University（北南大学）；Independent University Bangladesh（孟加拉国独立大学）；City University of Hong Kong（香港城市大学）
特征提取是字符识别的基本问题之一。字符识别系统的性能取决于正确的特征提取和正确的分类器选择。本文提出了一种快速的特征提取方法--Celled Projection（CP）方法。所提出的方法的识别性能进行了比较与其他广泛使用的特征提取方法，深入研究了许多不同的脚本在文献中。实验已经进行了使用孟加拉语手写数字与三个不同的知名的分类，表现出可比的结果，包括94.12%的识别精度，使用细胞投影。
2012-06-01 cs.CV
Event Camera as Region Proposal Network
Technical University Dortmund（多特蒙德工业大学）
受人类视杆细胞充当视觉区域候选网络的启发，本研究用事件相机替换detectron2中Mask R-CNN的RPN来生成运动物体候选，在精度相当的情况下提升了检测速度、降低了计算成本。
2023-05-01 cs.CV
Handwritten Character Recognition Using Unique Feature Extraction Technique
手写体字符识别是图像处理中最困难和最具吸引力的领域之一。在本文中，我们提出了一种特征提取技术，它是一个独特的几何特征，基于区域的混合，梯度特征提取方法和三个不同的神经网络，即多层感知器网络使用反向传播算法（MLP BP）的组合，使用Levenberg-Marquardt算法的多层感知器网络（MLP LM）和卷积神经网络（CNN）它与最小距离分类器（MDC）一起实现。该程序导致的结论是，所提出的特征提取算法是更准确的比它的个别同行，也是卷积神经网络是最有效的神经网络的三个考虑。
2020-01-13 cs.CV
Deep Residual Text Detection Network for Scene Text
Machine Learning Lab Samsung R&D Institute of China, Beijing（三星中国研发研究院机器学习实验室）
场景文本检测是计算机视觉中一个具有挑战性的问题。在本文中，我们提出了一种新的文本检测网络的基础上流行的目标检测框架。为了获得更强的语义特征，我们采用ResNet作为特征提取层，并结合层次卷积网络开发多层次特征。垂直建议机制用于避免建议分类，而回归层仍然工作，以提高定位精度。我们的方法在ICDAR 2013数据集上进行了评估，达到了0.91的F-测量值，这在场景文本检测方面优于以前的最先进结果。
2017-11-11 cs.CV
Automatic text extraction and character segmentation using maximally stable extremal regions
University of Jammu（查谟大学）
文本检测和分割是许多基于内容的图像分析任务的重要前提。本文提出了一种新的文本提取和字符分割算法使用最大稳定极值区域作为基本的字母候选。然后对这些区域进行阈值处理，然后确定各种连通分量以识别单独的字符。该算法是沿着一组不同的JPEG，PNG和BMP图像在四个不同的字符集进行测试;英语，俄语，印地语和乌尔都语。该算法对英语和俄语字符集的字符分割效果较好，但对乌尔都语和印地语的字符分割精度不高。该算法简单、高效，不涉及训练所需的开销，即使对低质量的图像也能给出良好的结果。本文还提出了多语言输入的文本提取和分割的各种挑战。
2016-08-11 cs.CV
Instance Segmentation for Chinese Character Stroke Extraction, Datasets and Benchmarks
Tencent Cloud Xiaowei（腾讯云小微）
笔画是汉字的基本组成元素，笔画提取一直是一项重要而长期的工作。现有的笔划提取方法通常是手工制作的，并且由于有限的训练数据而高度依赖于领域专业知识。此外，没有标准化的基准提供不同的笔画提取方法之间的公平比较，我们认为，这是一个主要的障碍，汉字笔画理解和相关任务的发展。在这项工作中，我们提出了第一个公共可用的汉字笔画提取（CCSE）基准，两个新的大规模数据集：开体CCSE（CCSE-Kai）和手写CCSE（CCSE-HW）。对于大规模数据集，我们希望利用CNN等深度模型的表示能力来解决笔划提取任务，然而，这仍然是一个悬而未决的问题。为此，我们将笔划提取问题转化为笔划实例分割问题。使用所提出的数据集训练中风实例分割模型，我们超过了以前的方法，由一个很大的利润。此外，使用所提出的数据集训练的模型有利于下游字体生成和手写美学评估任务。我们希望这些基准结果可以促进进一步的研究。源代码和数据集可在https://github.com/lizhaoliu-Lec/CCSE上公开获取。
2022-10-25 cs.CV
Spatial Domain Feature Extraction Methods for Unconstrained Handwritten Malayalam Character Recognition
P M Government College（P M 政府学院）
手写体字符识别是一项积极的研究挑战，特别是对于印度文字。本文涉及手写马拉雅拉姆语，一套完整的基本字符，元音和辅音符号和复合字符，可能会出现在脚本。在这项工作中，选择适合识别的空间域特征。在分类方面，采用了k-NN、SVM和ELM
2021-09-05 cs.CV
Font Acknowledgment and Character Extraction of Digital and Scanned Images
Institute of Space Technology（空间技术学院）
字体识别和字符提取非常重要，因为在许多情况下，数据都是这种形式，不能像图像形式或硬拷贝那样处理。因此，在本文中开发的程序基本上是有关识别字体（Times New Roman，Arial和Comic Sans MS），然后使用简单的基于相关性的方法恢复文本，其中二进制模板与输入图像文本字符相关。所有这些提取都是在存在一点噪声的情况下完成的，因为图像可能由于复印而具有噪声模式。该方法的意义在于从各种监控（Surveillance）摄像机镜头甚至更多的镜头中提取数据。该方法是在Matlab \c{opyright}上开发的，该软件获取输入图像，并在文本文件中恢复文本和字体信息。
2013-05-17 cs.CV
PVANET: Deep but Lightweight Neural Networks for Real-time Object Detection
Intel Imaging and Camera Technology（英特尔成像与相机技术）
本文介绍了我们如何在多类别目标检测任务中实现最先进的准确性，同时通过适应和结合最近的技术创新，最大限度地减少计算成本。遵循“CNN特征提取+区域建议+ RoI分类”的通用流水线，我们主要重新设计了特征提取部分，因为区域建议部分计算量不大，分类部分可以使用截断SVD等常用技术有效压缩。我们的设计原则是“更少的通道，更多的层”，并采用一些构建块，包括级联ReLU，Inception和HyperNet。所设计的网络是深和薄的，并训练的帮助下，批量归一化，剩余连接，和学习率调度的平台检测。我们在著名的目标检测基准测试中获得了可靠的结果：在VOC 2007上获得了83.8%的mAP（平均精度），在VOC 2012上获得了82.5%的mAP（第二名），而在Intel i7- 6700 K CPU上仅获得了750 ms/图像，在NVIDIA Titan X GPU上仅获得了46 ms/图像。从理论上讲，我们的网络只需要12.3%的计算成本相比，ResNet-101，在VOC 2012的赢家。
2016-09-30 cs.CV
Topographic Feature Extraction for Bengali and Hindi Character Images
Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）
特征选择和提取在人脸识别、签名验证、光学字符识别（OCR）等基于不同分类的问题中起着重要的作用。OCR的性能在很大程度上取决于特征集的正确选择和提取。在本文中，我们提出了新的功能的基础上，从不同的观看方向上的二维平面上可见的字符的地形。所谓构形，是指笔画的结构特征及其空间关系。在这项工作中，我们开发的地形特征，从不同的方向（如北，南，东，西）的意见可见的笔画。我们考虑三种类型的地形特征：封闭区域，凸性的笔画，和直线笔画。这些特征被表示为一个基于形状的图，作为一个不变的特征集，用于区分非常相似的类型字符有效。我们已经测试了印刷和手写孟加拉语和印地语字符图像所提出的方法。初步结果表明，我们的方法的有效性。
2011-07-14 cs.CV
CNN based Extraction of Panels/Characters from Bengali Comic Book Page Images
Indian Institute Of Engineering Science and Technology, Shibpur（希布普尔印度工程科学与技术学院）
现在人们更喜欢使用数码设备，如相机或手机来捕获文档。从漫画文档的图像中自动提取面板/字符是具有挑战性的，这是由于作者采用了各种各样的绘画风格，有利于读者随时在移动设备上阅读它们，并且对自动数字化有用。大多数用于面板/角色定位的方法依赖于连通分量分析或页面背景掩码，并且仅适用于有限的漫画数据集。本文提出了一种基于YOLO和CNN特征的面板/角色定位架构，用于从漫画图像中提取面板和角色。该方法取得了显着的结果孟加拉漫画书图像数据集（BCBId）的总$4130$图像，由我们开发的，以及各种公开可用的漫画数据集在其他语言，即eBDtheque，漫画109和DCM数据集。
2019-10-21 cs.CV
Character Keypoint-based Homography Estimation in Scanned Documents for Efficient Information Extraction
TCS Research（塔塔咨询服务公司研究院）
多幅图像之间精确的单应性估计是许多计算机视觉应用的先决条件。在当今的数字时代中特别相关的一个应用是对准扫描的或相机捕获的文档图像，诸如用于信息抽取的保险索赔表格。传统的基于学习的方法由于缺乏适当的梯度而表现不佳。基于特征的关键点提取技术用于在真实场景图像中的单应性估计，或者由于尖锐的文本边缘而检测到极大量的不一致的关键点，或者由于文档图像之间的照明和视点差异的变化而产生不准确的关键点对应。在本文中，我们提出了一种新的算法对齐扫描或相机捕获的文档图像使用基于字符的关键点和参考模板。该算法既快速又准确，并且利用标准的光学字符识别（OCR）引擎（例如Tesseract）来找到基于字符的明确的关键点，该关键点用于识别两个图像之间的精确关键点对应关系。最后，使用关键点计算测试文档与模板之间的单应性映射。我们评估了所提出的方法，信息抽取对两个现实世界的匿名数据集组成的健康保险索赔表和结果支持所提出的技术的可行性。
2019-11-14 cs.CV
RCRN: Real-world Character Image Restoration Network via Skeleton Extraction
Jilin University（吉林大学）；University of Trento（特伦托大学）；ETH Zurich（苏黎世联邦理工学院）
构建高质量的字符图像数据集具有挑战性，因为真实世界的图像往往受到图像退化的影响。当将当前的图像复原方法应用于这样的真实世界字符图像时存在限制，因为（i）字符图像中的噪声的类别不同于一般图像中的噪声的类别;（ii）真实世界字符图像通常包含更复杂的图像退化，例如，不同噪声水平的混合噪声。为了解决这些问题，我们提出了一个真实世界的字符恢复网络（RCRN），有效地恢复退化的字符图像，字符骨架信息和尺度集成特征提取，以获得更好的恢复性能。该方法由骨架提取器（SENet）和字符图像恢复器（CiRNet）组成。SENet的目标是保持字符的结构一致性，并将复杂的噪声标准化。然后，CiRNet从退化的字符图像及其骨架重建干净的图像。由于缺乏真实世界字符图像复原的基准，我们构建了一个包含1,606个真实世界退化字符图像的数据集来评估所提出的方法的有效性。实验结果表明，RCRN优于国家的最先进的方法定量和定性。
2022-07-19 cs.CV
Noise Reduction and Driving Event Extraction Method for Performance Improvement on Driving Noise-based Surface Anomaly Detection
SK Planet Co., Ltd.（SK电讯旗下SK Planet有限公司）
路面上的异物，如雨水或黑冰，会降低轮胎与路面之间的摩擦力。上述情况将降低制动性能并且使得难以控制车身姿态。在这种情况下，至少有可能造成财产损失。在最坏的情况下，会造成人身伤害。为了避免这一问题，提出了一种基于车辆行驶噪声的道路异常检测模型。然而，现有的建议没有考虑与驾驶噪声混合的额外噪声，并且跳过了没有车辆驾驶的时刻的计算。在本文中，我们提出了一个简单的驾驶事件提取方法和降噪方法，以提高计算效率和异常检测性能。
2021-12-14 cs.CV cs.SD eess.AS
A Method for Extraction and Recognition of Isolated License Plate Characters
National Chiao-Tung University（国立交通大学）
提出了一种车牌中孤立字符的提取与识别方法。在提取阶段，该方法利用高斯差分（DOG）函数来检测孤立字符，与一系列其他可能的图像函数相比，DOG函数类似于高斯拉普拉斯函数，能够产生最稳定的图像特征。对不同尺度的DOG图像进行连通元分析，提取候选特征。在识别阶段，采用一种新的特征向量--累积梯度投影向量（AGPV）来比较候选字符和标准字符。通过首先将相似梯度方向的像素投影到特定轴上，然后按每个轴累积投影的梯度幅度来计算AGPV。实验证明，该方法具有图像缩放和旋转不变性，对噪声和光照变化具有鲁棒性。
2009-09-22 cs.CV
Deep Stereo Matching with Explicit Cost Aggregation Sub-Architecture
Beijing Institute of Technology（北京理工大学）；Kandao Australia Research Center（看到科技澳大利亚研究中心）
深度神经网络在立体匹配方面表现出了优异的性能。许多工作集中在匹配代价计算步骤的特征提取和相似性度量上，而对立体匹配至关重要的代价聚合关注较少。在本文中，我们提出了一种基于学习的成本聚合方法的立体匹配的一个新的子架构中的端到端的可训练的管道。我们重新制定的成本汇总作为一个学习过程的生成和选择的成本汇总的建议，表明可能的成本汇总的结果。成本汇总子架构由两个流网络实现：一个用于生成成本汇总建议，另一个用于选择建议。用于选择的标准由从光卷积网络获得的低级结构信息确定。双流网络提供了一个全局视图的指导成本聚合，以纠正源于匹配成本计算的有限视图的不匹配值。在KITTI和Scene Flow等挑战数据集上的综合实验表明，该方法的性能优于现有方法。
2018-01-12 cs.CV
CTAP: Complementary Temporal Action Proposal Generation
University of Southern California（南加州大学）
时间动作提议生成是一项重要任务，类似于对象提议，时间动作提议旨在捕获可能包含动作的视频中的“剪辑”或时间间隔。以往的方法可以分为两大类：滑动窗口排序和行动性得分分组。滑动窗口均匀覆盖视频中的所有片段，但时间边界不精确;基于分组的方法可能具有更精确的边界，但当动作质量分数较低时，它可能会忽略一些建议。基于这两种方法的互补性，我们提出了一种新的互补时间动作建议（CTAP）生成器。具体来说，我们应用一个建议级的可信度估计（PATE）的滑动窗口的建议，以产生的概率，指示是否可以正确地检测到的行动的行动分数，分数高的窗口被收集。然后，通过时间卷积神经网络处理所收集的滑动窗口和动作性建议，以进行建议排名和边界调整。在THUMOS-14和ActivityNet 1.3数据集上，CTAP在平均召回率（AR）上的表现远远优于最先进的方法。我们进一步应用CTAP作为现有的动作检测器的建议生成方法，并显示一致的显着改进。
2018-07-18 cs.CV
Context-Aware Dynamic Feature Extraction for 3D Object Detection in Point Clouds
点云密度的变化增加了三维检测的难度。在本文中，我们提出了一个上下文感知的动态网络（CADNet）捕捉密度的变化，同时考虑点上下文和语义上下文。从原始点云生成点层次的上下文，以扩大有效的接收领域。它们是基于我们的扩展体素化方法在体素化柱子周围提取的，并使用上下文编码器与柱子特征并行处理。凭借大的感知范围，我们能够捕捉潜在对象的特征变化，并生成细心的空间指导，以帮助调整不同区域的强度。在区域建议网络中，考虑到传统卷积的有限表示能力，其中相同的内核在不同的样本和位置之间共享，我们提出了一个可分解的动态卷积层，通过从局部语义上下文学习来适应输入特征的变化。它自适应地生成多个固定核的位置相关系数，并将它们与局部特征窗口进行卷积。在动态卷积的基础上，我们设计了一个双通道卷积模块，进一步提高了动态卷积的表示能力。我们在KITTI数据集上使用我们的网络进行了实验，并在3D检测任务的精度和速度方面取得了良好的性能。我们的单级检测器的性能大大优于SECOND和PointPillars，并达到30 FPS的速度。
2020-07-28 cs.CV
Deep Adaptive Proposal Network for Object Detection in Optical Remote Sensing Images
Xidian University（西安电子科技大学）
目标检测是航空和卫星图像分析中的一个基本和具有挑战性的问题。最近，两阶段检测器Faster R-CNN被提出，并被证明是光学遥感图像中目标检测的一个很有前途的工具，而遥感图像中目标的稀疏和密集特性是复杂的。用同一个区域建议策略处理所有图像是不合理的，这种处理限制了两级检测器的性能。在本文中，我们提出了一种新颖有效的方法，称为深度自适应建议网络（DAPNet），通过在现有的Faster R-CNN架构的基础上学习新的类别先验网络（CPN）来解决对象的这种复杂性特征。此外，DAPNet模型产生的候选区域不同于传统的区域建议网络（RPN），DAPNet预测每个候选区域的细节类别。这些候选区域结合类别先验网络生成的对象数目，为每幅图像获得合适数目的候选框。这些候选框可以满足稀疏和密集场景中的检测任务。所提出的框架的性能进行了评估具有挑战性的NWPU VHR-10数据集。实验结果表明，该框架的优越性，国家的最先进的。
2018-07-19 cs.CV
Multi-Granularity Fusion Network for Proposal and Activity Localization: Submission to ActivityNet Challenge 2019 Task 1 and Task 2
Shanghai Jiao Tong University（上海交通大学）
本技术报告概述了我们在提交ActivityNet Challenge 2019任务1（\textbf{temporal action proposal generation}）和任务2（\textbf{temporal action localization/detection}）时使用的解决方案。时态动作建议表示包含动作的时间区间，在时态动作定位中起着重要作用。自上而下和自下而上的方法是现有文献中用于提案生成的两种主要类别。在本文中，我们设计了一种新的多粒度融合网络（MGFN），结合互补过滤和信心重新排名从不同的框架产生的建议。具体而言，我们从特征方面、数据方面、模型方面和结果方面等多个角度综合考虑差异性。我们的MGFN在挑战测试集上以69.85的AUC得分和38.90 mAP的时间动作定位任务上实现了最先进的性能。
2019-07-29 cs.CV
DeepSkeleton: Learning Multi-task Scale-associated Deep Side Outputs for Object Skeleton Extraction in Natural Images
Key Laboratory of Specialty Fiber Optics and Optical Access Networks, Shanghai University（上海大学特种光纤与光接入网重点实验室）；Department of Computer Science, Johns Hopkins University（约翰斯·霍普金斯大学计算机科学系）；School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）
对象骨架对于对象表示和目标检测是有用的。它们是对象轮廓的补充，并提供额外的信息，例如对象比例（厚度）如何在对象部分之间变化。但是从自然图像中提取物体骨架是非常具有挑战性的，因为它要求提取器能够捕获局部和非局部图像上下文，以确定每个骨架像素的尺度。在本文中，我们提出了一种新的具有多个尺度相关侧输出的全卷积网络来解决这个问题。通过观察网络中不同层的感受野大小与它们所能捕获的骨架尺度之间的关系，我们在网络的每一级引入了两个与尺度相关的侧输出。该网络通过多任务学习进行训练，其中一个任务是骨架定位以分类像素是否是骨架像素，另一个任务是骨架尺度预测以回归每个骨架像素的尺度。在不同的阶段，通过将与尺度相关的侧输出引导到适当尺度的地面实况骨架来实施监督。然后以尺度特定的方式融合多个尺度相关侧输出的响应，以有效地使用多个尺度来检测骨架像素。我们的方法在两个骨架提取数据集上取得了令人满意的结果，并显着优于其他竞争对手。此外，所获得的骨架和尺度（厚度）的有用性进行了验证两个目标检测应用：前景对象分割和对象提案检测。
2017-07-13 cs.CV
Graph Convolutional Networks for Temporal Action Localization
South China University of Technology（华南理工大学）；Tencent AI Lab（腾讯AI实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Peng Cheng Laboratory（鹏城实验室）；Tsinghua University（清华大学）
大多数最先进的动作本地化系统单独处理每个动作建议，而不会在学习过程中明确利用它们的关系。然而，提案之间的关系实际上在动作定位中起着重要的作用，因为一个有意义的动作总是由视频中的多个提案组成。在本文中，我们提出了利用图卷积网络（GCN）的建议，建议的关系。首先，我们构造了一个行动建议图，其中每个建议被表示为一个节点，两个建议之间的关系被表示为一条边。在这里，我们使用两种类型的关系，一种用于捕获每个建议的上下文信息，另一种用于表征不同动作之间的相关性。然后，我们在图上应用GCN来建模不同建议之间的关系，并学习用于动作分类和定位的强大表示。实验结果表明，我们的方法显着优于国家的最先进的THUMOS 14（49.1%对42.8%）。此外，在ActivityNet上的增强实验也验证了建模行动建议关系的有效性。代码可在https://github.com/Alvin-Zeng/PGCN上获得。
2019-09-07 cs.CV
Lung Diseases Image Segmentation using Faster R-CNNs
Stevens Institute of Technology（史蒂文斯理工学院）
本文提出一种低密度Faster R-CNNs神经网络结构，通过特征金字塔和Soft Non-Maximal Suppression优化区域提议，在胸部X光图像上实现了高效的肺部疾病分割与检测。
2023-09-10 cs.CV eess.IV
Stroke Extraction of Chinese Character Based on Deep Structure Deformable Image Registration
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
本文针对中文字符笔画提取中交叉笔画错误和匹配困难问题，提出结合笔画语义与先验信息的深度学习方法，通过结构可变形图像配准、语义分割和单笔画高精度提取，在书法与手写数据集上显著优于基线方法。
2023-07-10 cs.AI cs.CV
Combining Multiple Feature Extraction Techniques for Handwritten Devnagari Character Recognition
Meghnad Saha Institute of Technology（梅格纳德·萨哈技术学院）；Jadavpur University（贾达普大学）
在本文中，我们提出了一个OCR手写Devnagari字符。基本符号由神经分类器识别。我们使用了四种特征提取技术，即相交、阴影特征、链码直方图和直线拟合特征。对字符图像全局计算阴影特征，通过对字符图像进行分段计算相交特征、链码直方图特征和直线拟合特征。加权多数表决技术被用于组合从四个多层感知器（MLP）的分类器获得的分类决策。在对4900个样本的数据集进行实验时，观察到的总体识别率为92.80%，因为我们考虑了前五个选择结果。该方法与其他最近的方法相比，手写Devnagari字符识别，它已被观察到，这种方法比其他方法有更好的成功率。
2010-05-21 cs.AI cs.CV
Discriminative Autoencoder for Feature Extraction: Application to Character Recognition
Indraprastha Institute of Information Technology（因德拉普拉斯信息技术学院）
传统上，自动编码器是无监督的表示学习工具。在这项工作中，我们提出了一种新的判别式自动编码器。监督判别学习的使用确保了学习的表示对于图像数据集中通常遇到的变化是鲁棒的。以基本的判别式自编码器为单元，建立了一个堆栈结构，旨在从训练数据中提取相关的表示。我们的特征提取算法的效率，即使是简单的分类方案，如KNN（K-最近邻），确保了高的分类精度。我们通过在字符/图像识别的标准数据集上进行实验，并随后与现有的监督式深度架构（如类稀疏堆叠自动编码器和判别式深度信念网络）进行比较，证明了我们的模型在表示学习方面的优越性。
2019-12-11 cs.CV cs.LG
Multi-Modal Character Localization and Extraction for Chinese Text Recognition
本文提出LER方法，通过解耦字符并考虑中文复杂结构，提升中英文文本识别性能，实验表明在大规模中文和英文基准上均取得显著成果。
2026-03-14 cs.AI cs.CV
APES: Articulated Part Extraction from Sprite Sheets
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Adobe Research（Adobe研究院）；Tsinghua University（清华大学）
操纵木偶是创建2D角色动画的最流行的表示法之一。创建这些木偶需要将角色划分为独立移动的部分。在这项工作中，我们提出了一种方法来自动识别这样的关节部位，从一个小集合中显示的角色构成的精灵表，这是一个插图的字符，艺术家经常画木偶创作之前。我们的方法被训练来推断关节部位，例如头部，躯干和四肢，这些部位可以重新组装以最好地重建给定的姿势。我们的研究结果表明，无论是在质量上还是在数量上，我们的性能都明显优于替代品。我们的项目页面https://zhan-xu.github.io/parts/包含了我们的代码和数据。
2022-06-04 cs.CV cs.GR
End-to-End Information Extraction by Character-Level Embedding and Multi-Stage Attentional U-Net
Cinnamon AI Labs（肉桂人工智能实验室）
最近，由于需要数字化大量非结构化文档（如发票、收据、银行转账等），从文档图像中提取信息抽取受到了广泛关注。在本文中，我们提出了一种新的深度学习架构，用于在文档的2D字符网格嵌入上进行端到端信息抽取，即\textit{Multi-Stage Attentional U-Net}。为了有效地捕捉2D元素之间的文本和空间关系，我们的模型利用了一个专门的多级编码器-解码器设计，结合有效地使用自注意力机制和框卷积。在不同数据集上的实验结果表明，我们的模型比基线U-Net架构有很大的优势，而使用的参数少了40%。此外，它还显着改善了错误的OCR和有限的训练数据的情况下的基线，从而成为现实世界的应用。
2021-09-09 cs.CV cs.LG eess.IV
Extraction and Analysis of Fictional Character Networks: A Survey
Laboratoire Informatique d’Avignon（阿维尼翁计算机实验室）；Orkis（奥基斯公司）
角色网络是从叙事中提取的图，其中顶点表示角色，边对应于它们之间的交互。许多叙事相关的问题可以通过分析角色网络自动解决，例如摘要，分类或角色检测。当考虑虚构作品（例如小说、戏剧、电影、电视剧）时，角色网络特别相关，因为它们的开发允许开发信息检索和推荐系统。然而，小说作品具有特定的属性，使这些任务变得更加困难。本调查旨在介绍和组织与从小说作品中提取人物网络相关的科学文献，以及它们的分析。我们首先以一种通用的方式描述提取过程，并解释其构成步骤在实践中是如何实施的，这取决于叙事的媒介，网络分析的目标和其他因素。然后，我们回顾了用于表征字符网络的描述性工具，重点是在这种情况下解释它们的方式。我们说明了字符网络的相关性，也提供了一个审查的应用程序来自他们的分析。最后，我们确定了现有方法的局限性，以及最有前途的前景。
2022-03-31 cs.CL cs.CV cs.IR
