What deep learning can tell us about higher cognitive functions like mindreading?
Humboldt-University of Berlin（柏林洪堡大学）；University of Tartu（塔尔图大学）
深度学习（DL）能否指导我们理解生物大脑中发生的计算？我们将首先简要地考虑DL如何对视觉对象识别的研究做出贡献。在主要部分，我们将评估深度学习是否也可以帮助我们澄清更高认知功能（如心理理论）的计算。此外，我们将比较大脑和机器的目标和学习信号，从而得出结论，简单地扩大当前的深度学习算法很可能不会导致人类水平的心理理论。
2019-07-04 cs.AI cs.LG q-bio.NC
Timestamp-supervised Wearable-based Activity Segmentation and Recognition with Contrastive Learning and Order-Preserving Optimal Transport
Shanghai Jiao Tong University（上海交通大学）；University of Southern California（南加州大学）
针对可穿戴活动识别中标注成本高的问题，提出仅需每段一个时间戳标注的联合分割与识别方法，结合对比学习与最优传输生成伪标签，在四个公开数据集上超越弱监督方法并接近全监督性能。
2023-10-13 cs.AI cs.CV
SeekNet: Improved Human Instance Segmentation and Tracking via Reinforcement Learning Based Optimized Robot Relocation
Purdue University（普渡大学）
非模态识别是系统检测被遮挡物体的能力。大多数SOTA视觉识别系统缺乏执行非模态识别的能力。很少有研究通过被动预测或具体识别方法实现非模态识别。然而，这些方法在现实世界的应用中受到挑战，例如动态障碍。我们提出了SeekNet，一种改进的优化方法，通过具体的视觉识别进行非模态识别。此外，我们为社交机器人实施SeekNet，在社交机器人中，与拥挤的行人进行多种交互。我们还证明了我们的算法在其他基线上对遮挡人体检测和跟踪的好处。此外，我们还使用SeekNet建立了一个多机器人环境，以识别和跟踪拥挤地区空气传播疾病的视觉疾病标记。我们在模拟的室内环境中进行实验，结果表明，我们的方法提高了非模态识别任务的整体准确性，并且与基线方法相比，随着时间的推移，检测准确性得到了最大的提高。
2023-03-08 cs.CV cs.RO
S3Aug: Segmentation, Sampling, and Shift for Action Recognition
Nagoya Institute of Technology（名古屋工业大学）
本文提出S3Aug视频数据增强方法，通过分割、标签到图像转换、采样和中间特征偏移从单一视频生成新视频，增强时间一致性，在UCF101等数据集上验证了有效性。
2023-10-23 cs.CV
Risky Action Recognition in Lane Change Video Clips using Deep Spatiotemporal Networks with Segmentation Mask Transfer
Nagoya University（名古屋大学）；UT Dallas（得克萨斯大学达拉斯分校）；Daido University（大同大学）；Tier IV Inc.（Tier IV公司）
高级驾驶员辅助和自动驾驶系统依赖于风险评估模块来预测和避免危险情况。目前的方法使用昂贵的传感器设置和复杂的处理管道，限制了它们的可用性和鲁棒性。为了解决这些问题，我们引入了一种新的基于深度学习的动作识别框架，用于对单目摄像机捕获的短视频片段中的危险变道行为进行分类。我们设计了一个深度时空分类网络，该网络使用预训练的最先进的实例分割网络Mask R-CNN作为其空间特征提取器。所提出的方法的长短期记忆（LSTM）和较浅的最终分类层是在带有注释风险标签的半自然主义车道变化数据集上训练的。对最先进的特征提取器进行了综合比较，以找到最佳的网络布局和训练策略。最好的结果，与0.937 AUC得分，获得了与建议的网络。我们的代码和训练模型都是开源的。
2020-02-02 cs.AI cs.CV cs.LG
3D Convolutional Networks for Action Recognition: Application to Sport Gesture Recognition
Univ. Bordeaux（波尔多大学）；Univ. La Rochelle（拉罗谢尔大学）
3D卷积网络是一种很好的方法来执行任务，例如将视频分割成连贯的时空块，并根据目标分类法对其进行分类。在本章中，我们感兴趣的是具有可重复动作的连续视频的分类，例如乒乓球的击球。这些视频在无标记的生态环境中拍摄，从分割和分类的角度来看都是一个挑战。3D convnets是一个有效的工具，用于解决这些问题与基于窗口的方法。
2022-04-13 cs.CV cs.LG eess.IV
ObjectMix: Data Augmentation by Copy-Pasting Objects in Videos for Action Recognition
Nagoya Institute of Technology（名古屋工业大学）
在本文中，我们提出了一个数据增强方法的动作识别使用实例分割。虽然许多数据增强方法已被提出用于图像识别，但其中很少有针对动作识别的。我们提出的方法，ObjectMix，提取每个对象区域从两个视频使用实例分割，并将它们结合起来，以创建新的视频。在UCF 101和HMDB 51两个动作识别数据集上的实验表明了该方法的有效性，并显示了其优于VideoMix的优势。
2022-11-14 cs.CV
Deep-Aligned Convolutional Neural Network for Skeleton-based Action Recognition and Segmentation
Center of Cognitive Interactive Technology (CITEC)（认知交互技术中心（CITEC））；Bielefeld University（比勒费尔德大学）；Eurodecision（欧洲决策公司）
卷积神经网络（CNN）是一种深度学习框架，以其在分类任务中的出色表现而闻名。因此，许多基于动作识别和分割（SBARS）的算法在其设计中受益于它们。然而，这样的应用的缺点是在这样的数据类型中的输入特征之间通常缺乏空间关系。此外，非均匀的时间缩放是基于时间的数据流中的一个常见问题，这导致即使在一个特定的动作类别中也有不同的输入大小。在这项工作中，我们提出了一种新的深度对齐的卷积神经网络（DACNN），以解决上述挑战的特定问题的SBARS。我们的网络是通过在CNN的上下文中引入一种新型的过滤器来设计的，CNN是根据它们与输入中的局部序列的对齐来训练的。这些过滤器导致有效的预测以及学习数据中可解释的模式。我们在现实世界的基准测试中对我们的框架进行了经验评估，结果表明，与最先进的算法相比，所提出的DACNN算法获得了具有竞争力的性能，同时受益于一个不太复杂但更易于解释的模型。
2019-11-12 cs.CV cs.LG eess.IV
SHARP: Segmentation of Hands and Arms by Range using Pseudo-Depth for Enhanced Egocentric 3D Hand Pose Estimation and Action Recognition
TU Wien（维也纳技术大学）；University of Bristol（布里斯托尔大学）
本研究提出仅用RGB帧结合伪深度的SHARP方法分割场景无关部分，在H2O数据集上实现91.73%的动作识别准确率，姿态误差28.66mm，无需深度传感器即可提升自我中心3D手部姿态估计与动作识别性能。
2024-08-19 cs.CV
A Video-based End-to-end Pipeline for Non-nutritive Sucking Action Recognition and Segmentation in Young Infants
Northeastern University（东北大学）；Roux Institute, Northeastern University（东北大学鲁克斯研究所）；University of Maine（缅因大学）；Khoury College of Computer Sciences, Northeastern University（东北大学胡里计算机科学学院）；Bouvé College of Health Sciences, Northeastern University（东北大学布维健康科学学院）
我们提出了一个端到端的计算机视觉管道来检测非营养性吸吮（NNS）-一种没有营养输送的婴儿吸吮模式-作为发育迟缓的潜在生物标志物，使用现成的婴儿监视器视频片段。NNS的临床（或算法）评估的一个障碍源于其稀疏性，需要专家费力地通过数小时的镜头来找到相关活动的分钟。我们的NNS活动分割算法通过以高确定性识别NNS的时间段来解决这个问题-在30个异质的60 s片段中，平均精确度高达94.0\%，平均召回率为84.9\%，这些片段来自我们手动注释的NNS临床婴儿床数据集，该数据集包含19名婴儿的183小时过夜婴儿监视器镜头。我们的方法是基于一个基本的NNS动作识别算法，它使用时空深度学习网络和婴儿特定的姿势估计，实现94.9%的准确率在960 2.5秒平衡NNS与非NNS剪辑的二进制分类。在我们的第二个、独立的、公开的NNS野外数据集上进行测试，NNS识别分类的准确率达到92.3%，NNS分割的准确率达到90.8%，召回率达到84.2%。
2023-03-29 cs.CV
Joint Recognition and Segmentation of Actions via Probabilistic Integration of Spatio-Temporal Fisher Vectors
University of Queensland（昆士兰大学）；Queensland University of Technology（昆士兰科技大学）；NICTA（澳大利亚国家信息通信技术中心）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织 Data61）
我们提出了一个分层的方法来进行联合分类和分割的多动作识别。一个给定的视频（包含几个连续的动作）通过一系列重叠的时间窗口进行处理。时间窗口中的每个帧通过选择性的低级别时空特征来表示，这些特征有效地捕获相关的局部动态。来自每个窗口的特征被表示为Fisher向量，其捕获一阶和二阶统计量。不是直接对每个Fisher向量进行分类，而是将其转换为类别概率的向量。然后，通过在帧级整合类概率来获得每个帧的最终分类决策，这利用了时间窗口的重叠。实验在两个数据集上进行：s-KTH（KTH数据集的拼接版本，用于模拟多动作）和具有挑战性的CMU-MMAC数据集。在s-KTH上，所提出的方法实现了85.0%的准确率，显著优于最近基于Gestival和Hestival的两种方法，分别获得78.3%和71.2%。在CMU-MMAC上，该方法的准确率为40.9%，优于GMM和HMM方法，分别为33.7%和38.4%。此外，所提出的系统平均比基于GMM的方法快40倍。
2016-10-04 cs.CV
MindBench: A Comprehensive Benchmark for Mind Map Structure Recognition and Analysis
Meituan（美团）
本文提出MindBench基准，通过五类结构化理解与解析任务系统评估多模态大语言模型在思维导图等结构化文档上的文本识别、空间感知和关系辨别能力，揭示了现有模型的潜力与不足。
2024-07-03 cs.AI cs.CL cs.CV
AVEC 2019 Workshop and Challenge: State-of-Mind, Detecting Depression with AI, and Cross-Cultural Affect Recognition
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）；University of Nottingham（诺丁汉大学）；Queen’s University Belfast（贝尔法斯特女王大学）；University of Southern California（南加州大学）；University of Ulm（乌尔姆大学）；Tianjin Normal University（天津师范大学）
视听情绪挑战赛和研讨会（AVEC 2019）“心态，用AI检测抑郁症和跨文化情感识别”是第九届比赛项目，旨在比较多媒体处理和机器学习方法用于自动视听健康和情绪分析，所有参赛者严格在相同条件下进行比赛。该挑战赛的目标是为多模态信息处理提供一个通用的基准测试集，并将健康和情绪识别社区以及视听处理社区聚集在一起，比较各种方法的相对优点，从现实生活中的数据中识别健康和情绪。本文介绍了今年推出的主要创新，挑战指南，使用的数据以及基线系统在三个拟议任务上的表现：精神状态识别，AI抑郁评估和跨文化影响感知。
2019-07-10 cs.CV cs.HC cs.IR
CX-ToM: Counterfactual Explanations with Theory-of-Mind for Enhancing Human Trust in Image Recognition Models
UCLA（加州大学洛杉矶分校）；University of Michigan（密歇根大学）；Oregon State University（俄勒冈州立大学）；Beijing Institute for General AI (BIGAI)（北京通用人工智能研究院）；Tsinghua University（清华大学）；Peking University（北京大学）
我们提出了CX-ToM，是心理理论反事实解释的缩写，这是一种新的可解释人工智能（XAI）框架，用于解释深度卷积神经网络（CNN）做出的决策。与XAI中当前生成解释作为Single Shot响应的方法相反，我们将解释作为机器和人类用户之间的迭代通信过程，即对话。更具体地说，我们的CX-ToM框架通过调解机器和人类用户的思维之间的差异来生成对话中的解释序列。为了做到这一点，我们使用心理理论（ToM），它可以帮助我们明确地建模人类的意图，由人类推断的机器思维以及由机器推断的人类思维。此外，大多数最先进的XAI框架都提供基于注意力（或热图）的解释。在我们的工作中，我们表明这些基于注意力的解释不足以增加人们对底层CNN模型的信任。在CX-ToM中，我们使用称为断层线的反事实解释，我们定义如下：给定CNN分类模型M预测类c_pred的输入图像I，断层线识别最小语义级特征（例如，斑马上的条纹、狗的尖耳朵），这些被称为可解释概念，需要将它们添加到I或从I中删除，以便将I的分类类别M改变为另一个指定类别c_alt。我们认为，由于CX-ToM解释的迭代，概念和反事实性质，我们的框架是实用的，更自然的专家和非专家用户理解复杂的深度学习模型的内部工作。大量的定量和定性实验验证了我们的假设，证明我们的CX-ToM显著优于最先进的可解释AI模型。
2021-12-02 cs.AI cs.CV cs.LG
Learning Hierarchical Image Segmentation For Recognition and By Recognition
University of California, Berkeley（加利福尼亚大学伯克利分校）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
本文将分层分割器集成进识别过程，仅用图像级识别目标训练，使分割作为内部过程自动揭示局部-整体关系，在无监督发现、语义分割、分类和效率上超越ViT，并在PartImageNet上以少得多的数据超越SAM 8% mIoU。
2024-05-02 cs.AI cs.CV cs.LG
Mind the Gap: Bridging Occlusion in Gait Recognition via Residual Gap Correction
Johns Hopkins University（约翰斯·霍普金斯大学）
针对步态识别中遮挡数据难配对且完整输入性能下降的问题，本文提出 RG-Gait，通过学习遮挡步态相对完整表示的残差并自适应融合，在多个数据集上提升遮挡识别且保持完整输入准确率。
2025-07-21 cs.CV
Mind the Gap: Promoting Missing Modality Brain Tumor Segmentation with Alignment
School of Robotics Xi’an Jiaotong-Liverpool University Suzhou, China；School of Advanced Technology Xi'an Jiaotong-Liverpool University Suzhou, China；School of Advanced Technology Xi’an Jiaotong-Liverpool University Suzhou, China；Data Science Research Center Duke Kunshan University Suzhou, China
针对临床MRI模态缺失导致脑肿瘤分割性能受限的问题，提出将多模态潜在特征对齐到分布锚点的知识蒸馏新范式，经理论证明和实验验证可缩小模态差距，提升缺失模态下的分割效果。
2024-09-28 cs.AI cs.CV eess.IV
Mind the Gap: Disentangling Performance Bottlenecks in Video Instance Segmentation
Computer Engineering Department, Amirkabir University of Technology (Tehran Polytechnic)（阿美里卡布里大学计算机工程系（德黑兰技术学院））
提出一种基于整数线性规划的诊断框架，分离分类、分割和跟踪误差，发现跟踪不稳定是视频实例分割的主要瓶颈，尤其在遮挡、长视频和高密度场景下，且强骨干网络无法消除该算法性问题。
2026-06-05 cs.CV
Mind the Context: Attention-Guided Weak-to-Strong Consistency for Enhanced Semi-Supervised Medical Image Segmentation
College of Engineering Huazhong Agricultural University Wuhan, China（华中农业大学工程学院）；College of Informatics Huazhong Agricultural University Wuhan, China（华中农业大学信息学院）
本文提出AIGCMatch框架，通过在图像和特征层面引入注意力引导扰动实现弱到强一致性正则化，在ACDC和ISIC-2017数据集上验证了其在半监督医学图像分割中的优越性能。
2025-07-07 cs.CV eess.IV
Silicon Minds versus Human Hearts: The Wisdom of Crowds Beats the Wisdom of AI in Emotion Recognition
Elon University（伊隆大学）
本研究通过RMET和MRMET测试评估MLLMs的情绪识别能力，发现MLLMs在个体平均表现上优于人类，但人类群体聚合决策显著超越聚合的MLLM预测，且人机协作方法准确率最高，表明人类集体智能与人机协同是发展情感AI的最优路径。
2025-08-12 cs.AI cs.CV cs.CY
Mind The Gap: Alleviating Local Imbalance for Unsupervised Cross-Modality Medical Image Segmentation
University of Liverpool（利物浦大学）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Duke Kunshan University（昆山杜克大学）
无监督跨模态医学图像自适应的目的是在不使用目标域标签的情况下缓解不同成像模态之间的严重域差距。这个活动的一个关键在于对齐源域和目标域的分布。一种常见的尝试是强制两个域之间的全局对齐，然而，这忽略了致命的局部不平衡域间隙问题，即，具有较大畴隙的某些局部特征难以转移。最近，一些方法进行对准集中在局部区域，以提高模型学习的效率。而这种操作可能会导致来自上下文的关键信息的不足。为了解决这个问题，我们提出了一种新的策略，以减轻域间隙不平衡考虑到医学图像的特点，即全局局部联盟对齐。具体地，特征解纠缠样式转移模块首先合成目标类源内容图像以减小全局域间隙。然后，一个局部特征掩模被集成，以减少“内部间隙”的局部特征，通过优先考虑那些具有较大的域间隙的歧视性特征。这种全局和局部对齐的结合可以精确定位分割目标中的关键区域，同时保持整体语义一致性。我们采用两个跨通道适应任务进行了一系列实验，即：心脏子结构和腹部多器官分割。实验结果表明，我们的方法在这两个任务中达到了最先进的性能。
2022-09-05 cs.CV
OrigamiNet: Weakly-Supervised, Segmentation-Free, One-Step, Full Page Text Recognition by learning to unfold
Intuition Machines, Inc.（直觉机器公司）
文本识别是一项主要的计算机视觉任务，具有大量相关挑战。这些传统挑战之一是文本识别和分割的耦合性质。在过去的几十年里，这个问题已经得到了逐步解决，从基于分割的识别到无分割的方法，事实证明，这种方法更准确，注释数据也更便宜。我们从无分割的单行识别向无分割的多行/整页识别迈出了一步。我们提出了一种新颖而简单的神经网络模块，称为\textbf{OrigamiNet}，它可以增强任何CTC训练的，完全卷积的单行文本识别器，通过为模型提供足够的空间容量，能够正确地将2D输入信号折叠成1D而不丢失信息，将其转换为多行版本。这种修改后的网络可以使用完全相同的简单原始过程进行训练，并且只使用\textbf{unsegmented}图像和文本对。我们进行了一组可解释性实验，表明我们的训练模型学习了准确的隐式线分割。我们在IAM \& ICDAR 2017 HTR手写识别基准测试中实现了最先进的字符出错率，超过了文献中的所有其他方法。在IAM上，我们甚至超过了在训练过程中使用准确定位信息的单线方法。我们的代码可在\url{https://github.com/IntuitionMachines/OrigamiNet}在线获取。
2020-06-12 cs.CV cs.LG
Simultaneous Segmentation and Recognition: Towards more accurate Ego Gesture Recognition
V-Sense；Trinity College Dublin（都柏林圣三一学院）
自我手势可以用作AR和VR环境中的界面。虽然图像的上下文对于场景理解、对象识别、图像字幕生成和活动识别等任务很重要，但它在自我手势识别中起的作用最小。用于AR和VR环境的自我手势传达相同的信息，而不管背景如何。考虑到这一点，我们提出了我们的工作自我手势识别，产生嵌入RBG图像与自我的手，这是同时用于自我的手分割和自我手势识别。在这个程度上，我们在公开的最大的自我手势数据集上实现了更好的识别准确率（96.9%），而不是最先进的（92.2%）。我们提出了一种手势识别深度神经网络，它通过从不同长度的图像序列中生成和识别自我手的嵌入来从视频（包含单个手势的视频）中识别自我手势。我们介绍了同时分割和识别自我手势的概念，提出了网络结构，训练过程和结果相比，最先进的EgoGesture数据集
2019-09-18 cs.CV cs.LG
Multi-level Contrast Network for Wearables-based Joint Activity Segmentation and Recognition
Shanghai Jiao Tong University（上海交通大学）；Huazhong University of Science and Technology（华中科技大学）
可穿戴设备的人类活动识别（HAR）是一项很有前途的研究，可以广泛应用于许多智能医疗应用。近年来，基于深度学习的HAR模型取得了令人瞩目的识别性能。然而，大多数HAR算法容易受到多类窗口问题的影响，这是必不可少的，但很少利用。在本文中，我们建议通过将分割技术引入HAR，产生联合活动分割和识别来缓解这个具有挑战性的问题。特别地，我们引入了用于样本级活动预测的多阶段时间卷积网络（MS-TCN）结构来联合分割和识别活动序列。此外，为了增强HAR对类间相似性和类内异质性的鲁棒性，提出了一种包含样本级和片段级对比度的多级对比度损失，以学习结构良好的嵌入空间，从而获得更好的活动分割和识别性能。最后，在两个公开的HAR数据集上通过综合实验验证了该方法的有效性，在各个评价指标上都取得了显著的改善。
2022-08-16 cs.AI cs.CV
Modified Segmentation Algorithm for Recognition of Older Geez Scripts Written on Vellum
Faculty of Informatics, University of Gondar（贡达尔大学信息学院）
手写文档识别的目的是将文档图像转换为机器可理解的格式。手写文档识别是模式识别领域中最具挑战性的研究方向。当一份文件在几百年前写在牛皮纸上时，它就变得更加复杂了，就像更古老的吉兹脚本一样。在这项研究中，我们介绍了一种改进的分割方法来识别旧的吉兹脚本。我们使用自适应滤波降噪，Isodata迭代全局阈值的文档图像二值化，修改限界框投影分割Geez字符，数字和标点符号之间的不同笔画。SVM多类分类器在改进的分割算法下获得了79.32%的识别准确率。
2020-05-31 cs.CV
Deep Learning Based Segmentation Free License Plate Recognition Using Roadway Surveillance Camera Images
Havelsan Inc.（哈维桑公司）
智能自动化交通执法解决方案近年来越来越受欢迎。这些解决方案广泛用于安全带违规检测、闯红灯违规检测和超速违规检测。高精度的车牌识别是这些系统中不可或缺的一部分。然而，一般的车牌识别系统需要高分辨率的图像以获得高性能。在这项研究中，我们提出了一种新的车牌识别方法，一般道路监控摄像头。提出的无分割车牌识别算法在字符检测和识别过程中利用基于深度学习的目标检测技术。所提出的方法已被测试2000图像上捕获的道路上。
2019-12-05 cs.CV
Hierarchical Modeling for Task Recognition and Action Segmentation in Weakly-Labeled Instructional Videos
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文重点关注弱标记教学视频中的任务识别和动作分割，其中在训练期间仅提供视频级动作的有序序列。我们提出了一个双流框架，它利用语义和时间层次结构来识别教学视频中的顶级任务。此外，我们提出了一种新的自上而下的弱监督动作分割方法，其中预测任务用于约束细粒度动作序列的推理。在流行的Breakfast and Cooking 2数据集上的实验结果表明，我们的双流分层任务建模在所有数据集和指标的顶级任务识别中显着优于现有方法。此外，在所提出的自上而下的动作分割方法中使用我们的任务识别框架，始终提高了最新技术水平，同时还将分割推理时间减少了80- 90%。
2021-10-12 cs.CV
Influence of segmentation on deep iris recognition performance
Faculty of Computer and Information Science, University of Ljubljana（卢布尔雅那大学计算机与信息科学学院）；XLAB d.o.o.（XLAB有限责任公司）；Faculty of Electrical Engineering, University of Ljubljana（卢布尔雅那大学电气工程学院）
尽管深度学习在计算机视觉和图像处理的许多领域兴起，但到目前为止，虹膜识别并没有从这些趋势中受益匪浅。现有的大部分关于深度虹膜识别的研究都集中在用于生成有区别的和鲁棒的虹膜表示的新模型上，并且依赖于类似于传统虹膜识别管道的方法。因此，所提出的模型并不以端到端的方式进行虹膜识别，而是使用标准的启发式虹膜分割（和展开）技术来为深度学习模型产生归一化的输入。然而，由于深度学习能够对非常复杂的数据分布和非线性数据变化进行建模，因此出现了一个明显的问题。在深度学习环境中使用传统分割方法有多重要？为了回答这个问题，我们在本文中提出了虹膜分割对深度学习模型性能的影响的实证分析，使用一个简单的两阶段流水线，包括分割和识别步骤。我们评估分割的准确性如何影响识别性能，但也检查是否需要分割。我们使用CASIA Thousand和SBVPI数据集进行实验，并报告了几个有趣的发现。
2020-05-08 cs.CV
Distilling Facial Knowledge With Teacher-Tasks: Semantic-Segmentation-Features For Pose-Invariant Face-Recognition
University of Michigan - Dearborn（密歇根大学迪尔伯恩分校）
提出了一种基于语义分割特征提高人脸识别姿态不变性的方法。所提出的Seg-Distilled-ID网络联合学习识别和语义分割任务，其中分割任务然后被“蒸馏”（MobileNet编码器）。性能基准对三个国家的最先进的编码器上公开的数据集，强调头部姿势的变化。实验评估表明，Seg-Distilled-ID网络显示出显著的鲁棒性优势，测试准确率达到99.9%，而ResNet-101为81.6%，VGG-19为96.1%，InceptionV 3为96.3%。这是使用大约十分之一的顶部编码器的推理参数来实现的。这些结果表明，提取语义分割特征可以有效地解决人脸识别的姿态不变性。
2022-09-02 cs.CV
An End-to-End, Segmentation-Free, Arabic Handwritten Recognition Model on KHATT
Birzeit University（比尔宰特大学）
提出一种基于KHATT数据库的端到端无分割深度学习模型，结合DCNN、BLSTM和CTC实现阿拉伯手写识别，字符级识别率达84%，为数字化归档等领域提供高效工具。
2024-06-21 cs.AI cs.CV
Joint Line Segmentation and Transcription for End-to-End Handwritten Paragraph Recognition
A2iA SAS（A2iA公司）
离线手写识别系统需要裁剪的文本行图像用于训练和识别。一方面，在行级别的位置和成绩单的注释是昂贵的获得。另一方面，自动直线分割算法容易出现错误，影响后续的识别。在本文中，我们提出了一个流行的和有效的多维长短期记忆递归神经网络（MDLSTM-RNN）的修改，使手写段落的端到端处理。更具体地说，我们取代了崩溃层转换的二维表示成一个序列的预测的一个经常性的版本，可以识别一行一次。在该模型中，一个神经网络执行一种隐式线分割通过计算注意力的图像表示的权重。Rimes和IAM数据库的段落上的实验产生的结果是有竞争力的在线水平上训练的网络，并构成了一个重要的一步，端到端的转录完整的文件。
2016-04-28 cs.CV cs.LG cs.NE
Melanoma Recognition with an Ensemble of Techniques for Segmentation and a Structural Analysis for Classification
University ”Politehnica” of Bucharest（布加勒斯特理工大学）
描述了一种用于病变定位的病变识别方法，该方法使用分割技术的集合，并且用于病变分类的详尽的结构分析。对于本地化，候选区域从全局阈值的彩色地图，并从应用K-Means算法的RGB图像;候选区域，然后集成。对于分类，进行相对详尽的轮廓和区域的结构分析。
2018-07-18 cs.CV
Friends Across Time: Multi-Scale Action Segmentation Transformer for Surgical Phase Recognition
Blue River Technology（蓝河科技）；Blue Grotto Labs, LLC（蓝洞实验室有限责任公司）
提出 MS-AST 与 MS-ASCT，通过多尺度时间自注意力和交叉注意力建模手术视频时空关系，在 Cholec80 的在线与离线阶段识别中取得 95.26% 和 96.15% 的新 SOTA。
2024-01-22 cs.CV cs.RO
HGR-Net: A Fusion Network for Hand Gesture Segmentation and Recognition
University of Bristol（布里斯托大学）；Shahid Beheshti University（沙希德·贝赫什提大学）
我们提出了一个两阶段的卷积神经网络（CNN）架构，用于手势的鲁棒识别，称为HGR-Net，其中第一阶段执行准确的语义分割，以确定手部区域，第二阶段识别手势。分割阶段架构基于完全卷积残差网络和空间金字塔池化的组合。虽然分割子网络是在没有深度信息的情况下训练的，但它对光照变化和复杂背景等挑战特别鲁棒。识别阶段部署了双流CNN，它通过在分类之前将它们的深度表示组合在完全连接的层中来融合来自红-绿-蓝和分割图像的信息。在公共数据集上进行的大量实验表明，我们的架构在静态手势的分割和识别方面几乎达到了最先进的性能，而训练时间、运行时间和模型大小只占一小部分。我们的方法可以以平均每帧23 ms的速度运行。
2019-12-28 cs.CV
High-Accuracy RGB-D Face Recognition via Segmentation-Aware Face Depth Estimation and Mask-Guided Attention Network
Department of Computer Science, National Tsing Hua University（台湾清华大学计算机科学系）；Microsoft AI R&D Center（微软人工智能研发中心）
深度学习方法通过用非常大的人脸图像数据集训练模型来实现高度准确的人脸识别。与大型2D人脸图像数据集的可用性不同，缺乏可供公众使用的大型3D人脸数据集。现有的公开3D人脸数据集通常采集对象较少，导致过拟合问题。本文提出了两种CNN模型来改进RGB-D人脸识别任务。第一个是分割感知深度估计网络，称为DepthNet，它通过包含语义分割信息来估计RGB人脸图像的深度图，以实现更准确的人脸区域定位。另一个是一种新的面具引导的RGB-D人脸识别模型，它包含一个RGB识别分支，一个深度图识别分支，和一个辅助分割面具分支与空间注意力模块。我们的DepthNet用于将大型2D人脸图像数据集增强为大型RGB-D人脸数据集，用于训练准确的RGB-D人脸识别模型。此外，所提出的面具引导的RGB-D人脸识别模型可以充分利用深度图和分割面具信息，并且比以前的方法对姿态变化更具鲁棒性。我们的实验结果表明，深度网络可以产生更可靠的深度图从人脸图像的分割掩模。我们的面具引导人脸识别模型在几个公共3D人脸数据集上的性能优于最先进的方法。
2021-12-22 cs.CV
HMM-based Indic Handwritten Word Recognition using Zone Segmentation
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；Institute of Engineering & Management, Kolkata（加尔各答工程与管理学院）；Indian Statistical Institute, Kolkata（印度统计学院加尔各答分校）
本文提出了一种新的方法，对印度手写体字识别使用逐区信息。由于复合字、修饰语、重叠、接触等复杂性，字符分割和识别在印度文字（例如，梵文、孟加拉文、古鲁木基文和其他类似文字）中是一项乏味的工作。为了避免在这样的脚本中的字符分割，基于HMM的序列建模已经在早期以整体的方式使用。本文提出了一种有效的文字识别框架，通过水平分割的手写文字图像分为三个区域（上，中，下）和识别相应的区域。这种区域分割方法的主要目的是减少与印度语脚本中的类总数相比不同组件类的数量。因此，使用这种区域分割方法增强了系统的识别性能。利用隐马尔可夫模型对字符接触最多的中间区域进行识别。在识别出字符的中间区域后，采用基于HMM的Viterbi强制对齐方法来标记字符的左右边界。接着，如果有的话，在其各自的边界的上和下区的残余成分被组合，以实现最终的词级识别。该框架结合了水体特征，改善了分割时区域分割和字符对齐的缺陷。提出了一种新的基于滑动窗口的特征，称为金字塔梯度直方图（PHOG）的中间区域识别。一个详尽的实验进行两个印度脚本，即孟加拉语和梵文的性能评估。从实验中，已经注意到，所提出的逐区识别相对于传统的印度语单词识别方式提高了准确性。
2017-08-01 cs.CV
Chargrid-OCR: End-to-end Trainable Optical Character Recognition for Printed Documents using Instance Segmentation
SAP（思爱普）
我们提出了一个端到端的可训练的方法，光学字符识别（OCR）的打印文件。具体来说，我们提出了一个模型，预测a）一个二维字符网格（\emph{chargrid}）表示的文档图像作为一个语义分割任务和b）字符框描绘字符实例作为一个目标检测任务。为了训练模型，我们构建了两个大规模的数据集，而不需要任何手动注释-带有干净标签的合成文档和带有嘈杂标签的真实文档。我们通过实验证明，我们的方法，在这些数据集的组合上训练，（i）在准确性上优于以前最先进的方法（ii）在GPU上很容易并行化，因此速度明显更快，（iii）易于训练和适应新的领域。
2020-02-27 cs.CV cs.LG
Skin Segmentation based Elastic Bunch Graph Matching for efficient multiple Face Recognition
NIT Rourkela（国家理工学院鲁尔克拉分校）
本文旨在发展和结合不同的人脸检测和人脸识别算法，以产生一个有效的机制，可以检测和识别输入图像的人脸区域。对于复杂区域中的人脸检测，肤色分割首先将复杂图像中的类人脸区域分离出来，然后通过形态学和模板匹配的运算剔除误匹配，提取出人脸区域。为了识别面部，图像数据库现在被转换成面部片段的数据库。因此，在皮肤分割之后实施弹性束图匹配（EBGM）的技术生成精确地表示个体面部的特征的面部束图，从而提高训练集的质量。这显著增加了匹配概率。
2013-10-22 cs.CV
Generative Shape Models: Joint Text Recognition and Segmentation with Very Little Training Data
Vicarious FPC Inc.（Vicarious FPC 公司）
我们证明了对象形状的生成模型可以在具有挑战性的场景文本识别任务上实现最先进的结果，并且训练图像的数量级比竞争判别方法所需的数量级少。除了从具有挑战性的图像中转录文本外，我们的方法还对字符进行细粒度的实例分割。我们表明，我们的模型是更强大的仿射变换和非仿射变形相比，以前的方法。
2016-11-09 cs.CV
Segmentation-Free Approaches for Handwritten Numeral String Recognition
Federal University of Parana（巴拉那联邦大学）；Pontifical Catholic University of Parana（巴拉那天主教大学）；Ecole de Technologie Superieure（高等技术学院）
本文提出了一种识别未知长度手写数字串的免分割策略。建立了2位、3位和4位数字串的合成数据集，用于训练基于卷积神经网络的端到端解决方案。一个强大的实验协议被用来表明，所提出的无分割方法可以达到最先进的性能，而不会遭受过分割的方法的沉重负担。此外，他们还确认了在端到端解决方案的设计中引入上下文信息的重要性，例如在识别数字字符串时提出的长度分类器。
2018-04-28 cs.CV
Implicit segmentation of Kannada characters in offline handwriting recognition using hidden Markov models
National Institute of Technology Karnataka（卡纳塔克国家理工学院）
我们描述了一种方法，使用隐马尔可夫模型（HMM）的手写卡纳达语字符的分类。卡纳达文是粘着的，简单的形状水平连接形成一个字符。这导致了大量的字符，使得分类任务变得困难。字符分割在减少类别数方面起着重要作用。当存在重叠的形状时，显式分割技术会受到影响，这在手写文本的情况下很常见。我们使用Humble来利用卡纳达语脚本的粘合性质，这使我们能够在识别的同时执行字符的隐式分割。所有的实验都是在Chars74k数据集上进行的，该数据集由多个用户收集的657个手写字符组成。从单个字符中提取基于特征的特征，并用于训练字符Hacker。在字符级使用隐式分割技术导致了约10%的改进。该系统在相同数据集上测试的性能也优于现有系统约16%。基于学习曲线的分析表明，增加训练数据可以导致更好的准确性。因此，我们收集了额外的数据，并获得了4%的改善与6个额外的样本。
2014-10-16 cs.CV cs.LG
DAN: a Segmentation-free Document Attention Network for Handwritten Document Recognition
University of Rouen Normandy（鲁昂诺曼底大学）；Normandie Université（诺曼底大学）；INSA Rouen Normandy（鲁昂诺曼底国立应用科学学院）
无约束手写文本识别是一个具有挑战性的计算机视觉任务。传统上，它是通过两步方法来处理的，结合行分割，然后是文本行识别。我们首次提出了一种用于手写文档识别任务的端到端无分割架构：文档注意力网络。除了文本识别之外，该模型还被训练为以类似XML的方式使用开始和结束标记来标记文本部分。该模型由一个用于特征提取的FCN编码器和一个用于循环的逐令牌预测过程的Transformer解码器层堆栈组成。它将整个文本文档作为输入，并顺序输出字符以及逻辑布局标记。与现有的基于分割的方法相反，该模型在不使用任何分割标签的情况下进行训练。我们在READ 2016数据集上取得了页面水平和双页面水平的竞争结果，CER分别为3.43%和3.70%。我们还提供了RIMES 2009数据集在页面级别的结果，达到CER的4.54%。我们在https://github.com/FactoDeepLearning/DAN上提供所有源代码和预训练模型权重。
2022-12-13 cs.CV
A Multi-Task Deep Learning Approach for Sensor-based Human Activity Recognition and Segmentation
University of South China（南华大学）；University of Ulster（阿尔斯特大学）；University of Science and Technology Beijing（北京科技大学）
基于传感器的人体活动分割和识别是现实世界中的两个重要且具有挑战性的问题，近年来引起了深度学习社区的越来越多的关注。大多数现有的深度学习工作都是基于预分割的传感器流设计的，并且它们将活动分割和识别视为两个独立的任务。在实践中，执行数据流分割是非常具有挑战性的。我们认为，活动分割和识别都可以传递独特的信息，可以相互补充，以提高这两个任务的性能。在本文中，我们首先提出了一种新的多任务深度神经网络，同时解决这两个任务。建议的神经网络采用选择性卷积和多尺度窗口分割活动的长或短的持续时间。首先，生成不同尺度的多个窗口以特征序列的每个单元为中心。然后，训练模型以预测每个窗口的活动类和到真实活动边界的偏移。最后，通过非最大值抑制过滤掉重叠窗口，并将相同活动的相邻窗口连接起来以完成分割任务。在八个流行的基准数据集上进行了广泛的实验，结果表明，我们提出的方法在活动识别和分割方面都优于最先进的方法。
2023-03-20 cs.CV
Multi-source Pseudo-label Learning of Semantic Segmentation for the Scene Recognition of Agricultural Mobile Robots
Toyohashi University of Technology（丰桥技术科学大学）
本文介绍了一种新的方法，训练语义分割模型的农业移动机器人的场景识别，利用公共可用的数据集的户外场景是不同的目标温室环境。语义分割模型需要通过繁琐的人工标注给出丰富的标签。一种解决方法是无监督领域自适应（UDA），它将知识从标记的源数据集转移到未标记的目标数据集。然而，现有的方法的有效性没有得到很好的研究，在异构环境之间的适应，如城市场景和温室。在本文中，我们提出了一种方法来训练一个语义分割模型的温室图像没有手动标记的温室图像数据集。其核心思想是利用多个不同环境下的丰富图像数据集，利用分割标签为目标图像生成伪标签，有效地传递多源知识，实现语义分割的精确训练。随着伪标签的生成，我们引入了最先进的方法来处理伪标签中的噪声，以进一步提高性能。我们在多个温室数据集的实验中证明，与单源基线和现有方法相比，我们提出的方法提高了性能。
2023-01-13 cs.CV cs.RO
Knowledge-aware Deep Framework for Collaborative Skin Lesion Segmentation and Melanoma Recognition
Nanyang Technological University（南洋理工大学）；Central South University（中南大学）；Singapore University of Technology and Design（新加坡科技设计大学）
深度学习技术在皮肤科医生的临床检查中表现出了卓越的性能。然而，黑色素瘤的诊断仍然是一个具有挑战性的任务，由于将有用的皮肤科医生的临床知识纳入学习过程中的困难。在本文中，我们提出了一种新的知识感知深度框架，该框架将一些临床知识纳入两个重要的黑色素瘤诊断任务的协作学习中，即，皮肤病变分割和黑素瘤识别。具体而言，利用知识的形态学表达的病变区域和黑色素瘤识别的周边区域，基于病变池和形状提取（LPSE）计划的设计，转移到黑色素瘤识别从皮肤病变分割获得的结构信息。同时，为了将黑色素瘤识别中的皮肤病变诊断知识传递到皮肤病变分割中，设计了一种有效的诊断引导特征融合（DGFF）策略。此外，我们提出了一个递归的相互学习机制，进一步促进任务间的合作，从而迭代地提高皮肤病变分割和黑色素瘤识别模型的联合学习能力。两个公开的皮肤病变数据集上的实验结果表明，所提出的方法对黑色素瘤分析的有效性。
2021-12-02 cs.CV eess.IV
An end-to-end generative framework for video segmentation and recognition
University of Bonn（波恩大学）；Brown University（布朗大学）
我们描述了一种端到端的生成方法，用于分割和识别人类活动。在这种方法中，一个视觉表示的基础上减少费舍尔矢量相结合的结构化的时间模型进行识别。我们表明，Fisher向量的统计特性使其成为生成模型（如高斯混合）的特别合适的前端。该系统进行评估的识别复杂的活动，以及他们的行动单位解析。使用从人类烹饪活动到动物行为的各种视频数据集，我们的实验表明，对于较大的数据集，即当有足够的数据可用于训练结构化生成模型时，所产生的架构优于最先进的方法。
2016-03-17 cs.CV
Iris Recognition with Image Segmentation Employing Retrained Off-the-Shelf Deep Neural Networks
University of Notre Dame（圣母大学）；Research and Academic Computer Network（研究与学术计算机网络）
本文提供了三种新的、开源的、基于深度学习的虹膜分割方法，以及如何在传统的基于Gabor小波的虹膜识别中使用不规则分割掩模的方法。为了训练和验证这些方法，我们使用了由不同团队和不同传感器获取并公开提供的广泛虹膜图像，包括从CASIA-Iris-Interval-v4、BioSec、ND-Iris-0405、UBIRIS、Warsaw-BioBase-Post-Mortem-Iris v2.0（死后虹膜图像）和ND-TWINS-2009-2010（从同卵双胞胎获取的虹膜图像）获取的数据。这种不同的训练数据应该增加所提出的分割技术的泛化能力。在数据库不相交的训练和测试中，我们证明了基于深度学习的分割在获得的结果和手动注释的地面实况之间计算的交集方面优于传统的（OSIRIS）分割。有趣的是，当使用基于深度学习的分割时，基于Gabor的虹膜匹配并不总是更好，并且与采用基于Daugman的分割的方法相当。
2019-01-04 cs.CV
On the Impact of Face Segmentation-Based Background Removal on Recognition and Morphing Attack Detection
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究研究所IGD）；Department of Computer Science, TU Darmstadt（图腾大学计算机科学系）
研究探讨了通过分割进行面部图像背景校正对现实场景中人脸识别和仿射攻击检测性能的影响，分析了预处理步骤对识别准确性和安全机制的影响，评估了多种分割技术、仿射攻击检测方法和人脸识别模型。
2026-04-22 cs.CV
A Large-Scale Dataset for Benchmarking Elevator Button Segmentation and Character Recognition
The Chinese University of Hong Kong（香港中文大学）；Southern University of Science and Technology（南方科技大学）
最近，COVID-19极大地限制了人类活动。能够进行楼层间导航的机器人吸引了公众的注意力，因为它们可以代替人类工人进行服务工作。然而，目前的机器人要么依赖于人类协助，要么依赖于电梯改造，完全自主的楼层间导航仍然不可用。电梯按钮的分割与识别作为楼层间导航的第一步，占有重要的地位。因此，我们在这项工作中发布了第一个大规模公开的电梯面板数据集，包含3，718个面板图像和35，100个按钮标签，以促进更强大的自动电梯操作算法。与数据集一起，还发布了许多基于深度学习的按钮分割和识别实现，以衡量社区中未来的方法。该数据集将在\url {https：//www.example.com}上提供github.com/zhudelong/elevator_button_recognition
2021-03-22 cs.CV eess.IV
Character Queries: A Transformer-based Approach to On-Line Handwritten Character Segmentation
University of Applied Sciences and Arts Western Switzerland（瑞士西部应用科学与艺术大学）；University of Fribourg（弗里堡大学）；Google Research（谷歌研究院）
针对预先已知转录文本的在线手写字符分割问题，提出基于Transformer和字符查询的聚类分配架构，在IAM-OnDB和HANDS-VNOnDB数据集上取得最佳分割效果。
2023-09-06 cs.CV cs.LG
Explain What You See: Open-Ended Segmentation and Recognition of Occluded 3D Objects
Imperial College London（帝国理工学院）；University of Groningen（格罗宁根大学）
Local-HDP（Local Hierarchical Dirichlet Process）是一种分层贝叶斯方法，最近被用于开放式3D对象类别识别。这种方法已被证明是有效的实时机器人应用。然而，该方法对高度遮挡不鲁棒。我们分两步解决这个限制。首先，我们提出了一种新的语义3D对象部分分割方法，具有本地HDP的灵活性。这种方法被证明是适合于开放式的情况下，3D对象或对象部分的数量是不固定的，可以随着时间的推移而增长。我们表明，所提出的方法具有较高的百分比，平均交叉工会，使用较少的学习实例。其次，我们将这种技术与最近推出的基于论证的在线增量学习方法相结合，从而使模型能够处理高度的遮挡。我们表明，由此产生的模型产生一组明确的解释的3D对象类别识别任务。
2023-01-17 cs.AI cs.CV
DETR-based Layered Clothing Segmentation and Fine-Grained Attribute Recognition
The Hong Kong Polytechnic University（香港理工大学）
本文提出基于DETR的多层注意力模块，聚合多尺度特征以提升分层服装分割与细粒度属性识别精度，并在Fashionpedia数据集上超越现有SOTA模型。
2023-04-17 cs.CV
Segmentation Network with Compound Loss Function for Hydatidiform Mole Hydrops Lesion Recognition
Tsinghua University（清华大学）；the Third Affiliated Hospital of Zhengzhou University（郑州大学第三附属医院）
病理形态学诊断是葡萄胎的标准诊断方法。作为一种具有恶变潜能的疾病，葡萄胎的水肿病变切片是诊断的重要依据。早期葡萄胎由于病变发展不完全，难以鉴别，导致临床诊断准确率低。图像语义分割网络作为一种优秀的机器学习技术，已被应用于许多医学图像识别任务。我们开发了一个基于新的损失函数和训练方法的葡萄胎水肿病变分割模型。该模型由不同的网络组成，这些网络在像素和病变级别分割切片图像。我们的复合损失函数为两个级别的分割结果分配权重以计算损失。然后，我们提出了一种分阶段的训练方法，以结合不同级别的各种损失函数的优点。我们评估我们的方法在一个葡萄胎积水数据集。实验结果表明，该模型与我们的损失函数和训练方法具有良好的识别性能，在不同的分割指标。
2022-04-11 cs.CV eess.IV
Towards a Joint Khmer Text Recognition and Word Segmentation
Techo Startup Center（德科创业中心）；Ministry of Economy and Finance（经济与财政部）；Osaka Metropolitan University（大阪公立大学）
本文提出一种采用CTC解码器的统一模型，实现高棉语文本识别与分词联合，可在不同模态基准数据集上同时完成字符识别与词边界定位，无需额外分词步骤。
2026-09-01 cs.CL cs.CV
