What can a cook in Italy teach a mechanic in India? Action Recognition Generalisation Over Scenarios and Locations
Politecnico di Torino(都灵理工大学);University of Bristol(布里斯托大学)
针对动作识别模型跨未见过的场景与地点的泛化难题,研究者构建了含110万视频的ARGO1M数据集,并提出CIR跨实例重建方法,搭配文本引导学习域泛化表示,在所有测试拆分上性能超越以往工作。
2023-08-24 cs.CV
A New Split for Evaluating True Zero-Shot Action Recognition
University of Edinburgh(爱丁堡大学);Facebook AI Research(Facebook人工智能研究院)
Zero-shot动作识别是对训练集中不可用的动作类别进行分类的任务。在这种情况下,标准的评估协议是使用现有的动作识别数据集(例如UCF 101),并将类随机分为可见和不可见。然而,最近的工作建立在Kinetics数据集上预先训练的表示上,其中类与zero-shot评估数据集中的类在很大程度上重叠。因此,在监督预训练期间存在应该是不可见的类,从而使zero-shot设置的条件无效。几年前,对于基于图像的zero-shot识别,先前已经注意到类似的关注,但是尚未被zero-shot动作识别团体考虑。在本文中,我们提出了一个新的分裂真正的zero-shot动作识别与看不见的测试类和训练或预训练类之间没有重叠。我们基准最近的几种方法上提出的真正的零杆(TruZe)分裂UCF 101和HMDB 51,与zero-shot和广义zero-shot评价。在我们广泛的分析中,我们发现我们的TruZesplits比类似的随机分裂要难得多,因为没有任何东西从预训练中泄露出来,即看不见的性能一直较低,对于zero-shot动作识别高达8.9%。在另外的评估中,我们还发现在Few-Shot动作识别中使用的分割中存在类似的问题,在这里我们看到高达17.1%的差异。我们发表了我们的分裂1,并希望我们的基准分析将改变该领域如何评估零镜头和Few-Shot动作识别向前发展。
2021-09-13 cs.CV
A Generative Approach to Zero-Shot and Few-Shot Action Recognition
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
我们提出了一个生成的框架zero-shot动作识别的一些可能的动作类不出现在训练数据。我们的方法是基于建模的每个动作类使用的概率分布,其参数是代表该动作类的属性向量的函数。特别是,我们假设在视觉空间中的任何动作类的分布参数可以表示为一组基向量的线性组合,其中组合权重由动作类的属性给出。这些基向量可以仅使用来自已知(即,先前看到的)动作类,然后可以用于预测未看到的动作类的概率分布的参数。我们考虑两种设置:(1)归纳设置,其中我们仅使用已看到的动作类的标记示例来预测未看到的动作类参数;以及(2)Transductive设置,进一步利用来自未看到的动作类的未标记数据。我们的框架也自然地扩展到Few-Shot动作识别,其中一些标记的例子,从看不见的类。我们在基准数据集(UCF 101,HMDB 51和Olympic)上的实验显示,与各种基线相比,在标准zero-shot(不相交的可见和不可见类)和广义零样本学习设置中,性能都有显着提高。
2018-01-27 cs.CV
CLASTER: Clustering with Reinforcement Learning for Zero-Shot Action Recognition
University of Edinburgh(爱丁堡大学);Meta AI
Zero-shot动作识别是指在没有视觉实例的情况下,仅通过语义嵌入将看不见的动作类与可见的动作类联系起来,来识别动作类的任务。这个问题可以看作是学习一个函数,它可以很好地推广到看不见的类的实例,而不会丢失类之间的区分。神经网络可以模拟视觉类之间的复杂边界,这解释了它们作为监督模型的成功。然而,在零次学习中,这些高度专业化的类边界可能无法很好地从可见的类转移到不可见的类。在本文中,我们提出了一种基于质心的表示,聚类视觉和语义表示,考虑所有的训练样本一次,并以这种方式推广到来自不可见类的实例。我们使用强化学习来优化聚类,这对我们的方法的工作至关重要。我们称之为CLASTER,并观察到它在所有标准数据集上,包括UCF 101,HMDB 51和Olympic Sports;无论是在标准zero-shot评估还是广义zero-shot学习中,都始终表现出最先进的水平。此外,我们表明,我们的模型在图像域中也表现出竞争力,在许多设置中优于最先进的。
2022-07-24 cs.CV
Zero-shot Image Recognition Using Relational Matching, Adaptation and Calibration
Purdue University(普渡大学)
用于图像分类的零次学习(Zero-shot learning,ZRL)专注于识别没有可用于训练的标记数据的新类别。学习通常是在与每个类相关联的中级语义描述符的帮助下进行的。这个语义描述符空间通常由可见和不可见类别共享。然而,CNOL具有中心性、领域差异性和对所见类的偏见。为了解决这些问题,我们提出了一个三步的方法来零样本学习。首先,学习从语义描述符空间到图像特征空间的映射。这种映射学习最小化语义嵌入和相应类别的图像特征之间的一对一和成对距离。其次,我们提出了测试时的领域自适应,以适应语义嵌入的不可见的类的测试数据。这是通过找到语义描述符和图像特征之间的对应关系来实现的。第三,我们提出了尺度校准的分类得分看到的类。这是必要的,因为在训练中不使用未见过的类时,CNOL模型偏向于看到的类。最后,为了验证所提出的三步方法,我们在四个基准数据集上进行了实验,所提出的方法优于以前的结果。我们还研究和分析了我们所提出的CNOL框架的每个组件的性能。
2019-03-27 cs.AI cs.CV cs.LG
GAN for Vision, KG for Relation: a Two-stage Deep Network for Zero-shot Action Recognition
Beijing University of Technology(北京工业大学)
Zero-shot动作识别通过探索样本中的共同潜在语义表示来识别在训练中不可用的不可见类的样本。然而,大多数方法忽略了动作类之间的内涵关系和外延关系,导致零样本学习泛化能力差。此外,学习后的分类器倾向于预测所见类别的样本,这导致分类性能差。为了解决上述问题,我们提出了一种用于zero-shot动作识别的两阶段深度神经网络,该网络由作为采样阶段的特征生成子网络和作为分类阶段的图注意力子网络组成。在采样阶段,我们利用一个生成对抗网络(GAN)来合成未知类的动作特征,该生成式对抗网络由已知类的动作特征和词向量训练而成,能够平衡已知类和未知类的训练样本数据。在分类阶段,基于动作类词向量与相关对象的关系构建知识图谱(KG),提出基于注意力机制的图卷积网络(GCN),动态更新动作类与对象的关系,增强零样本学习的泛化能力。在这两个阶段中,我们都使用词向量作为从可见类到不可见类的特征生成和分类器泛化的桥梁。我们将我们的方法与UCF101和HMDB51数据集上的最新方法进行了比较。实验结果表明,该方法提高了训练后分类器的分类性能,取得了较高的准确率。
2021-05-25 cs.CV
Universal-to-Specific Framework for Complex Action Recognition
Shanghai Jiao Tong University(上海交通大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
基于视频的动作识别近年来在计算机视觉领域引起了广泛的关注。为了解决更复杂的识别任务,有必要区分不同水平的类间变异。灵感来自一个共同的流程图的基础上,人类的决策过程,首先缩小了可能的类,然后适用于“重新思考”的过程中更精细的识别,我们提出了一个有效的通用到特定(U2 S)框架复杂的动作识别。U2 S框架由三个子网络组成:通用网络、特定类别网络和掩码网络。通用网络首先学习通用特征表示。然后,掩码网络根据通用网络的输出,通过类别正则化为混淆类生成注意力掩码。掩码还用于引导类别特定网络以用于类别特定特征表示。整个框架以端到端的方式进行优化。在各种基准数据集上进行实验,例如,Something-Something、UCF 101和HMDB 51数据集证明了U2 S框架的有效性;即,U2 S可以专注于区分混淆类别的时空区域。我们进一步可视化了不同类之间的关系,表明U2 S确实提高了学习特征的可区分性。此外,所提出的U2 S模型是一个通用框架,可以采用任何基础识别网络。
2020-07-13 cs.CV
Seeing the Unseen: Errors and Bias in Visual Datasets
从智能手机的人脸识别到自动驾驶汽车的自动路线,机器视觉算法是这些功能的核心。这些系统通过识别和理解对象来解决基于图像的任务,随后根据这些信息做出决策。然而,数据集中的错误通常会在算法中被诱导甚至放大,有时会导致将黑人识别为大猩猩和在搜索结果中歪曲种族等问题。本文跟踪了数据集中的错误及其影响,揭示了有缺陷的数据集可能是类别有限,来源不全面和分类不佳的结果。
2022-11-03 cs.AI cs.CV
Motion-Guided Semantic Alignment with Negative Prompts for Zero-Shot Video Action Recognition
Department of Computer Science, Durham University(杜伦大学计算机科学系)
本文提出一种增强CLIP的框架,通过分离运动敏感特征和全局静态特征,结合门控交叉注意力机制提升运动表征,利用正负提示实现视频特征与文本表示的语义对齐,实现在零样本动作识别中的优越性能。
2026-04-18 cs.CV
Combining Public Human Activity Recognition Datasets to Mitigate Labeled Data Scarcity
University of Milan(米兰大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心)
本文提出结合公开HAR数据集学习广义模型,以减少在未见目标领域微调所需的标注数据量,实验证明该方法显著降低了达到满意性能所需的标注样本数。
2023-06-23 cs.CV cs.LG
Elaborative Rehearsal for Zero-shot Action Recognition
Inria(法国国家信息与自动化研究所);Carnegie Mellon University(卡内基梅隆大学)
动作类数量的不断增加给视频理解提出了新的挑战,使得Zero-Shot动作识别(ZSAR)成为一个蓬勃发展的方向。ZSAR任务旨在通过利用语义表示来桥接可见和不可见的动作,从而在没有训练样本的情况下识别目标(不可见)动作。然而,由于动作的复杂性和多样性,它仍然具有挑战性的语义表示动作类和知识的传输从看到的数据。在这项工作中,我们提出了一个ER增强的ZSAR模型的灵感来自一个有效的人类记忆技术精心排练(ER),其中包括阐述一个新的概念,并将其与已知的概念。具体来说,我们将每个操作类扩展为一个详细描述(ED)语句,这比类名更具歧视性,并且比手动定义的属性成本更低。除了直接将类语义与视频对齐外,我们还将视频中的对象作为阐述性概念(EC)来改进视频语义,并将可见动作推广到不可见动作。我们的ER增强ZSAR模型在三个现有基准上实现了最先进的结果。此外,我们提出了一个新的ZSAR评估协议的动力学数据集,以克服目前的基准测试的局限性,并证明了第一种情况下,ZSAR的性能是可比的少样本学习基线在这个更现实的设置。我们将在https://github.com/DeLightCMU/ElaborativeRehearsal上发布我们的代码和收集的ED。
2021-08-18 cs.CV
Reachability Is Not Generalization: Understanding Verb--Noun Decomposition in Assembly Action Recognition
Aalto University(阿尔托大学)
本文系统分析装配动作识别中动词-名词分解的组合泛化,发现其仅部分超越原子上限,受共现结构、词汇不对称和组件纠缠限制,并提出可移植诊断框架。
2026-10-02 cs.CV
C2C: Component-to-Composition Learning for Zero-Shot Compositional Action Recognition
School of Artificial Intelligence and Computer Science, Jiangnan University(江南大学人工智能与计算机学院);Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey(萨里大学视觉、语音与信号处理中心);School of Computer Science and Electronic Engineering, University of Surrey(萨里大学计算机科学与电子工程学院);Surrey Institute of People-centred AI (SI-PAI), University of Surrey(萨里大学以人为本人工智能研究所)
提出零样本组合动作识别任务及基准Sth-com,并设计C2C方法(独立组件学习与组合推理模块)及增强训练策略,显著超越现有方法,达到新最优。
2024-07-19 cs.CV
Boosting Skeleton-based Zero-Shot Action Recognition with Training-Free Test-Time Adaptation
Monash University(墨尔本大学);Lancaster University(兰卡斯特大学);University of Western Australia(西澳大学)
通过引入Skeleton-Cache框架,利用LLM引导的语义先验实现无训练测试时适应,提升基于骨架的零样本动作识别性能。
2025-12-12 cs.AI cs.CV
FV-UPatches: Enhancing Universality in Finger Vein Recognition
Shandong University(山东大学);INHA University(仁荷大学)
近年来,许多基于深度学习的模型已被引入手指静脉识别中。然而,这些解决方案受到数据依赖性的影响,并且难以实现模型泛化。为了解决这个问题,我们受到领域自适应思想的启发,提出了一个通用的基于学习的框架,该框架在有限数据的情况下实现了泛化。为了减少数据分布之间的差异,压缩的U-Net被引入作为域映射器,以将原始感兴趣区域图像映射到目标域。集中的目标域是一个统一的特征空间,用于后续的匹配,其中的局部描述符模型SOSNet被用来嵌入补丁到描述符测量匹配对的相似性。在所提出的框架中,域映射器是对特定提取函数的近似,因此训练仅是有限数据的一次性努力。此外,可以基于非指静脉图像的公共数据集来训练局部描述符模型以具有足够的代表性。整个管道使框架能够得到很好的推广,从而有可能提高普遍性,并有助于降低数据汇集、调整和再培训的成本。在五个公开数据集上的实验结果与SOTA性能进行了比较,证明了该框架的有效性。此外,该框架在其他基于静脉的生物特征识别中也具有应用潜力。
2022-06-02 cs.AI cs.CV
Why Can't I Open My Drawer? Mitigating Object-Driven Shortcuts in Zero-Shot Compositional Action Recognition
Kyung Hee University(庆熙大学);NAVER Cloud(NAVER云)
本文针对零样本组合动作识别中对象驱动的快捷方式问题,提出RCORE方法,通过引入共现先验正则化和时间顺序正则化提升组合泛化能力。
2026-07-03 cs.AI cs.CV
Cross-modal Representation Learning for Zero-shot Action Recognition
Microsoft(微软)
我们提出了一个跨模态转换器为基础的框架,联合编码视频数据和文本标签的zero-shot动作识别(ZSAR)。我们的模型采用了一个概念上的新管道,通过该管道,视觉表示以端到端的方式与视觉语义关联一起学习。模型设计提供了一种自然的机制,在共享的知识空间中学习视觉和语义表示,从而鼓励学习的视觉嵌入是有区别的,语义上更一致。在zero-shot推理中,我们设计了一个简单的语义转移方案,该方案嵌入了可见和不可见类之间的语义相关性信息,以合成不可见的视觉原型。因此,视觉结构中的区别性特征可以被保留和利用,以减轻典型的zero-shot问题的信息丢失,语义差距,和hubness问题。在严格的zero-shot设置下,不对额外的数据集进行预训练,实验结果表明,我们的模型大大提高了ZSAR的最新技术水平,在UCF 101,HMDB 51和ActivityNet基准数据集上达到了令人鼓舞的top-1精度。代码将提供。
2022-05-03 cs.CV
The impact of Compositionality in Zero-shot Multi-label action recognition for Object-based tasks
Italian Institute of Technology(意大利技术研究院)
针对机器人协作场景下零样本多标签动作识别的难题,提出融合DualCoOp的Dual-VCLIP方法,仅学习两个提示词,在Charades数据集上表现优于现有方法,揭示了动词-对象类别拆分的影响。
2024-05-14 cs.CV cs.RO
Universal speaker recognition encoders for different speech segments duration
ITMO University(ITMO大学);STC Ltd.(STC有限公司)
创建对不同声学和语音持续时间条件具有鲁棒性的通用扬声器编码器是当今的一大挑战。根据我们的观察,在短语音段上训练的系统对于短短语说话人验证是最佳的,而在长语音段上训练的系统对于长语音段验证是最优的。一个系统同时训练池的短和长的语音段不会给出最佳的验证结果,通常会降低短和长段。针对不同语音段时长的通用说话人编码器的设计问题进行了研究。我们描述了我们的简单配方,用于训练任何类型的选定神经网络架构的通用扬声器编码器。根据我们对NIST SRE和VoxCeleb 1基准测试获得的基于wav 2 vec-TDNN的系统的评估结果,所提出的通用编码器在不同的注册和测试语音段持续时间的情况下提供了说话人验证改进。所提出的编码器的关键特征是,它具有相同的推理时间所选择的神经网络架构。
2022-10-28 cs.LG cs.SD eess.AS
Toward Universal Skeleton-Based Action Recognition across Heterogeneous Skeletons and Open Vocabularies
School of Cyber Science and Engineering, Southeast University, Nanjing, China(东南大学计算机科学与工程学院,南京,中国);School of Computer Science and Engineering, Southeast University, Nanjing, China(东南大学计算机科学与工程学院,南京,中国)
本文提出了一种基于Transformer的模型,通过统一骨骼表示、动作编码器和多粒度动作-文本对齐,解决异构骨骼动作识别的挑战,实验验证了方法的有效性和泛化能力。
2026-08-19 cs.CV
Open-set Recognition via Augmentation-based Similarity Learning
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
传统的监督学习或分类的主要假设是测试样本与训练样本来自相同的分布,这被称为闭集学习或分类。在许多实际场景中,情况并非如此,因为在测试数据中存在未知数或不可见的类样本,这被称为开集场景,并且需要检测未知数。这个问题被称为开集识别问题,在安全关键应用中很重要。我们建议通过学习成对的相似性来检测未知数(或看不见的类样本)。所提出的方法分两步进行。它首先使用在训练中出现的可见类学习一个闭集分类器,然后学习如何将可见类与伪不可见类(自动生成的不可见类样本)进行比较。通过对可见或训练样本执行分布移位增强来执行伪不可见生成。我们称我们的方法OPG(开集识别基于伪看不见的数据生成)。实验结果表明,学习到的基于相似性的特征可以成功地区分开集识别的基准数据集中的可见和不可见。
2022-08-21 cs.AI cs.CV
Recognition of Unseen Bird Species by Learning from Field Guides
EcoVision Lab - Photogrammetry and Remote Sensing, ETH Zurich(苏黎世联邦理工学院摄影测量与遥感生态视觉实验室);Institute for Computational Science, University of Zurich(苏黎世大学计算科学研究所)
本文利用野外指南插图作为辅助信息,提出对比编码与利用图像结构相似性的新方法,实现未见鸟类物种的零样本识别,并在iNaturalist2021上验证其有效性。
2023-11-02 cs.CV cs.LG
Cross-Domain Similarity Learning for Face Recognition in Unseen Domains
NEC Labs America(美国 NEC 实验室);University of California San Diego(加利福尼亚大学圣迭戈分校)
在相同的训练和测试分布的假设下训练的人脸识别模型在面对未知的变化时,例如新的种族或测试期间不可预测的个人化妆时,通常会出现泛化能力差的问题。在本文中,我们引入了一种新的跨域度量学习损失,我们称之为跨域三元组(CDT)损失,以提高在未知领域的人脸识别。CDT损失鼓励学习语义上有意义的功能,从一个域的身份,其中的紧凑性是由属于另一个训练域具有不同的统计数据的基础相似性度量测量的紧凑性特征集群。直观地说,它有区别地将来自一个域的显式度量与来自另一个域的三重样本在统一的损失函数中进行相关,以在网络内最小化,这导致训练域的更好对齐。网络参数被进一步强制执行,以在模型不可知的学习管道中学习域偏移下的广义特征。与最近的工作Meta人脸识别,我们的方法不需要仔细的硬对样本挖掘和过滤策略在训练过程中。在各种人脸识别基准上的大量实验表明,与基线和最先进的方法相比,我们的方法在处理变化方面具有优越性。
2021-03-12 cs.CV cs.LG
Co-domain Embedding using Deep Quadruplet Networks for Unseen Traffic Sign Recognition
KAIST(韩国科学技术院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
视觉识别的最新进展凭借大量的监督数据显示出巨大的成功。然而,获取大型监督数据集通常具有挑战性。对于智能交通应用也是如此,即,交通标志识别例如,用一个国家的数据训练的模型可能不容易推广到另一个没有太多数据的国家。我们提出了一种新的特征嵌入方案的不可见类分类时,代表类模板。交通标志,不像其他物体,有官方的形象。我们使用来自真实域和合成域的四重关系执行共域嵌入。我们的四联体网络充分利用了来自不同领域的样本之间显式的成对相似性关系。我们在三个数据集上验证了我们的方法,两个实验涉及一次性分类和特征泛化。结果表明,所提出的方法优于竞争的方法上看到的和看不见的类。
2017-12-05 cs.CV
Human-Inspired Topological Representations for Visual Object Recognition in Unseen Environments
University of Washington(华盛顿大学)
针对未见杂乱室内环境中的机器人视觉目标识别问题,受人类客体统一性推理机制启发,提出结合拓扑软聚类颜色嵌入与形状描述符的TOPS2描述符及THOR2框架,在真实数据集上优于现有方法,推动了低成本机器人的鲁棒识别。
2023-09-15 cs.CV cs.RO
Few-shot Open-set Recognition by Transformation Consistency
Korea Advanced Institute of Science and Technology(韩国科学技术院)
在本文中,我们攻击一个Few-Shot开集识别(FSOSR)问题,这是一个组合的少样本学习(FSL)和开集识别(OSR)。它的目标是快速适应一个模型,以一个给定的小集合的标记样本,同时拒绝看不见的类样本。由于OSR需要大量数据,而FSL考虑闭集分类,现有的OSR和FSL方法在解决FSOSR问题时表现出较差的性能。先前的FSOSR方法遵循基于伪未见过类样本的方法,该方法从其他数据集收集伪未见过样本或合成样本以对未见过类表示进行建模。然而,这种方法严重依赖于伪样本的组成。在本文中,我们提出了一种新的未知类样本检测器,命名为SnaTCHer,不需要伪看不见的样本。基于转换一致性,我们的方法测量转换后的原型和修改后的原型集之间的差异。通过替换查询特征及其预测类原型来组成修改集。SnaTCHer拒绝与转换后的原型存在较大差异的样本。我们的方法改变了看不见的类分布估计问题的相对特征变换问题,独立于伪看不见的类样本。我们研究了我们的SnaTCHer与各种原型变换方法,并观察到我们的方法不断提高看不见的类样本检测性能,而不减少闭集分类。
2021-04-15 cs.CV
Leveraging Auxiliary Text for Deep Recognition of Unseen Visual Relationships
Technion(以色列理工学院)
场景理解中最困难的任务之一是识别图像中对象之间的相互作用。这个任务通常被称为视觉关系检测(VRD)。我们考虑的问题是,除了用于训练VRD模型的标准视觉数据外,还提供辅助文本数据,VRD性能是否可以提高。我们提出了一个新的深度模型,可以利用额外的文本数据。我们的模型依赖于一个共享的文本-图像表示的主谓宾关系出现在文本中,和对象的相互作用的图像。我们的方法是第一个能够识别视觉训练数据中缺少的视觉关系,只出现在辅助文本中。我们在两个不同的文本源上测试我们的方法:图像中的文本和书籍中的文本。我们测试和验证我们的方法使用两个大规模的识别任务:VRD和场景图生成。我们得到了一个令人惊讶的结果:我们的方法可以更好地处理源自书籍的文本,并且在看不见的关系识别任务上优于源自图像的文本。它是可比的模型,利用文本起源于图像的任务上看到的关系识别。
2019-10-27 cs.CV
Learning Meta Face Recognition in Unseen Domains
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Mininglamp Academy of Sciences(明略科学院);Mininglamp Technology(明略科技);Westlake University(西湖大学)
人脸识别系统在实际应用中经常面临未知领域的问题,并且由于其泛化能力差而表现出令人不满意的性能。例如,在webface数据上训练良好的模型无法处理监控场景中的ID与Spot任务。在本文中,我们的目标是学习一个广义模型,可以直接处理新的未知域,而无需任何模型更新。为此,我们提出了一种新的人脸识别方法,通过元学习命名为Meta Face Recognition(MFR)。MFR将源/目标域转换与元优化目标相结合,这要求模型不仅在合成的源域上学习有效的表示,而且在合成的目标域上学习有效的表示。具体来说,我们通过域级采样策略构建域移位批,并通过优化多域分布来获得合成源/目标域上的反向传播梯度/元梯度。梯度和元梯度被进一步组合以更新模型以改进泛化。此外,我们提出了两个基准的广义人脸识别评估。我们的基准实验验证了我们的方法相比,几个基线和其他国家的最先进的泛化。拟议的基准将在https://github.com/cleardusk/MFR上提供。
2020-03-25 cs.CV
Counterfactual Zero-Shot and Open-Set Visual Recognition
Nanyang Technological University(南洋理工大学);Singapore Management University(新加坡管理大学);Damo Academy Alibaba Group(阿里巴巴达摩院)
我们提出了一个新的反事实框架的零样本学习(Zero-Shot Learning,简称ZRL)和开集识别(Open-Set Recognition,简称OSR),其共同的挑战是推广到unseen类只训练上的seen类。我们的想法源于这样的观察,即为unseen类生成的样本通常不在真实分布中,这导致seen类(高)和unseen类(低)之间的严重识别率不平衡。我们表明,关键的原因是,这一代是不是反事实的忠实,因此,我们提出了一个忠实的,其产生是从样本特定的反事实问题:什么样的样本看起来像,如果我们设置其类属性为某个类,同时保持其样本属性不变?由于忠实性,我们可以应用一致性规则来执行看不见/看不见的二元分类,通过问:它的反事实看起来仍然像它自己吗?如果"是“,则样本来自某个类,否则为”否“。通过大量的实验,我们证明了我们的框架有效地减轻了可见/不可见的不平衡,从而显着提高了整体性能。请注意,这个框架与现有的方法是正交的,因此,它可以作为一个新的基线来评估如何推广EML/OSR模型。代码可在https://github.com/yue-zhongqi/gcm-cf上获得。
2021-03-01 cs.AI cs.CV
Towards the Unseen: Iterative Text Recognition by Distilling from Errors
University of Surrey(萨里大学);iFlyTek-Surrey Joint Research Centre on Artificial Intelligence(讯飞-萨里人工智能联合研究中心)
视觉文本识别无疑是计算机视觉中研究最广泛的课题之一。到目前为止,已经取得了很大的进展,最新的型号开始专注于更实用的“野外”设置。然而,一个突出的问题仍然阻碍了实际的部署-现有技术大多与识别看不见的(或很少看到的)字符序列作斗争。在本文中,我们提出了一个新的框架,专门解决这个“看不见”的问题。我们的框架本质上是迭代的,因为它利用上一次迭代中字符序列的预测知识来增强主网络,以改善下一次预测。我们成功的关键是一个独特的跨模态变分自编码器作为一个反馈模块,这是训练的文本错误分布数据的存在。该模块重要地将离散预测字符空间转换为用于在下一次迭代时调节视觉特征图的连续仿射变换参数空间。在普通数据集上的实验表明,在传统设置下,该算法的性能优于最先进的算法。最重要的是,在新的不相交设置下,训练测试标签是相互排斥的,我们提供了最好的性能,从而展示了推广到看不见的单词的能力。
2021-07-26 cs.CV
Convolutional Prototype Learning for Zero-Shot Recognition
Beijing Jiaotong University(北京交通大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
零样本学习(Zero-shot learning,ZRL)近年来受到越来越多的关注,尤其是在细粒度对象识别、检索和图像描述等领域。该方法的关键是通过辅助类属性向量将知识从可见的类转移到不可见的类。然而,以往研究中普遍采用的投影函数由于假设了可见域和不可见域在样本水平上的分布一致性,因而不能很好地推广,而且所提供的非可视且唯一的类属性会显著降低语义空间中的识别性能.在本文中,我们提出了一个简单而有效的卷积原型学习(CPL)框架的zero-shot识别。通过假设任务级的分布一致性,我们的CPL能够平滑地传递知识以识别未见过的样本。此外,在每个任务中,通过基于距离的训练机制学习有区别的视觉原型。因此,我们可以在视觉空间而不是语义空间中进行识别。一组广泛的实验,然后精心设计和介绍,证明CPL获得更有利的有效性,目前可用的替代品在各种设置。
2020-02-11 cs.CV cs.LG
THOR2: Topological Analysis for 3D Shape and Color-Based Human-Inspired Object Recognition in Unseen Environments
University of Washington(华盛顿大学)
THOR2提出基于3D形状与颜色的TOPS2描述符及识别框架,利用拓扑软聚类和颜色嵌入,在真实世界杂乱场景中显著提升识别准确率,优于前身THOR及深度学习基线。
2024-12-14 cs.CV
Domain-Invariant Projection Learning for Zero-Shot Recognition
Renmin University of China(中国人民大学);Queen Mary University of London(伦敦玛丽女王大学);Samsung AI Centre(三星人工智能中心)
零样本学习(Zero-shot learning,ZRL)是在没有训练样本的情况下识别未知对象类的一种学习方法,可以看作是从已知类到未知类的迁移学习。这通过学习特征空间和语义空间(例如属性空间)之间的投影而成为可能。因此,CNOL的关键是学习一个投影函数,该函数对可见和不可见类之间通常较大的域间隙具有鲁棒性。在本文中,我们提出了一种新的领域不变投影学习模型(DIPL)。我们的模型有两个新的组成部分:(1)域不变的特征自重建任务被引入到可见/不可见类数据中,从而产生一个简单的线性公式,该公式将BML转换为最小-最小优化问题。求解该问题是一个非平凡问题,提出了一种新的迭代算法作为求解器,并给出了严格的理论算法分析。(2)为了通过学习的投影进一步对齐两个域,通过在语义空间中形成超类来探索可见和不可见类之间的共享语义结构。大量的实验表明,我们的模型优于国家的最先进的替代品显着的利润率。
2018-10-19 cs.CV cs.LG
A Prototype-Based Generalized Zero-Shot Learning Framework for Hand Gesture Recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
手势识别是人机交互中理解人类各种手势及其意图的重要手段。然而,大多数现有的工作只能识别有限的标记类的手势,并不能适应新的类别。手势识别的广义零样本学习(GSTML)的任务旨在通过利用语义表示和检测可见和不可见的类样本来解决上述问题。在本文中,我们提出了一个端到端的基于原型的手势识别框架,它由两个分支。第一个分支是基于原型的检测器,它学习手势表示并确定输入样本是否属于可见或不可见类别。第二个分支是一个zero-shot标签预测器,它将看不见的类的特征作为输入,并通过特征和语义空间之间的学习映射机制输出预测。我们进一步建立了一个手势数据集,专门针对这个GREML任务,并在这个数据集上进行了全面的实验,证明了我们提出的方法在识别可见和不可见手势方面的有效性。
2020-09-29 cs.CV
Unseen Object Reasoning with Shared Appearance Cues
Ridecell
该研究针对传统闭集监督学习难以应对真实场景物体多样性的问题,提出基于可共享中层外观特征的开放世界识别方法,可检测分布外物体并推理其超类,推动OWR发展。
2024-06-21 cs.CV cs.LG
Beyond Domain Adaptation: Unseen Domain Encapsulation via Universal Non-volume Preserving Models
University of Science, Vietnam(越南科学大学);Concordia University(康考迪亚大学);University of Arkansas(阿肯色大学);University of Illinois(伊利诺伊大学)
跨域识别最近已成为研究界的一个活跃话题。然而,在新的未知领域的识别问题中,它在很大程度上被忽视了。在这种情况下,交付的深度网络模型无法更新,调整或微调。因此,不能应用最近的深度学习技术,例如:领域自适应、特征转移和微调。针对深度学习背景下的领域泛化问题,提出了一种新的通用非体积保持方法。所提出的方法可以很容易地与端到端深度网络设计中的任何其他ConvNet框架相结合,以提高性能。在数字识别方面,我们对四个流行的数字识别数据库,即MNIST,USPS,SVHN和MNIST-M进行了基准测试。该方法还进行了实验上的人脸识别扩展Yale-B,CMU-PIE和CMU-MPIE数据库和其他国家的最先进的方法进行比较。在行人检测问题中,我们根据经验观察到,所提出的方法学习模型,提高了先验未知数据分布的性能。
2018-12-09 cs.CV
Adaptive Adjustment with Semantic Feature Space for Zero-Shot Recognition
The Hong Kong Polytechnic University(香港理工大学)
近年来,zero-shot recognition(ZAR)在机器学习和图像处理领域得到了越来越多的关注。它的目的是识别看不见的类实例与知识转移从看到的类。这通常通过利用预定义的语义特征空间(FS)来实现,即,语义属性或词向量,作为可见类和不可见类之间传递知识的桥梁。然而,由于在训练过程中看不到的类的情况下,传统的CNORR容易遭受域偏移和中心问题。在本文中,我们提出了一种新的学习框架,可以通过自适应调整语义FS来很好地处理这两个问题。据我们所知,我们的工作是第一个考虑自适应调整的语义FS在BWRR。此外,我们的解决方案可以制定一个更有效的框架,显着提高培训。大量的实验表明,我们的模型与其他现有的方法相比,显着的性能改善。
2019-03-30 cs.CV cs.LG stat.ML
Hippocampus-heuristic Character Recognition Network for Zero-shot Learning
Huaqiao University(华侨大学)
由于汉字种类繁多、结构复杂,汉字识别一直是一个具有挑战性的课题。最新的研究表明,如此庞大的字符集可以分解成约500个基本汉字偏旁部首的集合,并在此基础上有效地解决了这一问题。而随着新汉字的不断出现,基本偏旁的数量也在不断扩大。目前完全依赖于现有的偏旁部首的方法对于识别这些新的汉字来说是不灵活的,并且在训练阶段不学习所有的偏旁部首的情况下无法识别这些汉字。为此,本文提出了一种新的海马启发式字符识别网络(HCRN),该网络借鉴海马的思维方式,只需训练部分偏旁部首,就能识别未见过的汉字(即零样本学习)。更具体地说,HCRN的网络架构是我们设计的一种新的伪连体网络,它可以从输入的训练字符样本对中学习特征,并使用它们来预测看不见的汉字。实验结果表明,HCRN是鲁棒的和有效的。该方法仅用500个训练汉字就能准确预测约16,330个未见过的测试汉字。HCRN的识别准确率比最先进的中文偏旁识别方法高出15%(从85.1%到99.9%),用于识别未见过的汉字。
2021-04-06 cs.CV
Learning Prototype via Placeholder for Zero-shot Recognition
Beihang University(北京航空航天大学);Beijing University of Posts and Telecommunications(北京邮电大学)
零样本学习(Zero-shot learning,ZRL)的目标是通过利用可见类和不可见类之间共享的语义描述来识别不可见类。目前的方法表明,通过将语义嵌入作为类原型投影到视觉空间中来学习视觉语义对齐是有效的。然而,这样的投影函数只涉及所看到的类。当应用于看不见的类时,由于域转移,原型经常表现得不太理想。在本文中,我们建议通过占位符学习原型,称为LPL,以消除可见和不可见类之间的域转移。具体来说,我们结合了看到的类幻觉新的类扮演的占位符的视觉和语义空间中看不见的类。放置在可见类之间,占位符鼓励可见类的原型高度分散。而更多的空间是留给插入分离良好的看不见的。从经验上讲,分离良好的原型有助于抵消由域转移引起的视觉语义不一致。此外,我们利用一种新的面向语义的微调,以保证占位符的语义可靠性。在五个基准数据集上进行的大量实验表明,LPL的性能优于最先进的方法。代码可在https://github.com/zaiquanyang/LPL上获得。
2022-07-29 cs.CV
Out-of-Distribution Detection for Generalized Zero-Shot Action Recognition
Indian Institute of Science(印度科学学院);Inception Institute of Artificial Intelligence(起源人工智能研究院);Mercedes-Benz R&D India(梅赛德斯-奔驰印度研发中心)
广义zero-shot动作识别是一个具有挑战性的问题,其中的任务是识别新的动作类别,在训练阶段是不可用的,除了看到的动作类别。现有的方法遭受的固有偏见的学习分类对看到的动作类别。结果,未看见的类别样本被错误地分类为属于所看见的动作类别之一。在本文中,我们着手解决这个问题,主张在广义zero-shot动作识别中对可见和不可见动作类别进行单独处理。我们引入了一个出的分布检测器,确定是否属于一个看到或看不到的动作类别的视频功能。为了训练我们的分布外检测器,使用在看到的动作类别特征上训练的生成对抗网络来合成看不见的动作类别的视频特征。据我们所知,我们是第一个提出了一个基于分布检测器的GREML框架,用于视频中的动作识别。在三个动作识别数据集上进行了实验:Olympic Sports,HMDB 51和UCF 101。对于广义zero-shot动作识别,我们提出的方法优于基线(f-CLSWGAN),在这些数据集上的绝对增益(分类精度)分别为7.0%,3.4%和4.9%。
2019-05-06 cs.CV
AirFi: Empowering WiFi-based Passive Human Gesture Recognition to Unseen Environment via Domain Generalization
Nanyang Technological University(南洋理工大学)
近年来,由信道状态信息(CSI)实现的基于WiFi的智能人体感知技术受到了极大的关注。然而,基于CSI的感测系统在部署在不同环境中时遭受性能降级。现有的工作解决了这个问题的领域自适应使用大量的未标记的高质量的数据从新的环境,这通常是在实践中无法实现的。在本文中,我们提出了一种新的增强环境不变的鲁棒WiFi手势识别系统命名为AirFi,从一个新的角度来处理环境依赖性的问题。AirFi是一种新型的领域泛化框架,它可以学习CSI的关键部分,而不管不同的环境,并将模型推广到看不见的场景,这不需要收集任何数据来适应新的环境。AirFi从多个训练环境设置中提取共同特征,并最大限度地减少它们之间的分布差异。该功能进一步增强,对环境更加鲁棒。此外,系统还可以通过少样本学习技术进一步改进。与最先进的方法相比,AirFi能够在不同的环境设置中工作,而无需从新环境中获取任何CSI数据。实验结果表明,我们的系统在新的环境中仍然是强大的,并优于比较系统。
2022-12-17 cs.CV cs.HC
Few-shot Open-set Recognition Using Background as Unknowns
Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团);Tencent(腾讯)
Few-Shot开集识别的目标是在已知类的有限训练数据的情况下对已知图像和新图像进行分类。这个任务的挑战是,模型不仅需要学习一个判别分类器,以用很少的训练数据对预定义的类进行分类,而且还需要拒绝来自从未在训练时出现的看不见的类的输入。在本文中,我们建议从两个新的方面来解决这个问题。首先,而不是学习的决策边界之间看到的类,如在标准的闭集分类,我们保留空间看不见的类,这样,位于这些地区的图像被识别为看不见的类。其次,为了有效地学习这样的决策边界,我们建议利用从看到的类的背景特征。由于这些背景区域对闭集分类的决策没有显着贡献,因此很自然地将它们用作分类器学习的伪不可见类。我们广泛的实验表明,我们提出的方法不仅优于多个基线,而且还在三个流行的基准测试中设置了新的最先进的结果,即tieredImageNet,miniImageNet和Caltech-USCD Birds-200-2011(CUB)。
2022-07-19 cs.CV
Seeing and Knowing in the Wild: Open-domain Visual Entity Recognition with Large-scale Knowledge Graphs via Contrastive Learning
本文提出KnowCoL框架,结合图像与文本描述,在基于Wikidata的结构化信息空间中实现开放领域视觉实体识别,通过对比学习提升稀有和未见过实体的识别准确率。
2025-11-18 cs.CV cs.LG
From Zero-shot Learning to Conventional Supervised Classification: Unseen Visual Data Synthesis
University of Sheffield(谢菲尔德大学);University of East Anglia(东英吉利大学);University of Electronic Science and Technology of China(电子科技大学);Tsinghua University(清华大学);Northumbria University(诺森比亚大学)
鲁棒的目标识别系统通常依赖于从大量真实图像中提取强大的特征提取机制。然而,在许多实际应用中,为不断增长的新类收集足够的图像是无法实现的。在本文中,我们提出了一个新的零样本学习(Zero-shot learning,简称ZRL)框架,它可以在不获取真实图像的情况下为看不见的类合成视觉特征。使用建议的看不见的视觉数据合成(UVDS)算法,语义属性被有效地利用作为一个中间线索,在训练阶段合成看不见的视觉特征。在此之后,将人脸识别转换为传统的监督问题,即合成的视觉特征可以直接馈送到典型的分类器,如SVM。在四个基准数据集上,我们展示了使用合成的看不见的数据的好处。大量的实验结果表明,我们提出的方法显着提高国家的最先进的结果。
2017-05-04 cs.CV
Domain Generalisation for Apparent Emotional Facial Expression Recognition across Age-Groups
Facebook AI Applied Research(Facebook人工智能应用研究);University of Bristol(布里斯托大学);Imperial College London(帝国理工学院)
近年来,基于表情的表情识别技术引起了人们的广泛关注.然而,大多数方法忽略了年龄差异,并且训练针对所有年龄的通用模型。在这项工作中,我们研究了使用不同的年龄组训练明显的情绪面部表情识别模型的效果。为此,我们研究领域泛化的背景下,明显的情绪面部表情识别不同年龄组的面部图像。我们首先比较了几个领域的泛化算法的基础上的域外泛化,并观察到类条件域对抗神经网络(CDANN)算法具有最好的性能。然后,我们研究了训练过程中使用的年龄组的种类和数量对泛化到看不见的年龄组的影响,并观察到训练年龄组数量的增加往往会增加看不见的年龄组的明显情绪面部表情识别性能。我们还表明,排除在训练过程中的一个年龄组往往会影响更多的表现相邻的年龄组。
2021-10-18 cs.CV cs.LG
Domain Generalization for Object Recognition with Multi-task Autoencoders
Victoria University of Wellington(惠灵顿维多利亚大学)
领域泛化的问题是从训练数据可用的多个相关领域获取知识,然后将其成功地应用于以前未见过的领域。我们提出了一种新的特征学习算法,多任务自动编码器(MTAE),提供了良好的泛化性能的跨域对象识别。我们的算法扩展了标准的去噪自动编码器框架,用对象外观中自然发生的域间变化代替人工引起的腐败。MTAE不是从嘈杂的版本中重建图像,而是学习将原始图像转换为多个相关领域的类似物。因此,它学习对跨域变化具有鲁棒性的特征。然后将学习的特征用作分类器的输入。我们在基准图像识别数据集上评估了该算法的性能,其中的任务是从多个数据集学习特征,然后从看不见的数据集中预测图像标签。我们发现,(去噪)MTAE优于替代的基于自动编码器的模型以及当前最先进的领域泛化算法。
2015-08-31 cs.AI cs.CV cs.LG
On the Evaluation Protocol of Gesture Recognition for UAV-based Rescue Operation based on Deep Learning: A Subject-Independence Perspective
本文指出,无人机救援中手势识别的评估协议存在数据泄露问题,强调需采用受试者无关的数据划分以提高对未见个体的手势识别可靠性。
2026-02-19 cs.CV
Zero-Shot Underwater Gesture Recognition
Indian Institute of Technology Guwahati(印度古瓦哈蒂印度理工学院)
本文提出一种两阶段零样本水下手势识别框架,结合Transformer与条件生成对抗网络,在CADDY数据集上优于现有零样本方法。
2024-07-19 cs.CV
URIE: Universal Image Enhancement for Visual Recognition in the Wild
POSTECH(浦项工科大学)
尽管在视觉识别方面取得了巨大的进步,但人们已经看到,在普通数据集的干净图像上训练的识别模型对现实世界中的失真图像并不鲁棒。为了解决这个问题,我们提出了一个通用的和友好的图像增强网络,称为URIE,它被附加在现有的识别模型之前,并增强失真的输入,以提高其性能,而无需重新训练它们。URIE是通用的,因为它旨在处理图像退化的各种因素,并与任何任意识别模型相结合。此外,它是简化友好的,因为它被优化以提高以下识别模型的鲁棒性,而不是输出图像的感知质量。我们的实验表明,URIE可以处理各种和潜在的图像失真,并提高现有模型的性能,为五个不同的识别任务时,输入图像退化。
2020-07-24 cs.CV
Object Detection, Recognition, Deep Learning, and the Universal Law of Generalization
Boston University(波士顿大学);University of Denver(丹佛大学)
目标检测和识别是物种成功的基本功能。因为一个物体的外观表现出很大的可变性,大脑必须将这些不同的刺激归类在同一个物体身份下,这是一个概括的过程。概括的过程是遵循一些普遍的原则,还是一个临时的“小把戏”?普遍的泛化定律提供了证据,证明泛化在各种物种和任务中遵循类似的特性。在这里,我们测试的假设,内部表示基本概括反映自然属性的目标检测和识别在我们的环境中,而不是具体的系统解决这些问题。通过用“清晰”和“模糊”动物的图像训练深度神经网络,我们发现,在适当选择类别原型的情况下,泛化函数是单调递减的,类似于生物系统的泛化函数。我们的发现支持了研究的假设。
2022-06-10 cs.AI cs.CV cs.LG
Universal Cross-Domain Retrieval: Generalizing Across Classes and Domains
Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校);Indian Institute of Science, Bangalore(印度科学理工学院班加罗尔分校)
在这项工作中,我们第一次解决了通用跨域检索的问题,其中测试数据可以属于训练过程中看不到的类或域。由于类别数量的动态增加以及对每个可能领域的训练的实际约束,这需要大量的数据,因此推广到看不见的类别和领域是很重要的。为了实现这一目标,我们提出了SnMpNet(语义邻域和混合预测网络),它包含了两个新的损失,以解释测试过程中遇到的看不见的类和域。具体来说,我们引入了一种新的语义邻域损失来弥合可见和不可见类之间的知识差距,并确保不可见类的潜在空间嵌入相对于其相邻类在语义上是有意义的。我们还在图像级和数据的语义级引入了基于混合的监督,用于使用混合预测损失进行训练,这有助于在查询属于未知域时进行有效检索。这些损失被合并到SE-ResNet 50主干上以获得SnMpNet。在两个大规模数据集Sketchy Extended和DomainNet上进行了大量实验,并与最先进的数据集进行了全面的比较,证明了该模型的有效性。
2021-08-18 cs.CV
Prior Knowledge about Attributes: Learning a More Effective Potential Space for Zero-Shot Recognition
Zhejiang Gongshang University(浙江工商大学);Oakland University(奥克兰大学)
零样本学习(Zero-shot learning,ZRL)通过学习已知属性和已知类来准确识别未知类,但以往的研究忽略了属性间的相关性,导致分类结果混乱。为了解决这个问题,我们建立了一个属性相关势空间生成(ACPSG)模型,该模型使用图卷积网络和属性相关来生成更具区分力的势空间。结合潜在的歧视空间和用户定义的属性空间,我们可以更好地分类看不见的类。我们的方法在几个基准数据集上的性能优于一些现有的最先进的方法,无论是传统的CNOL还是广义的CNOL。
2020-09-14 cs.CV
UMSNet: An Universal Multi-sensor Network for Human Activity Recognition
基于多模态传感器的人体活动识别(HAR)已成为生物特征识别和人工智能的一个快速发展的分支。然而,如何充分挖掘多模态时间序列数据,有效地学习准确的行为特征一直是该领域的热门话题。实际应用还需要一个通用的框架,可以快速处理各种原始传感器数据,并学习更好的特征表示。本文提出了一种通用的多传感器网络(UMSNet)的人体活动识别。特别是,我们提出了一种新的轻量级传感器残差块(称为LSR块),通过减少激活函数和归一化层的数量,并添加反向瓶颈结构和分组卷积来提高性能。然后利用Transformer提取序列特征之间的关系,实现对人体活动的分类识别。我们的框架具有清晰的结构,可以直接应用于各种类型的多模态时间序列分类(TSC)任务后,简单的专业化。大量的实验表明,所提出的UMSNet优于其他国家的最先进的方法在两个流行的多传感器人类活动识别数据集(即HHAR数据集和MHEALTH数据集)。
2022-05-24 cs.AI cs.CV
Open Set Chinese Character Recognition using Multi-typed Attributes
University of Groningen(格罗宁根大学)
离线汉字识别仍然是一个具有挑战性的问题,特别是在历史文献中,不仅在类的数量非常大,相比当代图像检索方法,而且新的看不见的类,可以预期在开放学习条件下(即使是CNN)。零训练样本或少量训练样本的汉字识别是一个困难的问题,目前还没有研究。本文提出了一种基于汉字读音、字形和部首的多类型属性的汉字识别方法,并将其应用于历史文献中的汉字识别。这种中间属性代码比常见的“one-hot”类表示有很大的优势,因为它允许使用属性符号化地理解复杂和不可见的模式。首先,每个字符由四组属性类型表示,以覆盖广泛的字符可能性:拼音标签,布局结构,笔画数,三种不同的输入法,如仓颉,正码和五笔,以及四角编码方法。训练卷积神经网络(CNN)来学习这些属性。随后,字符可以很容易地识别这些属性使用的距离度量和一个完整的字典,是在属性空间编码。我们评估所提出的方法在两个开放的数据集:印刷体汉字识别的零样本学习,历史字符的少样本学习和一个封闭的集合:手写体汉字。实验结果表明,看到的类,但也是一个非常有前途的泛化能力,看不见的字符良好的一般分类。
2018-08-27 cs.CV