Integration of 3D Object Recognition and Planning for Robotic Manipulation: A Preliminary Report
Sabancı University（萨班哲大学）
我们研究不同的方法来整合对象识别和规划在桌面操作域与2012年RoboCup@Work比赛中使用的一组对象。我们的初步实验结果表明，与一些方法，感知和规划的紧密结合提高了计划的质量，以及可行的计划的计算时间。
2013-07-29 cs.AI cs.CV cs.RO
Recognizing Manipulation Actions from State-Transformations
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
操纵动作将对象从初始状态转换为最终状态。在本文中，我们报告使用对象状态转换作为识别操作动作的手段。我们的方法的灵感来自于直觉，对象状态在视觉上比来自静止帧的动作更明显，从而提供了与时空动作识别互补的信息。我们首先定义一个状态转换矩阵，将动作标签映射到前状态和后状态。从每个关键帧中，我们学习对象及其状态的外观模型。然后，可以从状态转换矩阵中识别操纵动作。我们报告EPIC厨房动作识别挑战赛的结果。
2019-06-12 cs.CV
Octave Mix: Data augmentation using frequency decomposition for activity recognition
Graduate School of Engineering（研究生院）；University of Fukui（福井大学）
在活动识别的研究领域，虽然很难收集大量的测量传感器数据，但关于数据增强（DA）的讨论还不多。在这项研究中，我提出了Octave Mix作为一种新的基于传感器的活动识别的综合风格的DA方法。Octave Mix是一种简单的DA方法，它通过使用频率分解将低频和高频波形交叉来组合两种类型的波形。此外，我提出了一个DA集成模型及其训练算法，以获得对原始传感器数据的鲁棒性，同时保持各种各样的特征表示。我进行了实验，以评估我提出的方法使用四个不同的基准数据集的基于感知的活动识别的有效性。因此，我提出的方法达到了最佳的估计精度。此外，我发现，集成两个DA策略：Octave Mix with rotation和mixup with rotation，可以实现更高的精度。
2021-01-08 cs.CV
Feature Decomposition and Reconstruction Learning for Effective Facial Expression Recognition
Xiamen University（厦门大学）；Vision Intelligence Center Meituan（美团视觉智能中心）；University of Adelaide（阿德莱德大学）
在本文中，我们提出了一种新的特征分解和重构学习（FDRL）的方法，有效的面部表情识别。我们将表情信息视为不同表情之间的共享信息（表情相似性）和每个表情的独特信息（表情特定的变化）的组合。更具体地说，FDRL主要由两个关键网络组成：特征分解网络（FDN）和特征重建网络（FRN）。具体地说，FDN首先将从骨干网络提取的基本特征分解为一组面部动作感知潜在特征来建模表情相似性。然后，FRN捕获潜在特征的特征内和特征间的关系，以表征表情特定的变化，并重建表情特征。为此，在FRN中开发了两个模块，包括特征内关系建模模块和特征间关系建模模块。在实验室数据库（包括CK+、MMI和Oulu-CASIA）和野外数据库（包括RAF-DB和SFEW）上的实验结果表明，所提出的FDRL方法始终比现有的几种方法具有更高的识别精度。这清楚地突出了特征分解和重构对表达式分类的好处。
2021-04-21 cs.CV
Enhancing Handwritten Text Recognition with N-gram sequence decomposition and Multitask Learning
National Technical University of Athens（雅典国立技术大学）
手写文本识别领域中的当前最先进的方法主要是具有单字、字符级目标单元的单个任务。在我们的工作中，我们利用多任务学习方案，训练模型执行目标序列的分解，目标单元具有不同的粒度，从细到粗。我们认为这种方法是一种在训练过程中隐式地利用n-gram信息的方法，而最终的识别只使用unigram输出。为了突出这种多任务方法的内部Unigram解码的差异，突出了在训练步骤中由不同的n-gram施加的学习的内部表示的能力。我们选择n-gram作为我们的目标单位，我们的实验从unigrams到fourgram，即子字级粒度。这些多重分解是从具有特定于任务的CTC损失的网络中学习的。关于网络架构，我们提出了两种替代方案，即层次和块多任务。总的来说，我们提出的模型，即使只在unigram任务上进行评估，在贪心解码中，绝对2.52\% WER和1.02\% CER优于其对应的单任务，在推理过程中没有任何计算开销，暗示成功地实施了隐式语言模型。
2020-12-28 cs.CV
A Variational Graph Autoencoder for Manipulation Action Recognition and Prediction
Istanbul Technical University（伊斯坦布尔理工大学）；Halmstad University（哈尔姆斯塔德大学）
尽管经过了数十年的研究，但理解人类的操作活动一直是计算机视觉和机器人技术中最具吸引力和挑战性的研究课题之一。观察到的人类操作动作的识别和预测有其根源的应用，例如，人机交互和机器人学习从演示。目前的研究趋势严重依赖于先进的卷积神经网络来处理结构化的欧几里得数据，例如RGB相机图像。然而，这些网络具有巨大的计算复杂性，以便能够处理高维原始数据。与相关工作不同的是，我们在这里引入了一个深度图自动编码器来共同学习从符号场景图中识别和预测操作任务，而不是依赖于结构化的欧几里得数据。我们的网络具有变分自编码器结构，具有两个分支：一个用于识别输入图类型，一个用于预测未来图。所提出的网络的输入是一组语义图，其中存储在场景中的主体和对象之间的空间关系。网络输出是表示检测和预测的类类型的标签集。我们在两个不同的数据集MANIAC和MSRC-9上对我们的新模型进行了基准测试，并表明我们提出的模型可以实现更好的性能。我们还发布了我们的源代码https://github.com/gamzeakyol/GNet。
2021-10-25 cs.CV cs.RO
Dynamic Matrix Decomposition for Action Recognition
University of Engineering and Technology, Peshawar（白沙瓦工程技术大学）
设计一种自动分析视频中不同动作的技术，以检测感兴趣的活动的存在，今天是非常重要的。在本文中，我们探讨了一个强大的和动态的外观技术，以识别不同的动作活动。我们还利用低秩和结构化稀疏矩阵分解（LSMD）方法来更好地模拟这些活动。我们的方法是有效的编码本地化的时空特征，使本地运动发生在视频中的分析。我们提出的模型使用相邻帧的差异作为方法的输入，从而迫使它捕捉视频中发生的变化。我们的模型的性能进行测试的基准数据集的检测精度。与我们的模型取得的结果表明，我们的模型在检测动作活动的前景。
2019-02-20 cs.CV
Understanding hand-object manipulation by modeling the contextual relationship between actions, grasp types and object attributes
Institute of Industrial Science, The University of Tokyo（东京大学生产技术研究所）；Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
提出了一种基于计算机视觉技术的理解日常手部操作的新方法。具体来说，我们专注于识别手抓类型，对象属性和操作动作在一个统一的框架内，通过探索它们的上下文关系。我们的假设是，有必要联合建模手，对象和动作，以准确地识别多个任务，这些任务是相互关联的手对象操作。在所提出的模型中，我们探讨了各种语义之间的关系的行动，把握类型和对象属性，并显示如何上下文可以用来提高每个组件的识别。我们还探讨了手和物体之间的空间关系，以便在杂乱的环境中从手检测被操纵的物体。所有三个识别任务的实验结果表明，我们提出的方法优于传统的外观为基础的方法，这些方法的目的是不考虑上下文关系参与手对象操作。对习得语境的可视化和概括性研究进一步支持了我们的假设。
2018-07-22 cs.CV
STAR: Zero-Shot Chinese Character Recognition with Stroke- and Radical-Level Decompositions
Jiangxi Normal University（江西师范大学）
近年来，零出手汉字识别引起了越来越多的关注。现有的方法主要是基于某些低级别的基于笔划的分解或基于中间级别的基于根的分解。考虑到笔划级和部首级分解可以提供不同层次的信息，本文将二者结合起来，提出了一种有效的zero-shot汉字识别方法。所提出的方法包括一个训练阶段和一个推理阶段。在训练阶段，我们采用两个类似的编码器-解码器模型来产生笔画和部首编码的估计，然后将其与真实编码一起用于形式化相关的笔画和部首损失以进行训练。引入相似性损失来正则化笔划和部首编码器，以产生具有高相关性的相同字符的特征。在推理阶段，两个关键模块，即，分别针对确定性和混淆性两种情况引入了笔划筛选模块和特征匹配模块。特别是，我们在FMM中引入了一个有效的笔划校正方案，以扩大最终推理的候选字符集。在手写体、印刷体艺术作品和街景场景的三个基准数据集上进行了大量的实验，以证明所提出的方法的有效性。数值结果表明，该方法在字符和部首zero-shot设置下均优于现有方法，在传统的可见字符设置下仍保持较好的性能。
2022-10-16 cs.CV
Orthogonal Deep Features Decomposition for Age-Invariant Face Recognition
Tencent AI Lab（腾讯人工智能实验室）
随着年龄的增长，人脸的外观会发生显著的类内变化，因此年龄不变人脸识别（AIFR）仍然是人脸识别领域的一个主要挑战。为了减少由年龄引起的类内差异，在本文中，我们提出了一种新的方法（即正交嵌入CNN，或OE-CNN）来学习年龄不变的深层人脸特征。具体来说，我们将深层人脸特征分解为两个正交分量来表示年龄相关和身份相关的特征。因此，对老化具有鲁棒性的身份相关特征随后用于AIFR。此外，为了补充现有的跨年龄人脸数据集，推进该领域的研究，我们构建了一个全新的大规模跨年龄人脸数据集（CAF）。在三个公共领域人脸老化数据集（MORPH Album 2、CACD-VS和FG-NET）上进行的大量实验表明了所提出方法的有效性和所构建的CAF数据集在AIFR上的价值。在最流行的通用人脸识别（GFR）数据集LFW上对我们的算法进行基准测试，还证明了GFR的泛化性能。
2018-10-17 cs.CV
Decomposition-Based Domain Adaptation for Real-World Font Recognition
我们提出了一个域自适应框架，以解决合成训练和真实世界的测试数据之间的域不匹配。我们展示了我们的方法上一个具有挑战性的细粒度分类问题：识别字体风格的文本图像。在这个任务中，生成大量的渲染字体示例非常容易，但很难获得真实世界的标记图像。在以前的字体识别方法中，这种真实到合成域的差距导致了对新真实数据的泛化能力差（Chen et al.（2014））。在本文中，我们介绍了一种卷积神经网络分解方法，利用一个大型的训练语料库的合成数据，以获得有效的特征进行分类。这是使用基于堆叠卷积自动编码器的自适应技术来完成的，堆叠卷积自动编码器利用大量未标记的真实世界文本图像与以特定方式预处理的合成数据相结合。所提出的DeepFont方法在我们收集的一个新的大型标记真实世界数据集上实现了高于80%（前5名）的准确率。
2015-04-01 cs.CV
Towards Few-shot Entity Recognition in Document Images: A Graph Neural Network Approach Robust to Image Manipulation
University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文提出LAGER模型，通过基于k近邻边界框构建拓扑邻接图并引入图神经网络，利用词元相对位置信息，提升文档图像少样本实体识别的性能和对图像操作的鲁棒性。
2024-02-23 cs.CL cs.CV
Learn-to-Decompose: Cascaded Decomposition Network for Cross-Domain Few-Shot Facial Expression Recognition
Xiamen University（厦门大学）；University College London（伦敦大学学院）；Xiamen University of Technology（厦门理工学院）
现有的复合表情识别方法大多依赖于大规模的带标签的复合表情数据进行训练。然而，收集这些数据是劳动密集型和耗时的。在本文中，我们解决了复合FER任务中的跨域少样本学习（FSL）设置，它只需要在目标域的复合表达式的几个样本。具体来说，我们提出了一种新的级联分解网络（CDNet），它级联几个学习分解模块与共享参数的基础上的顺序分解机制，以获得一个可转移的特征空间。为了缓解在我们的任务中由于有限的基类而导致的过拟合问题，设计了一种部分正则化策略，以有效地利用情景训练和批量训练的最佳效果。通过在多个基本表达式数据集上进行类似任务的训练，CDNet学习了学习分解的能力，可以很容易地识别看不见的复合表达式。在实验室和野生化合物表达数据集上的广泛实验证明了我们提出的CDNet对几种最先进的FSL方法的优越性。代码可在：https://github.com/zouxinyi0625/CDNet.
2022-07-16 cs.CV
Grouped Spatial-Temporal Aggregation for Efficient Action Recognition
时间推理是视频分析的一个重要方面。3D CNN通过以无约束的方式联合探索时空特征显示出良好的性能，但它也增加了大量的计算成本。以前的工作试图通过解耦空间和时间滤波器来降低复杂度。在本文中，我们提出了一种新的分解方法，分解成空间和时间组的特征通道并行。这种分解可以使两个群体分别关注静态和动态线索。我们称之为分组时空聚合（GST）。这种分解是更有效的参数，使我们能够定量分析的空间和时间特征在不同层的贡献。我们验证了我们的模型在几个动作识别任务，需要时间推理，并显示其有效性。
2019-09-28 cs.CV
Reachability Is Not Generalization: Understanding Verb--Noun Decomposition in Assembly Action Recognition
Aalto University（阿尔托大学）
本文系统分析装配动作识别中动词-名词分解的组合泛化，发现其仅部分超越原子上限，受共现结构、词汇不对称和组件纠缠限制，并提出可移植诊断框架。
2026-10-02 cs.CV
Recognition of Grasp Points for Clothes Manipulation under unconstrained Conditions
Advanced Mining Technology Center & Dept. of Elect. Eng., Universidad de Chile（智利大学先进采矿技术中心与电气工程系）
在这项工作中，提出了一个系统，用于识别RGB-D图像中的抓点。该系统旨在由家用机器人在将衣服放置在桌子上的随机位置时使用。考虑到抓握点通常靠近衣服的关键部位，例如裤子的腰部或衬衫的颈部。所提出的系统试图检测这些关键部分第一，使用一个本地的多变量轮廓，相应地适应其形状。然后，所提出的系统应用血管增强滤波器来识别衣服中的皱纹，从而可以计算衣服的粗糙度指数。最后，通过混合（i）关键部位轮廓和（ii）由血管滤波器获得的粗糙度信息，系统能够识别用于展开一件衣服的抓取点。识别系统进行了验证，使用逼真的RGB-D图像的不同类型的布。
2017-06-20 cs.CV cs.RO
Polynomial Neural Fields for Subband Decomposition and Manipulation
Cornell University（康奈尔大学）；University of Copenhagen（哥本哈根大学）；Google Research（谷歌研究院）
神经场已经成为表示信号的新范式，这要归功于它们在简单优化的同时能够做到这一点。然而，在大多数应用中，神经场被视为黑箱，这排除了许多信号操纵任务。在本文中，我们提出了一类新的神经场称为多项式神经场（PNF）。PNF的主要优点是它可以将信号表示为许多可操作和可解释的分量的组合，而不会失去神经场表示的优点。我们开发了一个通用的理论框架来分析和设计PNF。我们使用这个框架来设计傅立叶PNF，它与使用神经场的信号表示任务中的最先进性能相匹配。此外，我们的经验表明，傅立叶PNF使信号处理应用，如纹理传输和尺度空间插值。代码可在https://github.com/stevenygd/PNF上获得。
2023-02-09 cs.CV cs.LG
Psychophysical Evaluation of Human Performance in Detecting Digital Face Image Manipulations
Hochschule Darmstadt（达姆施塔特应用科学大学）
近年来，人脸识别技术越来越多地部署在安全关键环境中，例如边境管制或执法，这导致人们对人脸识别系统易受利用合法文件攻击的脆弱性产生了相当大的兴趣，这些文件是基于数字处理的人脸图像发布的。由于自动化操作和攻击检测仍然是一项具有挑战性的任务，因此由人类检查员执行身份验证的传统流程仍然不可或缺。这些情况下值得更仔细地调查人类在检测操纵的人脸图像的能力，因为以前在这一领域的工作是稀疏的，往往只集中在特定的场景和生物特征。这项工作介绍了一个基于网络的，远程视觉歧视实验的基础上，通过从心理物理学领域的原则，随后讨论了跨学科的机会，目的是检查人类的熟练程度检测不同类型的数字处理的人脸图像，特别是人脸交换，变形，和修饰。除了分析适当的绩效措施外，还探讨了一种可能的可探测性度量标准。306个先证者的实验数据表明，检测性能广泛分布在人群中，某些类型的人脸图像操作的检测比其他人更具挑战性。
2022-01-28 cs.CV
Out-of-domain GAN inversion via Invertibility Decomposition for Photo-Realistic Human Face Manipulation
HKUST (Guangzhou)（香港科技大学（广州））；HKUST（香港科技大学）；CUHK（香港中文大学）；SmartMore（思谋科技）
针对 GAN 人脸反演中 OOD 区域导致掩码不准的问题，提出联合学习可逆性检测与空间对齐的分解框架，提升反演和属性操控保真度。
2023-06-08 cs.CV
Intrinsic Image Transfer for Illumination Manipulation
Ghent University（根特大学）；Shenzhen Institute of Information Technology（深圳信息职业技术学院）；Beihang University（北京航空航天大学）
本文提出了一种新的内在图像传输（IIT）算法的照明操作，它创建一个局部图像之间的两个照明表面的平移。该模型建立在一个基于优化的框架上，该框架由三个定义在子层上的真实感损失组成，这些子层由固有图像分解分解。我们说明，所有的损失可以减少，而不需要采取一个内在的图像分解下，众所周知的空间变化的照明照明不变的反射率先验知识。此外，通过一系列的松弛，所有这些都可以直接定义在图像上，给出了图像照明操作的封闭形式的解决方案。这种新的范例不同于流行的基于Retinex的算法，因为它提供了一种隐式的方式来处理每像素的图像照明。最后，我们展示了它的多功能性和照明相关的任务，如照明补偿，图像增强和高动态范围（HDR）图像压缩的好处，并显示高质量的结果自然图像数据集。
2022-12-24 cs.CV
Real-Time Manipulation Action Recognition with a Factorized Graph Sequence Encoder
Istanbul Technical University（伊斯坦布尔理工大学）；Halmstad University（哈尔姆斯塔德大学）
本文提出 Factorized Graph Sequence Encoder 与 Hand Pooling，在保证实时性的同时增强长时间动作建模的时间可扩展性，并在 Bimacs、CoAx 上显著提升 F1-macro。
2025-03-15 cs.AI cs.CV
Prior Information based Decomposition and Reconstruction Learning for Micro-Expression Recognition
Nanjing University of Posts and Telecommunications（南京邮电大学）；Nanjing Institute of Technology（南京工程学院）
微表情识别（MER）吸引了广泛的研究兴趣，因为微表情（ME）可以推断真实的情感。先验信息可以指导模型有效地学习判别性ME特征。然而，大多数工作集中在研究具有更强的表示能力的一般模型，以适应性地聚合ME运动信息的整体方式，这可能会忽略的先验信息和属性的ME。为了解决这个问题，在先验信息的驱动下，ME的类别可以通过面部不同组件之间的动作之间的关系来推断，这项工作设计了一种新的模型，可以符合这种先验信息，并学习ME运动特征，以可解释的方式。具体而言，本文提出了一种基于分解和重构的图表示学习（DeRe-GRL）模型，以有效地学习高级别ME功能。DeRe-GRL包括两个模块：动作分解模块（ADM）和关系重构模块（RRM），其中ADM学习面部关键部件的动作特征，RRM探索这些动作特征之间的关系。ADM基于人脸关键组件，将基于图模型的骨干提取的几何运动特征划分为若干个子特征，学习映射矩阵将这些子特征映射为多个动作特征; RRM学习权值对所有动作特征进行加权，建立动作特征之间的关系。实验结果证明了所提出的模块的有效性，所提出的方法取得了竞争力的性能。
2023-03-03 cs.CV
ASD: Towards Attribute Spatial Decomposition for Prior-Free Facial Attribute Recognition
University of Shanghai for Science and Technology（上海理工大学）；Nanjing University of Science and Technology（南京理工大学）；Zhejiang University（浙江大学）
人脸属性的空间特征表示是人脸属性识别的一个重要挑战。最新的进展已经取得了可靠的性能，FAR受益于通过额外的先验信息的空间属性的描述。然而，额外的先验信息可能并不总是可用的，导致基于先验的方法的应用场景受到限制。同时，忽略了由于面部各部分固有的空间差异而导致的面部属性的空间模糊性。为了解决这些问题，我们提出了一种无先验的属性空间分解（ASD）方法，在没有任何额外的先验信息的情况下减轻了面部属性的空间模糊性。具体地说，分配嵌入模块（AEM）被提出来实现ASD的过程，该过程包括两个操作：属性到位置分配和位置到属性嵌入。属性到位置分配首先基于潜在因素分解特征图，分配每个空间位置上的属性分量的大小。然后，从所有位置分配属性组件来表示全局级属性嵌入。此外，相关矩阵最小化（CMM）被引入到扩大的属性嵌入的区分度。实验结果表明，与现有方法相比，该方法具有明显的优越性，同时也进一步验证了该方法在训练数据有限的情况下的可靠性能.
2022-10-25 cs.CV
FG-SGL: Fine-Grained Semantic Guidance Learning via Motion Process Decomposition for Micro-Gesture Recognition
Nanjing University of Posts and Telecommunications（南京邮电大学）；University of Oulu（奥卢大学）
本文提出FG-SGL框架，通过整合细粒度和类别级语义引导视觉-语言模型感知局部微手势运动，利用细粒度文本数据和多级对比优化策略提升微手势识别性能。
2026-03-17 cs.CV
Seeing eye-to-eye? A comparison of object recognition performance in humans and deep convolutional neural networks under image manipulation
University of Salzburg（萨尔茨堡大学）
在相当长的一段时间里，深度卷积神经网络（DCNN）在对象识别方面已经达到了人类的基准性能。因此，计算神经科学和机器学习领域已经开始将许多相似性和差异归因于人工视觉和生物视觉。本研究旨在ImageNet数据集上分类学习范例中人类和前馈神经网络之间视觉核心对象识别性能的行为比较。为此，人类参与者（n = 65）在在线实验中与不同的前馈DCNN竞争。设计的方法基于七种不同猴子类别的典型学习过程，包括使用自然示例的训练和验证阶段，以及使用新颖的，无经验的形状和颜色操作的测试阶段。准确性分析显示，人类不仅在所有条件下都优于DCNN，而且对形状和最明显的颜色变化表现出更大的鲁棒性。此外，对行为模式的精确检查通过揭示各组之间的独立分类错误来突出这些发现。所获得的结果表明，人类对比强烈，人工前馈架构，当涉及到视觉核心对象识别的操纵图像。在一般情况下，这些研究结果是符合越来越多的文献，提示对复发作为一个关键因素，足够的泛化能力。
2020-12-13 cs.CV cs.LG eess.IV
Human-AI Divergence in Ego-centric Action Recognition under Spatial and Spatiotemporal Manipulations
University of Surrey（索尔福德大学）；Newcastle University（新卡茨大学）
本文通过大规模研究揭示了人类与AI在空间和时空操作下动作识别的性能差异，发现人类依赖稀疏语义线索，而AI则依赖上下文特征。
2026-03-09 cs.AI cs.CV
Combined Static and Motion Features for Deep-Networks Based Activity Recognition in Videos
University of Moratuwa（莫拉图瓦大学）
在深度学习环境中的视频活动识别-或其他-使用静态和预先计算的运动分量。结合这两个组件的方法，同时保持深度网络的负担较小，仍然没有得到研究。此外，还不清楚各个组成部分的贡献水平如何，以及如何控制贡献。在这项工作中，我们使用CNN生成的静态特征和运动特征的运动管的形式相结合。我们提出了三种模式相结合的静态和运动分量：基于方差比，主成分，和Cholesky分解。基于Cholesky分解的方法允许控制贡献。静态和运动特征的方差分析给出的比率与基于Cholesky分解的方法中使用的实验最优比率匹配良好。当使用三个流行的数据集进行测试时，所产生的活动识别系统更好或与现有的最先进的水平相当。研究结果还使我们能够表征数据集的运动信息的丰富性。
2018-10-16 cs.CV
FineTec: Fine-Grained Action Recognition Under Temporal Corruption via Skeleton Decomposition and Sequence Completion
FineTec通过骨骼分解和序列补全方法，在受时间腐蚀影响下实现细粒度动作识别的高效准确识别。
2025-12-31 cs.CV
Pairwise Decomposition of Image Sequences for Active Multi-View Recognition
Imperial College London（伦敦帝国理工学院）
多视角图像序列提供了比来自单个图像的更丰富的对象识别能力。然而，大多数现有的多视图识别解决方案通常采用手工制作的基于模型的几何方法，这些方法不容易接受深度学习的最新趋势。我们建议将卷积神经网络用于通用多视图识别，通过将图像序列分解为一组图像对，独立地对每一对进行分类，然后通过加权每一对的贡献来学习对象分类器。这允许在任意相机轨迹上进行识别，而不需要在潜在的无限数量的相机路径和长度上进行显式训练。建立这些成对的关系，然后自然地扩展到下一个最佳视图问题的主动识别框架。为了实现这一点，我们训练第二个卷积神经网络，以直接从观察到的图像映射到下一个视点。最后，我们将其纳入一个轨迹优化任务，从而寻求最佳的识别信心，为一个给定的轨迹长度。我们在ModelNet数据集上展示了引导和非引导多视图识别的最新结果，并展示了我们的方法如何用于深度图像、灰度图像或两者。
2016-05-26 cs.CV cs.RO
Histogram of Oriented Depth Gradients for Action Recognition
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；INRIA（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立理工学院）；CNRS（法国国家科学研究中心）；Laboratoire LIG（格勒诺布尔信息学实验室）
在本文中，我们报告的实验与使用本地措施的深度运动的视觉动作识别从MPEG编码的RGBD视频序列。我们表明，这些措施可以结合本地时空视频描述符的外观提供一个计算效率高的方法识别的行动。Fisher向量用于编码深度描述符并将其与现有RGB局部描述符连接。然后，我们采用了线性SVM识别操纵动作使用这样的向量。我们评估这些措施的有效性，通过比较最先进的使用两个最近的数据集在厨房环境中的动作识别。
2018-01-29 cs.CV
DM-NeRF: 3D Scene Geometry Decomposition and Manipulation from 2D Images
Shenzhen Research Institute, The Hong Kong Polytechnic University（香港理工大学深圳研究院）；The Hong Kong Polytechnic University（香港理工大学）；University of Oxford（牛津大学）
本文研究了从二维视图到三维场景的几何分解和操作问题。通过利用最近的隐式神经表示技术，特别是有吸引力的神经辐射场，我们引入了一个对象场组件来学习唯一的代码，为所有个体对象在3D空间中，只有从2D监督。该组件的关键是一系列精心设计的损失函数，即使没有3D标签，也能有效优化每个3D点，尤其是未占用空间中的点。此外，我们引入了一个逆查询算法，可以自由地操作任何指定的3D对象形状的学习场景表示。值得注意的是，我们的操作算法可以明确地解决关键问题，如对象碰撞和视觉遮挡。我们的方法称为DM-NeRF，是第一个在单个管道中同时重建，分解，操作和渲染复杂3D场景的方法。在三个数据集上的大量实验清楚地表明，我们的方法可以准确地从2D视图中分解所有3D对象，允许任何感兴趣的对象在3D空间中自由操作，如平移，旋转，大小调整和变形。
2023-03-10 cs.AI cs.CV cs.GR
Recognizing Object Affordances to Support Scene Reasoning for Manipulation Tasks
Georgia Institute of Technology（佐治亚理工学院）
关于场景的示能表示信息提供关于在追求满足指定目标状态时可以执行什么动作的重要线索。因此，将基于可供性的推理集成到符号动作规划管道中将增强机器人操纵的灵活性。不幸的是，表现最好的示能表示识别方法使用对象类别先验来提高示能表示检测和分割的准确性。对象先验限制了对未知对象类别的泛化。本文描述了一种基于类别无关区域建议网络的示能表示识别管道，用于跨类别建议图像的实例区域。为了在没有类别先验的情况下指导示能表示学习，训练过程包括明确推断提议内的现有示能表示的辅助任务。其次，一个自我注意力机制被训练来解释每个提议，学会通过该区域捕捉丰富的上下文依赖关系。视觉基准测试表明，经过训练的网络，称为AffContext，减少了对象不可知和对象知情的启示识别之间的性能差距。AffContext与规划域定义语言（PDDL）相关联，并具有增强的状态保持器，用于跨时间间隔的目标导向任务进行行动规划。操作实验表明，AffContext可以成功地解析场景内容，种子一个符号规划器的问题规格说明，其执行完成目标任务。此外，以任务为导向的抓取切割和冲击行动表明，利用多个启示，为一个给定的对象，以完成指定的任务。
2020-09-12 cs.CV cs.RO
LSTA: Long Short-Term Attention for Egocentric Action Recognition
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；Computer Vision Center（计算机视觉中心）；Universitat de Barcelona（巴塞罗那大学）
自我中心活动识别是视频分析中最具挑战性的任务之一。它需要对小对象及其操作进行细粒度的区分。虽然一些方法基于强监督和注意力机制，但它们要么是注释消耗的，要么不考虑时空模式。在本文中，我们提出LSTA作为一种机制，专注于空间相关部分的功能，而注意力被跟踪平滑的视频序列。我们证明了LSTA在自我中心活动识别上的有效性，并采用端到端的可训练双流架构，在四个标准基准上实现了最先进的性能。
2019-04-12 cs.CV
Algorithm and Hardware Co-Design of Energy-Efficient LSTM Networks for Video Recognition with Hierarchical Tucker Tensor Decomposition
Rutgers University（罗格斯大学）；ScaleFlux Inc.（ScaleFlux公司）
长短期记忆（LSTM）是一种功能强大的深度神经网络，已广泛应用于许多序列分析和建模应用中。然而，LSTM网络的大模型尺寸问题使其实际部署仍然非常具有挑战性，特别是对于需要高维输入数据的视频识别任务。为了克服这一限制并充分释放LSTM模型的潜力，本文提出对高性能节能LSTM网络进行算法和硬件协同设计。在算法层面，我们建议开发基于完全分解分层塔克（FDHT）结构的LSTM，即FDHT-LSTM，它具有超低的模型复杂度，同时仍然具有高精度。为了充分获得这种有吸引力的算法优势，我们进一步开发了相应的定制硬件架构，以支持所提出的FDHT-LSTM模型的有效执行。通过对存储器访问机制的精心设计，底层硬件可以在不发生访问冲突的情况下，有效地支持复杂的矩阵变换。我们的评估结果表明，所提出的超紧凑FDHT-LSTM模型和相应的硬件加速器都实现了非常高的性能。与最先进的压缩LSTM模型相比，FDHT-LSTM在模型大小上减少了一个数量级，并且在不同的视频识别数据集上显著提高了准确性。同时，与最先进的张量分解面向模型的硬件TIE相比，我们提出的FDHT-LSTM架构在LSTM-Youtube工作负载上分别在吞吐量，面积效率和能源效率方面实现了更好的性能。对于LSTM-UCF工作负载，我们提出的设计也优于TIE，具有更高的吞吐量，更高的能源效率和相当的面积效率。
2022-12-05 cs.CV
RoboOmni: Proactive Robot Manipulation in Omni-modal Context
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）；National University of Singapore（新加坡国立大学）
提出跨模态上下文指令设定及RoboOmni框架，融合视听信号实现主动意图识别与机器人操作，并构建OmniAction数据集，在多指标上超越基线。
2025-11-01 cs.CL cs.CV cs.RO
Compressible-composable NeRF via Rank-residual Decomposition
Peking University（北京大学）；Chinese University of Hong Kong（香港中文大学）
神经辐射场（NeRF）已经成为一种令人信服的方法来表示3D对象和场景以进行照片级真实感渲染。然而，它的隐式表示导致难以操纵的模型一样，显式网格表示。NeRF操作的一些最新进展通常受到共享渲染器网络的限制，或者受到大模型尺寸的影响。为了绕过障碍，在本文中，我们提出了一个显式的神经场表示，使有效和方便的操纵模型。为了实现这一目标，我们学习一个混合张量秩分解的场景没有神经网络。基于SVD算法的低秩近似特性，我们提出了一种秩-残差学习策略，以鼓励保留较低秩的原始信息。然后，可以通过秩截断来动态调整模型大小，以控制细节级别，从而在不进行额外优化的情况下实现接近最佳的压缩。此外，不同的模型可以任意变换，并组成一个场景，通过连接沿秩维。通过压缩合成场景中不重要的对象，也可以减轻存储成本的增长。我们证明，我们的方法是能够实现可比的渲染质量的国家的最先进的方法，同时使额外的能力的压缩和组合。代码将在https://github.com/ashawkey/CCNeRF上提供。
2022-10-11 cs.CV
Diffusion-Driven Deceptive Patches: Adversarial Manipulation and Forensic Detection in Facial Identity Verification
本文提出了一种基于扩散模型的对抗性补丁生成与检测方法，通过FGSM和ViT-GPT2模型提升对抗性攻击的隐蔽性与有效性，并实现了高SSIM的检测性能。
2026-01-14 cs.AI cs.CV
Learning Chebyshev Basis in Graph Convolutional Networks for Skeleton-based Action Recognition
CNRS（法国国家科学研究中心）；Sorbonne University（索邦大学）
谱图卷积网络（GCN）是一种特殊的深度模型，旨在将神经网络扩展到任意不规则域。这些网络的原理在于使用其拉普拉斯算子的特征分解来投影图形信号，然后在将所得滤波信号反向投影到输入图形域之前在谱域中实现滤波。然而，这些操作的成功在很大程度上取决于所使用的拉普拉斯算子的相关性，这些拉普拉斯算子大多是手工制作的，这使得GCN显然是次优的。在本文中，我们介绍了一种新的谱GCN，它不仅学习通常的卷积参数，而且学习拉普拉斯算子。后者被设计为“端到端”的递归切比雪夫分解的一部分，具有传递学习表示的微分和非微分特性的特殊性-随着阶数和鉴别能力的增加-而不会过度参数化训练的GCN。广泛的实验，进行了具有挑战性的任务，基于动作识别，我们提出的拉普拉斯设计w.r.t.的泛化能力和表现优异。不同的基线（建立在手工制作和其他学习拉普拉斯）以及相关的工作。
2021-12-27 cs.CV
Composable Part-Based Manipulation
Stanford（斯坦福大学）；MIT（麻省理工学院）；NVIDIA（英伟达公司）；University of Utah（犹他大学）；Georgia Tech（佐治亚理工学院）
提出CPM框架，通过部件分解、部件对应约束与可组合扩散模型生成技能参数，提升机器人对新对象及类别的操作泛化能力。
2024-05-09 cs.AI cs.CV cs.LG
Over-the-Air Adversarial Flickering Attacks against Video Recognition Networks
Technion Institute of Technology（以色列理工学院）；Rafael - Advanced Defense Systems Ltd.（拉斐尔先进防务系统有限公司）；Nvidia Research（英伟达研究院）
用于视频分类的深度神经网络，就像图像分类网络一样，可能会受到对抗性操纵。图像分类器和视频分类器之间的主要区别在于后者通常使用视频中包含的时间信息。在这项工作中，我们提出了一个操纵方案，通过引入闪烁的时间扰动，在某些情况下，可能是不明显的人类观察者，是在现实世界中实现的欺骗视频分类。在演示了单个视频的动作分类操作后，我们推广了通用对抗扰动的过程，实现了高欺骗率。此外，我们推广了通用的扰动，并产生一个时间不变的扰动，它可以应用于视频不同步的扰动的输入。该攻击在几个目标模型上实现，并证明了攻击的可移植性。这些属性使我们能够弥合模拟环境和现实世界的应用程序之间的差距，将在本文中首次展示的空中闪烁攻击。
2021-06-04 cs.CR cs.CV cs.LG
Factorization of View-Object Manifolds for Joint Object Recognition and Pose Estimation
Beihang University（北京航空航天大学）；Rutgers University（罗格斯大学）
由于形状、外观和观察条件的巨大变化，物体识别是物体操纵和机器人/AI视觉推理领域的一个关键挑战。识别对象类别，对象的特定实例和对象的视点/姿态是机器人必须解决的三个关键子问题，以便准确地抓住/操纵对象并对其环境进行推理。同一对象的多视图图像位于描述符空间（例如视觉/深度描述符空间）中的固有低维流形上。这些对象流形共享相同的拓扑结构，尽管在几何上不同。每个对象流形可以表示为统一流形的变形版本。因此，对象流形可以通过其从统一流形的同胚映射/重构来参数化。在这项工作中，我们开发了一个新的框架，共同解决三个具有挑战性的识别子问题，明确建模的对象流形的变形和因式分解在一个视图不变的空间识别。我们在几个具有挑战性的数据集上进行了广泛的实验，并取得了最先进的结果。
2015-04-13 cs.CV
Spatio-temporal Attention Model for Tactile Texture Recognition
University of Liverpool（利物浦大学）
最近，触觉感知在机器人领域引起了极大的兴趣，特别是在促进非结构化环境的探索和有效的操纵方面。通过触觉感知对表面纹理的详细了解对于许多这些任务是必不可少的。以前的工作，纹理识别使用基于摄像头的触觉传感器已被限制到处理所有区域在一个触觉图像或所有样本在一个触觉序列中平等，其中包括许多无关或冗余的信息。在本文中，我们提出了一种新的时空注意力模型（STAM）的触觉纹理识别，这是第一个同类的，我们最好的知识。该方法既考虑了单个触觉纹理的空间聚焦，又考虑了触觉序列的时间相关性。在区分100种不同织物纹理的实验中，与基于非注意力的模型相比，空间和时间选择性注意力导致识别准确率的显著提高，最高可达18.8%。具体来说，在引入接触发生前收集的噪声数据后，我们提出的STAM可以有效地学习显著特征，与基于CNN的基线方法相比，准确率平均提高15.23%。改进的触觉纹理感知可以应用于促进机器人任务，如抓取和操纵。
2020-08-10 cs.CV cs.RO
Zero-Shot Chinese Character Recognition with Stroke-Level Decomposition
Shanghai Key Laboratory of Intelligent Information Processing（上海市智能信息处理重点实验室）；Fudan University（复旦大学）
汉字识别由于其广泛的应用而引起了人们的广泛兴趣。虽然人们对它进行了多年的研究，但这一领域的一些问题还没有完全解决，例如zero-shot问题。先前的基于字符和基于偏旁部首的方法没有从根本上解决zero-shot问题，因为在数据饥饿的条件下，测试集中的一些字符或偏旁部首可能不会出现在训练集中。受人类可以通过学习某些字符的笔顺来概括知道如何书写以前从未见过的字符这一事实的启发，我们提出了一种基于笔划的方法，将每个字符分解为一系列笔划，这些笔划是汉字的最基本单元。然而，我们观察到笔画序列和汉字之间存在一对多的关系。为了解决这个问题，我们采用了一种基于匹配的策略来将预测的笔画序列转换为特定的字符。我们评估所提出的方法对手写字符，印刷艺术字符，和场景字符。实验结果表明，该方法在字符zero-shot和激进的zero-shot任务上的性能优于现有的方法。此外，所提出的方法可以很容易地推广到其他语言的字符可以分解成笔画。
2021-06-22 cs.AI cs.CV
Universal Visual Decomposer: Long-Horizon Manipulation Made Easy
University of Pennsylvania（宾夕法尼亚大学）；University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
提出通用视觉分解器（UVD），利用预训练视觉表示检测阶段变化自动分解长时程操控任务为子目标，零额外训练成本，显著提升组合泛化与强化学习探索，在仿真和真实任务中优于基线。
2023-10-12 cs.CV cs.RO
Discriminating Spatial and Temporal Relevance in Deep Taylor Decompositions for Explainable Activity Recognition
Cardiff University（卡迪夫大学）；Crime and Security Research Institute（犯罪与安全研究院）；School of Computer Science & Informatics（计算机科学与信息学院）；School of Engineering（工程学院）
当前可解释的人工智能技术已经成功地应用于图像处理。最近兴起的视频处理研究呼吁类似的工作，解构和解释时空模型。虽然许多技术是为2D卷积模型设计的，但其他技术本质上适用于任何输入域。一个这样的工作，深泰勒分解，传播相关性从模型输出分布到其输入，因此不限于图像处理模型。然而，通过利用一个简单的技术，删除运动信息，我们表明，这是不是这种情况下，这种技术是有效的，因为是在非图像任务的相关性。相反，我们提出了一种判别方法，产生一个天真的表示作为两个单独的对象的帧的空间和时间相关性。这种新的判别式相关模型揭示了归因于运动的帧中的相关性，这在最初的解释中是模糊的。我们观察到这种技术的有效性，从UCF-101动作识别数据集，其中两个在本文中演示的一系列样本。
2019-08-14 cs.CV cs.HC cs.LG
PseudoTouch: Efficiently Imaging the Surface Feel of Objects for Robotic Manipulation
University of Freiburg（弗莱堡大学）；Zuse School ELIZA（楚塞ELIZA学院）
本文提出PseudoTouch，通过学习低维视觉-触觉嵌入将深度图块映射为触觉信号，在物体识别和抓取稳定性预测任务中分别取得84%准确率和32%的绝对提升。
2025-03-07 cs.CV cs.RO
Neuro-Symbolic Manipulation Understanding with Enriched Semantic Event Chains
Department of Computer Science, School of Mathematics, Statistics and Computer Science, College of Science, University of Tehran（德黑兰大学数学、统计学与计算机科学学院计算机科学系）；Computer Science, College of Science, University of Tehran（德黑兰大学科学学院计算机科学系）
本文提出eSEC-LAM框架，通过将eSEC转化为显式事件级符号状态，提升操控理解的不确定性处理能力，在动作识别、下一步操作预测和感知噪声鲁棒性方面表现优异。
2026-04-22 cs.CV cs.RO
Imagine2touch: Predictive Tactile Sensing for Robotic Manipulation using Efficient Low-Dimensional Signals
University of Freiburg（弗赖堡大学）
本文提出 Imagine2touch 方法，利用视觉图像块和 ReSkin 触觉传感器数据预测触觉信号，并在分布外物体识别任务中达到 58% 准确率，超过本体感觉基线。
2024-05-02 cs.CV cs.RO
A Domain Decomposition-Based CNN-DNN Architecture for Model Parallel Training Applied to Image Recognition Problems
University of Cologne（科隆大学）；Center for Data and Simulation Science, University of Cologne（科隆大学数据与模拟科学中心）
深度神经网络（DNN），特别是卷积神经网络（CNN），在广泛的现代计算机应用问题中带来了重大进展。然而，大量数据集的可用性增加以及现代计算机的可用计算能力增加分别导致DNN和CNN模型的复杂性和大小的稳定增长，从而导致更长的训练时间。因此，已经开发了各种方法和尝试来加速和并行化复杂网络架构的训练。在这项工作中，提出了一种新的CNN-DNN架构，它自然支持模型并行训练策略，并且受到两级域分解方法（DDM）的启发。首先，定义局部CNN模型，即子网络，其对输入数据的重叠或非重叠部分（例如，子图像）进行操作。子网络可以完全并行地训练，并且彼此独立。然后，每个子网络输出针对给定机器学习问题的局部决策，该局部决策专门基于相应的局部输入数据。随后，在第二步中，训练额外的DNN模型，其评估局部子网络的局部决策并生成最终的全局决策。在本文中，我们提出的架构，图像分类问题，使用CNN。不同的2D图像分类问题的实验结果，以及人脸识别问题，和3D计算机断层扫描（CT）扫描的分类问题。因此，考虑了经典的ResNet和VGG架构。结果表明，与全局模型相比，所提出的方法可以显着加快所需的训练时间，此外，还可以帮助提高底层分类问题的准确性。
2024-07-01 cs.CV cs.LG
DeepFake Detection Based on the Discrepancy Between the Face and its Context
Bar Ilan University（巴伊兰大学）；Facebook；Tel Aviv University（特拉维夫大学）；Facebook AI
我们提出了一种方法来检测人脸交换和其他身份操纵在单一的图像。DeepFake等面部交换方法操纵面部区域，旨在调整面部以适应其上下文的外观，同时保持上下文不变。我们表明，这种做法产生的差异，这两个地区之间。这些差异提供了可利用的操纵迹象。我们的方法涉及两个网络：（i）人脸识别网络，其考虑由紧密语义分割界定的人脸区域，以及（ii）上下文识别网络，其考虑人脸上下文（例如，头发、耳朵、脖子）。我们描述了一种方法，该方法使用来自我们两个网络的识别信号来检测这种差异，提供一个互补的检测信号，改进了通常用于检测假图像的传统真与假分类器。我们的方法在FaceForensics++、Celeb-DF-v2和DFDC人脸操作检测基准测试中取得了最先进的结果，甚至可以推广到检测由看不见的方法产生的假货。
2020-08-27 cs.CV cs.LG
Towards Extremely Compact RNNs for Video Recognition with Fully Decomposed Hierarchical Tucker Structure
Rutgers University（罗格斯大学）；Amazon（亚马逊）；Columbia University（哥伦比亚大学）
递归神经网络（RNN）已广泛应用于序列分析和建模。然而，在处理高维数据时，RNN通常需要非常大的模型大小，从而带来一系列部署挑战。尽管已经提出了各种先前的工作来减少RNN模型的大小，但在资源受限的环境中执行RNN模型仍然是一个非常具有挑战性的问题。在本文中，我们建议开发具有完全分解的分层塔克（FDHT）结构的非常紧凑的RNN模型。HT分解不仅提供了比其他张量分解方法更高的存储成本降低，而且还为紧凑的RNN模型带来了更好的精度性能改善。同时，与现有的基于张量分解的方法只能分解RNN的输入到隐藏层不同，我们提出的完全分解方法可以在保持非常高精度的情况下对整个RNN模型进行全面压缩。我们在几个流行的视频识别数据集上的实验结果表明，我们提出的完全分解的基于层次塔克的LSTM（FDHT-LSTM）非常紧凑，高效。据我们所知，FDHT-LSTM第一次在不同数据集上仅使用几千个参数（3，132到8，808个）就始终实现了非常高的精度。与最先进的压缩RNN模型（如TT-LSTM，TR-LSTM和BT-LSTM）相比，我们的FDHT-LSTM同时具有数量级（3，985 x至10，711 x）的参数和显着的精度提高（0.6%至12.7%）。
2021-04-20 cs.AI cs.CV
Automatic Cardiac Pathology Recognition in Echocardiography Images Using Higher Order Dynamic Mode Decomposition and a Vision Transformer for Small Datasets
Universidad Politécnica de Madrid（马德里理工大学）；Centro Nacional de Investigaciones Cardiovasculares (CNIC)（国家心血管研究中心）；Universidad Complutense de Madrid（马德里康普顿斯大学）；Center for Computational Simulation (CCS)（计算仿真中心）
本文提出一种两阶段自动心脏病理识别系统，首次将高阶动态模式分解用于医学数据增强与特征提取，并训练适用于小数据集的视觉Transformer，在超声心动图序列上取得优于预训练CNN的效果。
2024-04-30 cs.CV cs.LG eess.IV
Joint Discovery of Object States and Manipulation Actions
Département d’informatique de l’ENS, École normale supérieure, CNRS, PSL Research University（巴黎高等师范学院计算机科学系、法国国家科学研究中心、巴黎文理研究大学）；INRIA（法国国家信息与自动化研究所）；Czech Institute of Informatics, Robotics and Cybernetics at the Czech Technical University in Prague（布拉格捷克理工大学信息学、机器人与控制论研究所）；Department of CS & OR (DIRO), Université de Montréal（蒙特利尔大学计算机科学与运筹学系）
许多人类活动涉及旨在修改对象状态的对象操作。常见状态变化的示例包括满/空瓶、打开/关闭门和连接/分离车轮。在这项工作中，我们寻求自动发现对象的状态和相关的操作动作。给定一组特定任务的视频，我们提出了一个联合模型，学习识别对象状态和本地化状态修改动作。我们的模型被制定为一个歧视性的聚类成本的限制。我们假设一个一致的时间顺序的对象状态和操作动作的变化，并引入新的优化技术来学习模型参数，而无需额外的监督。我们展示了成功发现的七个操作动作和相应的对象状态的一个新的数据集的视频描绘现实生活中的对象操作。我们表明，我们的联合制定的结果在改进的对象状态发现的动作识别，反之亦然。
2017-08-28 cs.CV cs.LG
Sparse Concept Coded Tetrolet Transform for Unconstrained Odia Character Recognition
School of Electrical Sciences, Indian Institute of Technology Bhubaneswar（印度理工学院布巴内斯瓦尔分校电气科学学院）
空间谱分解的特征表示是手写体字符自动识别系统中采用的鲁棒技术之一。在这方面，我们提出了一种新的图像表示方法，无约束的手写字母数字字符使用稀疏概念编码Tetrolets。Tetrolets不像传统小波那样使用固定的二进方块进行谱分解，通过采用捕获形状几何的Tetrominoes来保留手写体中的局部变化。低熵Tetrolet表示的稀疏概念编码被发现提取重要的隐藏信息（概念）的优越的模式识别。大规模的实验，使用10个数据库在六个不同的脚本（孟加拉语，梵文，Odia，英语，阿拉伯语和泰卢固语）进行。建议的特征表示以及标准分类器，如随机森林，支持向量机（SVM），最近邻和修改的二次判别函数（MQDF）被发现在所有数据库中实现最先进的识别性能，即99.40%（MNIST）; 98.72%和93.24%（IITBBS）; 99.38%和99.22%（ISI Kolkata）。建议的OCR系统的性能优于其他稀疏的技术，如PCA，SparsePCA和SparseLDA，以及优于现有的变换（小波，Slantlet和Stockwell）。
2020-04-03 cs.CV eess.IV
