Latent Equivariant Operators for Robust Object Recognition: Promises and Challenges
Departments of Computer Science & Neuroscience and Biomedical Engineering（计算机科学与神经科学及生物医学工程系）；Aalto University（艾尔沃斯大学）
本文提出通过潜在空间学习等变运算符以提升鲁棒目标识别能力，展示其在超出分布分类中的有效性，并探讨扩展至复杂数据集的挑战。
2026-03-10 cs.CV cs.LG
Automatic Training Data Synthesis for Handwriting Recognition Using the Structural Crossing-Over Technique
Thammasat University（国立法政大学）；National Electronics and Computer Technology Center（国家电子和计算机技术中心）
本文提出了一种新的技术，称为“结构交叉”合成合格的数据训练机器学习为基础的手写识别。所提出的技术可以提供更大的各种模式的训练数据比现有的方法，如弹性变形和基于切线的仿射变换。首先选取一对训练字符，然后对它们进行结构相似性和差异性分析，最后进行交叉运算，生成新的字符。通过实验比较了基于切线仿射变换和所提方法在生成字符种类和识别错误率方面的性能。实验中使用了标准的MNIST语料库，包括60，000个训练字符和10，000个测试字符。该技术使用1,000个字符合成60,000个字符，然后使用这些数据来训练和测试基准手写识别系统，该系统利用梯度直方图（HOG）作为特征，支持向量机（SVM）作为识别器。实验结果产生8.06%的误差。它显著优于基于切线的仿射变换和原始MNIST训练数据，分别为11.74%和16.55%。
2014-10-09 cs.CV cs.LG
Domain-invariant Face Recognition using Learned Low-rank Transformation
Duke University（杜克大学）；University of Maryland（马里兰大学）
我们提出了一种低秩变换的方法来补偿由于视觉域的变化，如姿态和照明的人脸变化。其核心思想是学习判别线性变换的人脸图像使用矩阵秩作为优化标准。学习的线性变换恢复来自相同主题的面部的共享低秩结构，并且同时，迫使来自不同主题的面部的高秩结构。通过这种方式，在变换后的人脸中，我们减少了类内域变化引起的变化，并增加了类之间的分离，以便更好地跨域进行人脸识别。使用公共数据集进行了大量的实验，以证明我们的方法跨域人脸识别的有效性。讨论了该方法在通用目标识别和编码孔径设计中的特征提取潜力。
2013-08-01 cs.CV
Gated Channel Transformation for Visual Recognition
Baidu Research（百度研究院）；University of Technology Sydney（悉尼科技大学）
在这项工作中，我们提出了一个普遍适用的转换单元，用于深度卷积神经网络的视觉识别。这种转换显式地用可解释的控制变量对渠道关系进行建模。这些变量决定了神经元的竞争或合作行为，并且它们与卷积权重联合优化，以实现更准确的识别。在挤压和激励（SE）网络中，通道关系由全连接层隐式学习，SE块在块级集成。相反，我们引入通道归一化层以减少参数的数量和计算复杂性。这个轻量级的层结合了一个简单的l2标准化，使我们的转换单元适用于操作员级别，而无需增加太多的额外参数。大量的实验证明了我们的单位的有效性，在许多视觉任务，即，ImageNet上的图像分类，COCO上的目标检测和实例分割，Kinetics上的视频分类。
2020-03-27 cs.CV
IF-TTN: Information Fused Temporal Transformation Network for Video Action Recognition
National University of Defense Technology（国防科技大学）
有效的时空特征表示是基于视频的动作识别任务的关键。针对区分时空特征学习问题，在流行的时间段网络（TSN）框架的基础上，提出了用于动作识别的信息融合时间变换网络（IF-TTN）。在网络中，信息融合模块（IFM）被设计为融合每个视频片段的多个ConvNet级别的外观和运动特征，形成短期视频描述符。以融合特征为输入，采用时间变换网络（TTN）来建模相邻片段之间的中期时间变换。由于TSN本身通过分段共识来描述长期的时间结构，因此该网络综合考虑了多粒度的时间特征。我们的IF-TTN在两个最流行的动作识别数据集上实现了最先进的结果：UCF 101和HMDB 51。实证研究表明，我们的架构是强大的输入运动地图的质量。用压缩视频流中的运动矢量代替光流，性能与基于流的方法相当，而测试速度提高了10倍。
2019-04-11 cs.CV
Compressing Recurrent Neural Networks with Tensor Ring for Action Recognition
University of Electronic Science and Technology of China（电子科技大学）；Weill Cornell Medical College, Cornell University（康奈尔大学威尔康奈尔医学院）；Tencent Inc.（腾讯公司）
循环神经网络（RNN）及其变体，如长短期记忆（LSTM）网络和门控循环单元（GRU）网络，在序列数据建模中取得了令人满意的性能。RNN中的隐藏层可以被视为记忆单元，有助于在顺序上下文中存储信息。然而，当处理高维输入数据时，如视频和文本，RNN中的输入到隐藏的线性变换带来了高的内存使用和巨大的计算成本。这使得RNN的训练变得不可扩展和困难。为了解决这一挑战，我们提出了一种新的紧凑LSTM模型，称为TR-LSTM，通过利用低秩张量环分解（TRD）来重新制定输入到隐藏的转换。与其他张量分解方法相比，TR-LSTM更稳定。此外，TR-LSTM可以完成端到端的训练，也为RNN处理大输入数据提供了基本的构建块。在真实世界动作识别数据集上的实验表明，与张量训练LSTM和其他最先进的竞争对手相比，所提出的TR-LSTM具有良好的性能。
2018-11-19 cs.CV cs.LG
Fast Fourier Transformation for Optimizing Convolutional Neural Networks in Object Recognition
Texas Tech University（得克萨斯理工大学）；Georgia Institute of Technology（佐治亚理工学院）；State University of New York at Buffalo（纽约州立大学布法罗分校）
本文提出了使用基于快速傅立叶变换的U-网（一种改进的全卷积网络），并在神经网络中执行图像卷积。利用快速傅立叶变换，它降低了卷积神经网络（CNN）中涉及的图像卷积成本，从而降低了整体计算成本。该模型从图像中识别出目标信息。我们应用快速傅立叶变换算法的图像数据集，以获得更多的图像数据的信息，然后通过U-Net架构分割它们。更具体地说，我们实现了基于FFT的卷积神经网络，以提高网络的训练时间。所提出的方法被应用到公开可用的宽生物图像基准收集（BBBC）数据集。我们的模型证明了卷积过程中的训练时间从$600-700$ ms/步提高到$400-500$ ms/步。我们使用Intersection over Union（IoU）度量评估了我们模型的准确性，显示出显着的改进。
2020-10-08 cs.CV cs.LG eess.IV
Robustness of Humans and Machines on Object Recognition with Extreme Image Transformations
Northeastern University（东北大学）
最近的神经网络架构声称可以解释来自人类视觉皮层的数据。然而，他们的表现仍然是有限的依赖于利用低层次的功能来解决视觉任务。这种策略限制了它们在分布外/对抗性数据的情况下的性能。与此同时，人类学习抽象概念，即使是极端的图像扭曲也不会影响人类。人类和网络使用截然不同的策略来解决视觉任务。为了探索这一点，我们引入了一组新的图像变换，并在对象识别任务中评估人类和网络。我们发现，一些常见网络的性能迅速下降，而人类能够以高精度识别物体。
2022-05-27 cs.AI cs.CV cs.LG
TransformNet: Self-supervised representation learning through predicting geometric transformations
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
深度神经网络需要大量的训练数据，而在现实世界中，可用于训练目的的数据稀缺。为了解决这个问题，使用无监督方法来训练有限的数据。在这份报告中，我们描述了无监督的语义特征学习方法，用于识别应用于输入数据的几何变换。我们方法的基本概念是，如果某人不知道图像中的对象，他/她将无法定量预测应用于它们的几何变换。该自监督机制基于前置任务和下游任务。量化几何变换的借口分类任务应该迫使CNN学习对图像分类有用的对象的高级显著特征。在我们的基线模型中，我们将图像旋转定义为90度的倍数。在此前提任务上训练的CNN将用于CIFAR-10数据集中的图像分类，作为下游任务。我们使用各种模型运行基线方法，包括ResNet，DenseNet，VGG-16和NIN，在特征提取和微调设置中具有不同的旋转次数。在这个基线模型的扩展中，我们在借口任务中尝试了旋转以外的变换。我们比较了所选模型在各种设置中的性能，这些设置具有应用于图像的不同变换、各种数据增强技术以及使用不同的优化器。这一系列不同类型的实验将帮助我们证明我们的自监督模型在应用于下游分类任务时的识别准确性。
2022-02-08 cs.CV cs.LG
Self-Supervised Learning via multi-Transformation Classification for Action Recognition
National Central University（国立中央大学）；University of Arkansas（阿肯色大学）
自我监督任务已被用来构建有用的表示，可以在下游任务时，注释不可用。在本文中，我们介绍了一种自监督视频表示学习方法的基础上，多变换分类，有效地分类人类的行动。对各种变换的自监督学习不仅提供了更丰富的上下文信息，而且使视觉表示对变换更鲁棒。通过对七种不同的变换进行分类，即旋转、剪辑反转、置换、分裂、连接变换、颜色切换、帧替换、噪声添加，以自监督的方式学习视频的时空表示。首先，对视频剪辑应用七种不同的视频变换。然后利用三维卷积神经网络提取片段的特征，并对这些特征进行处理以分类伪标签。我们使用在借口任务中学习的模型作为预先训练的模型，并对其进行微调，以识别下游任务中的人类行为。我们在UCF 101和HMDB 51数据集上进行了实验，并将C3 D和3D Resnet-18作为骨干网络。实验结果表明，我们提出的框架优于其他SOTA自监督动作识别方法。该代码将公开提供。
2021-02-20 cs.CV
GridFace: Face Rectification via Learning Local Homography Transformations
Face++, Megvii Inc.（旷视科技Face++）
在本文中，我们提出了一种方法，称为GridFace，以减少面部几何变化，提高识别性能。我们的方法纠正的脸局部单应性变换，估计的脸整流网络。为了鼓励使用规范视图生成图像，我们应用基于自然人脸分布的正则化。我们以端到端的方式学习矫正网络和识别网络。大量的实验表明，我们的方法大大减少了几何变化，并获得显着改善无约束的人脸识别场景。
2018-08-19 cs.CV
TransRank: Self-supervised Video Representation Learning via Ranking-based Transformation Recognition
The Chinese University of HongKong（香港中文大学）；Centre of Perceptual and Interactive Intelligence（感知与交互智能中心）；University of Bath（巴斯大学）；Shanghai AI Laboratory（上海人工智能实验室）；SenseTime Research（商汤科技研究院）
识别应用于视频剪辑的变换类型（InstTrans）是自监督视频表示学习的一个长期建立的范例，与最近的作品中的实例判别方法（InstDisc）相比，其性能要差得多。然而，基于一个彻底的比较有代表性的CNORT-Trans和InstDisc的方法，我们观察到的巨大潜力的CNORT-Trans的语义相关和时间相关的下游任务。基于硬标签分类，现有的CRT-Trans方法在预训练中受到噪声监督信号的影响。为了缓解这个问题，我们开发了TransRank，这是一个统一的框架，用于识别排名公式中的转换。TransRank通过识别相对的转换来提供准确的监督信号，始终优于基于分类的公式。同时，该统一框架可以通过任意的时间或空间变换来实例化，具有良好的通用性。基于排名的配方和一些经验的做法，我们实现了视频检索和动作识别的竞争力的表现。在相同的设置下，TransRank在UCF 101上的动作识别（Top1 Acc）方面超过了之前最先进的方法6.4%，在HMDB 51上超过了8.3%;在UCF 101上的视频检索提高了20.4%（R@1）。实验结果表明，该方法仍然是一种值得探索的视频自监督学习方法。代码将在https://github.com/kennymckormick/TransRank上发布。
2022-05-04 cs.CV
Transformer Networks for Data Augmentation of Human Physical Activity Recognition
University of Siegen（锡根大学）
数据增强是分类中广泛使用的技术，以增加用于训练的数据。它提高了泛化能力，减少了训练所需的注释人类活动数据量，从而减少了数据集所需的劳动力和时间。与图像不同，传感器时间序列数据不能通过计算简单的变换算法来增强。最先进的模型，如递归生成对抗网络（RGAN），用于生成真实的合成数据。在本文中，Transformer为基础的生成对抗网络，具有全局关注的数据，PAMAP 2和真实世界的人类活动识别数据集与RGAN进行了比较。较新的方法提供了改进的时间和节省计算资源所需的数据增强比以前的方法。
2021-09-04 cs.CV cs.LG
Logsig-RNN: a novel network for robust and efficient skeleton-based action recognition
University College London（伦敦大学学院）；University of Oxford（牛津大学）
本文致力于视频中的人类动作识别的挑战。关键的一步是开发一个通用的网络架构来提取时空骨架数据的判别特征。在本文中，我们提出了一种新的模块，即Logsig-RNN，它是日志签名层和递归型神经网络（RNN）的组合。前一种方法是基于数学原理的签名和日志签名技术，它可以处理高采样率的数据流、非均匀采样和可变长度的时间序列。它作为递归层的增强，可以方便地插入神经网络。此外，我们提出了两个路径转换层，以显着降低路径维度，同时保留输入Logsig-RNN模块的基本信息。最后，数值结果表明，在SOTA网络中用Logsig-RNN模块替换RNN模块，在准确性和鲁棒性方面始终提高了Chalearn手势数据和NTU RGB+D 120动作数据的性能。特别是，我们通过将简单的路径转换层与Logsig-RNN相结合，在Chalearn 2013手势数据上实现了最先进的准确性。代码可在https://github.com/steveliao93/GCN_LogsigRNN上获得。
2021-11-01 cs.CV cs.LG
Few-shot Open-set Recognition by Transformation Consistency
Korea Advanced Institute of Science and Technology（韩国科学技术院）
在本文中，我们攻击一个Few-Shot开集识别（FSOSR）问题，这是一个组合的少样本学习（FSL）和开集识别（OSR）。它的目标是快速适应一个模型，以一个给定的小集合的标记样本，同时拒绝看不见的类样本。由于OSR需要大量数据，而FSL考虑闭集分类，现有的OSR和FSL方法在解决FSOSR问题时表现出较差的性能。先前的FSOSR方法遵循基于伪未见过类样本的方法，该方法从其他数据集收集伪未见过样本或合成样本以对未见过类表示进行建模。然而，这种方法严重依赖于伪样本的组成。在本文中，我们提出了一种新的未知类样本检测器，命名为SnaTCHer，不需要伪看不见的样本。基于转换一致性，我们的方法测量转换后的原型和修改后的原型集之间的差异。通过替换查询特征及其预测类原型来组成修改集。SnaTCHer拒绝与转换后的原型存在较大差异的样本。我们的方法改变了看不见的类分布估计问题的相对特征变换问题，独立于伪看不见的类样本。我们研究了我们的SnaTCHer与各种原型变换方法，并观察到我们的方法不断提高看不见的类样本检测性能，而不减少闭集分类。
2021-04-15 cs.CV
Expressive Keypoints for Skeleton-based Action Recognition via Skeleton Transformation
Wuhan University（武汉大学）；Peking University（北京大学）
针对骨架动作识别中传统关键点无法捕捉细微动作的问题，提出融合手部脚部细节的富有表现力关键点，结合骨架变换和实例池化，在七个数据集上超越现有方法。
2024-06-26 cs.CV
Fine-grained Image-to-Image Transformation towards Visual Recognition
University of Rochester（罗切斯特大学）；Tencent AI Lab（腾讯人工智能实验室）
现有的图像到图像变换方法主要集中在合成视觉上令人愉悦的数据。生成具有正确身份标签的图像具有挑战性，但探索得少得多。更具有挑战性的是处理在姿态、视点或尺度上具有大变形的图像变换任务，同时保持身份，例如面部旋转和对象视点变形。在本文中，我们的目标是将图像与细粒度的类别，以合成新的图像，保持输入图像的身份，从而有利于后续的细粒度图像识别和少样本学习任务。所生成的图像，变换与大的几何变形，不一定需要高的视觉质量，但需要保持尽可能多的身份信息。为此，我们采用了一个基于生成对抗网络的模型来理清图像中与身份相关和不相关的因素。为了在变形变换过程中保持输入图像的细粒度上下文细节，提出了一种约束非对齐连接方法来构造生成器中中间卷积块之间的可学习高速公路。此外，提出了一种自适应身份调制机制，有效地将身份信息传递到输出图像中。在CompCars和Multi-PIE数据集上进行的大量实验表明，我们的模型比最先进的图像到图像转换模型更好地保留了生成图像的身份，从而显着提高了细粒度少样本学习的视觉识别性能。
2020-06-13 cs.CV
Self-Supervised Human Activity Recognition by Augmenting Generative Adversarial Networks
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文提出了一种新的方法来增强生成对抗网络（GAN）的自监督任务，以提高其编码视频表示的能力，这些视频表示在人类活动识别等下游任务中非常有用。在所提出的方法中，输入视频帧通过不同的空间变换（诸如旋转、平移和剪切）或时间变换（诸如重排帧的时间顺序）来随机变换。然后，通过引入辅助损耗，鼓励用户预测应用变换。随后，结果证明了所提出的方法优于基线方法，用于提供在KTH，UCF 101和Ball-Drop等数据集上进行的人类活动识别中使用的视频的有用表示。Ball-Drop数据集是一个专门设计的数据集，用于通过身体和认知要求高的任务来测量儿童的执行功能。使用所提出的方法而不是基线方法的功能，导致前1名的分类精度提高了4%以上。此外，消融研究进行了调查的下游任务的不同转换的贡献。
2020-12-28 cs.CV
Recurrent Calibration Network for Irregular Text Recognition
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
场景文本识别在研究界受到越来越多的关注。野外的文本通常具有不规则的排列，典型的有透视文本、弯曲文本、定向文本。大多数现有的方法很难很好地工作不规则的文本，特别是严重扭曲的文本。在本文中，我们提出了一种新的递归校准网络（RCN）的不规则场景的文本识别。RCN逐步校准不规则文本，以提高识别性能。通过将校准过程分解为多个步骤，可以一步一步地将不规则文本校准为正常。此外，为了避免由于不准确的转换而导致信息丢失的积累，我们进一步设计了一个基准点细化结构，以保持文本在循环过程中的完整性。代替校准的图像，基准点的坐标被跟踪和细化，这隐含地对变换信息进行建模。基于细化的基准点，我们估计变换参数，并在每一步从原始图像中采样。通过这种方式，原始字符信息被保留，直到最后的变换。这样的设计导致最佳的校准结果，以提高后续识别的性能。在具有挑战性的数据集上进行的大量实验证明了我们方法的优越性，特别是在不规则基准上。
2018-12-18 cs.CV
Illegible Text to Readable Text: An Image-to-Image Transformation using Conditional Sliced Wasserstein Adversarial Networks
从古文字记录图像中自动识别文字是谱学领域的一个重要课题。然而，诸如变化的噪声条件、消失的文本和手写的变化等关键挑战使得识别任务变得困难。我们通过开发一个手写到机器打印的条件生成对抗网络（HW 2 MP-GAN）模型来解决这个问题，该模型将手写识别制定为文本图像到文本图像的翻译问题，其中给定的图像（通常是难以辨认的形式）被转换为另一个图像，接近其机器打印形式。该模型由三个部分组成，包括一个发生器，单词级和字符级的歧视。该模型在HW 2 MP-GAN中集成了切片Wasserstein距离（SWD）和U-Net架构，以实现更高质量的图像到图像转换。我们的实验表明，HW 2 MP-GAN在Frechet手写距离（FHD）方面优于最先进的基线cGAN模型近30，平均Levenshtein距离为0.6，IAM数据库上图像到图像翻译的单词准确率为39%。此外，与IAM数据库上的基线手写识别模型相比，HW 2 MP-GAN将手写识别单词的准确性提高了1.3%。
2019-10-11 cs.CV cs.LG eess.IV
Discriminate-and-Rectify Encoders: Learning from Image Transformation Sets
MIT（麻省理工学院）
学习任务的复杂性由于保持类同一性的输入空间中的变换而增加。例如，视觉对象识别受到视点、比例、照明或平面变换的变化的影响。虽然视觉外观发生了巨大的变化，但这些变化与识别是正交的，不应该反映在用于学习的表示或特征编码中。我们引入了一个弱监督学习的图像嵌入，是强大的变换和选择性的类分布的框架，使用变换的例子集（轨道集），深参数化和一个新的基于轨道的损失。提出的损失结合了一个有区别的，对比的轨道与重建错误，学习纠正轨道变换的一部分。学习的嵌入在基于距离度量的任务中进行评估，例如几何变换下的一次性分类，以及更逼真的视觉变化下的人脸验证和检索。我们的研究结果表明，轨道集，适当计算或观察，可以用于有效的，弱监督学习的语义相关的图像嵌入。
2017-03-14 cs.CV cs.LG stat.ML
OTB-morph: One-Time Biometrics via Morphing
Universidad Autonoma de Madrid（马德里自治大学）
可取消生物特征是一组技术，将输入的生物特征转换为不可逆的特征，故意使用转换函数，通常是一个密钥，以便在生物特征识别系统中提供安全性和隐私。这种转换是可重复的，从而能够进行后续的生物特征比较。本文介绍了一种新的思想，利用可取消的生物特征，旨在保护模板免受迭代优化攻击的转换函数。我们提出的方案是基于时变密钥（随机生物特征在我们的情况下）和变形变换。该方案的实验实现人脸生物特征识别。实验结果表明，该方法能够抵抗泄漏攻击，同时提高识别性能。
2023-02-17 cs.CR cs.CV cs.LG
Pose Augmentation: Class-agnostic Object Pose Transformation for Object Recognition
University of Southern California（南加州大学）；Google Research（谷歌研究院）
对象姿态增加了类内对象方差，这使得从2D图像中识别对象变得更加困难。为了使分类器对姿势变化具有鲁棒性，大多数深度神经网络试图通过使用每个类别具有许多姿势的大型数据集来消除姿势的影响。在这里，我们提出了一种不同的方法：类不可知的对象姿态变换网络（OPT-Net）可以沿着3D偏航和俯仰轴变换图像，以连续合成其他姿态。合成图像导致对象分类器的更好训练。我们设计了一种新的消除-添加结构来明确地从对象身份中分离出姿态：首先消除输入图像的姿态信息，然后添加目标姿态信息（正则化为连续变量）来合成任何目标姿态。我们在来自iLab-20 M数据集的转盘上拍摄的玩具车图像上训练OPT-Net。在对不平衡的离散姿态（每个对象实例有6个姿态的5个类，加上只有2个姿态的5个类）进行训练后，我们表明OPT-Net可以沿着偏航和俯仰轴高质量地合成平衡的连续新姿态。使用原始姿势和合成姿势训练ResNet-18分类器，仅在原始姿势上过度训练，可将mAP准确性提高9%。此外，预训练的OPT-Net可以推广到新的对象类，我们在iLab-20 M和RGB-D上都演示了这一点。我们还证明了学习的特征可以推广到ImageNet。
2021-01-14 cs.CV
Fusion of Wavelet Coefficients from Visual and Thermal Face Images for Human Face Recognition - A Comparative Study
Tripura University（特里普拉大学）；Jadavpur University（贾达沃普尔大学）
在本文中，我们提出了一个比较研究的融合视觉和热图像使用不同的小波变换。在这里，从视觉和热图像的离散小波变换的系数分别计算和组合。然后对融合后的人脸图像进行离散小波逆变换，得到融合后的人脸图像。Haar和Daubechies（db2）小波变换已被用来比较识别结果。对于实验，使用IRIS热/视觉人脸数据库。使用Haar和Daubechies小波的实验结果表明，这里提出的方法的性能在许多情况下达到100%的最大成功率。
2010-07-05 cs.CV
Iris Recognition Based on SIFT Features
Biometric Recognition Group - ATVS, Escuela Politecnica Superior, Universidad Autonoma de Madrid（马德里自治大学高等理工学院生物特征识别组）
基于虹膜图像的生物识别方法被认为具有很高的准确性，近年来虹膜生物识别技术受到了广泛的关注。在本文中，我们使用的尺度不变特征变换（SIFT）识别虹膜图像。与传统的虹膜识别系统不同，SIFT方法不依赖于虹膜图案到极坐标的变换或高度精确的分割，允许较少约束的图像采集条件。在尺度空间中提取具有特征的SIFT特征点，并利用SIFT算子根据特征点周围的纹理信息进行匹配。实验是使用BioSec多模式数据库，其中包括3,200虹膜图像从200个人在两个不同的会话中获得。我们的贡献与不同的SIFT参数对识别性能的影响的分析。我们还展示了SIFT方法和基于极坐标变换和Log-Gabor小波的流行匹配方法之间的互补性。这两种方法的组合实现了显着更好的性能比任何一个单独的计划，在相等的出错率的性能提高了24%。
2021-10-30 cs.CV
Knowledge-Enhanced Facial Expression Recognition with Emotional-to-Neutral Transformation
Hong Kong Baptist University（香港浸会大学）；Xidian University（西安电子科技大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
针对现有FER方法用离散标签微调难以明确情绪概念的问题，提出结合情绪到中性转换的知识增强FER方法，通过文本嵌入匹配、表征转换与自对比目标学习判别性表情表征，在4个数据集上显著超越SOTA方法。
2024-09-13 cs.CV
Leveraging Self-Supervised Training for Unintentional Action Recognition
MPI for Informatics（马克斯·普朗克信息学研究所）
无意行为是很难精确定义的罕见事件，并且高度依赖于行为的时间背景。在这项工作中，我们探索这样的行动，并寻求确定在视频中的动作从有意到无意的过渡点。我们提出了一个多阶段的框架，利用固有的偏见，如运动速度，运动方向，并以识别无意的行动。为了通过自我监督训练来增强无意动作识别任务的表示，我们提出了时间变换，称为无意动作固有偏差的时间变换（T2IBUA）。多阶段方法对各个帧和完整剪辑的水平上的时间信息进行建模。这些增强的表示无意动作识别任务表现出很强的性能。我们提供了一个广泛的消融研究，我们的框架和报告的结果，显着提高了国家的最先进的。
2022-09-23 cs.CV
Learning Geometric Invariance for Gait Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院）；Watrix Technology Limited Co. Ltd（华矩阵科技有限公司）
本文提出了一种基于几何变换的步态识别方法，通过学习反射、旋转和缩放的不变性来提升跨视角和跨服装的识别性能。
2026-01-09 cs.CV
Extreme Low Resolution Activity Recognition with Multi-Siamese Embedding Learning
EgoVid Inc.（EgoVid公司）；Indiana University（印第安纳大学）；Ulsan National Institute of Science and Technology（蔚山科学技术院）
本文提出了一种从极低分辨率（例如，16x12）视频。极低分辨率识别不仅是分析远距离动作所必需的，而且对于实现对人类活动的隐私保护识别至关重要。我们设计了一个新的双流多连体卷积神经网络。这个想法是明确地捕捉低分辨率（LR）视频的固有属性，即来自完全相同场景的两个图像通常具有完全不同的像素值，这取决于它们的LR变换。我们的方法学习了共享的嵌入空间，该空间将具有相同内容的LR视频映射到相同的位置，而不管它们的变换如何。我们通过实验证实，我们的方法联合学习这种变换鲁棒LR视频表示和分类器在两个公共标准数据集上的性能优于以前最先进的低分辨率识别方法。
2018-02-04 cs.CV
The Analysis of Projective Transformation Algorithms for Image Recognition on Mobile Devices
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Institute for Systems Analysis FRC CSC RAS（俄罗斯科学院联邦研究中心信息学与控制研究所系统分析研究所）；Smart Engines Service LLC（智能引擎服务有限责任公司）；Institute for Information Transmission Problems RAS（俄罗斯科学院信息传输问题研究所）
在这项工作中，我们通常采用非自适应插值（最近的像素，双线性，B样条，双三次，Hermite样条）和采样（点采样，superspeed，mip映射预过滤，rip-map预过滤和FAST）的方法投影图像变换的问题。我们比较了它们的计算复杂性，描述了它们的伪影，并在ARM架构的移动处理器上实验测量了它们的质量和工作时间。这些方法在20世纪90年代和21世纪初得到了广泛的发展，但由于对计算效率算法的需求较低，近年来并没有成为活跃的研究领域。然而，实时移动识别系统越来越受到人们的关注，不仅要求快速的投影变换方法，而且要求高质量的图像没有伪影。因此，在这项工作中，我们选择适合这些系统的方法，允许避免文物，同时保持低计算复杂性。基于我们设置的实验结果，它们是与mip映射预过滤或FAST采样相结合的双线性插值，但可以针对特定用例进行修改。
2019-12-03 cs.CV eess.IV
Towards Complete-View and High-Level Pose-based Gait Recognition
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Tencent AI LAB（腾讯人工智能实验室）；Northeast Forestry University（东北林业大学）
基于模型的步态识别方法通常采用行人的行走姿态来识别人。然而，现有的方法并没有明确解决大类内的变化，由于相机的角度变化的人体姿势。在本文中，我们提出了通过学习满秩变换矩阵通过下-上生成对抗网络（LUGAN）为每个单视图姿态样本生成多视图姿态序列。通过摄像机成像的先验知识，推导出交叉视点姿态间的空间坐标满足满秩矩阵的线性变换，从而采用对抗训练的方法从源姿态和目标视点中学习变换矩阵，得到目标姿态序列。为此，我们实现了一个由图卷积（GCN）层、全连接（FC）层和双分支卷积（CNN）层组成的生成器：GCN层和FC层对源姿态序列和目标视图进行编码，然后CNN分支分别学习下三角矩阵和上三角矩阵，最后将它们相乘以形成满秩变换矩阵。为了对抗性训练的目的，我们进一步设计了一个条件，用于区分姿势序列是真的还是生成的。为了实现高级别的相关性学习，我们提出了一个即插即用的模块，称为多尺度超图卷积（HGC），以取代基线中的空间图卷积层，它可以同时对关节级，部分级和身体级的相关性进行建模。在两个大型步态识别数据集上进行了广泛的实验，CASIA-B和OUMVLP-Pose，表明我们的方法优于基线模型和现有的基于姿势的方法的大幅度提高。
2022-09-23 cs.CV
Low Resolution Face Recognition Using a Two-Branch Deep Convolutional Neural Network Architecture
提出了一种基于深度卷积神经网络（DCNN）的低分辨率人脸识别的耦合映射方法。所提出的架构由两个分支的DCNN映射到一个共同的空间与非线性变换的高，低分辨率的人脸图像。对应于高分辨率图像的变换的分支由14层组成，并且将低分辨率面部图像映射到公共空间的另一分支包括连接到14层网络的5层超分辨率网络。将对应的高分辨率图像和低分辨率图像的特征之间的距离反向传播以训练网络。我们所提出的方法进行评估FERET数据集，并与国家的最先进的竞争方法进行比较。我们广泛的实验结果表明，该方法显着提高识别性能，特别是对非常低的分辨率探头人脸图像（11.4%的识别精度提高）。此外，它可以从其相应的低分辨率探头图像重建高分辨率图像，这是与国家的最先进的超分辨率方法在视觉质量方面。
2017-06-20 cs.CV
Geometry-aware Similarity Learning on SPD Manifolds for Visual Recognition
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology (ICT)（中国科学院智能信息处理重点实验室，计算技术研究所）；Computer Vision Laboratory, Swiss Federal Institute of Technology (ETH)（瑞士联邦理工学院计算机视觉实验室）
对称正定矩阵（SPD）已被广泛用于许多视觉识别任务中的数据表示。成功的主要原因是学习判别SPD矩阵编码的基础SPD流形的黎曼几何。本文提出了一种几何感知的SPD相似性学习（SPDSL）框架，通过直接追求列满秩的流形-流形变换矩阵来学习区分性SPD特征。具体地说，通过利用固定秩半正定（PSD）矩阵流形的黎曼几何，我们提出了一种新的解决方案，以减少优化列满秩变换矩阵的空间上的PSD流形上的优化具有良好的黎曼结构。在这种解决方案下，我们利用一种新的监督SPD相似性学习技术，通过将选定SPD数据对的相似性回归到目标SPD流形上的地面真实相似性来学习转换。为了优化所提出的目标函数，我们进一步推导出PSD流形上的算法。三个视觉分类任务的评价表明，所提出的方法比现有的基于SPD的判别学习方法的优势。
2016-08-17 cs.CV
Computational optimization of convolutional neural networks using separated filters architecture
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Smart Engines Ltd.（Smart Engines公司）；Institute For Information Transmission Problems (Kharkevich Institute)（信息传输问题研究所（哈尔凯维奇研究所））
本文考虑了一种卷积神经网络变换，它降低了计算复杂度，从而加速了神经网络的处理。卷积神经网络（CNN）的使用是图像识别的标准方法，尽管它们可能对计算要求太高，例如在移动平台或嵌入式系统上进行识别。在本文中，我们提出了CNN结构变换，表示二维卷积滤波器作为一个线性组合的可分离的过滤器。它允许通过标准训练算法获得分离的卷积滤波器。我们研究了这种结构转换的计算效率，并建议快速实现容易处理的CPU或GPU。我们证明了为字母和数字识别设计的CNN在工业图像识别系统中显示了15%的加速而没有准确性损失。最后，我们讨论了可能的准确性降低的问题，并提出了不同的识别问题的转换的应用。卷积神经网络，计算优化，可分离滤波器，复杂度降低。
2020-02-18 cs.CV eess.IV
Recognizing Manipulation Actions from State-Transformations
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
操纵动作将对象从初始状态转换为最终状态。在本文中，我们报告使用对象状态转换作为识别操作动作的手段。我们的方法的灵感来自于直觉，对象状态在视觉上比来自静止帧的动作更明显，从而提供了与时空动作识别互补的信息。我们首先定义一个状态转换矩阵，将动作标签映射到前状态和后状态。从每个关键帧中，我们学习对象及其状态的外观模型。然后，可以从状态转换矩阵中识别操纵动作。我们报告EPIC厨房动作识别挑战赛的结果。
2019-06-12 cs.CV
Theoretical Analysis of Power-law Transformation on Images for Text Polarity Detection
Indian Institute of Information Technology, Sri City, India（印度信息科技学院，Sri City，印度）
针对计算机视觉预处理中需通过文本极性实现图像二值化的问题，本文对现有基于幂律变换的文本极性检测方法中“亮暗背景下文本对应类间方差增减”的现象展开理论分析。
2025-11-11 cs.CV
Video Representation Learning by Recognizing Temporal Transformations
University of Bern（伯尔尼大学）
我们引入了一种新的自监督学习方法来学习表示的视频，响应于运动动态的变化。我们的表示可以从没有人类注释的数据中学习，并为神经网络在小的标记数据集上的训练提供了实质性的推动，用于动作识别等任务，这些任务需要准确区分对象的运动。我们通过训练一个神经网络来区分视频序列与其时间变换版本，从而在没有人类注释的情况下促进运动的准确学习。为了学习区分非平凡的运动，变换的设计基于两个原则：1）基于不同幅度的时间扭曲来定义运动的集群; 2）确保仅通过观察和分析尽可能多的图像帧来进行区分是可行的。因此，我们引入以下变换：向前向后回放、随机跳帧和均匀跳帧。我们的实验表明，使用该方法训练的网络在UCF 101和HMDB 51上的动作识别中产生了具有改进的传输性能的表示。
2020-07-21 cs.CV
Consistent Evidence, Robust Recognition: Faithful Attribution Regularization under Geometric Transformations
School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区网络科学与技术学院）；University of Chinese Academy of Sciences（中国科学院大学）；School of Automation, Nanjing University of Information Science and Technology（南京信息工程大学自动化学院）；Department of Mechanical Engineering, Imperial College London（伦敦帝国理工学院机械工程系）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）
研究针对归因方法在几何变换下的不足，提出基于图像区域子模搜索的无注释归因正则化框架，通过子模排序损失正则化归因及证据选择过程，实验表明该方法能提升归因稳定性且性能损失小。
2026-07-28 cs.CV
Temporal Bilinear Networks for Video Action Recognition
Peking University（北京大学）
视频中的时间建模是计算机视觉中的一个基本而又具有挑战性的问题。在本文中，我们提出了一种新的时间双线性（TB）模型来捕捉相邻帧之间的时间成对特征的相互作用。与现有的一些时域方法相比，这些方法仅限于线性变换，我们的TB模型考虑了时域中的显式二次双线性变换，用于运动演化和序列关系建模。我们进一步利用线性复杂度的因子分解双线性模型和瓶颈网络设计来构建TB块，这也限制了参数和计算成本。我们考虑两种方案，即宽和深时间双线性网络（TBN）的TB块和原始的2D空间卷积的合并。最后，我们在几个广泛采用的数据集上进行了实验，包括Kinetics，UCF 101和HMDB 51。通过全面的消融分析和与各种最先进方法的比较，我们的TBN的有效性得到了验证。
2018-11-25 cs.CV
Fine-grained Recognition in the Noisy Wild: Sensitivity Analysis of Convolutional Neural Networks Approaches
Friedrich Schiller University Jena（耶拿弗里德里希·席勒大学）；University of Edinburgh（爱丁堡大学）
在本文中，我们研究了CNN输出的灵敏度相对于图像变换和噪声在细粒度识别领域。特别是，我们回答了以下问题：（1）CNN对野生图像捕获过程中遇到的图像变换有多敏感？(2)我们如何预测CNN灵敏度？以及（3）我们能否增加CNN对图像退化的鲁棒性？为了回答第一个问题，我们提供了一个广泛的经验灵敏度分析常用的CNN架构（AlexNet，VGG19，GoogleNet）在各种类型的图像退化。这允许预测由较低质量的图像或从不同视点捕获的图像组成的新域的CNN性能。我们还展示了如何预测单个图像的CNN输出的灵敏度。此外，我们证明了在测试期间输入层的丢弃或预滤波只会降低CNN对高级别降级的敏感性。细粒度识别任务的实验表明，VGG19比AlexNet和GoogleNet对严重的图像退化更具鲁棒性。然而，即使对于VGG 19，小强度噪声也会导致CNN性能的显著变化。
2016-10-21 cs.CV
Extreme Image Transformations Affect Humans and Machines Differently
Northeastern University（东北大学）
本文提出一组受神经生理学启发的新型图像变换，通过对比人类与人工神经网络在物体识别任务上的表现，揭示二者对极端图像失真的敏感性差异，并探讨如何借鉴人类视觉特性提升机器在困难变换下的性能。
2023-04-11 cs.AI cs.CV cs.LG
Learning Invariant Representations with Local Transformations
University of Michigan（密歇根大学）
学习不变表示是机器学习和模式识别中的一个重要问题。在本文中，我们提出了一个新的框架，变换不变的特征学习，将线性变换的特征学习算法。例如，我们提出了变换不变的限制玻尔兹曼机，它通过其权重和它们的变换来压缩表示数据，通过概率最大池实现特征表示的不变性。此外，我们表明，我们的变换不变特征学习框架也可以扩展到其他无监督学习方法，如自动编码器或稀疏编码。我们评估我们的方法在几个图像分类基准数据集，如MNIST的变化，CIFAR-10和STL-10，并显示竞争力或优越的分类性能相比，国家的最先进的。此外，我们的方法实现了国家的最先进的性能与TIMIT数据集，这表明我们提出的算法广泛适用于其他领域的电话分类任务。
2012-06-27 cs.CV cs.LG stat.ML
Generative Shape Models: Joint Text Recognition and Segmentation with Very Little Training Data
Vicarious FPC Inc.（Vicarious FPC 公司）
我们证明了对象形状的生成模型可以在具有挑战性的场景文本识别任务上实现最先进的结果，并且训练图像的数量级比竞争判别方法所需的数量级少。除了从具有挑战性的图像中转录文本外，我们的方法还对字符进行细粒度的实例分割。我们表明，我们的模型是更强大的仿射变换和非仿射变形相比，以前的方法。
2016-11-09 cs.CV
The Effect of Learning Strategy versus Inherent Architecture Properties on the Ability of Convolutional Neural Networks to Develop Transformation Invariance
Stanford（斯坦福大学）
随着对象识别成为越来越常见的机器学习任务，以及最近的研究表明CNN易受攻击和小图像扰动的影响，有必要充分理解对象识别的基础。我们专注于理解神经网络如何推广到复杂对象的空间变换背后的机制。虽然人类擅长区分在新位置、方向和尺度上显示的物体，但过去的结果表明，这可能仅限于熟悉的物体-人类对有目的地构建的新物体表现出较低的空间差异容忍度。由于从头开始训练人工神经网络类似于向人类展示新的对象，因此我们试图了解影响CNN对空间变换的耐受性的因素。我们对七种卷积神经网络（CNN）架构进行了彻底的实证研究。通过在受控的人脸图像数据集上进行训练，我们测量了不同程度的5种变换的模型准确性：位置，大小，旋转，高斯模糊和分辨率变换。我们还通过研究不同数量的预训练对模型鲁棒性的影响来研究学习策略如何影响泛化能力。总的来说，我们发现，对变换不变性最重要的贡献者是在大型、多样化的图像数据集上进行预训练。此外，虽然AlexNet往往是最不健壮的网络，但VGG和ResNet架构对不同的转换表现出更高的健壮性。除了内核可视化和定性分析，我们还研究了学习策略和固有架构属性之间的差异，这些差异有助于实现变换的不变性，为理解如何在CNN中实现更强的变换鲁棒性提供了有价值的信息。
2018-10-31 cs.CV
On multi-view feature learning
University of Frankfurt（法兰克福大学）
稀疏编码是学习局部特征用于物体识别的常用方法。最近，人们对从时空、双目或其他多观测数据中学习特征越来越感兴趣，其中目标是对图像之间的关系而不是单个图像的内容进行编码。我们提供了一个多视图特征学习的分析，它表明隐变量通过检测多个图像扭曲之间共享的特征空间中的旋转角度来编码变换。我们的分析有助于解释最近的实验结果，这些结果表明，在视频上训练复杂的细胞模型时，会出现特定于转化的特征。我们的分析还表明，变换不变特征可以作为学习变换表示的副产品出现。
2012-06-18 cs.CV cs.LG stat.ML
Unsupervised Structure-Texture Separation Network for Oracle Character Recognition
Beijing University of Posts and Telecommunications（北京邮电大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
甲骨文是中国最早的商代文字，是考古学和文献学的珍贵资料。然而，现实世界的扫描甲骨文数据是罕见的，很少有专家可以注释，这使得扫描甲骨文字符的自动识别成为一个具有挑战性的任务。因此，我们的目标是探索无监督的领域自适应转移知识的手写甲骨文数据，这是很容易获得，扫描域。我们提出了一个结构-纹理分离网络（STSN），这是一个端到端的学习框架，用于联合解纠缠，转换，适应和识别。该算法首先通过生成模型将特征分解为结构（噪声）和纹理（噪声）分量，然后在结构特征空间中对齐手写和扫描数据，避免了自适应时严重噪声带来的负面影响。其次，变换是通过交换学习的纹理跨域和最终分类的分类器进行训练，以预测转换后的扫描字符的标签。这不仅保证了绝对分离，而且提高了学习特征的区分能力。在Oracle-241数据集上的大量实验表明，STSN优于其他自适应方法，并成功地提高了扫描数据的识别性能，即使它们受到长时间埋葬和粗心挖掘的污染。
2022-05-13 cs.CV
The Toybox Dataset of Egocentric Visual Object Transformations
Vanderbilt University（范德堡大学）
在对象识别研究中，许多常用的数据集（例如，ImageNet等）包含对象实例和视图的相对稀疏分布，例如，人们可能会看到上千种不同长颈鹿的上千张不同照片，大多数是从几个传统的拍摄角度拍摄的。这些分布特性限制了能够用这些数据集进行的计算实验的类型，并且也不反映体现视觉体验的自然模式。作为对已经创建以弥合这一差距的少量（但不断增长的）多视图对象数据集的贡献，我们引入了一个名为Toybox的新视频数据集，它包含以自我为中心的（即，第一人称视角）的视频，这些视频是普通家用物品和玩具被手动操纵以经历诸如旋转、平移和缩放的结构化变换。为了说明Toybox的潜在用途，我们还提出了初步的神经网络实验，研究1）对象实例和视图的不同分布上的训练如何影响识别性能，以及2）如何在经过训练的网络的隐藏层中表示视点相关的对象概念。
2018-11-26 cs.CV
Factorized Bilinear Models for Image Recognition
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）；TuSimple（图森未来）
尽管深度卷积神经网络（CNN）已经在各种计算机视觉任务中解放了它们的力量，但CNN最重要的组件，卷积层和全连接层，仍然局限于线性变换。在本文中，我们提出了一种新的分解双线性（FB）层模型的两两特征的相互作用，通过考虑二次项的转换。与试图将复杂的非线性结构纳入CNN的现有方法相比，因子化参数化使我们的FB层只需要线性增加参数和负担得起的计算成本。为了进一步降低FB层过拟合的风险，在训练过程中设计了一种称为DropFactor的特定补救措施。我们还分析了FB层与现有模型的联系，并指出FB层是对现有模型的推广。最后，我们在几个广泛采用的数据集上验证了FB层的有效性，包括CIFAR-10，CIFAR-100和ImageNet，并与各种最先进的深度模型相比，展示了优越的结果。
2017-09-04 cs.CV
CVT-SLR: Contrastive Visual-Textual Transformation for Sign Language Recognition with Variational Alignment
Westlake University（西湖大学）；Tsinghua University（清华大学）；Xiamen University（厦门大学）
本文提出CVT-SLR，在单线索跨模态对齐框架中引入变分自编码器与完整预训练语言模块，并设计对比对齐算法，在PHOENIX数据集上超越现有多线索SOTA方法。
2023-04-12 cs.AI cs.CV
CS591 Report: Application of siamesa network in 2D transformation
University of Navarra（纳瓦拉大学）
深度学习已经广泛应用于计算机视觉领域的各个方面。深度学习与传统的神经网络不同，它的网络结构中有更深更复杂的网络层。传统上，深度神经网络被广泛应用于包括分类和检测在内的计算机视觉任务，并取得了显著的成功，在这些领域建立了新的最先进的成果。而不是使用神经网络进行视觉识别和检测。我将在这份报告中展示神经网络进行图像配准、图像合成和图像检索的能力。
2017-06-29 cs.CV
Spatio-Temporal Inception Graph Convolutional Networks for Skeleton-Based Action Recognition
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）
随着可访问深度传感器的普及，基于以太网的人类动作识别引起了人们的广泛关注。最近，图卷积网络（GCN）由于其强大的建模能力，已被广泛用于这一任务。邻接图的拓扑结构是对输入骨架的相关性进行建模的关键因素。因此，以前的方法主要集中在图拓扑的设计/学习上。但是一旦学习了拓扑结构，网络的每一层中只存在一个单尺度特征和一个变换。在卷积神经网络（CNN）中已经证明非常有效的许多见解，如多尺度信息和多组变换，尚未在GCN中进行研究。原因在于，由于图结构的骨架数据和传统的图像/视频数据之间的差距，将这些见解嵌入GCN是非常具有挑战性的。为了克服这一差距，我们重新发明了分裂-变换-合并策略，在GCN的骨架序列处理。具体而言，我们设计了一个简单的和高度模块化的图卷积网络架构的基于卷积的动作识别。我们的网络是通过重复一个构建块来构建的，该构建块聚合了来自空间和时间路径的多粒度信息。大量的实验表明，我们的网络性能优于最先进的方法，只有1/5的参数和1/10的FLOP。代码可在https://github.com/yellowtownhz/STIGCN上获得。
2021-08-20 cs.AI cs.CV cs.LG
CFVNet: An End-to-End Cancelable Finger Vein Network for Recognition
School of Cyber Science and Engineering, Southeast University（东南大学网络空间科学与工程学院）；Purple Mountain Laboratories（紫金山实验室）；University of Macao（澳门大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对手指静脉识别的信息泄露风险与系统未集成问题，提出端到端可撤销手指静脉网络CFVNet，通过集成预处理与模板保护模块，在保证高识别精度的同时增强了系统的安全性与隐私保护能力。
2024-09-23 cs.CV
Food Image Recognition by Using Convolutional Neural Networks (CNNs)
Michigan State University（密歇根州立大学）；Department of Biosystems and Agricultural Engineering（生物系统与农业工程系）
食品图像识别是视觉目标识别在计算机视觉中很有前途的应用之一。在这项研究中，一个小规模的数据集组成的5822图像的10个类别和一个五层的CNN被构造来识别这些图像。首先评估了与支持向量机（SVM）相结合的特征袋（BoF）模型的图像分类，其总体准确率为56%;而CNN模型表现更好，总体准确率为74%。采用基于几何变换的数据增强技术增加训练图像的大小，在避免基于原始训练数据的CNN过拟合问题的同时，显著提高了90%以上的准确率。通过收集更多的图像和优化网络架构和超参数，可以预期进一步的改进。
2019-02-25 cs.CV
ShellfishNet: A Domain-Specific Benchmark for Visual Recognition of Marine Molluscs
IT College, Shanghai Ocean University（上海海洋大学信息学院）；Fudan University（复旦大学）；DP Technology（DP技术）
本文构建了ShellfishNet数据集，包含8691张图像，用于评估视觉模型在真实环境下的泛化能力，测试了80种神经网络模型及多模态大语言模型的性能。
2026-09-29 cs.CV
