VRFP: On-the-fly Video Retrieval using Web Images and Fast Fisher Vector Products
University of Maryland, College Park（马里兰大学帕克分校）
VRFP是一个基于短文本输入查询的实时视频检索框架，它在查询已知后从Web上获取弱标记的训练图像。检索到的表示查询的Web图像和每个数据库视频被视为无序的图像集合，并且每个集合使用基于CNN特征构建的单个Fisher向量来表示。我们的实验表明，Fisher向量对网络图像中存在的噪声具有鲁棒性，并且在准确性方面优于其他标准表示。虽然可以为新查询有效地构建Fisher向量，但由于其高维性，与测试集的匹配很慢。为了进行实时匹配，我们提出了一种无损算法，加速高维Fisher向量之间的内积计算。我们证明了所需的乘法的预期数量减少二次与稀疏的Fisher向量。我们不仅能够实时构建和应用查询模型，而且在一个简单的重新排序方案的帮助下，我们在TRECVID MED 13（3.5%），MED 14（1.3%）和CCV数据集（5.2%）上的表现也明显优于最先进的自动检索方法。我们还提供了一个直接的比较标准的数据集之间的两个不同的范例自动视频检索-零样本学习和飞行检索。
2017-04-10 cs.CV
3D Point Cloud Classification and Segmentation using 3D Modified Fisher Vector Representation for Convolutional Neural Networks
点云作为一种表示3D形状的方法越来越突出，但其不规则的格式对深度学习方法构成了挑战。将数据转换为3D体素网格的常见解决方案引入了其自身的挑战，主要是大内存大小。在本文中，我们提出了一种新的三维点云表示称为3D修改Fisher矢量（3DmFV）。我们的表示是混合的，因为它结合了离散结构的网格与连续推广的Fisher向量，在一个紧凑和计算效率高的方式。使用网格使我们能够设计一个新的CNN体系结构的点云分类和部分分割。在一系列的实验中，我们在具有挑战性的基准数据集上展示了具有竞争力的性能，甚至优于最先进的性能。
2017-11-22 cs.CV
Understanding the Fisher Vector: a multimodal part model
Czech Technical University（捷克技术大学）；Xerox Research Centre Europe（欧洲施乐研究中心）；Oxford University（牛津大学）
Fisher矢量和相关的无序视觉统计在目标检测中表现出优异的性能，有时优于已建立的方法，如可变形零件模型。然而，目前还不清楚这些模型如何使用有限大小的视觉码本和粗糙的几何信息来捕获复杂的外观变化。在这项工作中，我们建议将基于Fisher矢量的对象检测器解释为基于部分的模型。通过使用几个可视化和实验，我们表明，这是一个有用的洞察力来解释模型的良好性能。此外，我们首次揭示了几个有趣的属性的FV，包括它的工作能力，以及只使用一个小的输入补丁和视觉单词的子集。最后，我们讨论了FV探测器和TUV探测器的关系，指出了它们之间的区别和共同点。
2015-04-18 cs.CV
Fisher Vectors Derived from Hybrid Gaussian-Laplacian Mixture Models for Image Annotation
Tel Aviv University（特拉维夫大学）
在传统的对象识别管道中，描述符在图像上被密集地采样，汇集成高维非线性表示，然后传递到分类器。近年来，Fisher Vectors已被经验证明是各种应用的领先表示。Fisher向量通常被视为描述符的对数似然相对于高斯混合模型（GMM）的参数的梯度。基于对不同数据集应用不同分布的假设，我们提出了另外两个混合模型，并推导了它们的期望最大化和Fisher向量表达式。第一种是基于拉普拉斯分布的拉普拉斯混合模型（LMM）。第二个混合模型是一个混合高斯-拉普拉斯混合模型（HGLMM），它是基于高斯和拉普拉斯分布的加权几何平均值。对于后者，期望最大化算法的一个有趣的特性是，在最大化步骤中，每个分量中的每个维度都被选择为高斯或拉普拉斯。最后，通过使用新的Fisher向量从HGLSTOM派生，我们实现了国家的最先进的结果，图像注释和图像搜索的一句话的任务。
2015-01-24 cs.CV
Discriminative convolutional Fisher vector network for action recognition
Queen Mary University of London（伦敦玛丽女王大学）
在这项工作中，我们提出了一种新的神经网络架构的视频中的人类动作识别的问题。该架构表达了经典的Fisher向量方法的处理步骤，即通过主成分分析（PCA）投影，高斯混合模型（GMM）和Fisher向量描述符提取，作为网络层的降维。与其他方法相比，这些步骤是连续执行的，相应的参数是以无监督的方式学习的，将它们定义为单个神经网络允许我们以端到端的方式区分地细化整个模型。此外，我们表明，所提出的架构可以用作流行卷积网络中全连接层的替代品，实现相当的分类性能，甚至显着超过类似架构的性能，同时将可训练参数的总数减少5倍。我们表明，我们的方法实现了显着的改进相比，经典的链。
2017-07-19 cs.CV
GPU-FV: Realtime Fisher Vector and Its Applications in Video Monitoring
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；Yahoo Labs（雅虎实验室）
Fisher向量已广泛应用于多媒体检索和视觉识别等领域，具有良好的性能。然而，计算复杂性阻碍了其在实时视频监控中的使用。在这项工作中，我们提出并实现了GPU-FV，这是一种借助现代GPU的快速Fisher向量提取方法。在GPU上实现Fisher向量的挑战在于特征提取中的数据依赖性和Fisher向量计算中昂贵的内存访问。为了应对这些挑战，我们精心设计了GPU-FV，尽可能利用GPU的计算能力，并应用了循环平铺等优化来提高性能。GPU-FV比CPU版本快12倍，比非优化的GPU实现快50%。对于标准视频输入（320*240），GPU-FV可以在34 ms内处理每一帧。我们的实验表明，GPU-FV在VOC 2007和Caltech 256图像集上获得了与传统FV相似的识别精度。我们还将GPU-FV应用于实时视频监控任务，并发现GPU-FV优于许多以前的作品。特别是，当训练样本数量较少时，GPU-FV的性能优于最近流行的从ImageNet借鉴的深度CNN特征。代码可以从以下链接下载：https://bitbucket.org/mawenjing/gpu-fv。
2016-04-12 cs.CV
Analyzing Classifiers: Fisher Vectors and Deep Neural Networks
Fraunhofer HHI（弗劳恩霍夫海因里希·赫兹研究所）；SUTD（新加坡科技设计大学）；TU Berlin（柏林工业大学）
Fisher向量分类器和深度神经网络（DNN）是用于解决图像分类问题的流行且成功的算法。然而，两者通常被认为是“黑箱”预测器，因为所涉及的非线性变换迄今为止阻止了透明和可解释的推理。最近，已经开发了一种原则性技术，分层相关传播（LRP），以便更好地理解复杂的非线性分类模型（如特征袋模型或DNN）的固有结构化推理。在本文中，我们（1）将LRP框架扩展到Fisher向量分类器，然后将其用作分析工具，以（2）量化上下文对分类的重要性，（3）在重要图像区域方面定性比较DNN与FV分类器，以及（4）检测数据中的潜在缺陷和偏差。所有实验都是在PASCAL VOC 2007数据集上进行的。
2015-12-01 cs.CV
Backpropagation with N-D Vector-Valued Neurons Using Arbitrary Bilinear Products
向量值神经学习是近年来深度学习研究的一个重要方向。传统上，神经网络（NN）的训练数据被公式化为标量向量;然而，由于相邻标量之间的关联没有建模，因此其性能可能不是最佳的。在本文中，我们提出了一种新的向量神经网络架构称为任意双线性积神经网络（ABIPNN），它处理信息作为每个神经元的向量，并使用任意双线性积定义前馈投影。这样的双线性积可以包括循环卷积、七维向量积、斜循环卷积、逆时循环卷积或在先前工作中未见到的其他新积。作为概念验证，我们将我们提出的网络应用于多光谱图像去噪和歌声分离。实验结果表明，ABIPNN与传统NN相比，获得了实质性的改进，这表明关联是在训练过程中学习的。
2018-05-24 cs.CV cs.LG stat.ML
Deep FisherNet for Object Classification
Huazhong University of Science and Technology（华中科技大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
尽管卷积神经网络（CNN）在Cifar和ImageNet等数据集上的图像分类任务中取得了巨大成功，但CNN的表示能力在处理大小和杂乱变化较大的对象图像时仍然受到一定限制，其中Fisher Vector（FV）已被证明是一种有效的编码策略。FV通过用通用生成高斯混合模型（GMM）聚集局部描述符来编码图像。然而，FV具有有限的学习能力，并且其参数在构造码本之后大多是固定的。为了将这两个世界中最好的结合在一起，我们在本文中提出了一种神经网络结构，其中FV层是端到端可训练系统的一部分，该系统是可区分的;我们将我们的网络命名为FisherNet，该网络可以使用反向传播进行学习。我们提出的FisherNet将卷积神经网络训练和Fisher向量编码结合在一个端到端结构中。在具有挑战性的PASCAL VOC对象分类任务中，我们观察到FisherNet在分类精度和计算效率方面优于普通的CNN和标准FV。
2016-07-31 cs.CV cs.LG
Encoding High Dimensional Local Features by Sparse Coding Based Fisher Vectors
University of Adelaide（阿德莱德大学）；ARC Centre of Excellence for Robotic Vision（澳大利亚研究理事会机器人视觉卓越中心）；University of Wollongong（伍伦贡大学）
Fisher矢量编码（Fisher vector coding，FVC）是一种基于局部特征生成模型的梯度矢量编码方法，被认为是图像分类的有效编码方法。大多数（如果不是全部的话）% FVC实现采用高斯混合模型（GMM）来表征局部特征的生成过程。这种选择已经证明对于传统的低维局部特征是足够的，例如，SIFT;并且通常，仅用几百个高斯分布就可以实现良好的性能。然而，相同数量的高斯是不够的模型的特征空间跨越更高的维度的本地功能，这已经成为最近流行的。为了提高对高维特征的建模能力，简单地增加高斯的数量被证明是低效的并且在计算上是不切实际的。在本文中，我们提出了一个模型，其中每个局部特征是从高斯分布，其平均向量是从一个子空间采样。在一定的近似下，该模型可以转化为稀疏编码过程，学习/推理问题可以很容易地通过标准的稀疏编码方法来解决。通过计算该模型的梯度矢量，我们得到了一个新的Fisher矢量编码策略，称为稀疏编码基于Fisher矢量编码（SCFVC）。此外，我们采用最近开发的深度卷积神经网络（CNN）描述符作为高维局部特征，并使用所提出的SCFVC实现图像分类。我们的实验评估表明，我们的方法不仅显着优于传统的基于GMM的Fisher矢量编码，但也达到了国家的最先进的性能，在一般的目标识别，室内场景，细粒度的图像分类问题。
2014-11-24 cs.CV
Probing the Intra-Component Correlations within Fisher Vector for Material Classification
University of Oulu（奥卢大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
Fisher矢量（FV）已成为一种流行的图像表示方法。FV框架的一个值得注意的基本假设是，局部描述符在每个聚类内都是去相关的，因此每个高斯的协方差矩阵可以简化为对角的。虽然FV通常依赖于主成分分析（PCA）来解相关局部特征，但是PCA被应用于整个训练数据，并且因此其仅对角化\textit{universal}协方差矩阵，而不是对角化那些关于.本地组件。因此，局部去相关假设在实践中通常不被支持。为了放宽这一假设，本文提出了一个完整的模型的Fisher向量，这是被称为完成的Fisher向量（CFV）。CFV是FV的一个更一般的框架，因为它不仅编码方差，而且编码白化局部描述符的相关性。因此，CFV导致改进的辨别能力。我们以材料分类任务为例，实验表明：1）CFV在所有参数设置下都优于FV; 2）CFV对混合物中组分数量的变化具有鲁棒性; 3）即使在相对较小的视觉词汇量下，CFV仍然在两个具有挑战性的数据集上工作得很好。
2016-04-15 cs.CV
Comparative Evaluation of Action Recognition Methods via Riemannian Manifolds, Fisher Vectors and GMMs: Ideal and Challenging Conditions
University of Queensland（昆士兰大学）；Queensland University of Technology（昆士兰理工大学）；NICTA；Data61, CSIRO（Data61，澳大利亚联邦科学与工业研究组织）
我们提出了一个比较评估的各种技术的动作识别，同时保持尽可能多的变量控制。我们采用两类黎曼流形：对称正定矩阵和线性子空间。对于这两个类别，我们使用相应的最近邻分类器，内核，和最近的核稀疏表示。我们比较传统的动作识别技术的基础上高斯混合模型和Fisher向量（FV）。我们在理想条件下评估这些动作识别技术，以及它们在更具挑战性的条件下（尺度和平移的变化）的灵敏度。尽管最近在处理流形方面取得了进展，但基于流形的技术获得了最低的性能，并且它们的核表示在存在挑战性条件的情况下更不稳定。FV方法在理想条件下获得最高精度。此外，FV最好地处理适度的规模和翻译的变化。
2016-10-04 cs.CV
Joint Recognition and Segmentation of Actions via Probabilistic Integration of Spatio-Temporal Fisher Vectors
University of Queensland（昆士兰大学）；Queensland University of Technology（昆士兰科技大学）；NICTA（澳大利亚国家信息通信技术中心）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织 Data61）
我们提出了一个分层的方法来进行联合分类和分割的多动作识别。一个给定的视频（包含几个连续的动作）通过一系列重叠的时间窗口进行处理。时间窗口中的每个帧通过选择性的低级别时空特征来表示，这些特征有效地捕获相关的局部动态。来自每个窗口的特征被表示为Fisher向量，其捕获一阶和二阶统计量。不是直接对每个Fisher向量进行分类，而是将其转换为类别概率的向量。然后，通过在帧级整合类概率来获得每个帧的最终分类决策，这利用了时间窗口的重叠。实验在两个数据集上进行：s-KTH（KTH数据集的拼接版本，用于模拟多动作）和具有挑战性的CMU-MMAC数据集。在s-KTH上，所提出的方法实现了85.0%的准确率，显著优于最近基于Gestival和Hestival的两种方法，分别获得78.3%和71.2%。在CMU-MMAC上，该方法的准确率为40.9%，优于GMM和HMM方法，分别为33.7%和38.4%。此外，所提出的系统平均比基于GMM的方法快40倍。
2016-10-04 cs.CV
HandSight: DeCAF & Improved Fisher Vectors to Classify Clothing Color and Texture with a Finger-Mounted Camera
Makeability Lab（可制造性实验室）；HCIL（人机交互实验室）；University of Maryland（马里兰大学）
本研究利用指戴式相机结合DeCAF和改进的Fisher向量图像特征解决盲人选择衣物问题，构建了HCTD数据集并验证最先进分类算法，准确率超过95%。
2023-11-20 cs.CV
Compositional Model based Fisher Vector Coding for Image Classification
The University of Adelaide（阿德莱德大学）；University of Wollongong（伍伦贡大学）；University of Electronic Science and Technology of China（电子科技大学）
Fisher矢量编码（Fisher vector coding，FVC）是一种基于局部特征生成模型的梯度矢量编码方法，被认为是图像分类的有效编码方法。大多数（如果不是全部的话）FVC实现采用高斯混合模型（GMM）来描述局部特征的生成过程。然而，GMM的代表能力可能是有限的，因为它基本上假设局部特征可以由固定数量的特征原型来表征，并且原型的数量在FVC中通常很小。为了处理这个限制，在本文中，我们打破了传统的假设，局部特征是从几个高斯分布之一。相反，我们采用了一种组合机制，该机制假设局部特征是从高斯分布中提取的，高斯分布的平均向量是由多个关键分量的线性组合组成的，组合权重是一个潜在的随机变量。通过这种方式，我们可以大大提高生成模型的代表力的FVC。为了实现我们的想法，我们设计了两个特定的生成模型与这样的组合机制。
2017-01-08 cs.CV
End-to-end Learning of a Fisher Vector Encoding for Part Features in Fine-grained Recognition
Friedrich-Schiller-University Jena（耶拿弗里德里希·席勒大学）；Michael Stifel Center Jena for Data-Driven and Simulation Science（耶拿数据驱动与模拟科学迈克尔·施蒂费尔中心）；German Aerospace Center (DLR)（德国航空航天中心（DLR））
针对细粒度识别中基于部件方法因缺乏对部件顺序不变且能处理可见部件数量变化的局部特征表示而性能受限的问题，提出将部件特征的Fisher vector编码端到端集成到卷积神经网络中，并通过在线EM算法联合估计参数，在三个鸟类分类数据集上提升了准确率。
2023-07-28 cs.CV
Occupancy Detection in Vehicles Using Fisher Vector Image Representation
Xerox Research Center（施乐研究中心）
由于现代道路上的高交通量，运输机构提出了高占用车辆（HOV）车道和高占用收费（HOT）车道，以促进拼车。然而，这些车道的规则的执行目前是由路边执法人员使用视觉观察来执行的。众所周知，人工路边执法效率低下，成本高昂，具有潜在危险，最终无效。据报道，违规率高达50%-80%，而人工强制执行率通常不到10%。因此，需要自动车辆占用检测来支持HOV/HOT车道强制执行。确定车辆占用的关键组成部分是确定车辆的前排乘客座椅是否被占用。在本文中，我们研究了两种方法，确定车辆前排座位占用使用近红外（NIR）摄像头系统指向车辆的前挡风玻璃。第一种方法研究了一个国家的最先进的可变形的部分模型（DEPENDING）为基础的人脸检测系统，是强大的面部姿态。第二种方法使用视觉词袋（BOW）和Fisher向量（FV）检查最先进的基于局部聚集的图像分类。在公共道路上收集了3000张图像的数据集，并用于进行比较。从这些实验可以清楚地看出，图像分类方法对于这个问题是优越的。
2013-12-20 cs.CV
Egocentric Activity Recognition with Multimodal Fisher Vector
Singapore University of Technology and Design（新加坡科技设计大学）；Institute for Infocomm Research（新加坡资讯通信研究院）
随着可穿戴设备的日益可用性，自我中心活动识别的研究最近受到了广泛关注。在本文中，我们建立了一个多模态自我中心活动数据集，其中包括自我中心的视频和传感器数据的20个细粒度和不同的活动类别。我们提出了一种新的策略，从传感器数据中提取时间的似然特征。我们建议应用Fisher核框架来融合视频和时间增强传感器特征。实验结果表明，通过精心设计的特征提取和融合算法，传感器数据可以增强信息丰富的视频数据。我们公开了多模态自我中心活动数据集，以促进未来的研究。
2016-01-25 cs.CV cs.MM
Scalable Whole Slide Image Representation Using K-Mean Clustering and Fisher Vector Aggregation
Department of Electrical Engineering, Indian Institute of Technology Bombay（印度理工学院孟买分校电气工程系）
本文提出一种可扩展的WSI分类方法，通过补丁特征提取、K均值聚类和Fisher向量编码，生成紧凑表示，实现高准确性和可扩展性。
2025-01-21 cs.AI cs.CV cs.LG
Efficient Vectorized Backpropagation Algorithms for Training Feedforward Networks Composed of Quadratic Neurons
Mathew Mithra Noel；Venkataraman Muthiah-Nakarajan；Yug D Oswal
本文提出二次神经元前馈网络的向量化反向传播算法，仅需少量额外参数，能以更少隐藏层神经元实现更高分类精度，并证明单层C个二次神经元可分离C个有界簇。
2025-04-21 cs.CV cs.NE
Semantic Fisher Scores for Task Transfer: Using Objects to Classify Scenes
Microsoft（微软）；University of California at San Diego（加利福尼亚大学圣迭戈分校）
被认为是一个神经网络（CNN）训练识别对象的场景分类的任务的转移。首先通过将场景图像块馈送到对象CNN，并通过随后的后验类概率向量（语义后验）来表示场景图像，来诱导语义袋（BoS）表示。然后研究了用Fisher向量（FV）对BoS进行编码。在任何概率模型的FV和用于通过最大似然估计其参数的期望最大化（EM）算法的Q函数之间建立了联系。最后，提出了一种MFA Fisher评分（MFA-FS）的网络实现，表示为MFAFSNet，以实现端到端的训练。对不同对象CNN和数据集的实验表明，该方法具有最先进的传输性能。有些令人惊讶的是，场景分类结果优于使用大型场景数据集（地点）明确训练用于场景分类的CNN的结果。这表明，整体分析是不够的场景分类。局部对象语义的建模似乎至少同样重要。这两种方法也被证明是强有力的互补性，导致非常大的场景分类收益时，结合起来，并优于所有以前的场景分类方法的一个相当大的保证金
2019-05-27 cs.CV
Deep Linear Discriminant Analysis on Fisher Networks: A Hybrid Architecture for Person Re-identification
The University of Adelaide（阿德莱德大学）；Australian Research Council Centre of Excellence for Robotic Vision（澳大利亚研究委员会机器人视觉卓越中心）
人物再识别是指在大量的冒名顶替者中，通过不同的视角，寻找一个与目标人物相匹配的人物。它通常涉及两个过程：针对显著的外观变化的非线性特征提取，以及随后的判别分析，以便减少个人内部变化，同时扩大个人之间的差异。在本文中，我们介绍了一种混合架构，该架构结合了Fisher向量和深度神经网络，将人物图像的非线性表示学习到数据可以线性分离的空间。我们在深度神经网络之上加强了线性判别分析（LDA），以便可以以端到端的方式学习线性可分离的潜在表示。通过优化从LDA修改的目标函数，该网络被强制产生在同一类内具有低方差且类间具有高方差的特征分布。该目标基本上是从一般的LDA特征值问题，并允许训练的网络与随机梯度下降和反向传播LDA梯度计算的梯度涉及Fisher矢量编码。为了进行评估，我们在人员重新识别的四个基准数据集上测试了我们的方法（VIPeR [1]，CUHK03 [2]，CUHK01 [3]和Market1501 [4]）。在这些基准上的大量实验表明，我们的模型可以达到最先进的结果。
2016-06-06 cs.CV
Efficient Whole Slide Image Classification through Fisher Vector Representation
Indian Institute of Technology Bombay（印度理工学院孟买分校）
本研究提出一种两阶段的WSI分类方法，通过提取少量关键病理图像块并采用Fisher vectors表示特征，在保持甚至超越标准方法分类准确率的同时显著降低了计算开销。
2024-11-13 cs.CV cs.LG
Pyramidal Fisher Motion for Multiview Gait Recognition
IMIBIC（迈蒙尼德生物医学研究所）；University of Cordoba（科尔多瓦大学）
本文的目标是通过分析步态来识别个体。而不是使用二进制轮廓作为输入数据（如在许多以前的作品中所做的），我们建议和评估使用的运动描述符的基础上密集采样的短期轨迹。我们利用国家的最先进的人检测器来定义目标人物周围的描述符的自定义空间配置。因此，获得步态运动的金字塔表示。局部运动特征（描述的Divergence-Curl-Shear描述符）提取的不同空间区域的人被组合成一个单一的高层次的步态描述符，通过使用Fisher矢量编码。所提出的方法，创造金字塔费舍尔运动，实验验证最近的“AVA多视图步态”数据集。实验结果表明，该方法在步态识别中取得了较好的效果。
2014-03-27 cs.CV
Scalable Image Tokenization with Index Backpropagation Quantization
Nanjing University（南京大学）；Tsinghua University（清华大学）；ARC Lab, Tencent PCG（腾讯平台与内容事业群ARC实验室）
本文提出索引反向传播量化（IBQ），通过直通估计器联合优化所有码本嵌入与视觉编码器，解决VQ码本坍缩问题，首次实现大规模高维高利用率码本，并在ImageNet上验证了其在重建和自回归生成中的可扩展性与优越性。
2025-03-10 cs.AI cs.CV
An Application of Backpropagation Artificial Neural Network Method for Measuring The Severity of Osteoarthritis
Trisakti University（特里萨克蒂大学）；Bina Nusantara University（宾南努桑塔拉大学）
骨关节炎的X线检查和血液流变学检查可分为四个严重程度等级。本文讨论了应用人工神经网络反向传播方法测量从手腕到手指的X线范围内的疾病严重程度。本文系统的主要过程分为三个部分，分别是图像处理、特征提取和人工神经网络处理。首先，将X射线图像数字（200 × 150像素和灰度）阈值化，然后基于7位量化结果的颜色强度的概率值和统计纹理提取特征。然后将特征值归一化到区间[0.1，0.9]，然后将结果作为输入在反向传播人工神经网络系统上进行处理，以确定疾病的严重程度。从学习率0.3，动量0.4，隐藏单元5个和大约132个特征向量的测试中，该系统对学习数据的准确率为100%，对学习和非学习数据的准确率为80%，对非学习数据的准确率为66.6%
2013-09-29 cs.CE cs.CV cs.NE
Semi-supervised learning via Feedforward-Designed Convolutional Neural Networks
University of Southern California（南加州大学）
提出了一种基于前馈设计的卷积神经网络（FF-CNN）的半监督学习框架用于图像分类。FF-CNN的一个独特特性是在模型参数确定中不使用反向传播。由于未标记数据可能并不总是增强半监督学习，我们定义了一个有效的质量分数，并使用它来选择一个子集的未标记数据在训练过程中。我们在MNIST、SVHN和CIFAR-10数据集上进行了实验，结果表明，当标记数据量减少时，所提出的半监督FF-CNN解决方案的性能优于反向传播训练的CNN（BP-CNN）。此外，我们开发了一个集成系统，该系统结合了不同半监督FF-CNN的输出决策向量，以提高分类精度。集成系统可以在所有三个基准数据集上实现进一步的性能增益。
2019-02-06 cs.CV
Can Forward Gradient Match Backpropagation?
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Flatiron Institute（熨斗研究院）；MILA（蒙特利尔学习算法研究所）；Concordia University（康考迪亚大学）
针对前向梯度训练神经网络需猜测高维步长方向的难题，提出用小型局部辅助网络反馈偏置梯度猜测方向，实验验证该方法可大幅提升前向梯度效果。
2023-06-12 cs.CV cs.LG cs.NE
On the Generalisation Capabilities of Fisher Vector based Face Presentation Attack Detection
Hochschule Darmstadt（达姆施塔特应用科学大学）；Hochschule Ansbach（安斯巴赫应用科学大学）
在过去的几十年里，生物识别系统经历的广泛发展已经揭示了几个可能降低其可信度的威胁。这些是攻击演示，可以很容易地由未经授权的主体进行，以获得对生物识别系统的访问。为了减轻这些安全问题，大多数面部呈现攻击检测技术在已知的呈现攻击工具（PAI）和采集条件下进行评估时报告了良好的检测性能，与测试集中包含未知攻击的更具挑战性的场景相反。对于这些更现实的情况下，现有的算法面临的困难，以检测未知的PAI物种在许多情况下。在这项工作中，我们使用一个新的特征空间的基础上Fisher向量，计算从紧凑的二值化统计图像特征直方图，它允许发现语义特征子集从已知的样本，以提高检测未知的攻击。这种新的表示方法，针对来自免费提供的面部数据库的挑战性未知攻击进行了评估，显示出有希望的结果：在存在未知攻击的情况下，可以实现低于17%的BPCER 100以及超过98%的AUC。此外，通过训练有限数量的参数，我们的方法能够实现最先进的基于深度学习的跨数据集场景方法。
2021-03-02 cs.CV cs.IT cs.LG
Deep learning for pedestrians: backpropagation in CNNs
SAP Labs（SAP实验室）
本文档的目标是提供一个教学介绍，介绍使用梯度下降训练深度神经网络的主要概念;这一过程称为反向传播。虽然我们关注的是一类非常有影响力的架构，称为“卷积神经网络“（CNN），但这种方法对整个机器学习社区来说是通用和有用的。由于观察到反向传播的推导经常被笨拙的索引重叙述所掩盖，这些叙述看起来有点抽象，我们的目标是提供一个概念清晰的向量化描述，很好地表达了更高层次的逻辑。遵循“写作是自然的方式，让你知道你的思维是多么草率”的原则，我们试图使计算细致，自成一体，但尽可能直观。没有什么是理所当然的，充足的插图作为视觉指南和广泛的参考书目提供了进一步的探索。(For为了清楚起见，长的数学推导和可视化被分解为短的“概括视图”和长的“详细视图”，作为可选内容组被编码到PDF中。有些图包含动画，旨在以更吸引人的方式说明重要概念。出于这些原因，我们建议您在本地下载该文档，并使用Adobe Reader打开它。其他查看器未经过测试，可能无法正确呈现详细视图和动画。）
2018-11-29 cs.AI cs.CV cs.LG
Residual Network based Aggregation Model for Skin Lesion Classification
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Northwestern Polytechnical University（西北工业大学）
我们认识到皮肤病变诊断是图像分类中的一个重要且具有挑战性的子任务，Fisher矢量（FV）编码算法和深度卷积神经网络（DCNN）是其中最成功的两种技术。由于FV和DCNN的联合使用已被证明是成功的，因此联合技术也可以对皮肤病变诊断具有区分能力。针对这一假设，本文提出了一种皮肤病变诊断的聚集算法，该算法利用残差网络提取局部特征，并利用Fisher向量方法将局部特征聚集到图像级表示。我们将我们的算法应用于2018年国际皮肤成像合作（ISIC 2018）挑战，只关注第三个任务，即，疾病分类。
2018-07-24 cs.CV
von Mises-Fisher Mixture Model-based Deep learning: Application to Face Verification
Laboratoire LIRIS, École centrale de Lyon（里昂中央理工学院 LIRIS 实验室）；Safran Identity & Security（赛峰身份与安全公司）
许多模式识别任务，\textit{e.g.}，人脸验证，可以归结为单位长度的方向特征向量的分类或聚类，其距离可以简单地通过它们的角度计算。在本文中，我们提出了von Mises-Fisher（vMF）混合模型作为这种方向特征的有效深度学习的理论基础，并推导出一种新的vMF混合损失及其相应的vMF深度特征。所提出的vMF特征学习实现了判别式学习的特性，\textit{i.e.}，压缩了同一类的实例，同时增加了来自不同类的实例的距离。此外，它包含了许多流行的损失函数以及深度学习中的有效方法，即归一化。我们使用4个不同的具有挑战性的人脸数据集，\textit{i.e.}，LFW，YouTube的面孔，CACD和IJB-A进行了大量的人脸验证实验。实验结果表明了该方法的有效性和良好的泛化能力，在LFW、YouTube人脸和CACD数据集上取得了最先进的结果，在IJB-A数据集上取得了有竞争力的结果。
2017-12-31 cs.CV
An end-to-end generative framework for video segmentation and recognition
University of Bonn（波恩大学）；Brown University（布朗大学）
我们描述了一种端到端的生成方法，用于分割和识别人类活动。在这种方法中，一个视觉表示的基础上减少费舍尔矢量相结合的结构化的时间模型进行识别。我们表明，Fisher向量的统计特性使其成为生成模型（如高斯混合）的特别合适的前端。该系统进行评估的识别复杂的活动，以及他们的行动单位解析。使用从人类烹饪活动到动物行为的各种视频数据集，我们的实验表明，对于较大的数据集，即当有足够的数据可用于训练结构化生成模型时，所产生的架构优于最先进的方法。
2016-03-17 cs.CV
A Practical Guide to CNNs and Fisher Vectors for Image Instance Retrieval
Institute for Infocomm Research (A*STAR)（信息通信研究院（新加坡科技研究局））；Université Pierre et Marie Curie（皮埃尔和玛丽·居里大学）
随着深度学习成为计算机视觉中的主导方法，从卷积神经网络（CNN）中提取的表示的使用正在迅速取代Fisher向量（FV），成为图像实例检索的最先进的全局图像描述符。虽然CNN在图像分类方面的良好性能得到了明确的认可，但两者中哪一个在图像检索方面占上风还不完全清楚。在这项工作中，我们提出了一个全面的研究，系统地评估FV和CNN的图像检索。第一部分比较了FV和CNN在多个公开数据集上的性能。我们研究了每种方法的一些具体细节。对于FV，我们比较稀疏描述符的兴趣点检测器与密集的单尺度和多尺度的变种。对于CNN，我们专注于理解深度，架构和训练数据对检索结果的影响。我们的研究表明，没有描述符是系统优于其他和性能增益通常可以通过使用这两种类型一起获得。研究的第二部分着重于几何变换的影响，如旋转和尺度变化。基于兴趣点检测器的FV本质上对这种变换有弹性，而CNN没有内置机制来确保这种不变性。我们发现，CNN的性能在旋转的情况下会迅速下降，而它们受尺度变化的影响要小得多。然后，我们提出了一些方法，将所需的不变性在CNN管道。总的来说，我们的工作是作为一个参考指南，提供实用和简单的可实施的指导方针，任何人寻找最适合他们的特定图像实例检索问题的最先进的全局描述符。
2015-08-25 cs.CV cs.IR
Fisher Motion Descriptor for Multiview Gait Recognition
University of Cordoba（科尔多瓦大学）；University of Malaga（马拉加大学）
本文的目标是通过分析步态来识别个体。而不是使用二进制轮廓作为输入数据（如在许多以前的作品中所做的），我们建议和评估使用的运动描述符的基础上密集采样的短期轨迹。我们利用国家的最先进的人检测器来定义目标人周围的描述符的自定义空间配置，获得丰富的步态运动的表示。局部运动特征（描述的Divergence-Curl-Shear描述符）提取的不同空间区域的人被组合成一个单一的高层次的步态描述符，通过使用Fisher矢量编码。所提出的方法，创造金字塔费舍尔运动，实验验证的'CASIA'数据集（部分B和C），'TUM GAID'数据集，'CMU Mobo'数据集和最近的'AVA多视图步态'数据集。结果表明，这种新方法在步态识别问题上取得了最先进的结果，允许在单个和多个摄像机设置上从不同的角度识别行走的人，穿着不同的衣服，背着包，以不同的速度行走，而不限于直线行走路径。
2016-01-26 cs.AI cs.CV
Discriminant analysis based on projection onto generalized difference subspace
University of Tsukuba（筑波大学）；National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所（AIST））；University College London（伦敦大学学院）；Royal Institute of Technology (KTH)（皇家理工学院（KTH））
本文讨论了一种新的基于数据到广义差子空间（GDS）的正交投影的判别分析方法。在我们以前的工作中，我们已经证明了GDS投影作为类子空间的准正交化，这是一种有效的基于子空间的分类器的特征提取。有趣的是，GDS投影也可以通过与Fisher判别分析（FDA）类似的机制作为判别特征提取。GDS预测和FDA之间的联系很难直接证明，因为它们的表述存在显着差异。为了避免这个困难，我们首先介绍了几何Fisher判别分析（gFDA）的基础上简化的Fisher准则。我们的简化Fisher准则是来自一个启发式的，但实际上似乎合理的原则：在大多数情况下，一类的样本平均向量的方向几乎等于类的第一个主成分向量，在主成分向量的条件下，通过应用主成分分析（PCA）计算没有数据中心。gFDA即使在少量样本下也能稳定工作，绕过了FDA的小样本问题。接下来，我们证明了gFDA等价于具有小的校正项的GDS投影。这种等价性确保了GDS投影通过gFDA从FDA继承判别能力。此外，为了提高gFDA和GDS投影的性能，我们在判别空间上对投影向量进行归一化。使用扩展的Yale B+数据库和CMU人脸数据库进行的大量实验表明，gFDA和GDS投影具有与原始FDA及其扩展相当或更好的性能。
2019-10-30 cs.CV cs.LG stat.ML
Fisher Kernel for Deep Neural Activations
KAIST（韩国科学技术院）
与基于低层局部描述符的图像表示相比，卷积神经网络（CNN）的深层神经激活在中层表示方面更丰富，但在几何不变性方面较差。在本文中，我们提出了一个简单的框架，更好的图像表示相结合的两种方法。为了利用这两种表示的优势，我们提出了一种有效的方法来从预训练的CNN中提取大量的多尺度密集局部激活。然后，我们通过Fisher内核框架聚合激活，该框架已经用简单的尺度归一化进行了修改，以使其适合CNN激活。用我们的表示代替直接使用单个激活向量，表现出显著的性能改进：+17.76（Acc.）MIT Indoor 67和PASCAL VOC 2007上的+7.18（mAP）。结果表明，我们的建议可以被用来作为一个主要的图像表示更好的性能在视觉识别任务。
2014-12-19 cs.CV cs.LG cs.NE
Approximate Fisher Kernels of non-iid Image Models for Image Categorization
Milsoft（米尔索夫公司）；Inria Grenoble（法国国家信息与自动化研究所格勒诺布尔分院）；Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗纳-阿尔卑斯分院）；Laboratoire Jean Kuntzmann（让·孔茨曼实验室）；CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
词袋（BoW）模型将图像视为局部描述符的集合，并通过视觉单词直方图来表示它们。Fisher向量（FV）表示通过考虑局部描述符的一阶和二阶统计量来扩展BoW。在这两种表示中，局部描述符被假设为相同且独立分布（iid），从建模的角度来看，这是一个糟糕的假设。已经实验观察到，BoW和FV表示的性能可以通过采用诸如功率归一化的折扣变换来改善。在本文中，我们引入了非iid模型，通过处理的模型参数作为潜在的变量是集成了，使所有的局部区域依赖。使用Fisher核原理，我们通过数据对数似然w.r.t.的梯度来编码图像。模型超参数我们的模型自然会在表示中产生折扣效应;这表明这种转换已被证明是成功的，因为它们与非iid模型获得的表示密切对应。为了实现易于处理的计算，我们依赖于变分自由能界来学习超参数并计算近似Fisher核。我们的实验评估结果验证，我们的模型导致性能的改善，使用功率归一化，在国家的最先进的特征聚合方法。
2015-10-03 cs.CV cs.LG
Recognizing Static Signs from the Brazilian Sign Language: Comparing Large-Margin Decision Directed Acyclic Graphs, Voting Support Vector Machines and Artificial Neural Networks
Federal University of São Carlos（圣卡洛斯联邦大学）
在本文中，我们探讨和详细介绍了我们的实验在一个高维，多类图像分类的问题，经常发现在自动识别的手语。在这里，我们的努力是针对比较的特点，优点和缺点的创建和训练支持向量机部署在有向无环图和人工神经网络分类标志从巴西手语（LIBRAS）。我们探讨了不同的分类器，超参数和多类决策方案如何影响每个分类器的性能，效率和易用性。我们提供了捕捉准确性和效率的超参数表面图，DDAG和1-vs-1 SVM之间的比较，以及使用弹性反向传播训练ANN时的启发式效果。我们报告统计学显着的结果，使用科恩的Kappa统计列联表。
2012-10-28 cs.CV cs.LG stat.ML
Histogram Layers for Texture Analysis
University of Florida（佛罗里达大学）
纹理分析的一个重要方面是提取描述局部空间区域中值分布的特征。我们提出了一个局部直方图层的人工神经网络。代替如前所述计算全局直方图，所提出的直方图层直接计算用于纹理分析的特征的局部空间分布，并且在反向传播期间估计层的参数。我们将我们的方法与最先进的纹理编码方法进行比较，例如深度编码网络池，深度纹理编码网络，Fisher向量卷积神经网络和多级纹理编码和表示三个材料/纹理数据集：（1）可描述纹理数据集;（2）户外场景中地面地形的扩展;（3）和上下文数据集中材料的子集。结果表明，包括拟议的直方图层提高了性能。直方图层的源代码是公开的：https://github.com/GatorSense/Histogram_Layer。
2021-12-28 cs.CV cs.LG stat.ML
Training Faster by Separating Modes of Variation in Batch-normalized Models
University of Central Florida（中佛罗里达大学）
批量归一化（BN）对于有效训练最先进的深度卷积神经网络（CNN）至关重要。它在训练过程中使用每个minibatch的统计数据对层的输入进行归一化。在这项工作中，我们研究BN从Fisher核的观点。我们表明，假设一个小批量内的样本是从相同的概率密度函数，那么BN是相同的高斯分布的Fisher向量。这意味着BN可以用从底层数据分布的概率密度函数中自然出现的内核来解释。然而，考虑到CNN架构中采用的整流非线性，输入到层的分布显示出重尾和不对称特性。因此，我们建议用高斯密度的混合而不是一个来近似底层数据分布。推导高斯混合模型（GMM）的Fisher向量，揭示了BN可以通过相对于解纠缠子种群的统计独立地归一化来改善。我们将我们提出的BN的软分段版本称为混合归一化（MN）。通过在CIFAR-10和CIFAR-100上的大量实验，我们证明了MN不仅有效地加速了训练图像分类和生成对抗网络，而且还达到了更高质量的模型。
2018-11-14 cs.CV cs.LG stat.ML
