Deep Hashing: A Joint Approach for Image Signature Learning
AT&T Labs（AT&T实验室）
基于相似性的图像散列是减少视觉数据存储和加速图像搜索的关键技术。传统的散列方案通常将手工制作的特征馈送到散列函数中，这将特征提取和散列函数学习的过程分开。在本文中，我们提出了一种新的算法，同时进行特征工程和非线性监督哈希函数学习。我们在本文中的技术贡献有两个方面：1）深度网络优化通常通过梯度传播来实现，这非常需要平滑的目标函数。散列码的离散性质使它们不适合基于梯度的优化。为了解决这个问题，我们提出了一个指数哈希损失函数和它的双线性光滑近似。从而实现有效的梯度计算和传播; 2）预训练是监督式深度学习中的重要技巧。在当前的深度哈希文献中，从未讨论过预训练对哈希代码质量的影响。我们提出了一种受基于深度网络的图像分类最新进展启发的预训练方案，并通过实验证明了其有效性。对几种广泛使用的图像基准进行了全面的定量评价。在所有基准测试中，我们提出的深度哈希算法的性能都远远优于所有最先进的竞争对手。特别是，我们的算法实现了一个近乎完美的0.99的汉明排名精度只有12位MNIST，和CIFAR 10数据集上的0.74的新纪录。相比之下，在CIFAR 10上，现有的散列算法在没有或有深度网络的情况下获得的最佳准确度分别为0.36和0.58。
2016-08-12 cs.CV
Structured Deep Hashing with Convolutional Neural Networks for Fast Person Re-identification
The University of Queensland（昆士兰大学）；The University of New South Wales（新南威尔士大学）
给定行人图像作为查询，人重新识别的目的是从描绘由不相交的相机视图捕获的同一个人的图库图像的大集合中识别正确的匹配。关键的挑战是如何构建一个强大的，但歧视性的特征表示，以捕捉行人外观的复合变化。为此，已经提出了深度学习方法来提取针对外观的极端可变性的分层特征。然而，在这类现有的方法通常忽略了在匹配阶段的效率，而搜索速度的重新识别系统是至关重要的，在现实世界中的应用。在本文中，我们提出了一种新的深度哈希框架与卷积神经网络（CNN）的快速人员重新识别。从技术上讲，我们同时学习CNN特征和哈希函数/代码，以获得鲁棒但有区别的特征和保持相似性的哈希代码。因此，可以通过有效地计算和排序图像之间的汉明距离来解决人的重新识别。提出了一种定义在正对和硬负对上的结构化损失函数，并将其转化为一种新的优化问题，以获得更快的收敛速度和更稳定的优化解.在CUHK 03 \cite{FPNN}和Market-1501 \cite{Market1501}两个基准测试上的大量实验表明，所提出的深度架构比现有技术更有效。
2017-12-03 cs.CV
Leveraging High-Resolution Features for Improved Deep Hashing-based Image Retrieval
New York University Abu Dhabi（纽约大学阿布扎比分校）；École nationale supérieure d’informatique（国立高等计算机学校）
针对复杂图像检索任务中传统CNN骨干网络特征提取能力不足的问题，提出基于高分辨率网络（HRNet）的深度哈希方法HHNet，在多个基准数据集上取得更优检索性能。
2024-03-20 cs.CV cs.IR
KALAHash: Knowledge-Anchored Low-Resource Adaptation for Deep Hashing
The Pennsylvania State University（宾夕法尼亚州立大学）；NVIDIA（英伟达）；Samsung（三星）
针对深度哈希在极少训练样本下的低资源适配问题，本文提出KALAHash，通过类校准LoRA和知识引导离散优化利用类级知识锚定微调与哈希码优化，显著提升检索性能并实现4倍数据效率。
2024-12-27 cs.CV
Deep Policy Hashing Network with Listwise Supervision
Sun Yat-Sen University（中山大学）；Guangdong Key Laboratory of Big Data Analysis and Processing（广东省大数据分析与处理重点实验室）
基于深度网络的哈希已经成为大规模图像检索的主要方法，它学习一个相似性保持网络，将相似图像映射到附近的哈希码。成对丢失和三重丢失是深度哈希中两种广泛使用的相似性保持方式。这些方式忽略了散列是二进制代码列表上的预测任务的事实。然而，使用列表监督学习深度哈希在以下方面具有挑战性：1）当深度网络的批量大小总是很小时，如何获得整个训练集的排名列表; 2）如何利用列表监督。在本文中，我们提出了一种新的深度策略哈希架构，其中两个系统并行学习：查询网络和共享且缓慢变化的数据库网络。重复以下三个步骤直到收敛：1）数据库网络将所有训练样本编码为二进制代码以获得整个排名列表，2）基于同策略学习来训练查询网络以最大化指示二进制代码的整个排名列表的性能的奖励，例如，平均平均精度（MAP），以及3）数据库网络被更新为查询网络。在几个基准数据集上的广泛评估表明，所提出的方法比最先进的哈希方法带来了实质性的改进。
2019-04-03 cs.CV
Fast Supervised Hashing with Decision Trees for High-Dimensional Data
The University of Adelaide（阿德莱德大学）
监督哈希旨在将原始特征映射到能够在汉明空间中保持基于标签的相似性的紧凑二进制代码。非线性散列函数由于其强大的泛化能力而表现出优于线性散列函数的优势。在文献中，核函数通常用于实现散列中的非线性，其以缓慢的评估和训练时间为代价实现令人鼓舞的检索性能。在这里，我们提出使用提升决策树实现哈希的非线性，这是快速的训练和评估，因此更适合于与高维数据的哈希。在我们的方法中，我们首先提出了子模块化的哈希二进制代码推理问题的配方和一个有效的基于GraphCut的块搜索方法来解决大规模的推理。然后，我们通过训练提升的决策树来学习哈希函数，以适应二进制代码。实验表明，我们提出的方法显着优于大多数国家的最先进的方法在检索精度和训练时间。特别是对于高维数据，我们的方法在训练时间方面比许多方法快了几个数量级。
2014-05-28 cs.CV cs.LG
HASTE: A Framework for Training-Free, Dynamic, and Steerable Compression of Pre-Trained Convolutional Neural Networks
Robert Bosch GmbH（罗伯特·博世有限公司）；Universität zu Lübeck（吕贝克大学）
提出HASTE模块，利用局部敏感哈希在推理时动态合并冗余通道，实现预训练CNN的无训练压缩，在CIFAR-10上ResNet34减少46.2% FLOPs且精度仅降1.25%。
2026-06-29 cs.CV
DarkHash: A Data-Free Backdoor Attack Against Deep Hashing
School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）；School of Cyber Science and Engineering, Huazhong University of Science and Technology（华中科技大学网络安全工程学院）；Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院）；School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件工程学院）；School of Information and Communication Technology, Griffith University（格里菲斯大学信息与通信技术学院）
提出首个无数据后门攻击DarkHash，通过双语义引导和拓扑对齐损失，在无训练数据下植入后门并保持检索精度，实验验证其高效性和抗防御能力。
2025-10-09 cs.CV
Efficient Training of Very Deep Neural Networks for Supervised Hashing
Boston University（波士顿大学）
在本文中，我们提出了训练非常深的神经网络（DNN）用于哈希码的监督学习。在此上下文中的现有方法训练相对“浅”的网络，其受限于反向传播中出现的问题（例如，消失梯度）以及计算效率。我们提出了一种新的和有效的训练算法的启发交替方向乘法器（ADMM），克服了这些限制。我们的方法通过辅助变量将训练过程分解为独立的逐层局部更新。经验上，我们观察到我们的训练算法总是收敛的，它的计算复杂性是线性成比例的网络中的边缘的数量。根据经验，我们使用单个GPU在大约3小时内训练具有64个隐藏层和每层1024个节点的DNN进行监督哈希。我们提出的非常深度监督哈希（VDSH）方法在几个基准数据集上的性能明显优于最先进的方法。
2016-04-21 cs.CV cs.LG cs.NE
SCH-GAN: Semi-supervised Cross-modal Hashing by Generative Adversarial Network
Peking University（北京大学）
跨模态哈希算法将异构的多媒体数据映射到一个共同的汉明空间中，实现跨模态的快速、灵活的检索。有监督的跨模态散列方法通过引入语义边信息已经取得了相当大的进展。然而，它们主要有两个局限性：（1）严重依赖于大规模标记的跨模态训练数据，这是劳动密集型和难以获得。(2)忽略跨不同模态的大量未标记数据中包含的丰富信息，特别是容易被错误检索的边缘示例，这有助于对相关性进行建模。为了解决这些问题，在本文中，我们提出了一种新的半监督跨模态哈希方法的生成对抗网络（SCH-GAN）。我们的目标是利用GAN对数据分布建模的能力，以对抗的方式促进跨模态哈希学习。本文的主要贡献可以概括如下：（1）提出了一种新的跨模态哈希生成对抗网络。在我们提出的SCH-GAN中，生成模型试图在给出另一种模态的查询时从未标记数据中选择一种模态的边缘示例。而判别模型则试图区分查询中所选的实例和真正的正例。这两个模型之间存在极大极小博弈，从而使得生成模型能够提高判别模型的哈希性能。(2)我们提出了一种基于强化学习的算法来驱动拟议的SCH-GAN的训练。生成模型将判别模型预测的相关性得分作为奖励，通过最大化正负数据之间的差值，尝试选择接近差值的样本来促进判别模型。在3个广泛使用的数据集上的实验验证了该方法的有效性。
2018-02-07 cs.CV
Semantic-Aware Adversarial Training for Reliable Deep Hashing Retrieval
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）；Peng Cheng Laboratory（鹏城实验室）；Swansea University（斯旺西大学）
本文提出语义感知对抗训练（SAAT），通过判别性主干特征学习构建语义代表，并将深度哈希对抗训练形式化为统一最小最大化优化，以提升深度哈希检索模型的对抗鲁棒性。
2024-10-03 cs.CV cs.LG cs.MM
Deep Hashing with Hash-Consistent Large Margin Proxy Embeddings
Huawei Technologies（华为技术有限公司）；Netflix（奈飞公司）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
图像哈希码是通过对训练用于分类或检索的卷积神经网络（CNN）的嵌入进行二值化来产生的。虽然代理嵌入在这两个任务上都实现了良好的性能，但由于鼓励非二进制嵌入的旋转模糊性，它们对于二进制化来说并不是微不足道的。提出使用一组固定的代理（CNN分类层的权重）来消除这种模糊性，并介绍了一种设计对分类和散列都接近最佳的代理集的过程。由此产生的散列一致的大保证金（HCLM）代理，鼓励饱和的散列单元，从而保证一个小的二进制化错误，同时产生高度歧视性的散列代码。语义扩展（sHCLM），旨在提高哈希性能的传输方案，也提出了。大量的实验表明，sHCLM嵌入在几个小型和大型数据集上，无论是在训练类集内还是在训练类集外，都比最先进的哈希程序有了显着的改进。
2020-07-27 cs.CV
Speeding Up Neural Networks for Large Scale Classification using WTA Hashing
Universitat Oberta de Catalunya（加泰罗尼亚开放大学）
在本文中，我们提出了使用Winner Takes All散列技术，以加快在卷积神经网络的全连接层的前向传播和后向传播。所提出的技术显着降低了计算复杂性，这反过来又使我们能够训练层与大量的内核，而没有相关的时间惩罚。因此，我们能够在非常大量的输出类上训练卷积神经网络，而计算成本只有很小的增加。为了证明该技术的有效性，我们使用常规乘法方法和我们提出的哈希方法在预先训练的网络上训练一个新的输出层。我们的结果显示性能没有下降，并且通过我们的实现，在训练期间速度提高了7倍。
2015-04-28 cs.CV
Lightweight Contrastive Distilled Hashing for Online Cross-modal Retrieval
School of Artificial Intelligence, Guangzhou University（广州大学人工智能学院）；School of Computer Science, Guangdong Polytechnic Normal University（广东技术师范大学计算机科学学院）；School of Automation, Guangdong University of Technology（广东工业大学自动化学院）；Bio-Computing Research Center, Harbin Institute of Technology（哈尔滨工业大学生物计算研究中心）
本文提出轻量级对比蒸馏哈希（LCDH），通过知识蒸馏框架和相似矩阵近似桥接离线与在线跨模态哈希，利用CLIP和注意力模块增强教师网络，以轻量级学生网络提升在线检索性能，实验验证其优于现有方法。
2025-02-28 cs.CV
ForestHash: Semantic Hashing With Shallow Random Forests and Tiny Convolutional Networks
Duke University（杜克大学）；Universidad de la República（共和国大学）；Technion-Israel Institute of Technology（以色列理工学院）
哈希码是处理不断增长的数据量的有效数据表示。在本文中，我们介绍了一种随机森林语义哈希方案，该方案将微小的卷积神经网络（CNN）嵌入到浅随机森林中，在树之间具有接近最优的信息理论代码聚合。我们从一个简单的散列方案开始，其中森林中的随机树作为散列函数，为访问的树叶设置“1”，为其余树叶设置“0”。我们发现，传统的随机森林无法生成哈希，保持树之间的潜在相似性，使随机森林的方法来哈希具有挑战性。为了解决这个问题，我们建议首先将每个树分裂节点处的到达类随机分组为两组，获得显著简化的两类分类问题，可以使用轻量级CNN弱学习器来处理。这种随机类分组方案通过强制每个类与不同树中的不同类共享其代码来实现代码唯一性。对于CNN弱学习器进一步采用非常规的低秩损失，以通过最小化两个随机类组的类内变化和最大化类间距离来鼓励代码一致性。最后，我们介绍了一种信息理论的方法，用于将各个树的代码聚合成单个哈希代码，为每个类产生一个接近最优的唯一哈希。所提出的方法显着优于国家的最先进的散列方法的图像检索任务上的大规模公共数据集，而在其他国家的最先进的图像分类技术的水平，同时利用更紧凑，更有效的可扩展的表示。这项工作提出了一个有原则的和强大的程序，并行训练和部署一个轻量级CNN的集合，而不是简单地深入。
2018-07-28 cs.CV stat.ML
Deep Lifelong Cross-modal Hashing
China West Normal University（西华师范大学）；Sichuan University（四川大学）；Chongqing University of Posts and Telecommunication（重庆邮电大学）
针对跨模态哈希在新类别数据持续到达时的灾难性遗忘与重复训练问题，提出深度终身跨模态哈希，通过增量训练、终身哈希损失和多标签语义监督保持性能并大幅降低训练成本。
2023-04-26 cs.CV cs.IR
FDDH: Fast Discriminative Discrete Hashing for Large-Scale Cross-Modal Retrieval
Huaqiao University（华侨大学）；Sun Yat-sen University（中山大学）；Hong Kong Baptist University（香港浸会大学）
跨模态散列因其有效性和效率而受到广泛关注，以促进跨不同模态的高效检索。然而，大多数现有的方法在学习哈希码时没有充分利用语义信息的区分能力，同时经常涉及耗时的训练过程来处理大规模数据集。为了解决这些问题，我们制定了学习的相似性保持哈希码的正交旋转的语义数据，以尽量减少量化损失的映射这些数据到汉明空间，并提出了一个有效的快速判别离散哈希（FDDH）的大规模跨模态检索的方法。具体地说，FDDH引入正交基将训练样本的目标哈希码回归到其对应的语义标签，并利用“拖拽”技术提供可证明的大语义边界。因此，语义信息的区分能力可以被明确地捕获并最大化。进一步提出了一种正交变换方案，将非线性嵌入数据映射到语义子空间中，能够很好地保证数据特征与其语义表示的语义一致性。因此，一个有效的封闭形式的解决方案推导出的歧视性哈希码学习，这是非常计算效率。此外，一个有效的和稳定的在线学习策略，提出了优化特定模态的投影函数，具有适应不同的训练规模和流数据。所提出的FDDH方法理论上近似于双Lipschitz连续性，运行速度足够快，并且还显着提高了检索性能。源代码发布于：https://github.com/starxliu/FDDH。
2021-05-15 cs.CV
Binary Constrained Deep Hashing Network for Image Retrieval without Manual Annotation
University of Liverpool（利物浦大学）；Singapore University of Technology Design（新加坡科技设计大学）；University of Adelaide（阿德莱德大学）
最近，使用深度神经网络学习紧凑的二进制代码用于图像检索任务引起了越来越多的关注。然而，由于哈希码的二进制约束、相似性保持特性以及对大量标记图像的要求，训练深度哈希网络是一项挑战。据我们所知，现有的方法都没有在一个统一的框架内完全解决所有这些挑战。在这项工作中，我们提出了一种新的端到端的深度学习方法来完成这项任务，在这种方法中，网络经过训练，可以直接从图像像素中生成二进制代码，而无需手动注释。特别是，为了处理二进制约束的非光滑性，我们提出了一种新的成对约束损失函数，它同时编码哈希码对之间的距离，和二进制量化误差。为了训练网络与建议的损失函数，我们提出了一个有效的参数学习算法。此外，为了提供相似/不相似的训练图像来训练网络，我们利用从未标记图像重建的3D模型来自动生成巨大的训练图像对。在图像检索基准数据集上的大量实验表明，该方法在图像检索问题上优于现有的紧致表示方法。
2018-12-18 cs.CV
Deep Momentum Uncertainty Hashing
Horizon Robotics（地平线机器人）；University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）；Chinese Academy of Sciences（中国科学院）
组合优化（CO）因其重要的理论和实际意义而成为研究的热点。深度哈希作为一个经典的CO问题，其目标是从有限的离散可能性中为每个数据找到一个最优编码，而离散的性质给优化过程带来了很大的挑战。以前的方法通常通过二进制近似来减轻这一挑战，通过激活函数或正则化来用二进制代码代替实值。然而，这样的近似导致不确定性之间的实际值和二进制的，降低检索性能。在本文中，我们提出了一种新的深度动量不确定性哈希（DMUH）。它在训练过程中显式地估计不确定性，并利用不确定性信息来指导近似过程。具体来说，我们通过测量散列网络的输出和动量更新网络的输出之间的差异来模拟比特级的不确定性。每个比特的差异指示散列网络对该比特的近似输出的不确定性。同时，散列码中所有比特的平均差异可以被视为图像级的不确定性。它体现了哈希网络对相应输入图像的不确定性。在优化过程中，重点考虑了散列位和不确定性较大的图像。据我们所知，这是第一个研究哈希位不确定性的工作。在CIFAR-10、NUS-WIDE、MS-COCO和百万级数据集Clothing 1 M上进行了大量实验，验证了该方法的优越性。我们的方法在所有数据集上都实现了最佳性能，并大大超过了现有的最先进的方法。
2021-07-13 cs.CV
Which CNNs and Training Settings to Choose for Action Unit Detection? A Study Based on a Large-Scale Dataset
Smart Eye AB（Smart Eye公司）
在本文中，我们探讨了一些常用的卷积神经网络（CNN），训练设置和训练集结构，对动作单元（AU）检测的影响。具体来说，我们首先在AU检测中比较了10种不同的浅层和深层CNN。其次，我们研究了不同的训练设置（即对输入进行中心化/标准化，使用不同的增强严重性，以及平衡数据）如何影响AU检测的性能。第三，我们探讨了增加训练集中标记主题和帧的数量对AU检测性能的影响。这些比较为研究界提供了在AU检测中选择不同CNN和训练设置的有用提示。在我们的分析中，我们使用了一个大规模的自然数据集，包括在野外捕获的约55 K视频。据我们所知，还没有研究过这种设置对大规模AU数据集的影响。
2021-11-16 cs.CV
Cycle-Consistent Deep Generative Hashing for Cross-Modal Retrieval
The University of Queensland（昆士兰大学）；Dalian University of Technology（大连理工大学）；Inception Institute of Artificial Intelligence (IIAI)（人工智能初创研究院）
在本文中，我们提出了一种新的深度生成方法来进行跨模态检索，以通过循环一致性损失在没有配对训练样本的情况下学习哈希函数。我们提出的方法采用对抗性训练方案来学习几个哈希函数，从而在假设底层语义关系的同时实现模态之间的翻译。为了将具有语义的散列码引入到输入输出对中，进一步提出了在对抗训练的基础上进行循环一致性损失，以加强输入和相应输出之间的相关性。我们的方法是生成学习哈希函数，使学习的哈希码可以最大限度地相关每个输入输出对应，同时也可以再生的输入，以最大限度地减少信息损失。因此，执行对散列嵌入的学习以跨模态以及相关联的生成模型联合优化散列函数的参数。在各种大规模跨模态数据集上的大量实验表明，我们提出的方法取得了更好的检索结果比国家的艺术。
2018-10-29 cs.CV
Model Inversion Attack Against Deep Hashing
Wuhan University of Technology（武汉理工大学）
本文提出DHMI框架，首次针对深度哈希进行模型逆向攻击，通过语义哈希中心和替代模型优化，实现高保真图像重建，揭示深度哈希的隐私风险。
2025-11-21 cs.AI cs.CV
CgAT: Center-Guided Adversarial Training for Deep Hashing-Based Retrieval
The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong University of Science and Technology Shenzhen Research Institute（香港科技大学深圳研究院）
深度哈希算法由于其高效性和有效性，在海量图像检索中得到了广泛的应用。然而，深度哈希模型容易受到对抗性示例的攻击，因此开发对抗性防御方法用于图像检索至关重要。现有的解决方案实现了有限的防御性能，因为使用弱对抗性样本进行训练，并且缺乏区分性优化目标来学习鲁棒特征。在本文中，我们提出了一种基于最小-最大值的中心引导对抗训练，即CgAT，通过最差的对抗示例来提高深度哈希网络的鲁棒性。具体来说，我们首先制定的中心代码作为一个语义的歧视性代表的输入图像内容，它保留了语义相似性与积极的样本和不相似性与消极的例子。我们证明了一个数学公式可以立即计算出中心码。在深度哈希网络的每次优化迭代中获得中心码后，采用它们来指导对抗训练过程。一方面，CgAT通过最大化对抗样本的哈希码与中心码之间的汉明距离来生成最差的对抗样本作为增强数据。另一方面，CgAT通过最小化到中心码的汉明距离来学习减轻对抗样本的影响。在基准数据集上的大量实验证明了我们的对抗性训练算法在防御基于深度哈希的检索的对抗攻击方面的有效性。在FLICKR-25 K、NUS-WIDE和MS-COCO上，与当前最先进的防御方法相比，防御性能平均提高了18.61%、12.35%和11.56%。该代码可在https://github.com/xunguangwang/CgAT上获得。
2023-03-25 cs.AI cs.CR cs.CV
Are Transformers More Robust Than CNNs?
Johns Hopkins University（约翰斯·霍普金斯大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
Transformer作为视觉识别的强大工具而出现。除了在广泛的视觉基准测试中表现出有竞争力的性能外，最近的研究还认为Transformers比卷积神经网络（CNN）更强大。尽管如此，令人惊讶的是，我们发现这些结论是从不公平的实验环境中得出的，其中Transformers和CNN在不同的尺度上进行了比较，并采用了不同的训练框架。在本文中，我们的目标是提供Transformers和CNN之间的第一个公平和深入的比较，重点是鲁棒性评估。通过我们的统一训练设置，我们首先挑战了以前的信念，即在测量对抗鲁棒性时，Transformers胜过CNN。更令人惊讶的是，我们发现CNN可以很容易地像Transformers一样强大，如果它们正确地采用Transformers的训练配方，就可以抵御对抗攻击。虽然关于分布外样本的泛化，但我们表明，在（外部）大规模数据集上进行预训练并不是使Transformers实现比CNN更好性能的基本要求。此外，我们的消融表明，这种更强的泛化能力在很大程度上得益于Transformer的自我注意力结构本身，而不是其他训练设置。我们希望这项工作可以帮助社区更好地理解和基准测试Transformers和CNN的鲁棒性。代码和模型可在https://github.com/ytongbai/ViTs-vs-CNNs上公开获取。
2021-11-10 cs.CV
Fast Class-wise Updating for Online Hashing
Xiamen University（厦门大学）；Beihang University（北京航空航天大学）；Tencent（腾讯）；Peking University（北京大学）；The University of Sydney（悉尼大学）
在线图像散列技术以流的方式处理大规模数据，实时更新散列函数，近年来受到越来越多的研究关注。为此，大多数现有的作品在监督设置下利用这个问题，即，使用类标签来提高散列性能，这在自适应性和效率方面都存在缺陷：首先，需要大量的训练批次来学习最新的散列函数，这导致在线自适应性差。第二，培训是耗时的，这与在线学习的核心需求相矛盾。在本文中，一种新的监督在线哈希方案，称为快速类明智更新在线哈希（FCOH），提出了一种新的和有效的内积操作，以解决上述两个挑战。为了实现快速的在线自适应性，开发了一种类更新方法来分解二进制代码学习，并以类方式交替更新哈希函数，这很好地解决了大量训练批次的负担。从数量上来说，这样的分解进一步导致至少75%的存储节省。为了进一步实现在线效率，我们提出了一种半松弛优化，它通过独立处理不同的二进制约束来加速在线训练。在没有附加约束和变量的情况下，时间复杂度显著降低。这样的计划也定量显示，在更新散列函数，以保持过去的信息。我们已经定量地证明了，与各种最先进的方法相比，类更新和半松弛优化的集体努力提供了优越的性能，这是通过对三个广泛使用的数据集进行广泛的实验来验证的。
2020-12-01 cs.CV cs.IR
Ordinal Constrained Binary Code Learning for Nearest Neighbor Search
Tencent Technology (Shanghai) Co.,Ltd（腾讯科技（上海）有限公司）；Xiamen University（厦门大学）
近年来，二进制代码学习受到了广泛的关注。哈希，用于最近邻搜索问题。已经看到，可以将高维数据点量化为二进制代码，以通过汉明距离给出有效的相似性近似。在现有的方案中，基于排序的哈希是最近有前途的，其目标是在汉明空间中保持排序的顺序关系，以最小化检索损失。然而，表示有序关系的排序元组的大小是训练样本大小的二次或三次。通过给定大规模的训练数据集，在二进制代码学习中嵌入这样的排序元组是非常昂贵的。此外，它仍然是一个困难，以有效地建立排名元组的大多数排名保持哈希，这是部署在一个有序图为基础的设置。为了解决这些问题，我们提出了一种新的排名保持哈希方法，称为有序约束哈希（OCH），它有效地学习最佳哈希函数与基于图的近似嵌入顺序关系。其核心思想是通过序约束投影来缩小序图的大小，通过小数据集（例如集群或随机样本）来保留序关系。特别是，为了有效地学习此类哈希函数，我们进一步放宽了离散约束，并设计了特定的随机梯度下降算法进行优化。在LabelMe、Tiny100K和GIST1M三个大规模视觉搜索基准数据集上的实验结果表明，所提出的OCH方法可以获得优于现有方法的性能.
2016-11-19 cs.CV
Evaluating Post-Training Compression in GANs using Locality-Sensitive Hashing
Hasso Plattner Institute（哈索·普拉特纳研究所）
生成对抗网络（GANs）在训练后的压缩效果分析，即没有任何微调，仍然是一个未研究的，尽管重要的主题，随着其计算和内存需求的增加趋势。虽然现有的工作讨论了在训练过程中压缩GANs的困难，需要考虑到GANs训练的不稳定性而设计的新方法，但我们表明，现有的压缩方法（即裁剪和量化）可以直接应用于压缩GANs后训练，而无需任何额外的更改。高压缩级别可能会扭曲生成的集合，可能导致离群值的增加，这可能会对现有的基于k最近邻（KNN）的度量的整体评估产生负面影响。我们提出了两个新的精度和召回率指标的基础上，局部敏感的哈希（LSH），其中，在增加离群值的鲁棒性，降低评估的复杂性对$n$参考样本从$O(n)$到$O(\log(n))$，如果使用LSH和KNN，和$O(1)$，如果只应用LSH。我们发现，在多个数据集上对几个预训练的GANs进行低比特压缩会导致精度和召回率之间的权衡，在牺牲样本多样性的同时保留样本质量。
2021-03-22 cs.AI cs.CV cs.LG
Can Spatiotemporal 3D CNNs Retrace the History of 2D CNNs and ImageNet?
National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所（AIST））
本研究的目的是确定当前的视频数据集是否有足够的数据来训练具有时空三维（3D）内核的非常深的卷积神经网络（CNN）。最近，3D CNN在动作识别领域的性能水平有了显著提高。然而，到目前为止，传统的研究只探索了相对较浅的3D架构。我们在当前视频数据集上检查了各种3D CNN的架构，从相对较浅到非常深。基于这些实验的结果，可以得到以下结论：（i）ResNet-18训练导致UCF-101、HMDB-51和ActivityNet的显著过拟合，但对Kinetics没有。(ii)Kinetics数据集有足够的数据来训练深度3D CNN，并且可以训练多达152个ResNets层，有趣的是类似于ImageNet上的2D ResNets。ResNeXt-101在Kinetics测试集上达到了78.4%的平均准确度。(iii)Kinetics预训练的简单3D架构优于复杂的2D架构，预训练的ResNeXt-101在UCF-101和HMDB-51上分别达到了94.5%和70.2%。使用在ImageNet上训练的2D CNN在图像的各种任务中取得了重大进展。我们相信，将深度3D CNN与Kinetics一起使用将追溯2D CNN和ImageNet的成功历史，并刺激视频计算机视觉的进步。本研究中使用的代码和预训练模型是公开的。https://github.com/kenshohara/3D-ResNets-Py…
2018-04-02 cs.CV
Noise-Tolerant Paradigm for Training Face Recognition CNNs
Beijing University of Chemical Technology（北京化工大学）；Yunshitu Corporation（云视途公司）
得益于大规模训练数据集，深度卷积神经网络（CNN）在人脸识别（FR）方面取得了令人印象深刻的结果。然而，巨大规模的数据集不可避免地导致噪声数据，这明显降低了训练的CNN模型的性能。从大规模FR数据集中踢出错误的标签仍然非常昂贵，尽管提出了一些清理方法。通过对基于角间隔损失（angular margin based loss，AM-Loss）函数监督下的CNN模型训练全过程的分析，发现训练样本的$θ$分布隐含地反映了其干净的概率。因此，我们提出了一种新的训练范式，采用基于上述概率的加权样本的想法。在没有任何噪声先验知识的情况下，我们可以用大规模FR数据集训练高性能的CNN模型。实验证明了我们的训练范式的有效性。这些代码可在https://github.com/huangyangyu/NoiseFace上获得。
2019-03-26 cs.CV
Discriminative Cross-View Binary Representation Learning
University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；Department of Electrical Engineering and Computer Science（电气工程与计算机科学系）
对于大规模多媒体数据，学习紧凑表示是至关重要的，也是一个挑战。随着多媒体内容的可用性呈指数级增长，用于有效二进制表示学习的跨视图/跨模态散列得到了极大的关注。大多数现有的跨视图哈希算法强调的是各个视图之间的相似性，然后通过跨视图的相似性连接。在这项工作中，我们专注于从不同的视图中的歧视性信息的开发，并提出了一个端到端的方法来学习语义保持和歧视性的二进制表示，被称为歧视性跨视图哈希（DCVH），在学习多任务二进制表示的各种任务，包括跨视图检索，图像到图像检索，图像注释/标记。拟议的DCVH具有以下关键组成部分。首先，它使用基于卷积神经网络（CNN）的非线性哈希函数和多标签分类的图像和文本同时。这种散列函数通过使用直接二进制嵌入（DBE）层在训练期间实现有效的连续松弛，而没有显式量化损失。其次，我们提出了一种有效的视图对齐通过汉明距离最小化，这是有效地完成逐位异或操作。在两个图像-文本基准数据集上的大量实验表明，DCVH优于最先进的跨视图哈希算法以及单视图图像哈希算法。此外，DCVH可以为图像注释/标记提供有竞争力的性能。
2018-04-04 cs.CV
Background Invariant Classification on Infrared Imagery by Data Efficient Training and Reducing Bias in CNNs
CRCV lab（CRCV实验室）
尽管卷积神经网络可以非常准确地对图像中的对象进行分类，但众所周知，网络的注意力可能并不总是在场景的语义重要区域上。已经观察到，网络经常学习与感兴趣的对象不相关的背景纹理。反过来，这使得网络容易受到背景的变化和变化的影响，这对它们的性能产生了负面影响。我们提出了一个新的两步训练过程，称为分割训练，以减少CNN在红外图像和RGB数据上的这种偏差。我们的分裂训练过程有两个步骤：首先使用MSE损失训练具有背景的图像上的网络层，以匹配使用无背景图像训练的同一网络的激活;然后在这些层冻结的情况下，使用交叉熵损失训练网络的其余部分以分类对象。我们的训练方法在简单的CNN架构和使用大量硬件资源的深度CNN（如VGG和Densenet）中优于传统的训练过程，并学习模仿人类视觉，其更关注形状和结构而不是更高精度的背景。
2022-02-09 cs.CV
Deep Semantic Hashing with Generative Adversarial Networks
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
散列是一种广泛采用的最近邻搜索技术，在大规模的图像检索任务。最近的研究表明，利用监督信息可以产生高质量的哈希。然而，注释数据的成本通常是将监督哈希应用于新领域时的一个障碍。此外，由于训练和测试阶段的数据可能来自相似但不同的分布，因此结果可能会受到鲁棒性问题的影响。本文研究了通过半监督生成对抗网络（GANs）生成合成数据的探索，该网络利用大量未标记和有限的标记训练数据来生成具有内在不变性和全局一致性的高度引人注目的数据，以更好地理解自然数据的统计结构。我们证明，上述两个限制可以很好地缓解应用的合成数据的哈希。具体而言，提出了一种新的深度语义哈希与GANs（DSH-GANs），它主要由四个组件组成：用于学习图像表示的深度卷积神经网络（CNN），用于区分合成图像和真实图像的对手流，用于将图像表示编码为哈希码的哈希流和分类流。整个架构通过联合优化三个损失来进行端到端的训练，即，对抗性损失以校正每个样本的合成或真实的标签，三元组排序损失以保持输入真实合成三元组中的相对相似性排序，以及分类损失以准确地分类每个样本。在CIFAR-10和NUS-WIDE图像基准上进行的大量实验验证了利用合成图像进行哈希的能力。与最先进的深度哈希模型相比，我们的框架也取得了优异的结果。
2018-04-23 cs.CV cs.IR
Models Matter, So Does Training: An Empirical Study of CNNs for Optical Flow Estimation
NVIDIA（英伟达）
我们研究了用于光流估计的CNN的两个关键且密切相关的方面：模型和训练。首先，我们设计了一个紧凑但有效的CNN模型，称为PWC-Net，根据简单而完善的原则：金字塔处理，扭曲和成本体积处理。PWC-Net的大小是FlowNet 2模型的17倍，推理速度是FlowNet 2模型的2倍，在Sintel final上的准确率比FlowNet 2模型高11%。它是鲁棒视觉挑战赛光流竞赛的优胜作品。接下来，我们通过实验分析我们的性能增益的来源。特别是，我们使用PWC-Net的相同训练过程来重新训练FlowNetC，FlowNet 2的子网络。重新训练的FlowNetC在Sintel final上比先前训练的模型准确56%，甚至比FlowNet 2模型准确5%。我们进一步改进了训练过程，并将PWC-Net在Sintel上的准确率提高了10%，在KITTI 2012和2015上提高了20%。我们新训练的模型参数和训练协议将在https://github.com/NVlabs/PWC-Net上提供
2018-09-14 cs.CV
What's Mine is Yours: Pretrained CNNs for Limited Training Sonar ATR
Pennsylvania State University（宾夕法尼亚州立大学）；U. S. Naval Research Laboratory（美国海军研究实验室）
在声纳图像中寻找水雷是一个重要问题，与航海军事和商业活动有很大关系。遗憾的是，由于缺乏大量的声纳图像数据集，自动目标识别（ATR）算法无法获得其他计算机视觉领域的一些相同进展。也就是说，卷积神经网络（CNN）的繁荣能够实现令人难以置信的结果-甚至超过人类演员-对于Sonar ATR的许多从业者来说并不是一条容易可行的路线。我们展示了将CNN纳入Sonar ATR的一种途径的力量：迁移学习。我们首先展示了一个简单，灵活的CNN特征提取策略可以用来获得令人印象深刻的，如果不是最先进的结果。其次，我们提出了一种方法，利用强大的迁移学习方法对多实例目标检测和识别内提供的合成孔径声纳数据集。
2017-06-29 cs.CV
Unsupervised Rank-Preserving Hashing for Large-Scale Image Retrieval
Columbia University（哥伦比亚大学）；University of Southern California（南加利福尼亚大学）
我们提出了一种无监督哈希方法，其目的是产生二进制代码，保持由实值表示引起的排名。这种紧凑的哈希码能够完全消除实值特征存储，并允许大规模图像检索应用的计算复杂度和存储成本的显着降低。具体来说，我们学习了一个基于神经网络的模型，它将输入表示转换为二进制表示。我们以一种直观有效的方式形式化了网络的训练目标，将每个训练样本视为一个查询，并旨在使用产生的哈希码获得与原始特征相同的检索结果。这种训练公式直接优化散列模型，以实现其产生的散列代码的目标用途。我们进一步探讨了增加一个解码器训练，以获得原始特征的近似重建。在测试时，我们只使用我们的哈希码，通过基于图的高效搜索过程检索最有希望的数据库样本，并使用重建的特征进行重新排序，因此根本不需要访问原始特征。在多个公开的大规模数据集上进行的实验表明，我们的方法始终优于所有比较先进的无监督哈希方法，并且重建过程可以有效地提高搜索精度，同时具有最小的恒定额外成本。
2019-03-04 cs.CV cs.IR cs.MM
Do Less and Achieve More: Training CNNs for Action Recognition Utilizing Action Images from the Web
Boston University（波士顿大学）；Disney Research（迪士尼研究院）
最近，已经尝试收集数百万个视频以训练CNN模型用于视频中的动作识别。然而，管理如此大规模的视频数据集需要大量的人力，并且在数百万个视频上训练CNN需要巨大的计算资源。相比之下，从网络上收集动作图像要容易得多，对图像进行训练需要的计算也要少得多。此外，标记的web图像往往包含区别性动作姿势，其突出视频的时间进展的区别性部分。我们探讨的问题，我们是否可以利用网络动作图像训练更好的CNN模型的动作识别视频。我们从网络上收集了23.8K手动过滤的图像，这些图像描述了UCF 101动作视频数据集中的101个动作。我们表明，通过在训练中利用网络动作图像和视频，可以实现CNN模型的显着性能提升。然后，我们通过利用UCF101和ActivityNet的抓取Web图像（未过滤）来研究该过程的可扩展性。我们将1620万视频帧替换为393K未经过滤的图像，并获得相当的性能。
2015-12-22 cs.CV
Auxiliary Image Regularization for Deep CNNs with Noisy Labels
University of California, Berkeley（加州大学伯克利分校）；National University of Singapore（新加坡国立大学）；Massachusetts Institute of Technology（麻省理工学院）
具有足够数量样本的精确标记的数据集对于训练深度卷积神经网络（CNN）非常重要。然而，许多可用的真实世界数据集包含错误标记的样本，这些错误极大地阻碍了非常准确的CNN模型的学习。在这项工作中，我们考虑训练一个深度CNN模型的问题，用于带有错误标记的训练样本的图像分类-这是一个在带有业余用户提供的标签的真实图像数据集中很常见的问题。为了解决这个问题，我们提出了一种辅助图像正则化技术，通过随机交替方向乘法（ADMM）算法进行优化，自动利用训练图像之间的相互上下文信息，并鼓励模型选择可靠的图像来增强学习过程。在基准数据集上的综合实验清楚地表明，我们提出的正则化CNN模型能够抵抗训练数据中的标签噪声。
2016-03-02 cs.CV
CE-Dedup: Cost-Effective Convolutional Neural Nets Training based on Image Deduplication
McGill University（麦吉尔大学）
由于越来越多的大型图像数据集，卷积神经网络（CNN）已成为流行的基于视觉的任务。通常，拥有更大规模的数据集以获得更高的网络训练精度是令人钦佩的。然而，数据集质量的影响并不涉及。假设数据集中存在近似重复的图像是合理的。例如，街景门牌号（SVHN）数据集具有从0到9的裁剪门牌数字，可能具有来自相同/相似门牌的重复数字。冗余图像可能会在没有意识的情况下占据数据集的某一部分。虽然对CNN训练的准确性几乎没有贡献，但这些重复的图像不必要地造成额外的资源和计算消耗。为此，本文提出了一个框架来评估近似重复图像对CNN训练性能的影响，称为CE-Dedup。具体而言，CE-Dedup将基于散列的图像去重方法与下游基于CNN的图像分类任务相关联。CE-Dedup通过调整重复数据删除阈值来平衡大重复数据删除率和稳定准确性之间的权衡。CE-Dedup的有效性通过在知名的CNN基准上的大量实验进行了验证。一方面，在保持相同的验证精度的同时，CE-Dedup可以将数据集大小减少23%。另一方面，当允许较小的验证精度下降（5%）时，CE-Dedup可以将数据集大小削减75%。
2021-08-23 cs.CV
Convolutional Hashing for Automated Scene Matching
Castle Global, Inc.
我们提出了一个强大的新的损失函数和训练计划学习二进制哈希函数。特别是，我们证明了我们的方法，首次创建一个神经网络，优于国家的最先进的Haar小波和颜色布局描述符在自动场景匹配的任务。通过准确地将网络输出流形上的距离与汉明空间中的距离相关联，我们实现了非平凡假阳性率降低100倍，真阳性率显着提高。我们希望我们的见解为应用于其他信息检索哈希任务的哈希模型提供巨大的胜利。
2018-02-09 cs.CV cs.IR stat.ML
Object Detection Using Deep CNNs Trained on Synthetic Images
Indian Institute of Technology Gandhinagar（印度理工学院甘地讷格尔分校）；Innit Inc.（Innit公司）
训练卷积神经网络（CNN）需要大的带注释的图像数据集，这一直是它们在计算机视觉应用中采用的重大障碍。我们表明，通过迁移学习，有效的对象检测器几乎可以完全在合成渲染的数据集上进行训练。我们将此策略应用于检测聚集在冰箱场景中的包装食品。我们的CNN只训练了4000张合成图像，在测试集上实现了24的平均精度（mAP），其中55个不同的产品作为感兴趣的对象和17个干扰对象。通过仅将400个真实图像添加到训练集中的这4000个合成图像中，获得了mAP的进一步增加12%。合成图像中的高度照片写实主义对于实现这种性能并不是必不可少的。我们分析了训练数据集大小和三维模型字典大小等因素对检测性能的影响。此外，训练策略，如微调与选定的层和早期停止，影响迁移学习从合成场景到真实场景的探索。使用合成数据集训练CNN是高性能计算的一种新应用，也是缺乏大型注释图像数据的领域中目标检测应用的一种有前途的方法。
2017-09-18 cs.CV
Dual Asymmetric Deep Hashing Learning
Hong Kong Polytechnic University（香港理工大学）；University of Macau（澳门大学）；Harbin Institute of Technology Shenzhen Graduate School（哈尔滨工业大学深圳研究生院）
由于令人印象深刻的学习能力，深度学习在监督哈希函数学习中取得了令人瞩目的表现。在本文中，我们提出了一种新的非对称监督深度哈希方法，以保持不同类别之间的语义结构，并同时生成二进制代码。具体而言，构建两个非对称深度网络，以根据其语义标签揭示每对图像之间的相似性。然后，通过最小化学习的特征和离散代码之间的差距，通过两个网络学习深度哈希函数。此外，由于Hamming空间中的二进制码也应该保持原空间中存在的语义相似性，因此引入了另一种非对称成对损失来捕获二进制码与实值特征之间的相似性。这种非对称损失不仅提高了检索性能，而且有助于在训练阶段快速收敛。利用两流深度结构和两类非对称成对函数，设计了一种交替算法，有效地优化深度特征和高质量二进制码。三个真实世界的数据集上的实验结果证实了我们的方法的有效性和优越性相比，国家的最先进的。
2018-01-25 cs.CV
Deep Asymmetric Hashing with Dual Semantic Regression and Class Structure Quantization
Shenzhen University（深圳大学）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）；Tianjin University（天津大学）；Australian National University（澳大利亚国立大学）
近年来，深度哈希算法在图像检索中得到了广泛的应用。大多数现有的深度哈希方法采用一对一量化来减少信息损失。然而，这种类无关的量化不能为网络训练提供有区别的反馈。此外，这些方法仅利用单个标签来整合数据的监督信息进行哈希函数学习，由于完全忽略了数据的类间信息，可能导致网络泛化性能较差，哈希码质量相对较低。在本文中，我们提出了一个双重语义非对称哈希（DSAH）方法，它产生歧视性的哈希码下的三重约束。首先，DSAH利用类优先进行类结构量化，从而在量化过程中传递类信息。其次，设计了一种简单有效的标签机制来表征数据的类内紧致性和类间可分性，从而实现语义敏感的二进制代码学习。最后，设计了一个有意义的成对相似性保持损失，以最小化类相关的网络输出之间的距离的基础上的亲和图。有了这三个主要组成部分，就可以通过网络生成高质量的哈希码。在各种数据集上进行的大量实验证明了DSAH与最先进的深度哈希方法相比的优越性。
2021-12-23 cs.CV cs.IR
Image Hashing via Cross-View Code Alignment in the Age of Foundation Models
INRIA（法国国家信息与自动化研究所）；LIRMM（蒙彼利埃计算机科学、机器人及微电子实验室）；INA（法国国家视听研究所）；CIRAD（法国农业研究发展国际合作中心）；AMAP（植物建模与生态学联合实验室）
本文提出CroVCA方法，通过统一的二进制交叉熵损失和编码率最大化正则化，在少量训练轮次内实现高效图像哈希，适用于多种视觉检索任务。
2026-04-04 cs.CV cs.IR cs.LG
One Loss for All: Deep Hashing with a Single Cosine Similarity based Learning Objective
Universiti Malaya（马来亚大学）；University of Surrey（萨里大学）；Geek+（极智嘉）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（科大讯飞-萨里人工智能联合研究中心）
深度哈希模型通常有两个主要的学习目标：使学习的二进制哈希码具有区分性和最小化量化误差。在诸如比特平衡和码正交性的进一步约束的情况下，现有模型采用大量（>4）损耗并不罕见。这导致模型培训的困难，并随后阻碍其有效性。在这项工作中，我们提出了一种新的深度哈希模型，只有一个学习目标。具体来说，我们表明，最大限度地提高连续码和相应的二进制正交码之间的余弦相似性，可以确保散列码的鉴别力和量化误差最小化。此外，利用该学习目标，可以通过简单地使用批量归一化（BN）层来实现代码平衡，并且多标签分类也可以直接使用标签平滑。其结果是一个单损失深度哈希模型，消除了调整各种损失权重的所有麻烦。重要的是，大量的实验表明，我们的模型是非常有效的，在三个大规模的实例检索基准测试中，性能优于最先进的多损失哈希模型，通常是显著的利润率。代码可在https://github.com/kamwoh/orthohash上获得
2021-09-29 cs.CV cs.LG
Learning to Hash Naturally Sorts
Nanjing University of Science and Technology（南京理工大学）；University of Oxford（牛津大学）；eBay（易贝）
学习散列图片列表排序问题。其测试指标，例如，平均-平均精度，对按成对代码相似性排序的排序候选列表进行计数。然而，由于排序操作的不可微性质，几乎没有人训练具有端到端排序结果的深度散列模型。训练和测试目标的这种不一致可能导致次优性能，因为训练损失通常不能反映实际的检索度量。在本文中，我们通过引入自然排序哈希（NSH）来解决这个问题。我们对样本的哈希码的汉明距离进行排序，并相应地收集它们的潜在表示进行自监督训练。由于可微排序近似的最新进展，散列头从排序器接收梯度，使得散列编码器可以与训练过程一起优化。此外，我们描述了一种新的排序噪声对比估计（SortedNCE）损失，选择性地挑选积极和消极的样本进行对比学习，这使得NSH能够在训练过程中以无监督的方式挖掘数据语义关系。我们广泛的实验表明，所提出的NSH模型显着优于现有的无监督哈希方法在三个基准数据集。
2022-04-21 cs.CV cs.LG
Interspace Pruning: Using Adaptive Filter Representations to Improve Training of Sparse CNNs
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Lübeck（吕贝克大学）
非结构化修剪非常适合在训练和推理时减少卷积神经网络（CNN）的内存占用。CNN包含排列在$K \times K$滤波器中的参数。标准的非结构化修剪（SP）通过将过滤器元素设置为零来减少CNN的内存占用，从而指定约束过滤器的固定子空间。特别是如果在训练之前或训练期间应用修剪，这会导致强烈的偏差。为了克服这一点，我们引入空间修剪（IP），一个通用的工具，以改善现有的修剪方法。它使用的滤波器表示在一个动态的空间由一个基本的自适应滤波器基础（FB）的线性组合。对于IP，FB系数被设置为零，而未修剪的系数和FB被联合训练。在这项工作中，我们提供了数学证据IP的优越性能，并证明IP优于SP所有测试的最先进的非结构化修剪方法。特别是在具有挑战性的情况下，例如ImageNet的修剪或修剪到高稀疏性，IP大大超过SP，具有相同的运行时间和参数成本。最后，我们表明，IP的进步是由于改进的可训练性和优越的泛化能力。
2022-03-15 cs.CV cs.LG
Detecting GAN-generated Images by Orthogonal Training of Multiple CNNs
Politecnico di Milano（米兰理工大学）
在过去的几年里，我们见证了一系列深度学习方法的兴起，这些方法可以生成看起来非常逼真的合成图像。这些技术证明在电影业和艺术目的中是有用的。然而，如果被用来传播假新闻或生成虚假在线账户，它们也被证明是危险的。为此，检测图像是实际照片还是合成生成的图像正变得迫切需要。提出了一种基于卷积神经网络集成的合成图像检测器。我们考虑的问题，检测的图像生成的技术在训练时不可用。这是一个常见的场景，因为新的图像生成器发布得越来越频繁。为了解决这个问题，我们利用了两个主要思想：（i）CNN应该提供正交结果，以更好地为集成做出贡献;（ii）原始图像比合成图像定义得更好，因此在测试时应该更信任它们。实验表明，追求这两个想法可以提高NVIDIA新生成的StyleGAN 3图像的检测精度，这些图像从未用于训练。
2022-03-04 cs.AI cs.CV
Pixel to Binary Embedding Towards Robustness for CNNs
The University of Tokyo（东京大学）
卷积神经网络（CNN）的鲁棒性存在几个问题。例如，可以通过向输入添加小幅度的噪声来改变CNN的预测，并且当输入的分布被训练期间从未见过的变换（例如，模糊效果）。有一些方法可以用二进制嵌入代替像素值来解决对抗性扰动的问题，这成功地提高了鲁棒性。在这项工作中，我们提出了像素到二进制嵌入（P2BE）来提高CNN的鲁棒性。P2BE是一种可学习的二进制嵌入方法，与以前的手工编码二进制嵌入方法相反。P2BE在对抗对抗性扰动和视觉破坏的鲁棒性方面优于其他二进制嵌入方法，这些扰动和视觉破坏在训练过程中没有显示出来。
2022-06-13 cs.CV cs.LG
Temporal Stochastic Softmax for 3D CNNs: An Application in Facial Expression Recognition
École de technologie supérieure（高等技术学院）；Concordia University（康考迪亚大学）
训练深度学习模型以准确地时空识别视频中的面部表情需要大量的计算资源。出于实际原因，3D卷积神经网络（3D CNN）通常使用从视频中随机提取的相对较短的剪辑进行训练。然而，这样的均匀采样通常是次优的，因为相等的重要性被分配给每个时间剪辑。在本文中，我们提出了一种基于视频的3D CNN有效训练策略。它依赖于softmax时间池和加权采样机制来选择最相关的训练片段。所提出的softmax策略提供了几个优点：由于有效的剪辑采样而降低了计算复杂性，并且由于时间加权在训练和推理期间都集中于更相关的剪辑而提高了准确性。在几个面部表情识别基准上使用所提出的方法获得的实验结果显示了在训练视频中关注更多信息片段的好处。特别是，我们的方法提高了性能和计算成本，减少不准确的修剪和粗略的视频注释的影响，以及视觉信息在不同时间的异构分布。
2020-11-10 cs.CV cs.LG
Auto-JacoBin: Auto-encoder Jacobian Binary Hashing
University of Otago（奥塔哥大学）
二进制码可以用来加速大规模数据集中的最近邻搜索任务，因为它们对于存储和检索都是有效的。在本文中，我们提出了一个强大的自动编码器模型，保持了汉明空间中的高维数据集的几何关系。这是通过考虑训练数据点所在的流形周围的区域中的噪声去除函数来完成的。该函数的定义具有将流形附近的数据点聪明地投影到流形上的性质，并且我们用它的一阶近似来逼近该函数。实验结果表明，该方法在三个大规模高维数据集上取得了优于现有方法的结果。
2016-03-01 cs.CV cs.LG
Fast Training of Deep Networks with One-Class CNNs
Institute of Technology, University of Kashmir（克什米尔大学技术学院）
单类CNN在新颖性检测方面表现出了希望。然而，很少的工作已经做了扩展到多类分类。拟议的办法是朝着这一方向作出的可行努力。它使用一类CNN，即，它为每个类训练一个CNN，用于多类分类。这种单类CNN的集合用于多类分类。该方法的好处通常是更好的识别准确性，同时只需传统多类深度网络的几乎一半或三分之二的训练时间。该方法已成功应用于人脸识别和物体识别任务。对于人脸识别，一个1000帧的RGB视频，具有许多面孔在一起，已被用于所提出的方法的基准。其数据库可通过电子邮件索取。对于物体识别，还使用了Caltech-101图像数据库和17 Flowers数据集。实验结果支持所提出的主张。
2020-07-22 cs.CV cs.LG eess.IV
Controlled-rearing studies of newborn chicks and deep neural networks
Indiana University（印第安纳大学）
卷积神经网络（CNN）现在可以在具有挑战性的对象识别任务中实现人类水平的性能。在预测视觉识别任务中的神经和行为反应方面，CNN也是领先的定量模型。然而，对CNN模型有一个被广泛接受的批评：与学习速度快、效率高的新生动物不同，CNN被认为是“数据饥渴型”的，需要大量的训练数据来开发用于对象识别的准确模型。这一批评挑战了将CNN用作视觉发育模型的承诺。在这里，我们通过对新生小鸡和CNN进行平行的控制饲养实验，直接研究了CNN是否比新生动物更渴望数据。我们在严格控制的视觉环境中饲养新生小鸡，然后通过在视频游戏引擎中构建虚拟动物室来模拟该环境中可用的训练数据。我们记录了通过虚拟室移动的代理获得的视觉图像，并使用这些图像来训练CNN。当CNN接收到与小鸡相似的视觉训练数据时，CNN成功地解决了与小鸡相同的具有挑战性的视图不变对象识别任务。因此，CNN并不比动物更需要数据：CNN和小鸡都成功地从单个对象的训练数据中开发出了强大的对象模型。
2021-12-12 cs.AI cs.CV q-bio.NC
Recursive Least Squares for Training and Pruning Convolutional Neural Networks
Hainan University（海南大学）
卷积神经网络（CNN）在许多实际应用中取得了成功。然而，它们的高计算和存储要求通常使它们难以部署在资源受限的设备上。为了解决这个问题，已经提出了许多针对CNN的剪枝算法，但大多数都不能将CNN修剪到合理的水平。在本文中，我们提出了一种新的算法训练和修剪CNN的基础上递归最小二乘（RLS）优化。在训练CNN一些时期后，我们的算法结合逆输入自相关矩阵和权重矩阵来逐层评估和修剪不重要的输入通道或节点。然后，我们的算法将继续训练修剪后的网络，并不会做下一个修剪，直到修剪后的网络恢复旧网络的全部性能。除了CNN，该算法可以用于前馈神经网络（FNN）。在MNIST、CIFAR-10和SVHN数据集上的实验结果表明，该算法能够实现更合理的剪枝，并且具有更高的学习效率。
2022-01-13 cs.CV cs.LG
Integrating Spatial Configuration into Heatmap Regression Based CNNs for Landmark Localization
Graz University of Technology（格拉茨工业大学）；Ludwig Boltzmann Institute for Clinical Forensic Imaging（路德维希·玻尔兹曼临床法医成像研究所）
在许多医学图像分析应用中，通常只有有限的训练数据可用，这使得卷积神经网络（CNN）的训练具有挑战性。在这项关于解剖标志定位的工作中，我们提出了一种CNN架构，该架构可以学习将定位任务分为两个更简单的子问题，从而减少对大型训练数据集的需求。我们的全卷积空间预测网络（SCN）将一个组件专用于局部准确但模糊的候选预测，而另一个组件通过结合地标的空间配置来提高对模糊性的鲁棒性。在我们的实验评估中，我们表明，所提出的SCN优于相关方法的地标定位误差的大小有限的数据集。
2019-08-02 cs.CV eess.IV
