Closed-loop Analysis of Vision-based Autonomous Systems: A Case Study
KBR(KBR公司);NASA Ames(美国国家航空航天局艾姆斯研究中心);Carnegie Mellon University(卡内基梅隆大学);University of York(约克大学);Boeing Research and Technology(波音研究与技术部)
深度神经网络(DNN)越来越多地用于安全关键型自主系统中,作为处理高维图像数据的感知组件。由于感知DNN、传感器(摄像机)和环境条件的复杂性,这些系统的形式化分析特别具有挑战性。我们提出了一个案例研究,应用正式的概率分析技术的实验自主系统,引导飞机滑行道上使用的感知DNN。我们通过用一个紧凑的概率抽象来替换摄像头和网络来解决上述挑战,该抽象是从DNN在代表性图像数据集上计算的混淆矩阵中构建的。我们还展示了如何利用本地的、特定于DNN的分析作为运行时保护,以提高整个系统的安全性。我们的发现适用于其他使用复杂DNN进行感知的自治系统。
2023-02-06 cs.AI cs.CV cs.FL
Bayesian Data Augmentation for DNN Retraining with Binomial Outcomes in Vision-Based UAV Landing
Tennessee Technological University(田纳西理工大学)
针对GPS拒止环境下视觉无人机着陆,提出贝叶斯数据增强框架集成高保真模拟器,迭代重训练停机坪检测DNN,以最大化着陆性能为目标,实验验证了改进的着陆性能和更紧的置信区间。
2026-10-06 cs.CV cs.RO
Human perception in computer vision
Weizmann Institute of Science(魏茨曼科学研究学院)
计算机视觉近年来取得了显著的进展。深度神经网络(DNN)模型经过优化,可以识别图像中的对象,表现出前所未有的任务训练准确性,并且具有一定的泛化能力:新的视觉问题现在可以更容易地基于以前的学习来解决。生物视觉(在生活中和通过进化学习)也是准确和通用的。有没有可能这些不同的学习机制收敛到类似的问题相关的优化计算?因此,我们询问人类系统级的视觉感知计算是否具有DNN相关性,并考虑了几个轶事测试案例。我们发现,对图像变化的感知敏感度具有DNN中间计算相关性,而对分割,拥挤和形状的敏感度具有DNN最终计算相关性。我们的研究结果量化了使用DNN计算来估计感知损失的适用性,并且与人类感知特性是独立于建筑的视觉学习的结果这一迷人的理论观点一致。
2017-01-17 cs.CV q-bio.NC
AutoEmbedder: A semi-supervised DNN embedding system for clustering
Bangladesh University of Business & Technology(孟加拉国商业与技术大学);King Abdulaziz University(阿卜杜勒阿齐兹国王大学)
聚类是处理无标记数据的无监督学习方法中广泛使用的一种。深度集群已成为一个流行的研究领域,它将集群与深度神经网络(DNN)架构联系起来。深度聚类方法对高维数据进行下采样,这也可能与聚类损失有关。深度聚类也被引入到半监督学习(SSL)中。大多数SSL方法依赖于成对约束信息,这是一个矩阵,包含数据对是否可以在同一个集群中的知识。本文介绍了一种新的嵌入系统AutoEmbedder,下采样高维数据的聚类嵌入点。据我们所知,这是第一个与传统分类器DNN架构相关的研究工作,具有成对损失减少技术。训练过程是半监督的,并使用Siamese网络架构来计算特征学习阶段的成对约束损失。AutoEmbedder优于大多数现有的基于DNN的半监督方法,这些方法在著名的数据集上进行了测试。
2020-07-11 cs.CV cs.LG stat.ML
Learned JPEG Compression for DNN Vision
University of Waterloo(滑铁卢大学)
提出J4D框架,通过可微分JPEG编解码器和信息论速率估计,优化JPEG编码参数以在低压缩率下提升DNN推理性能,实验显示在相同精度下压缩率降低高达80.05%。
2026-06-16 cs.CV
Auto Graph Encoder-Decoder for Neural Network Pruning
Iowa State University(爱荷华州立大学);Technical University of Darmstadt(达姆施塔特工业大学)
模型压缩旨在将深度神经网络(DNN)部署在计算和存储资源有限的移动设备上。然而,大多数现有的模型压缩方法依赖于手动定义的规则,这需要领域的专业知识。DNN本质上是计算图,包含丰富的结构信息。在本文中,我们的目标是找到一个合适的压缩策略,从DNN的结构信息。提出了一种结合图神经网络(GNN)和强化学习(RL)的自动图编码器-解码器模型压缩(AGMC)方法。我们将目标DNN建模为图,并使用GNN自动学习DNN的嵌入。我们将该方法与基于规则的DNN嵌入模型压缩方法进行了比较,以证明该方法的有效性。结果表明,我们基于学习的DNN嵌入实现了更好的性能和更高的压缩比,搜索步骤更少。我们在过度参数化和移动友好的DNN上评估了我们的方法,并将我们的方法与手工制作和基于学习的模型压缩方法进行了比较。在过度参数化的DNN上,例如ResNet-56,我们的方法分别以$4.36\%$和$2.56\%$更高的准确性优于手工制作和基于学习的方法。此外,在MobileNet-v2上,我们实现了比最先进的方法更高的压缩比,仅损失了$0.93\%$精度。
2021-11-09 cs.CV
ASV: Accelerated Stereo Vision System
University of Rochester(罗切斯特大学);Arm Research(Arm研究院)
从立体视觉相机估计深度,即,“立体声的深度”对于部署在能量和性能受限设备中的新兴智能应用(例如增强现实耳机和移动自主机器人)至关重要。虽然现有的立体视觉系统的准确性,性能和能源效率之间的权衡,我们描述ASV,加速立体视觉系统,同时提高性能和能源效率,同时实现高精度。ASV的关键是利用立体视觉固有的独特特性,并在算法和计算上应用立体特定的优化。我们做了两个贡献。首先,我们提出了一种新的立体匹配算法,基于不变量的立体匹配(ISM),实现了显着的加速,同时保持高精度。该算法通过利用立体视觉系统特有的对应不变量,将经典的“手工制作”立体算法与深度神经网络(DNN)的最新发展相结合。其次,我们观察到ISM算法的瓶颈是DNN推理,特别是引入大量计算效率低下的反卷积操作。我们提出了一套软件优化,减轻这些效率低下。我们表明,在不到0.5%的硬件面积开销,这些算法和计算优化可以有效地集成在一个传统的DNN加速器。总的来说,与当今基于DNN的立体视觉系统相比,ASV实现了5倍的加速和85%的节能,精度损失为0.02%。
2019-11-15 cs.CV
Embedded Vision for Self-Driving on Forest Roads
RovisLab(机器人视觉与控制实验室)
罗马尼亚的森林道路是独特的自然野生动物景点,被无数游客用于娱乐。为了保护和维护这些道路,我们提出了RovisLab AMTU(自主移动测试单元),这是一个机器人系统,旨在自主导航越野地形,并检查是否有任何森林砍伐或损坏发生沿跟踪路线。AMTU的核心组件是其嵌入式视觉模块,针对实时环境感知进行了优化。为了实现高计算速度,我们使用学习系统来训练多任务深度神经网络(DNN),用于对象的场景和实例分割,而同时定位与地图构建所需的关键点使用手工制作的FAST特征检测器和Lucas-Kanade跟踪算法来计算。DNN和手工制作的主干都在NVIDIA AGX Xavier板的GPU上并行运行。我们展示了我们的研究设施的测试轨道上的实验结果。
2021-05-27 cs.AI cs.CV
[Extended version] Rethinking Deep Neural Network Ownership Verification: Embedding Passports to Defeat Ambiguity Attacks
WeBank(微众银行);University of Malaya(马来亚大学)
随着大量的时间、资源和人力(团队)努力投入到探索和开发成功的深度神经网络(DNN)中,迫切需要保护这些发明免受非法复制、重新分发或滥用,而不尊重合法所有者的知识产权。根据这方面的最新进展,我们研究了一些基于水印的DNN所有权验证方法,面对歧义攻击,其目的是通过伪造伪造水印来质疑所有权验证。结果表明,模糊攻击对现有的DNN水印方法构成严重威胁。作为对上述漏洞的补救,本文提出了新的基于护照的DNN所有权验证方案,该方案对网络修改具有鲁棒性,并且能够抵御歧义攻击。嵌入数字护照的要点是设计和训练DNN模型,使得原始任务的DNN推理性能将由于伪造护照而显著恶化。换句话说,真正的护照不仅通过寻找预定义的签名来验证,而且还通过不屈的DNN模型推理性能来重申。大量的实验结果证明了所提出的基于护照的DNN所有权验证方案的有效性。代码和模型可在https://github.com/kamwoh/DeepIPR上获得
2019-11-02 cs.CR cs.CV cs.LG
Verification of Size Invariance in DNN Activations using Concept Embeddings
Continental AG(大陆集团);University of Bamberg(班贝格大学)
深度神经网络(DNN)的好处已经成为医疗或自动驾驶等安全关键应用的兴趣所在。然而,在这里,对DNN内部表示的定量见解是强制性的。一种方法是概念分析,其目的是建立DNN的内部表示与直观语义概念之间的映射。这可以是子对象,如对行人检测的验证有价值的人体部位。据我们所知,概念分析尚未应用于大型物体检测器,特别是子部件。因此,这项工作首先提出了一个大大改进的版本的Net 2 Vec方法(arXiv:1801.03454)的事后分割的子对象。然后通过对三个标准网络的两个示例性评估在新概念数据集上证明了其实用性,包括较大的Mask R-CNN模型(arXiv:1703.06870):(1)身体部位相似性的一致性,以及(2)身体部位内部表示相对于所描绘的人的像素大小的不变性。研究结果表明,身体部位的表示大多是大小不变的,这可能表明早期的智能融合的信息在不同的大小类别。
2021-05-14 cs.CV cs.NE
LegoDNN: Block-grained Scaling of Deep Neural Networks for Mobile Vision
Beijing Institute of Technology(北京理工大学);Midea Group(美的集团);TU Delft(代尔夫特理工大学)
深度神经网络(DNN)已经成为移动和嵌入式系统中用于诸如图像/对象识别和分类的应用的普遍存在的技术。同时执行多个DNN的趋势加剧了满足资源受限的移动设备上的严格延迟/准确性要求的现有限制。现有技术揭示了通过根据资源动态缩放模型大小来探索准确性-资源权衡。然而,这样的模型缩放方法面临着迫在眉睫的挑战:(i)模型大小的大空间探索,以及(ii)不同模型组合的训练时间过长。在本文中,我们提出了LegoDNN,这是一种轻量级的块粒度扩展解决方案,用于在移动视觉系统中运行多DNN工作负载。LegoDNN通过只提取和训练DNN中的少量公共块(例如VGG中的5个和ResNet中的8个)来保证较短的模型训练时间。在运行时,LegoDNN最佳地结合了这些块的后代模型,以在特定资源和延迟约束下最大限度地提高准确性,同时通过DNN的智能块级缩放来减少切换开销。我们在TensorFlow Lite中实现了LegoDNN,并使用一组12个流行的DNN模型,针对最先进的技术(FLOP缩放,知识蒸馏和模型压缩)对其进行了广泛的评估。评估结果表明,LegoDNN在不增加训练时间的情况下,在模型大小上提供了1,296倍到279,936倍的选择,从而实现了高达31.74%的推理准确性提高和71.07%的缩放能耗降低。
2021-12-18 cs.CV
Deep Selector-JPEG: Adaptive JPEG Image Compression for Computer Vision in Image classification with Human Vision Criteria
University of Waterloo(滑铁卢大学)
由于存储/带宽资源有限,使用深度神经网络(DNN)的计算机视觉(CV)应用的输入图像通常使用针对人类视觉(HV)定制的JPEG进行编码。本文介绍了Deep Selector-JPEG,一种自适应JPEG压缩方法,其目标是图像分类,同时满足HV标准。对于每个图像,深度选择器-JPEG自适应地选择质量因子(QF)来压缩图像,使得可以在各种DNN分类器的一组图像上实现压缩比(CR)和DNN分类器准确度(速率-准确度性能)之间的良好折衷,同时这种压缩图像的MS-SSIM以高概率大于由HV预定的阈值。深度选择器-JPEG是通过轻量级或重量级选择器架构设计的。实验结果表明,与相同CR下的JPEG相比,Deep Selector-JPEG在所有测试的DNN分类器的ImageNet验证集上实现了更好的速率精度性能,在相同CR下的分类精度提高了0.2%到1%,同时满足HV约束。Deep Selector-JPEG也可以在更高的CR下粗略地提供原始分类精度。
2023-02-19 cs.CV cs.LG cs.MM
DeepCorrect: Correcting DNN models against Image Distortions
近年来,深度神经网络(DNN)的广泛使用促进了计算机视觉任务(如图像分类和对象识别)性能的极大提高。在大多数现实的计算机视觉应用中,输入图像在图像获取或传输期间经历某种形式的图像失真,诸如模糊和加性噪声。在原始图像上训练的深度网络在测试这种失真时表现不佳。在本文中,我们评估了高斯模糊和加性噪声等图像失真对预训练卷积滤波器激活的影响。我们提出了一个度量来识别最易受噪声影响的卷积滤波器,并按照校正后分类精度的最高增益对它们进行排名。在我们提出的称为DeepCorrect的方法中,我们在这些排名滤波器的输出端应用具有剩余连接的卷积层的小堆栈,并对它们进行训练,以纠正受最严重失真影响的滤波器激活,同时保持网络中其余的预训练滤波器输出不变。性能结果表明,将DeepCorrect模型应用于常见的视觉任务,如图像分类(ImageNet),对象识别(Caltech-101,Caltech-256)和场景分类(SUN-397),显着提高了DNN对失真图像的鲁棒性,并优于其他替代方法。
2019-04-09 cs.CV
Deep Collective Learning: Learning Optimal Inputs and Weights Jointly in Deep Neural Networks
State University of New York at Binghamton(纽约州立大学宾汉姆顿分校)
很好地观察到,在深度学习和计算机视觉文献中,视觉数据总是以手动设计的编码方案表示(例如,RGB图像被表示为每个通道从0到255的整数),当它们被输入到端到端深度神经网络(DNN)进行任何学习任务时。我们大胆地质疑手动设计的输入是否适合用于不同任务的DNN训练,并研究DNN的输入是否可以与学习DNN的权重一起进行端到端的最佳学习。在本文中,我们提出了{ \em深度集体学习}的范例,其目的是针对给定任务同时学习DNN的权重和DNN的输入。我们注意到,集体学习已经隐含但广泛地用于自然语言处理,而它几乎从未在计算机视觉中被研究过。因此,我们提出了查找视觉网络(Lookup-VNets)作为计算机视觉中深度集体学习的解决方案。这是通过将每个通道中的每个颜色与查找表中的矢量相关联来实现的。由于计算机视觉中的学习输入在现有文献中几乎从未被研究过,我们通过各种图像分类任务的实验来探索这个问题的几个方面。在四个基准数据集上的实验结果,CIFAR-10、CIFAR-100、Tiny ImageNet和ImageNet(ILSVRC 2012)已经展示了Lookup-VNets的几个令人惊讶的特性,并展示了Lookup-VNets和深度集体学习的优势和前景。
2020-09-17 cs.CV cs.LG stat.ML
Variational Deep Embedding: An Unsupervised and Generative Approach to Clustering
Beijing Institute of Technology(北京理工大学);Tencent AI Lab(腾讯AI实验室);Hulu LLC.(Hulu有限责任公司)
聚类是计算机视觉和机器学习中最基本的任务之一。在本文中,我们提出了变分深度嵌入(VaDE),变分自动编码器(VAE)的框架内的一种新的无监督生成聚类方法。具体而言,VaDE使用高斯混合模型(GMM)和深度神经网络(DNN)对数据生成过程进行建模:1)GMM挑选聚类; 2)从中生成潜在嵌入; 3)然后DNN将潜在嵌入解码为可观察量。VaDE中的推理是以变分的方式进行的:不同的DNN用于将可观察量编码为潜在嵌入,因此可以使用随机梯度变分贝叶斯(SGVB)估计器和重新参数化技巧来优化证据下限(ELBO)。本文包括与强基线的定量比较,实验结果表明,VaDE显着优于国家的最先进的聚类方法的4个基准从各种形式。此外,通过VaDE的生成性质,我们展示了其为任何指定的聚类生成高度真实的样本的能力,而无需在训练过程中使用监督信息。最后,VaDE是一个灵活和可扩展的无监督生成聚类框架,比GMM更通用的混合模型可以很容易地插入。
2017-06-28 cs.CV
Towards Vision Transformer Unrolling Fixed-Point Algorithm: a Case Study on Image Restoration
National University of Defense Technology(国防科技大学);National Innovation Institute of Defense Technology(国防科技创新研究院)
深度神经网络(DNN)的巨大成功激发了用于计算机视觉任务的基于DNN-FP(DNN-FP)的算法开发。通过时间反向传播或计算雅可比矩阵的不准确逆来训练的DNN-FP方法具有较差的表示能力。受Transformer的表示能力的启发,我们提出了一个框架来展开FP,并通过Transformer块近似每个展开的过程,称为FPformer。为了减少内存和计算的高消耗,我们提出了FPRformer,通过共享连续块之间的参数。我们进一步设计了一个将Anderson加速应用于FPRformer的模块,称为FPAformer,以扩大展开迭代次数,提高性能。为了充分发挥Transformer的能力,我们将所提出的模型应用到图像复原中,使用自监督预训练和监督微调。在预训练阶段使用了来自4类图像复原问题的161个任务。此后,预训练的FPformer、FPRformer和FPAformer将针对比较场景进行进一步微调。使用自我监督的预训练和监督微调,所提出的FPformer,FPRformer和FPAformer实现具有竞争力的性能与最先进的图像复原方法和更好的训练效率。FPAformer仅使用SwinIR模型中29.82%的参数,并在微调后提供卓越的性能。为了训练这些比较模型,它只需要26.9%的时间用于训练SwinIR模型。这为在低水平视觉任务中引入Transformer提供了一种很有前途的方法。
2023-01-29 cs.CV
Non-Contrastive Vision-Language Learning with Predictive Embedding Alignment
Goethe University Frankfurt(法兰克福歌德大学);German Cancer Research Center (DKFZ)(德国癌症研究中心(DKFZ));German Cancer Consortium (DKTK)(德国癌症联合会(DKTK))
NOVA通过联合嵌入预测与分布正则化,实现非对比视觉语言学习,简化训练目标并提升稳定性与效果。
2026-02-11 cs.AI cs.CV
Towards Better Surgical Instrument Segmentation in Endoscopic Vision: Multi-Angle Feature Aggregation and Contour Supervision
University of Washington (UW)(华盛顿大学);Rochester Institute of Technology(罗切斯特理工学院)
准确、实时的手术器械分割在机器人辅助手术的内窥镜视觉中非常重要,而器械与组织的频繁接触和观察视角的持续变化带来了重大挑战。近年来,越来越多的深度神经网络(DNN)模型被设计出来以应对这些具有挑战性的任务。我们的动机是提出一种通用的嵌入式方法来改进这些当前的DNN分割模型,而不增加模型参数数量。首先,观察DNN有限的旋转不变性性能,我们提出了多角度特征聚合(MAFA)方法,利用主动图像旋转来获得更丰富的视觉线索,并使预测对仪器方向变化更具鲁棒性。其次,在端到端训练阶段,利用辅助轮廓监督引导模型学习边界意识,使分割模板的轮廓形状更加精确。所提出的方法进行了验证与消融实验上的新鼻窦手术数据集收集从外科医生的操作,并与现有的方法相比,收集与达芬奇Xi机器人的公共数据集。
2020-08-11 cs.CV
Divergences in Color Perception between Deep Neural Networks and Humans
Carnegie Observatories(卡内基天文台);University of Southern California(南加州大学);Stanford University(斯坦福大学);EPFL(洛桑联邦理工学院);University of Chicago(芝加哥大学);University of California, San Diego(加利福尼亚大学圣迭戈分校);Columbia University(哥伦比亚大学);Psiphon Inc.(赛风公司);University of California, Berkeley(加利福尼亚大学伯克利分校)
本研究开发了新实验评估DNNs的颜色感知能力,发现主流DNN架构的颜色相似性判断与人类存在显著差异,而基于小波分解的模型能更好地预测人类颜色判断。
2023-09-11 cs.CV cs.LG
What Variables Affect Out-of-Distribution Generalization in Pretrained Models?
Rochester Institute of Technology(罗切斯特理工学院);University of Rochester(罗切斯特大学);Georgia Tech(佐治亚理工学院)
本文基于隧道效应假说研究预训练 DNN 嵌入的 OOD 泛化因素,发现架构、数据、分辨率和增强均有影响,高分辨率多类别训练可显著减少表征压缩。
2024-10-25 cs.AI cs.CV cs.LG
DTNN: Energy-efficient Inference with Dendrite Tree Inspired Neural Networks for Edge Vision Applications
Institute of High Performance Computing(高性能计算研究所);Grab Holdings Inc(Grab控股公司);Stanford University(斯坦福大学);National University of Singapore(新加坡国立大学)
深度神经网络(DNN)在计算机视觉(CV)中取得了显著的成功。然而,DNN模型的训练和推理都是内存和计算密集型的,在能耗和硅面积方面会产生显著的开销。特别是,推理比训练对成本更敏感,因为训练可以通过强大的平台离线完成,而推理可能必须在具有受限形状因子的电池供电设备上完成,特别是对于移动或边缘视觉应用。为了加速DNN推理,提出了模型量化。然而,以前的工作只关注量化率,而不考虑操作的效率。在本文中,我们提出了基于树突树的神经网络(DTNN)的能量有效的推理与激活量化启用查表操作。在DTNN中,既消除了昂贵的权重访问和算术计算的推理。我们在各种DNN模型上进行了实验,如LeNet-5,MobileNet,VGG和ResNet,使用不同的数据集,包括MNIST,Cifar 10/Cifar 100,SVHN和ImageNet。DTNN实现了显着的节能(使用ImageNet的ResNet-18和VGG-11分别提高了19.4倍和64.9倍),准确性损失可以忽略不计。为了进一步验证DTNN的有效性,并与最先进的低能量实现边缘视觉相比,我们设计和实现基于DTNN的MLP图像分类器使用现成的FPGA。结果表明,DTNN在FPGA上,具有更高的精度,可以实现数量级更好的能源消耗和延迟相比,最先进的低能耗的方法,使用ASIC芯片报道。
2021-05-25 cs.CV cs.NE
A Survey on Physical Adversarial Attack in Computer Vision
Zhejiang University(浙江大学);Defense Innovation Institute, Chinese Academy of Military Science(中国人民解放军军事科学院国防科技创新研究院);National University of Defense Technology(国防科技大学)
本文综述了计算机视觉中物理对抗攻击的演进,提出分类体系并分析复杂物理环境下提升攻击鲁棒性的技术,同时指出待解决问题与未来方向。
2023-09-18 cs.CV
Robust Vision-Based Cheat Detection in Competitive Gaming
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);NVIDIA(英伟达)
游戏发行商和反作弊公司在阻止在线游戏作弊方面一直不成功。我们提出了一种新颖的,基于视觉的方法,捕捉帧缓冲区的最终状态,并检测非法覆盖。为此,我们在一个新的数据集上训练和评估DNN检测器,该数据集是使用两个第一人称射击游戏和三个作弊软件收集的。我们研究了在本地或全球范围内运行的不同DNN架构的优点和缺点。我们使用输出置信度分析来避免不可靠的检测,并在需要进行网络再训练时提供信息。在消融研究中,我们展示了如何使用区间界限传播来构建一个检测器,该检测器还可以抵抗潜在的对抗攻击,并研究其与置信度分析的相互作用。我们的研究结果表明,通过机器学习的鲁棒性和有效的反作弊是切实可行的,可以用来保证在线游戏中的公平竞争。
2021-03-27 cs.CV
Design and Scaffolded Training of an Efficient DNN Operator for Computer Vision on the Edge
Indian Institute of Technology, Madras(印度理工学院马德拉斯分校);Microsoft Research(微软研究院)
大规模并行脉动阵列和资源高效的深度可分离卷积是两种很有前途的技术,可以加速DNN边缘推理。有趣的是,它们的组合是低效的:依赖可分离卷积的计算模式没有表现出有节奏的收缩流,并且缺乏足够的数据重用来饱和收缩阵列。我们正式分析这种低效率,并提出了一个有效的运营商,最佳的硬件硬件优化,以及一个优越的训练方法,以减轻这一点。高效的操作符称为FuSeConv,是dependently可分离卷积的替代品。FuSeConv完全沿着它们的空间和深度维度分解卷积。由此产生的计算有效地映射到脉动阵列。最佳的卷积,称为空间平铺输出平稳(ST-OS),最大限度地提高FuSeConv的效率脉动阵列。它将独立卷积映射到阵列的行,以最大限度地利用资源,而VLSI开销可以忽略不计。神经运算符支架(NOS)通过从昂贵的dependency可分离卷积中提取知识来支撑FuSeConv的训练。这弥补了FuSeConv网络和基线之间的精度差距。此外,NOS可以与神经架构搜索(NAS)相结合,以权衡延迟和准确性。FuSeConv与ST-OS的软硬件协同设计实现了4.1 - 9.25倍的显着加速,并为ImageNet提供了最先进的高效网络。FuSeConv的参数效率及其在脉动阵列上的依赖可分离卷积上的显着性能说明了它们作为边缘上的强大解决方案的前景。用NOS训练FuSeConv网络可以达到与基线相当的精度。此外,通过将NOS与N…
2021-08-25 cs.AR cs.CV
Compatibility of Face Embeddings Across Deep Neural Networks
Michigan State University(密歇根州立大学)
研究探讨不同深度神经网络模型在人脸嵌入空间中的几何结构,发现低容量线性映射能显著提升跨模型人脸识别与验证性能,表明人脸身份编码的表征收敛。
2026-08-11 cs.CV cs.LG
Deep Learning for Medical Imaging From Diagnosis Prediction to its Counterfactual Explanation
University of Utah(犹他大学)
深度神经网络(DNN)在计算机视觉任务中取得了前所未有的性能,在商业、技术和科学领域几乎无处不在。虽然在设计高度精确的架构并提供可用的模型解释方面做出了大量努力,但大多数最先进的方法首先是为自然视觉设计的,然后再转化为医学领域。本文试图通过提出新的架构来解决这一差距,该架构将医学成像的特定领域约束集成到DNN模型和解释设计中。
2022-09-07 cs.CV eess.IV
Network Comparison Study of Deep Activation Feature Discriminability with Novel Objects
The Ohio State University(俄亥俄州立大学)
特征提取一直是计算机视觉领域的关键组成部分。最近,最先进的计算机视觉算法已经将深度神经网络(DNN)纳入特征提取角色,创建了深度卷积激活特征(DeCAF)。DNN知识域的可转移性使得预训练的DNN特征提取能够广泛用于具有新对象类的应用,特别是那些具有有限训练数据的应用。这项研究分析了编码到六个领先的视觉识别DNN架构的DeCAF空间中的新对象视觉外观的一般可辨别性。本研究的结果特征的Mahalanobis距离和余弦相似性之间的DeCAF对象流形在两个视觉对象跟踪基准数据集。每个对象周围的背景也被包括在流形分析中作为对象类,提供了更广泛的新颖类。研究发现,不同的网络架构导致不同的网络功能重点,必须考虑在网络选择过程中。这些结果是从VOT 2015和UAV 123基准数据集生成的;然而,所提出的方法可以应用于有效地比较任何标记的视觉数据集的估计网络性能特征。
2022-02-08 cs.CV
Learning cross space mapping via DNN using large scale click-through logs
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research(微软研究院)
随着深度神经网络的不断发展,底层视觉信号和高层语义之间的鸿沟逐渐被弥合。随着DNN的最新进展,几乎所有的图像分类任务都取得了新的精度记录。为了将DNN的能力扩展到图像检索任务,我们提出了一个统一的DNN模型,通过在一个网络中同时建模图像和查询来计算图像-查询相似度。统一的DNN被命名为交叉空间映射(CSM)模型,它包含两个部分,卷积部分和查询嵌入部分。图像和查询分别通过这两部分映射到一个公共向量空间,图像-查询相似度自然地定义为它们在空间中的映射的内积。为了确保DNN具有良好的泛化能力,我们从大量的点击日志中学习DNN的权重,这些日志由100万张图像和1170万次查询之间的2300万个点击图像-查询对组成。在一个1000次查询的图像检索评价任务上的定性结果和定量结果都证明了该方法的优越性。
2023-02-26 cs.CV
Language-Instructed Vision Embeddings for Controllable and Generalizable Perception
Google(谷歌)
提出语言引导视觉嵌入(LIVE)方法,利用语言动态引导视觉编码器生成任务中心嵌入,无需任务特定重训练,减少视觉幻觉并提升泛化能力。
2026-06-19 cs.CV
HoVLE: Unleashing the Power of Monolithic Vision-Language Models with Holistic Vision-Language Embedding
Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);Johns Hopkins University(约翰斯·霍普金斯大学);SenseTime Research(商汤科技研究院);Nanjing University(南京大学)
针对单一体视觉-语言模型(VLM)微调预训练大语言模型(LLM)导致语言能力下降的问题,提出HoVLE,通过整体视觉-语言嵌入模块及多阶段训练,在保持LLM语言能力的同时提升视觉性能,接近组合式VLM水平。
2025-02-09 cs.CV
Improved Robustness of Vision Transformer via PreLayerNorm in Patch Embedding
Pohang University of Science and Technology(浦项科技大学)
视觉Transformer(ViTs)最近在各种视觉任务中表现出最先进的性能,取代了卷积神经网络(CNN)。同时,由于ViT具有与CNN不同的架构,因此其行为可能不同。为了研究ViT的可靠性,本文研究了ViT的行为和鲁棒性。我们通过假设实际视觉任务中可能出现的各种图像损坏来比较CNN和ViT的鲁棒性。我们证实,对于大多数图像变换,ViT显示出与CNN相当或更高的鲁棒性。然而,对于对比度增强,在ViT中始终观察到严重的性能下降。通过详细的分析,我们发现了一个潜在的问题:当色标发生变化时,ViT补丁嵌入中的位置嵌入可能会不正常工作。在这里,我们要求使用PreLayerNorm,一个修改后的补丁嵌入结构,以确保规模不变的行为的ViT。具有PreLayerNorm的ViT在包括对比度变化环境在内的各种损坏中表现出更好的鲁棒性。
2021-11-16 cs.CV
Isometric Embeddings in Imaging and Vision: Facts and Fiction
Technion(以色列理工学院)
我们探讨了纳什嵌入定理在视觉和成像科学中的实用性。特别是,我们调查的相关性的结果Burago和Zalgaller关于存在的等距嵌入的多面体表面在$\mathbb{R}^3$,我们表明,他们的证明不直接扩展到更高的维度。
2010-05-11 cs.CV math.CV math.DG
Concept-Monitor: Understanding DNN training through individual neurons
UC San Diego(加州大学圣地亚哥分校)
本文提出 Concept-Monitor 框架,通过统一嵌入空间与概念多样性指标可视化并解释 DNN 训练,还设计鼓励神经元学习多样概念的正则化器,并在多种训练范式中验证。
2023-04-26 cs.CV cs.LG
X-MLP: A Patch Embedding-Free MLP Architecture for Vision
Nanjing University(南京大学);School of Electronic Science and Engineering, Nanjing University(南京大学电子科学与工程学院)
提出无 patch embedding 的 X-MLP 架构,利用全连接层独立交替交互宽高通道信息,在十个基准数据集上超越其他视觉 MLP 及 CNN,并可视化长程依赖。
2023-07-02 cs.CV
Generating Image Adversarial Examples by Embedding Digital Watermarks
China University of Geosciences(中国地质大学);University of Melbourne(墨尔本大学);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本文提出一种基于数字水印的图像对抗样本生成方法,通过改进的DWT和DCT Patchwork算法将水印特征嵌入宿主图像以破坏DNN识别能力,在CIFAR-10上攻击成功率达95.47%且生成高效。
2022-08-03 cs.CR cs.CV
Training-free Conditional Image Embedding Framework Leveraging Large Vision Language Models
CyberAgent, Japan(日本CyberAgent公司)
本文提出DIOR,一种无需训练的条件图像嵌入方法,利用大型视觉语言模型生成条件图像嵌入,有效提升图像条件相似性任务的性能。
2025-12-26 cs.CV
Optimization of DNN-based HSI Segmentation FPGA-based SoC for ADS: A Practical Approach
University of the Basque Country (UPV/EHU)(巴斯克大学)
本文针对自动驾驶系统中基于DNN的高光谱图像分割在FPGA SoC上的实时部署问题,提出软硬件协同优化方案,通过任务分配、硬件感知预处理、模型压缩和流水线部署,将运算量降至24.34%、参数量降至1.02%,实现2.86倍推理加速且精度无明显下降。
2025-07-22 cs.AI cs.AR cs.CV
Minutiae-Guided Fingerprint Embeddings via Vision Transformers
Michigan State University(密歇根州立大学);Rank One Computing(Rank One Computing公司);Amazon(亚马逊)
细节点匹配长期以来一直是指纹识别领域的主流。然而,深度网络可以用来从指纹中提取固定长度的嵌入。迄今为止,探索使用CNN架构来提取此类嵌入的少数研究已经显示出极大的希望。受这些早期作品的启发,我们提出了第一次使用视觉Transformer(ViT)来学习有区别的固定长度指纹嵌入。我们进一步证明,通过引导ViT专注于本地,细节相关的功能,我们可以提高识别性能。最后,我们表明,通过融合CNN和ViT学习的嵌入,我们可以达到与商业最先进(SOTA)匹配器的接近平价。特别是,我们在NIST SD 302公共域数据集上获得了TAR= 94.23%@FAR =0.1%,而SOTA商业匹配器获得了TAR= 96.71%@FAR = 0.1%。此外,我们的固定长度嵌入可以比商业系统更快地匹配数量级(250万匹配/秒,而50 K匹配/秒)。我们公开我们的代码和模型,以鼓励对这个主题的进一步研究:https://github.com/tba。
2022-10-26 cs.CV
FrEVL: Leveraging Frozen Pretrained Embeddings for Efficient Vision-Language Understanding
Department of Engineering Science, University of Oxford(牛津大学工程科学系);Department of Electrical Engineering, Imperial College London(伦敦帝国学院电子工程系)
FrEVL框架利用冻结预训练嵌入实现高效视觉-语言理解,以少量参数达到SOTA的85%-95%,并带来2.3倍加速和52%能耗降低,为部署提供实用指导。
2025-08-06 cs.CL cs.CV
Maximizing the Position Embedding for Vision Transformers with Global Average Pooling
Yonsei University(延世大学);Korea Institute of Science and Technology(韩国科学技术研究院)
本文提出MPVG方法,通过最大化位置嵌入在采用全局平均池化的逐层视觉Transformer中的平衡作用,解决了PE表达能力受限的问题,并在多种任务上取得优于现有方法的效果。
2025-02-05 cs.CV cs.LG
Exploring Uncertainty Measures for Image-Caption Embedding-and-Retrieval Task
Kobe University(神户大学);Nanyang Technological University(南洋理工大学)
随着黑盒机器学习算法,特别是深度神经网络(DNN)的广泛发展,可靠性评估的实际需求迅速上升。基于“贝叶斯深度学习知道它不知道的东西”的概念,DNN输出的不确定性已经被研究作为分类和回归任务的可靠性度量。然而,在图像字幕检索任务中,众所周知的样本并不总是容易检索的样本。本研究探讨影像字幕嵌入与撷取系统的两个方面。一方面,我们量化的特征不确定性考虑图像字幕嵌入作为一个回归任务,并使用它的模型平均,这可以提高检索性能。另一方面,我们进一步量化后验不确定性,考虑检索作为一个分类任务,并使用它作为一个可靠性的措施,这可以大大提高检索性能,拒绝不确定的查询。在不同的数据集(MS COCO和Flickr30k)、不同的深度学习架构(dropout和批量归一化)以及不同的相似性函数下,观察到两种不确定性度量的一致性能。
2019-04-09 cs.CL cs.CV cs.LG
Language Features Matter: Effective Language Representations for Vision-Language Tasks
Boston University(波士顿大学)
在视觉语言(VL)任务中,语言和视觉特征不应该被平等对待吗?许多VL方法将语言组件视为事后的想法,使用简单的语言模型,这些语言模型要么构建在纯文本数据上训练的固定词嵌入上,要么从头开始学习。我们认为,语言功能值得更多的关注,并进行实验,比较不同的词嵌入,语言模型,和嵌入增强步骤上五个常见的VL任务:图像句子检索,图像描述,视觉问答,短语接地,和文本到剪辑检索。我们的实验提供了一些惊人的结果;平均嵌入语言模型在检索式任务上的表现优于LSTM;最先进的表示,如BERT在视觉语言任务上的表现相对较差。从这个全面的实验,我们提出了一套最佳实践,将语言组件的VL任务。为了进一步提升语言功能,我们还表明,视觉语言问题中的知识可以跨任务转移,以通过多任务训练获得性能。这种多任务训练应用于新的面向图形的视觉语言嵌入(GrOVLE),我们使用WordNet和Visual Genome构建的原始视觉语言图从Word 2 Vec中进行了调整,提供了一个现成的视觉语言嵌入:http://ai.bu.edu/grovle。
2019-08-17 cs.CL cs.CV
Global visual localization in LiDAR-maps through shared 2D-3D embedding space
Università degli Studi di Milano - Bicocca(米兰比可卡大学);University of Freiburg(弗莱堡大学);Universidad de Alcalá(阿尔卡拉大学)
全局定位是许多机器人应用中的重要且广泛研究的问题。可以利用地点识别方法来解决这个任务,例如,在自动驾驶领域。虽然大多数基于视觉的方法匹配图像w.r.t.图像数据库,在LiDAR地图内的全球视觉定位仍然相当未被探索,即使主要由LiDAR产生的高清晰度3D地图的路径是清楚的。在这项工作中,我们利用深度神经网络(DNN)方法在图像和LiDAR地图之间创建一个共享的嵌入空间,允许图像到3D-LiDAR位置识别。我们训练了一个2D和一个3D DNN,它们分别从图像和点云创建嵌入,无论它们是否指向同一个地方,它们都彼此接近。一个广泛的实验活动,以评估该方法的有效性w.r.t.不同的学习范式、网络架构和损失函数。所有的评估都是使用牛津机器人汽车数据集进行的,该数据集涵盖了广泛的天气和光照条件。
2020-03-10 cs.CV cs.LG cs.RO
Exploring Visual Embedding Spaces Induced by Vision Transformers for Online Auto Parts Marketplaces
Baylor University(贝勒大学)
本研究探索视觉Transformer(ViT)生成在线汽车配件市场图像视觉嵌入的能力,通过单模态数据提取嵌入、UMAP降维可视化、K-Means聚类分类,评估其检测非法活动模式的潜力,为相关欺诈检测提供基础。
2025-02-09 cs.CV cs.LG
Lost in Embeddings: Information Loss in Vision-Language Models
University of Copenhagen(哥本哈根大学);Microsoft(微软);University of Cambridge(剑桥大学)
研究VLM中连接器投影导致的信息损失,提出基于k近邻分析和图像块级嵌入重建两种方法量化损失,发现投影显著扭曲视觉表示局部几何结构且高损失区可预测模型困难实例。
2025-09-15 cs.CL cs.CV
Rotary Position Embedding for Vision Transformer
NAVER AI Lab(NAVER AI实验室)
本研究系统分析了旋转位置编码(RoPE)在视觉Transformer(ViT)中的应用,证明其具备良好的外推能力,能在推理时提高分辨率并保持精度,从而提升ImageNet-1k、COCO检测和ADE-20k分割性能,为ViT骨干网络提供最小额外开销的性能改进指导。
2024-07-16 cs.CV cs.LG
Scene recognition based on DNN and game theory with its applications in human-robot interaction
College of Mechanical and Electrical Engineering, Beijing University of Chemical Technology(北京化工大学机电工程学院);Peking University(北京大学)
提出了一种基于动态神经网络和博弈论的场景识别模型及其在人机交互中的应用。深度学习方法在场景识别领域的运用还处于起步阶段,但已经成为未来的重要趋势。作为本文的创新点,我们提出了以下创新点。(1)本文将图像配准问题转化为马尔可夫随机场中的最小能量问题来完成图像预处理任务。博弈论是用来寻找最优解的。(2)我们选择相邻的同质样本特征和相邻的异质样本特征作为提取的样本特征,构建一个三元组,并修改传统的神经网络,提出了新的DNN的场景理解。(3)机器人控制很好地结合起来,引导机器人视觉多个任务。然后进行实验,以验证整体性能。
2020-01-10 cs.CV cs.LG cs.RO