Compressing Vision Transformers in Geospatial Transfer Learning with Manifold-Constrained Optimization
Yale University(耶鲁大学);Oak Ridge National Laboratory(橡树岭国家实验室)
本文提出通过流形约束优化框架DLRT压缩地理空间迁移学习中的视觉变换器,实现参数减少的同时保持任务精度。
2026-01-12 cs.AI cs.CV
Super-resolution Using Constrained Deep Texture Synthesis
Brown University(布朗大学);Georgia Institute of Technology(佐治亚理工学院)
在单幅图像超分辨率中消除高频图像细节是一项具有挑战性的任务。传统的超分辨率方法由于低分辨率和高分辨率块之间的映射的模糊性而倾向于产生过平滑的输出图像。我们基于最近在基于深度学习的纹理合成方面取得的成功,并表明这种丰富的特征空间可以促进高频图像细节的成功转移和合成,以提高各种自然纹理和图像上超分辨率结果的视觉质量。
2017-01-26 cs.CV
Constrained Design of Deep Iris Networks
Queensland University of Technology(昆士兰科技大学)
针对现有深度虹膜网络难以兼顾经典IrisCode的模型紧凑性与低计算量特性的问题,本文将虹膜网络设计重构为约束优化问题,实现自动化搜索最优网络,验证了经典与现有网络的最优性,并得到低算力内存需求的SOTA虹膜网络。
2019-05-23 cs.CV
Depth Completion Using a View-constrained Deep Prior
University of Maryland(马里兰大学);Microsoft Research(微软研究院)
最近的研究表明,卷积神经网络(CNN)的结构诱导了有利于自然图像的强先验。这种先验被称为深度图像先验(DIP),是图像去噪和修复等逆问题中的有效正则化器。我们将DIP的概念扩展到深度图像。给定彩色图像和噪声和不完整的目标深度图,我们优化一个随机初始化的CNN模型,以重建深度图恢复凭借使用CNN网络结构作为先验结合视图约束的照片一致性损失。该损失是使用来自附近视点的几何校准相机的图像来计算的。我们应用此深度先验来修复和改进双目和多视图立体视觉管道内的不完整和有噪声的深度图。我们的定量和定性评估表明,我们改进的深度图更准确和完整,融合后,产生更高质量的密集3D模型。
2020-12-01 cs.CV
DeepObjStyle: Deep Object-based Photo Style Transfer
Indian Institute of Technology Gandhinagar(甘地讷格尔印度理工学院)
风格转移的主要挑战之一是在输出图像和输入(风格和内容)图像之间进行适当的图像特征监督。一个有效的策略是在样式对象和内容图像之间定义一个对象映射。然而,当在样式和内容图像中存在不同类型和数量的语义对象时,这样的映射不能很好地建立。它还导致样式传输输出中的内容不匹配,这可能会降低结果的视觉质量。我们提出了一种基于对象的风格转换方法,称为DeepObjStyle,用于训练数据独立框架中的风格监督。DeepObjStyle保留了对象的语义,并在样式和内容图像具有图像特征不匹配的挑战性场景中实现了更好的样式转换。我们还执行包含单词云的图像的样式传输,以证明DeepObjStyle能够实现适当的图像特征监督。我们使用定量比较和用户研究来验证结果。
2020-12-11 cs.CV
A probabilistic constrained clustering for transfer learning and image category discovery
Georgia Institute of Technology(佐治亚理工学院);Georgia Tech Research Institute(佐治亚理工研究院)
基于神经网络的聚类最近已经流行,并且特别地,已经提出了约束聚类公式以使用深度学习来执行迁移学习和图像类别发现。其核心思想是制定一个具有成对约束的聚类目标,可用于训练深度聚类网络;因此,聚类分配及其底层特征表示是端到端联合优化的。在这项工作中,我们提供了一种新的聚类公式来解决以前的工作在优化更深的网络和更大量的类别方面的可扩展性问题。所提出的目标直接最小化负对数似然的集群分配相对于成对约束,没有超参数,并证明了改进的可扩展性和性能的监督学习和无监督迁移学习。
2018-06-28 cs.AI cs.CV cs.LG
Knowledge Transfer for Melanoma Screening with Deep Learning
University of Campinas (Unicamp)(坎皮纳斯大学(Unicamp));Federal University of Minas Gerais (UFMG)(米纳斯吉拉斯联邦大学(UFMG))
知识转移会影响深度学习的性能--这是图像分类任务的最新技术水平,包括自动黑色素瘤筛查。深度学习对大量训练数据的贪婪给医疗任务带来了挑战,我们可以通过在一个名为迁移学习的方案中回收来自不同任务训练的模型的知识来缓解这一挑战。尽管大多数自动化黑色素瘤筛查的最佳技术都采用了某种形式的迁移学习,但缺乏系统的评估。在这里,我们调查了转移的存在,转移来自哪个任务,以及微调的应用(即,在转移之后重新训练深度学习模型)。我们还测试了选择更深(和更昂贵)的模型的影响。我们的结果支持更深层次的模型,通过ImageNet进行预训练,并进行微调,评估的两个皮肤病变数据集的AUC分别为80.7%和84.5%。
2017-03-22 cs.CV
FireLite: Leveraging Transfer Learning for Efficient Fire Detection in Resource-Constrained Environments
University of Chester(切斯特大学);Islamic University of Technology(伊斯兰技术大学);Bangladesh Army University of Science and Technology(孟加拉国陆军科技大学);School of Computer Science and Engineering The University of Aizu(会津大学计算机科学与工程学院)
针对资源受限环境下的火灾检测需求,本文提出轻量级卷积神经网络 FireLite,仅用 34,978 个可训练参数即达到 98.77% 的准确率,实现了高效精准的火灾检测。
2024-09-30 cs.CV
Building Change Detection for Remote Sensing Images Using a Dual Task Constrained Deep Siamese Convolutional Network Model
近年来,通过引入深度学习,建筑物变化检测方法取得了很大进展,但仍然存在提取的特征区分度不够高的问题,导致区域不完整,边界不规则。为了解决这个问题,我们提出了一个双任务约束深度连体卷积网络(DTCDSCN)模型,它包含三个子网络:变化检测网络和两个语义分割网络。DTCDSCN可以同时完成变化检测和语义分割,这有助于学习更多有区别的对象级特征,并获得完整的变化检测图。此外,我们引入了一个双重注意模块(DAM),利用通道和空间位置之间的相互依赖性,这提高了特征表示。我们还改进了焦点损失函数以抑制样本不平衡问题。在WHU建筑数据集上的实验结果表明,该方法能够有效地进行建筑物变化检测,并在精度、召回率、F1分数和交集对并集四个指标上达到了最先进的性能。
2019-09-17 cs.CV
Edge-Host Partitioning of Deep Neural Networks with Feature Space Encoding for Resource-Constrained Internet-of-Things Platforms
Georgia Institute of Technology(佐治亚理工学院)
本文介绍了在IoT环境中在边缘和主机平台之间划分深度神经网络的推理任务。我们提出了一个DNN作为编码管道,并建议将中间层的输出特征空间传输到主机。提出了特征空间的无损或有损编码,以增强边缘平台支持的最大输入速率和/或降低边缘平台的能量。仿真结果表明,在卷积(特征提取)层的末尾对DNN进行分区,再加上特征空间编码,与在边缘或主机处执行整个推理的基线配置相比,能够显著提高能效和吞吐量。
2018-02-11 cs.CV
Enhancing Martian Terrain Recognition with Deep Constrained Clustering
University of Massachusetts(马萨诸塞大学)
针对火星探测车图像中地形受亮度、尺度等变化影响难以精准分类的问题,提出融合多类约束的DCCML深度约束聚类算法,在好奇号数据集上有效提升了聚类同质性、检索准确率等指标,助力火星地貌分析。
2025-03-22 cs.CV
Deep Photo Style Transfer
Cornell University(康奈尔大学);Adobe(Adobe公司)
本文介绍了一种深度学习的摄影风格迁移方法,该方法可以处理各种各样的图像内容,同时忠实地迁移参考风格。我们的方法建立在最近的绘画转移工作的基础上,通过考虑神经网络的不同层,将风格与图像内容分开。然而,照原样,该方法不适合于照片级真实感风格转移。即使当输入和参考图像都是照片时,输出仍然表现出让人联想到绘画的失真。我们的贡献是约束从输入到输出的变换是局部仿射的颜色空间,并表示为一个自定义的完全可微的能量项的约束。我们表明,这种方法成功地抑制了失真,并产生令人满意的逼真的风格转让在各种各样的情况下,包括转让的一天中的时间,天气,季节和艺术编辑。
2017-04-11 cs.CV
Discretely-constrained deep network for weakly supervised segmentation
ETS Montreal(蒙特利尔高等技术学院)
弱监督分割的一种有效策略是对目标区域施加约束或正则化先验。最近的努力集中在将这种约束纳入卷积神经网络(CNN)的训练中,然而,到目前为止,这是在连续优化框架内完成的。然而,各种分割约束和正则化可以在离散公式中更有效地建模和优化。提出了一种基于交替方向乘子法(ADMM)的训练具有离散约束和正则化先验的CNN的方法。该方法被应用到医学图像的分割与弱注释,其中的大小约束和边界长度正则化。在基准心脏分割数据集上的实验表明,我们的方法可以产生接近全面监督的性能。
2019-08-15 cs.CV
Two-Bit Networks for Deep Learning on Resource-Constrained Embedded Devices
随着物联网和智能边缘设备的快速发展,越来越需要在内存和计算能力有限的资源受限的移动嵌入式设备上实现机器学习算法,包括深度学习。典型的大型卷积神经网络(CNN)需要大量的存储器和计算能力,并且不能有效地部署在嵌入式设备上。我们提出了用于CNN的模型压缩的两位网络(TBN),其边缘权重被约束为(-2,-1,1,2),可以用两位编码。我们的方法可以减少内存的使用,并显着提高计算效率,同时实现良好的性能分类精度方面,从而代表了一个合理的权衡模型大小和性能。
2017-01-04 cs.CV cs.LG
GTAE: Graph-Transformer based Auto-Encoders for Linguistic-Constrained Text Style Transfer
近年来,非平行语篇风格迁移引起了越来越多的研究兴趣。尽管在基于编码器-解码器框架的风格转换方面取得了成功,但目前的方法仍然缺乏保留原始句子的内容甚至逻辑的能力,这主要是由于大的无约束模型空间或对潜在嵌入空间的过于简化的假设。由于语言本身是人类使用特定语法的智能产品,并且本质上具有有限的基于规则的模型空间,因此缓解这个问题需要协调深层神经网络的模型容量与人类语言规则的内在模型约束。为此,我们提出了一种称为基于图Transformer的自动编码器(GTAE)的方法,该方法将句子建模为语言图,并在图级别上执行特征提取和风格转换,以最大限度地保留原始句子的内容和语言结构。三个非平行文本风格迁移任务的定量实验结果表明,我们的模型优于国家的最先进的方法,在内容保存,同时实现了相当的性能,转移的准确性和句子的自然。
2021-02-01 cs.AI cs.CL cs.CV
Scalable Motion Style Transfer with Constrained Diffusion Generation
KTH Royal Institute of Technology(瑞典皇家理工学院);National Institute of Informatics(日本国立信息学研究所);University of Copenhagen(哥本哈根大学)
针对现有运动风格迁移依赖跨域一致性损失、可扩展性差的问题,提出带有关键帧流形约束梯度的约束扩散生成框架,实现多域独立训练,在10种舞蹈风格迁移的内容保留上显著优于基线,主观评估也验证了其竞争力。
2023-12-12 cs.AI cs.CV cs.LG
Fast Computational Ghost Imaging using Unpaired Deep Learning and a Constrained Generative Adversarial Network
University of Southern California(南加州大学)
不成对训练可能是基于快速深度学习的重影成像的唯一选择,其中获得每个低SNR重影图像的高信噪比(SNR)图像副本实际上可能是耗时且具有挑战性的。本文探讨了深度学习在缺乏成对训练图像时利用计算重影成像的能力。本文提出的深度学习方法通过使用约束Wasserstein生成对抗网络从微弱和匆忙拍摄的鬼像重建高SNR图像来实现快速鬼像成像。在所提出的方法中,目标函数被正则化,以执行生成忠实的和相关的高信噪比图像的幽灵副本。这种正则化测量重建图像和阴影网络生成的低噪声流形中的微弱鬼像之间的距离。约束网络的性能被证明是特别重要的鬼图像与低信噪比。所提出的流水线能够从具有SNR值不一定等于训练集的SNR的鬼像重建高质量的图像。
2021-06-09 cs.CV eess.IV
Deep Learning Captures More Accurate Diffusion Fiber Orientations Distributions than Constrained Spherical Deconvolution
共聚焦组织学提供了建立体素内纤维取向分布的机会,其可用于定量评估扩散加权MRI模型的生物相关性,例如,约束球面反褶积(CSD)。在这里,我们应用深度学习来研究单壳扩散加权MRI解释组织学观察到的纤维取向分布(FOD)的潜力,并将衍生的深度学习模型与领先的CSD方法进行比较。这项研究(1)证明了在扩散信号中存在CSD当前未利用的附加信息,以及(2)提供了利用该信息的说明性数据驱动模型。
2019-11-13 cs.CV eess.IV
Spatial and Colour Opponency in Anatomically Constrained Deep Networks
University of Southampton(南安普顿大学)
长期以来,色觉一直吸引着科学家,他们试图了解色觉机制的生理学和色觉的心理物理学。我们考虑在解剖学约束的卷积深度神经网络中的颜色表示。根据神经科学的想法,我们将早期层中的细胞根据其光谱和空间功能进行分类。我们展示了在我们的网络中出现的单个和双个对手细胞,以及在视网膜瓶颈的约束下这些细胞的分布如何变化。我们的实验不仅开启了对深度网络如何处理空间和颜色信息的新理解,还提供了新的工具来帮助理解深度学习的黑匣子。所有实验的代码可在\url{https://github.com/ecs-vlc/opponency}上获得。
2019-10-14 cs.CV cs.LG stat.ML
Unsupervised Tissue Segmentation via Deep Constrained Gaussian Network
National Heart and Lung Institute, Imperial College London(帝国理工学院国家心肺研究所);Technical University of Munich(慕尼黑工业大学);Zhejiang Institute of Standardization(浙江省标准化研究院);National Clinical Research Centre of Kidney Diseases, Nanjing University(南京大学国家肾脏疾病临床医学研究中心)
组织分割是病理学检查的支柱,而手动描绘是过度繁重的。为了帮助这个耗时和主观的手动步骤,研究人员已经设计了自动分割病理图像中结构的方法。最近,基于自动化机器和深度学习的方法主导了组织分割研究。然而,大多数基于机器和深度学习的方法都是使用大量训练样本进行监督和开发的,其中像素级注释是昂贵的,有时可能无法获得。本文介绍了一种新的无监督学习范式,通过将端到端深度混合模型与约束指标相结合来获得准确的语义组织分割。该约束的目的是在优化函数的计算期间集中深度混合模型的分量。这样做,可以大大减少当前无监督学习方法中常见的冗余或空类问题。通过对公共和内部数据集的验证,与其他现有的无监督分割方法相比,所提出的深度约束高斯网络在组织分割方面实现了显着(Wilcoxon符号秩检验)更好的性能(平均Dice得分分别为0.737和0.735),具有更好的稳定性和鲁棒性。此外,与完全监督的U-Net相比,所提出的方法具有相似的性能(p值> 0.05)。
2022-08-04 cs.CV eess.IV
Structural constrained virtual histology staining for human coronary imaging using deep learning
The University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);The Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院)
组织学分析在冠状动脉疾病(CAD)的动脉表征中至关重要。然而,组织学需要一个侵入性和耗时的过程。在本文中,我们建议使用光学相干断层扫描(OCT)图像生成虚拟组织学染色,以实现实时组织学可视化。我们开发了一个深度学习网络,即Coronary-GAN,将冠状动脉OCT图像转换为虚拟组织学图像。通过特别考虑冠状动脉OCT图像中的结构约束,我们的方法比传统的基于GAN的方法实现了更好的图像生成性能。实验结果表明,Coronary-GAN生成的虚拟组织学图像与真实组织学图像相似,揭示了人体冠状动脉层。
2022-11-12 cs.CV eess.IV
Lightweight Deep Learning for Resource-Constrained Environments: A Survey
National Yang Ming Chiao Tung University(国立阳明交通大学);Jilin University(吉林大学);Multimedia University(多媒体大学);Hon Hai Research Institute(鸿海研究院)
该综述针对深度学习模型在资源受限轻量级设备上的部署难题,系统梳理了轻量级模型设计、压缩方法与硬件加速策略,同时探讨了TinyML与大语言模型部署两大未来方向及相关挑战。
2024-04-12 cs.CV cs.LG
NCVX: A General-Purpose Optimization Solver for Constrained Machine and Deep Learning
University of Minnesota(明尼苏达大学);Queens College, City University of New York(纽约城市大学皇后学院)
施加显式约束是相对较新的,但在深度学习中越来越紧迫,例如,值得信赖的人工智能,在复杂的扰动集和需要尊重物理定律和约束的科学应用程序上执行鲁棒优化。然而,如果没有优化专业知识,很难可靠地解决受约束的深度学习问题。现有的深度学习框架不承认约束。通用优化包可以处理约束,但不能执行自动微分,并且在处理非平滑性时有问题。在本文中,我们介绍了一个名为NCVX的新软件包,其初始版本包含求解器PyGRANSO,这是一个支持PyTorch的通用优化包,用于约束机器/深度学习问题,这是同类产品中的第一个。NCVX继承了PyTorch的自动微分,GPU加速和张量变量,并构建在免费提供和广泛使用的开源框架上。NCVX可在https://ncvx.org上获得,其中有详细的文档和来自机器/深度学习和其他领域的大量示例。
2022-11-14 cs.CV cs.LG cs.MS
Deep Image Style Transfer from Freeform Text
Georgia Institute of Technology(佐治亚理工学院)
本文通过从自由形式的用户文本输入生成风格图像来创建深度神经风格转移的新方法。语言模型和样式转换模型形成无缝管道,其可以创建与基线样式转换方法相比具有类似损失和改进质量的输出图像。在给定样式文本和描述输入的情况下,语言模型返回紧密匹配的图像,该图像然后与输入内容图像一起被传递到样式传递模型以创建最终输出。还开发了一个概念验证工具来集成这些模型,并证明了从自由形式文本转换深度图像风格的有效性。
2022-12-13 cs.CL cs.CV cs.LG
Deep Constrained Least Squares for Blind Image Super-Resolution
Megvii Technology(旷视科技);Kuaishou Technology(快手科技);University of Electronic Science and Technology of China(电子科技大学)
在本文中,我们解决了盲图像超分辨率(SR)的问题,重新制定的退化模型和两个新的模块。在盲超分辨率图像复原的基础上,提出了改进核估计和基于核的高分辨率图像复原的方法。更具体地说,我们首先重新制定的退化模型,使去模糊核估计可以转移到低分辨率空间。在此基础上,我们引入了动态深度线性滤波器模块。它不是为所有图像学习一个固定的核,而是根据输入自适应地生成去模糊核权重,并产生一个更鲁棒的核估计。随后,应用深度约束最小二乘滤波模块来基于重构和估计的核生成干净的特征。然后将去模糊特征和低输入图像特征送入双路径结构的SR网络,并恢复最终的高分辨率结果。为了评估我们的方法,我们进一步对几个基准进行了评估,包括Gaussian8和DIV2KRK。我们的实验表明,所提出的方法实现了更好的准确性和视觉上的改善对国家的最先进的方法。
2022-03-25 cs.CV eess.IV
Federated Knowledge Transfer Fine-tuning Large Server Model with Resource-Constrained IoT Clients
School of Intelligent Systems Engineering, Sun Yat-Sen University(中山大学智能工程学院);Shenzhen Fangle Technology Co., Ltd.(深圳方乐科技有限公司);School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院);School of Electronic Engineering and Computer Science, Queen Mary University of London(伦敦玛丽女王大学电子工程与计算机科学学院)
针对资源受限 IoT 环境下大模型难以本地微调的问题,提出 KOALA,通过联邦学习与知识蒸馏让客户端小模型协同更新服务器大模型,并支持同构、异构两种模式,在保持训练性能的同时显著降低资源需求。
2024-07-07 cs.AI cs.CV cs.LG
Deeplite Neutrino: An End-to-End Framework for Constrained Deep Learning Model Optimization
Deeplite Inc.(Deeplite公司);Ecole Polytechnique(综合理工学院);MILA(MILA研究所)
设计基于深度学习的解决方案正在成为训练具有更多层的更深模型的竞赛。虽然大型深度模型可以提供具有竞争力的准确性,但它在开发和部署过程中带来了许多后勤挑战和不合理的资源需求。这是深度学习模型在各种生产环境中没有被过度使用的关键原因之一,尤其是在边缘设备中。迫切需要优化和压缩这些深度学习模型,以实现设备上的智能。在这项研究中,我们引入了一个黑盒框架Deeplite Neutrino,用于深度学习模型的生产就绪优化。该框架为最终用户提供了一种简单的机制,以提供约束,例如优化模型的精度或目标大小的可容忍下降,以指导整个优化过程。该框架很容易包含在现有的生产管道中,并作为Python包提供,支持PyTorch和Tensorflow库。该框架的优化性能在多个基准数据集和流行的深度学习模型上得到了展示。此外,该框架目前已用于生产,并总结了来自几个客户的结果和推荐。
2021-01-13 cs.AI cs.CV cs.LG
NL-CNN: A Resources-Constrained Deep Learning Model based on Nonlinear Convolution
Polytechnic University of Bucharest(布加勒斯特理工大学)
提出了一种新的卷积神经网络模型,简称NL-CNN,其中非线性卷积在卷积+非线性层的级联中仿真。其实施代码和一些经过训练的模型已公开提供。提供了几个广为人知的数据集的性能评估,显示了几个相关的特征:i)对于小/中等输入图像尺寸,所提出的网络给出了非常好的测试精度,给出了低的实现复杂度和模型尺寸; ii)与其他广为人知的资源约束模型相比,例如,与MobileNetv 2相比,它提供了更好的准确性,训练时间减少了几倍,参数减少了多达十倍(模型占用的内存); iii)具有一组相关的超参数,由于其特定的快速训练,可以轻松快速地进行调整。所有这些特征使得NL-CNN适用于物联网,智能传感,生物医学便携式仪器和其他必须在能量受限环境中部署人工智能的应用。
2021-01-30 cs.CV cs.LG cs.NE
Deep Transfer Convolutional Neural Network and Extreme Learning Machine for Lung Nodule Diagnosis on CT images
文章的某些内容需要保密
2020-04-28 cs.CV cs.LG eess.IV
Distill-Net: Application-Specific Distillation of Deep Convolutional Neural Networks for Resource-Constrained IoT Platforms
University of California, Davis(加州大学戴维斯分校)
许多物联网(IoT)应用需要快速准确地了解周围环境中的一些关键事件。深度卷积神经网络(CNN)已经成为理解语音、图像和类似的高维数据类型的有效方法。然而,现代CNN的性能从根本上依赖于学习与类别无关的分层特征,这些特征只存在于具有许多类别的综合训练数据集中。因此,使用在这些数据集上训练的CNN进行快速推理对于大多数资源受限的物联网平台来说是禁止的。为了弥合这一差距,我们提出了一种原则性和实用的方法,用于提取复杂的现代CNN,该方法经过训练,可以有效地识别许多不同类别的输入数据,并将其转换为依赖于应用程序的基本核心,不仅可以准确识别应用程序感兴趣的少数类别,而且可以在资源有限的平台上高效运行。实验结果证实,我们的方法取得了良好的平衡之间的分类精度(应用约束),推理效率(平台约束),和生产性的新应用程序的开发(业务约束)。
2018-12-16 cs.CV cs.LG stat.ML
Chinese Painting Style Transfer Using Deep Generative Models
本文研究并利用最先进深度生成模型进行传统中国画风格迁移,提出结合多种风格迁移模型的算法,将“工笔”和“水墨”风格应用于现代图像,并通过定性和定量评估验证性能。
2023-10-17 cs.AI cs.CV cs.LG
Training Deep Neural Networks with Constrained Learning Parameters
Rensselaer Polytechnic Institute(伦斯勒理工学院)
今天的深度学习模型主要在CPU和GPU上训练。虽然这些模型往往具有低误差,但由于双精度的浮点学习参数,它们消耗高功率并占用大量存储器。除了摩尔定律之外,很大一部分深度学习任务将在边缘计算系统上运行,这将成为整个计算结构不可或缺的一部分。随后,此类系统的训练深度学习模型必须经过定制和采用,以生成具有以下理想特性的模型:低错误、低内存和低功耗。我们相信,在类脑计算系统上运行的深度神经网络(DNN)(其中学习参数被约束为具有一组有限的离散值)将有助于具有这些理想特性的智能边缘计算系统。为此,我们提出了组合神经网络训练算法(CoNNTrA),该算法利用基于坐标梯度下降的方法来训练具有有限离散学习参数的深度学习模型。接下来,我们详细阐述了理论基础,并评估的计算复杂性的CoNNTrA。作为概念证明,我们使用CoNNTrA在MNIST、Iris和ImageNet数据集上使用三元学习参数训练深度学习模型,并将其性能与使用反向传播训练的相同模型进行比较。我们使用以下性能指标进行比较:(i)训练错误;(ii)验证错误;(iii)内存使用;以及(iv)训练时间。我们的研究结果表明,CoNNTrA模型使用的内存少32倍,误差与反向传播模型相当。
2020-09-01 cs.CV cs.LG stat.ML
Trajectory-Constrained Deep Latent Visual Attention for Improved Local Planning in Presence of Heterogeneous Terrain
McGill University(麦吉尔大学)
我们提出了一种奖励预测,基于模型的深度学习方法,具有强制约束的视觉注意力,用于视觉导航任务中的局部规划。我们的方法学习将视觉注意力放在潜像空间中的位置,这些位置遵循车辆控制动作引起的轨迹,以提高规划过程中的预测准确性。注意力模型由特定于任务的损失和额外的冗余约束损失共同优化,允许自适应性,但鼓励正则化结构,以提高泛化能力和可靠性。重要的是,视觉注意力被应用在潜在的特征映射空间,而不是原始图像空间,以促进有效的规划。我们验证了我们的模型在视觉导航任务规划低湍流,无碰撞的轨迹在越野设置和爬山锁定差速器在湿滑的地形。实验涉及随机程序生成的模拟和现实世界的环境。我们发现,与无注意和自注意替代方案相比,我们的方法提高了泛化和学习效率。
2022-05-25 cs.CV cs.LG cs.RO
Quantization of Deep Neural Networks for Accumulator-constrained Processors
Eindhoven University of Technology(埃因霍温理工大学);Intel Benelux(英特尔比荷卢)
我们介绍了一个人工神经网络(ANN)的量化方法的平台没有广泛的积累寄存器。这使得固定点模型部署在嵌入式计算平台上,这些平台不是专门为大型内核计算设计的(即累加器约束处理器)。我们将量化问题公式化为累加器大小的函数,并且旨在通过最大化输入数据的位宽和权重来最大化模型精度。为了减少要考虑的配置数量,只测试完全利用可用累加器位的解决方案。我们证明,16位的SVM能够获得在CIFAR-10和ILSVRC 2012图像分类基准的浮点基线的1\%的分类精度。此外,通过在All-CNN-C和AlexNet网络上利用16位递归进行图像分类,在ARM处理器上获得了接近最佳的$2\times$加速比。
2020-04-24 cs.CV cs.LG eess.IV
Style Transfer and Extraction for the Handwritten Letters Using Deep Learning
Univ. Grenoble-Alpes(格勒诺布尔阿尔卑斯大学)
我们如何使用深度神经网络学习、传输和提取手写风格?本文探讨了这些问题,使用深空调自动编码器的铁关闭手写数据集。我们进行了三个实验,系统地探讨我们的风格提取过程的质量。首先,我们使用多维性能指标将我们的模型与手写基准进行比较。其次,我们探讨风格转移的质量,即模型如何在新的、看不见的作家身上表现。在这两个实验中,我们通过大幅度提高了最先进方法的度量。最后,我们分析了我们的模型的潜在空间,我们看到它分离一致的写作风格。
2018-12-10 cs.CV cs.LG stat.ML