Learning Deep Bilinear Transformation for Fine-grained Image Representation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）；University of Rochester（罗切斯特大学）
双线性特征变换在学习细粒度图像表示方面表现出了最先进的性能。然而，学习深度特征通道之间的成对交互的计算成本非常昂贵，这限制了这种强大的变换在深度神经网络中的使用。在本文中，我们提出了一个深度双线性变换（DBT）块，它可以在卷积神经网络中深度堆叠，以学习细粒度的图像表示。DBT块可以将输入通道均匀地划分为多个语义组。由于双线性变换可以通过计算每个组内的成对相互作用来表示，因此可以大大减轻计算成本。每个块的输出还通过聚合组内双线性特征与来自整个输入特征的残差来获得。我们发现，所提出的网络在几个细粒度图像识别基准测试中达到了最先进的水平，包括CUB-Bird，Stanford-Car和FGVC-Aircraft。
2019-11-09 cs.CV
BINAS: Bilinear Interpretable Neural Architecture Search
Alibaba Group（阿里巴巴集团）；Technion - Israel Institute of Technology（以色列理工学院）
神经网络的实际使用通常涉及对延迟、能量和存储器等的要求。在这种要求下查找网络的一种流行方法是通过约束神经架构搜索（NAS）。然而，以前的方法使用复杂的预测网络的准确性。这些预测器很难解释，并且对许多要调整的超参数很敏感，因此，生成的模型的准确性经常受到损害。在这项工作中，我们通过引入双线性可解释神经架构搜索（BINAS）来解决这个问题，该搜索基于准确度估计器和预期资源需求的准确和简单的双线性公式，以及具有理论保证的可扩展搜索方法。我们提出的估计器的简单性以及它的直观构造方式，通过对不同设计选择的贡献的许多见解带来了可解释性。例如，我们发现，在检查的搜索空间中，在网络的更深阶段和每个解析阶段的开始，增加深度和宽度更有效。我们的实验表明，BINAS产生可比或更好的架构比其他国家的最先进的NAS方法在降低边际搜索成本，同时严格满足资源约束。
2022-04-27 cs.AI cs.CV cs.LG
Compare More Nuanced:Pairwise Alignment Bilinear Network For Few-shot Fine-grained Learning
University of Technology Sydney（悉尼科技大学）
人类的认知能力是逐步发展的。通常，孩子们在有限的监督下学会区分从粗到细的各种物体。受这种学习过程的启发，我们提出了一个简单而有效的模型，用于Few-Shot Fine-Grained（FSFG）识别，试图利用元学习来解决具有挑战性的细粒度识别任务。所提出的方法，称为成对对齐双线性网络（PABN），是一个端到端的深度神经网络。与传统的用于细粒度分类的深度双线性网络不同，该网络采用自双线性池来捕获图像的细微特征，该模型使用一种新的成对双线性池来比较基础图像和查询图像之间的细微差异，以学习深度距离度量。为了匹配基本图像特征与查询图像特征，我们在提出的成对双线性池之前设计了特征对齐损失。在四个细粒度分类数据集和一个通用的Few-Shot数据集上的实验结果表明，该模型的性能优于现有的Few-Shot细粒度方法和一般的Few-Shot方法.
2019-04-11 cs.CV
Where to Focus: Deep Attention-based Spatially Recurrent Bilinear Networks for Fine-Grained Visual Recognition
The University of Queensland（昆士兰大学）；The University of New South Wales（新南威尔士大学）
细粒度的视觉识别通常依赖于对对象部分的细微差异进行建模。然而，这些部分往往表现出巨大的视觉变化，如遮挡，视点和空间变换，使其难以检测。在本文中，我们提出了一种新的基于注意力的模型，自动，选择性和准确地集中在关键对象区域具有较高的重要性，对外观变化。给定一幅图像，构造两个不同的卷积神经网络（CNN），其中两个CNN的输出通过双线性池化进行相关，以同时聚焦于有区别的区域并提取相关特征。为了捕捉具有视觉注意的局部区域之间的空间分布，结合了基于软注意的空间长短期记忆单元（LSTM），以实现对局部输入模式的空间递归但视觉选择性。所有上述直觉都为我们的网络提供了以下新模型：双流CNN层，双线性池化层，具有位置注意力的空间递归层通过端到端的方式联合训练，以作为部分检测器和特征提取器，从而专注地定位和提取相关特征。我们展示了我们的网络对两个著名的视觉识别任务的意义：细粒度的图像分类和人的重新识别。
2017-09-18 cs.CV
Temporal Bilinear Networks for Video Action Recognition
Peking University（北京大学）
视频中的时间建模是计算机视觉中的一个基本而又具有挑战性的问题。在本文中，我们提出了一种新的时间双线性（TB）模型来捕捉相邻帧之间的时间成对特征的相互作用。与现有的一些时域方法相比，这些方法仅限于线性变换，我们的TB模型考虑了时域中的显式二次双线性变换，用于运动演化和序列关系建模。我们进一步利用线性复杂度的因子分解双线性模型和瓶颈网络设计来构建TB块，这也限制了参数和计算成本。我们考虑两种方案，即宽和深时间双线性网络（TBN）的TB块和原始的2D空间卷积的合并。最后，我们在几个广泛采用的数据集上进行了实验，包括Kinetics，UCF 101和HMDB 51。通过全面的消融分析和与各种最先进方法的比较，我们的TBN的有效性得到了验证。
2018-11-25 cs.CV
Factorized Bilinear Models for Image Recognition
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）；TuSimple（图森未来）
尽管深度卷积神经网络（CNN）已经在各种计算机视觉任务中解放了它们的力量，但CNN最重要的组件，卷积层和全连接层，仍然局限于线性变换。在本文中，我们提出了一种新的分解双线性（FB）层模型的两两特征的相互作用，通过考虑二次项的转换。与试图将复杂的非线性结构纳入CNN的现有方法相比，因子化参数化使我们的FB层只需要线性增加参数和负担得起的计算成本。为了进一步降低FB层过拟合的风险，在训练过程中设计了一种称为DropFactor的特定补救措施。我们还分析了FB层与现有模型的联系，并指出FB层是对现有模型的推广。最后，我们在几个广泛采用的数据集上验证了FB层的有效性，包括CIFAR-10，CIFAR-100和ImageNet，并与各种最先进的深度模型相比，展示了优越的结果。
2017-09-04 cs.CV
Deep Decomposition and Bilinear Pooling Network for Blind Night-Time Image Quality Evaluation
Ningbo University（宁波大学）；University of Waterloo（滑铁卢大学）；Shanghai Jiao Tong University（上海交通大学）
盲图像质量评估（BIQA）是一种在没有任何原始参考信息的情况下准确预测图像质量的方法，在过去的几十年里受到了广泛的关注。特别是在深度神经网络的帮助下，取得了很大的进展。然而，它仍然是较少的研究夜间图像（NTIs），通常遭受复杂的真实失真，如能见度降低，低对比度，加性噪声，和颜色失真的BIQA。这些不同的真实退化特别挑战了用于盲NTI质量评估（NTIQE）的有效深度神经网络的设计。在本文中，我们提出了一种新的深度分解和双线性池化网络（DDB-Net）来更好地解决这个问题。DDB-Net包含三个模块，即，图像分解模块、特征编码模块和双线性池化模块。图像分解模块受到Retinex理论的启发，并且涉及将输入NTI解耦为负责照明信息的照明层组件和负责内容信息的反射层组件。然后，特征编码模块涉及学习分别植根于两个解耦分量的退化的特征表示。最后，通过将照明相关和内容相关的劣化建模为双因素变化，将两个特征集双线性地汇集在一起以形成用于质量预测的统一表示。通过在多个基准数据集上的大量实验，验证了所提出的DDB-Net的优越性。源代码将很快提供。
2022-08-29 cs.CV cs.MM
Blind Image Quality Assessment Using A Deep Bilinear Convolutional Neural Network
Wuhan University（武汉大学）；New York University（纽约大学）；University of Waterloo（滑铁卢大学）
我们提出了一种用于盲图像质量评估（BIQA）的深度双线性模型，可以处理合成和真实失真。我们的模型由两个卷积神经网络（CNN）组成，每个卷积神经网络都专注于一种失真场景。对于合成失真，我们预训练一个CNN来分类图像失真类型和水平，在这里我们可以使用大规模的训练数据。对于真实的失真，我们采用预训练的CNN进行图像分类。来自两个CNN的特征被双线性地合并到一个统一的表示中，用于最终的质量预测。然后，我们使用随机梯度下降的变体在目标主题评级数据库上微调整个模型。大量的实验表明，该模型在合成数据库和真实数据库上都取得了优异的性能。此外，我们验证了我们的方法在滑铁卢探索数据库使用组最大差异化竞争的推广。
2019-07-05 cs.CV cs.MM eess.IV
Multiregion Bilinear Convolutional Neural Networks for Person Re-Identification
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究院）
在这项工作中，我们提出了一个新的架构的人重新识别。由于重新识别的任务本质上与嵌入学习和非刚性外观描述相关，因此我们的架构基于深度双线性卷积网络（Bilinear-CNN），该网络最近被提出用于高度非刚性对象的细粒度分类。虽然原始Bilinear-CNN架构的最后阶段通过执行无序池化完全消除了几何信息的考虑，但我们观察到可以通过以更局部的方式执行双线性池化来学习更好的嵌入，其中每个池化都局限于预定义的区域。因此，我们的架构代表了传统卷积网络和双线性CNN之间的妥协，并在严格匹配和完全忽略空间信息之间取得了平衡。我们在三个流行的基准数据集（Market-1501，CUHK 01，CUHK 03）上对新架构进行了实验验证，将其与包括Bilinear-CNN以及现有技术的基线进行了比较。新架构在所有三个数据集上的性能都优于基线，同时在三分之二的数据集上的性能优于最先进的技术。该方法的代码和预训练模型可以在https://github.com/madkn/MultiregionBilinearCNN-ReId上找到。
2017-09-06 cs.CV
Backpropagation with N-D Vector-Valued Neurons Using Arbitrary Bilinear Products
向量值神经学习是近年来深度学习研究的一个重要方向。传统上，神经网络（NN）的训练数据被公式化为标量向量;然而，由于相邻标量之间的关联没有建模，因此其性能可能不是最佳的。在本文中，我们提出了一种新的向量神经网络架构称为任意双线性积神经网络（ABIPNN），它处理信息作为每个神经元的向量，并使用任意双线性积定义前馈投影。这样的双线性积可以包括循环卷积、七维向量积、斜循环卷积、逆时循环卷积或在先前工作中未见到的其他新积。作为概念验证，我们将我们提出的网络应用于多光谱图像去噪和歌声分离。实验结果表明，ABIPNN与传统NN相比，获得了实质性的改进，这表明关联是在训练过程中学习的。
2018-05-24 cs.CV cs.LG stat.ML
Segmentation of Liver Lesions with Reduced Complexity Deep Models
Indian Institute of Science（印度科学学院）
我们提出了一个计算效率高的架构，学习分割病变的CT图像的肝脏。该架构使用双线性插值与亚像素卷积在最后一层，以提升瓶颈架构中的课程功能。由于双线性插值和子像素卷积没有任何可学习的参数，因此我们的整体模型比传统的U网更快，占用的内存更少。我们在2017年肝脏肿瘤分割（LiTS）挑战赛的高度竞争数据集上评估了我们提出的架构。我们的方法取得了有竞争力的结果，同时减少了可学习参数的数量，与原始UNet模型相比，大约减少了13.8倍。
2018-05-23 cs.CV
Bilinear-Convolutional Neural Network Using a Matrix Similarity-based Joint Loss Function for Skin Disease Classification
School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）；Umea University（于默奥大学）；School of Information and Control Engineering, Xi’an University of Architecture and Technology（西安建筑科技大学信息与控制工程学院）；School of Civil and Hydraulic Engineering, Huazhong University of Science and Technology（华中科技大学土木与水利工程学院）；School of Management Science and Engineering, China University of Geosciences（中国地质大学管理科学与工程学院）
提出一种结合双线性卷积神经网络和受限三元组网络的皮肤病分类模型，通过双线性池化捕获二阶特征统计量，并利用受限三元组损失层实现类间分类与类内集中，最终达到93.72%的平均准确率。
2024-06-02 cs.CV
Where to Look and How to Describe: Fashion Image Retrieval with an Attentional Heterogeneous Bilinear Network
Northwestern Polytechnical University（西北工业大学）；National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology（空天地海一体化大数据应用技术国家工程实验室）；University of Adelaide（阿德莱德大学）；MinSheng FinTech Corp. Ltd（民生金融科技股份有限公司）
时装产品的特点通常是在不同的服装部分组成的各种风格。为了区分不同时尚产品的图像，我们需要提取两种外观（即，“如何描述”）和本地化（即，“在哪里看”）信息，以及它们的交互。为此，我们提出了一个生物启发的框架，基于图像的时尚产品检索，它模仿了假设的两流视觉处理系统的人脑。提出的注意力异构双线性网络（AHBN）由两个分支组成：一个深CNN分支提取细粒度的外观属性和一个完全卷积分支提取地标定位信息。联合通道式注意力机制进一步应用于所提取的异构特征以聚焦于重要通道，随后是紧凑的双线性池化层以对两个流的交互进行建模。我们提出的框架取得了令人满意的性能，基于图像的时尚产品检索基准。
2020-10-26 cs.CV
Deep Fusion: An Attention Guided Factorized Bilinear Pooling for Audio-video Emotion Recognition
University of Science and Technology of China（中国科学技术大学）
由于情感概念的抽象性和情感表达的多样性，情感自动识别是一个具有挑战性的课题。虽然对情绪的定义还没有统一的认识，但人类的情绪状态通常可以被听觉和视觉系统感知。受人类这种认知过程的启发，在AER中同时利用音频和视频信息是很自然的。然而，大多数传统的融合方法只建立一个线性的范例，如特征级联和多系统融合，这很难捕捉音频和视频之间的复杂关联。在本文中，我们引入了因子分解双线性池（FBP），以深入整合音频和视频的特征。具体地，通过嵌入的注意力机制从各个模态中选择特征以获得情感相关区域。整个流水线可以在一个神经网络中完成。在2018年的音频-视频子挑战的AFEW数据库上进行了验证，所提出的方法实现了62.48%的准确率，优于最先进的结果。
2019-01-15 cs.CV cs.HC cs.LG
Deep 360$^\circ$ Optical Flow Estimation Based on Multi-Projection Fusion
Victoria University of Wellington（惠灵顿维多利亚大学）；Adobe Research（Adobe研究院）
光流计算在视频处理流水线的早期阶段是必不可少的。本文重点讨论了这一领域中较少探索的问题，即使用深度神经网络进行360 $^\circ$光流估计，以支持日益流行的VR应用。为了解决应用卷积神经网络时全景表示的失真问题，我们提出了一种新的多投影融合框架，该框架融合了使用不同投影方法训练的模型预测的光流。它学习组合不同投影下的光流结果中的互补信息。我们还建立了第一个大规模的全景光流数据集，以支持神经网络的训练和全景光流估计方法的评估。在我们数据集上的实验结果表明，我们的方法优于现有方法和其他为处理360°内容而开发的替代深度网络。
2022-07-27 cs.CV
Deep Back-Projection Networks For Super-Resolution
Toyota Technological Institute（丰田工业大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
最近提出的深度超分辨率网络的前馈架构学习低分辨率输入的表示，以及从这些到高分辨率输出的非线性映射。然而，这种方法不能完全解决低分辨率和高分辨率图像的相互依赖性。我们提出了深度反投影网络（DBPN），它利用迭代的上下采样层，为每个阶段的投影误差提供误差反馈机制。我们构建相互连接的上采样和下采样阶段，每个阶段代表不同类型的图像退化和高分辨率组件。我们表明，扩展这一想法，允许跨上采样和下采样阶段（密集DBPN）的功能级联，使我们能够重建进一步提高超分辨率，产生更好的结果，特别是建立新的最先进的结果，如跨多个数据集的8倍大比例因子。
2018-03-07 cs.CV
Deep Back-Projection Networks for Single Image Super-resolution
Toyota Technological Institute（丰田工业大学）；Bukalapak（布卡拉帕克）；TTI at Chicago（芝加哥丰田技术研究所）
最近提出的深度超分辨率网络的先前前馈架构学习低分辨率输入的特征以及从这些特征到高分辨率输出的非线性映射。然而，这种方法不能完全解决低分辨率和高分辨率图像的相互依赖性。我们提出了深度反投影网络（DBPN），它是两个图像超分辨率挑战赛（NTIRE 2018和PIRM2018）的获胜者，它利用了迭代的上采样和下采样层。这些层形成为提供用于投影误差的误差反馈机制的单元。我们构建相互连接的上采样和下采样单元，每个单元代表不同类型的低分辨率和高分辨率组件。我们还表明，扩展这个想法，以展示一个新的见解，更有效的网络设计，如投影模块和投影步骤的过渡层上的参数共享。实验结果产生了优异的结果，特别是在多个数据集上建立了新的最先进的结果，特别是对于大的缩放因子，如8x。
2020-06-13 cs.CV
SPNet: Deep 3D Object Classification and Retrieval using Stereographic Projection
Seoul National University（首尔国立大学）
我们提出了一个有效的立体投影神经网络（SPNet）的学习表示的三维物体。我们首先使用球极投影将3D输入体积转换为2D平面图像。然后，我们提出了一个浅层2D卷积神经网络（CNN）来估计对象类别，然后是视图集成，它结合了对象的多个视图的响应，以进一步增强预测。具体地说，该方法包括四个阶段：（1）三维物体的立体投影，（2）视图特定的特征学习，（3）视图选择和（4）视图集成。所提出的方法执行的最先进的方法，同时具有显著较低的GPU内存以及网络参数。尽管它的重量轻，三维物体分类和形状检索的实验证明了所提出的方法的高性能。
2019-01-24 cs.CV
One-to-many face recognition with bilinear CNNs
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
最近卷积神经网络（CNN）研究的爆炸性增长为深度学习产生了各种新的架构。一个有趣的新架构是双线性CNN（B-CNN），它在某些细粒度识别问题上显示出显着的性能增益[15]。我们将这种新的CNN应用于具有挑战性的新人脸识别基准，IARPA Janus Benchmark A（IJB-A）[12]。它的特点是面对大量的身份在具有挑战性的现实世界的条件。由于人脸图像不是使用计算机化的人脸检测系统自动识别的，因此它不具有这种数据库中固有的偏见。我们从ImageNet上预训练的AlexNet风格网络开始演示B-CNN模型的性能。然后，我们使用中等规模的公共外部数据库FaceScrub [17]显示微调结果。我们还提出了额外的微调有限的训练数据提供的协议的结果。在每种情况下，微调后的双线性模型都比标准CNN有了实质性的改进。最后，我们演示了如何在大型人脸数据库上预训练的标准CNN，最近发布的VGG-Face模型[20]，可以转换为B-CNN，而无需任何额外的特征训练。该B-CNN在IJB-A基准测试上改进了CNN的性能，实现了89.5%的秩1召回率。
2016-03-28 cs.CV
Low-Rank Pairwise Alignment Bilinear Network For Few-Shot Fine-Grained Image Classification
Faculty of Engineering and Information Technology, University of Technology Sydney（悉尼科技大学工程与信息技术学院）；School of Computer Science, The University of Adelaide（阿德莱德大学计算机学院）
深度神经网络已经在各种视觉分类任务上表现出了先进的能力，这些任务严重依赖于带有注释的地面实况的大规模训练样本。然而，在现实世界的应用程序中总是需要这样的注释是不现实的。近年来，少样本学习（FS）作为解决训练样本不足问题的一种尝试，在类属分类任务中取得了重大进展。尽管如此，它仍然是具有挑战性的当前FS模型区分细粒度的类别之间的细微差别给定有限的训练数据。为了填补分类的空白，在本文中，我们解决了Few-Shot Fine-Grained（FSFG）分类问题，其重点是解决具有挑战性的少样本学习设置下的细粒度分类。提出了一种新的低秩成对双线性池操作，以捕获支持图像和查询图像之间的细微差别，用于学习有效的距离度量。此外，还设计了一个特征对齐层，用于在比较之前将支持图像特征与查询图像特征进行匹配。我们将所提出的模型命名为低秩成对对齐双线性网络（LRPABN），它以端到端的方式进行训练。在四个广泛使用的细粒度分类数据集上的综合实验结果表明，我们的LRPABN模型与最先进的方法相比，具有更优越的性能。
2020-05-28 cs.CV
Multilayer Collaborative Low-Rank Coding Network for Robust Deep Subspace Discovery
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Nanjing University of Information Science and Technology（南京信息工程大学）
对于子空间恢复，大多数现有的低秩表示（LRR）模型在原始空间中以单层模式执行。因此，无法学习深层分层信息，这可能导致复杂真实数据的不准确恢复。在本文中，我们探讨了深层多子空间恢复问题，设计了一个多层架构的潜在LRR。在技术上，我们提出了一种新的多层协作低秩表示网络模型DeepLRR，用于发现深层特征和深层子空间。在每一层（>2）中，DeepLRR利用前一层的低秩系数和投影矩阵进行协同表示，双线性重构数据矩阵。前一层的双线性低秩重构直接作为下一层的输入和低秩字典进行表示学习，并进一步分解为深层主特征部分、深层显著特征部分和深层稀疏误差部分。这样，由于低秩字典，相干性问题也可以得到解决，并且对噪声的鲁棒性也可以在特征子空间中得到增强。为了准确地恢复层中的稀疏错误，使用了动态增长策略，因为噪声水平将随着层的增加而变小。此外，该算法还引入了邻域重构误差，利用各层深度系数自适应地对深度显著特征的局部性进行编码。在公共数据库上的大量结果表明，我们的DeepLRR在子空间发现和聚类方面优于其他相关模型。
2020-01-15 cs.CV
Deep Learning for Vanishing Point Detection Using an Inverse Gnomonic Projection
University of Twente（特文特大学）
本文提出了一种新的未标定单目图像消失点检测方法。与现有技术相比，我们对观察到的场景没有先验假设。我们的方法是基于一个卷积神经网络（CNN），它不使用自然图像，但高斯球表示所产生的图像中检测到的线的逆日晷投影。这使我们能够依靠合成数据进行训练，从而消除了对标记图像的需求。我们的方法在三个水平估计基准数据集上实现了具有竞争力的性能。我们进一步强调了我们的消失点检测算法可以使用的一些其他用例。
2017-11-16 cs.CV
Temporal Bilinear Encoding Network of Audio-Visual Features at Low Sampling Rates
Insight Centre for Data Analytics（洞察数据分析中心）；Dublin City University（都柏林城市大学）
当前基于深度学习的视频分类架构通常在大量数据上进行端到端训练，并且需要大量的计算资源。本文的目的是利用视听信息的视频分类与每秒1帧的采样率。我们提出了时间双线性编码网络（TBEN）的编码音频和视觉长距离的时间信息，使用双线性池，并证明双线性池是优于平均池的时间维度上的视频与低采样率。为了进一步提高分类器的鲁棒性，我们还在TBEN中嵌入了标签层次结构。在FGA240细粒度分类数据集上的实验结果表明，TBEN算法的分类命中率达到了最新水平（hit@1=47.95%）。我们还利用了将TBEN与视觉语义和运动特征等多个解耦模式相结合的可能性：以1 FPS采样的UCF 101实验达到了接近最先进的准确率（hit@1=91.03%），同时需要的计算资源比竞争方法少得多。
2020-12-18 cs.CV cs.LG
Lite-FBCN: Lightweight Fast Bilinear Convolutional Network for Brain Disease Classification from MRI Image
Institut Teknologi Sepuluh Nopember（泗水理工学院）；Universitas Airlangga（艾尔朗加大学）
针对MRI脑疾病分类中精度与计算效率难平衡的问题，提出单网络架构的轻量级快速双线性卷积网络Lite-FBCN，通过通道缩减层压缩特征维度，在多项测试中准确率优于基线与现有双线性模型，适合资源受限或实时临床场景。
2024-09-17 cs.CV eess.IV
Progressive Spatio-Temporal Bilinear Network with Monte Carlo Dropout for Landmark-based Facial Expression Recognition with Uncertainty Estimation
Aarhus University（奥胡斯大学）
深度神经网络已被广泛用于面部表情识别系统中的特征学习。然而，小的数据集和大的类内变异性可能导致过拟合。在本文中，我们提出了一种方法，学习一个优化的紧凑的网络拓扑结构的实时面部表情识别利用本地化的面部地标功能。我们的方法采用时空双线性层作为骨干，有效地捕捉面部表情执行过程中的面部标志的运动。此外，它还利用蒙特卡罗丢弃法捕捉模型的不确定性，这对分析和处理不确定性情况具有重要意义。在三个广泛使用的数据集上对我们的方法的性能进行了评估，它与基于视频的最先进的方法相当，同时它的复杂度要低得多。
2021-06-08 cs.CC cs.CV cs.HC
Deep Gradient Projection Networks for Pan-sharpening
全色锐化是遥感成像系统获取高分辨率多光谱图像的重要技术。最近，深度学习已经成为最流行的泛锐化工具。本文提出了一种基于模型的深度泛锐化方法。具体而言，两个优化问题的深度先验规则化，他们分别负责全色图像和低分辨率多光谱图像的生成模型。然后，用梯度投影算法求解这两个问题，并将迭代步骤推广到两个网络块中。通过交替堆叠两个块，一种新的网络，称为基于梯度投影的泛锐化神经网络，被构造。在不同类型的卫星数据集上的实验结果表明，新的网络在视觉和定量上都优于最先进的方法。这些代码可在https://github.com/xsxjtu/GPPNN上获得。
2021-03-08 cs.CV eess.IV
Deep Back Projection for Sparse-View CT Reconstruction
Purdue University（普渡大学）
滤波反投影（FBP）是从正弦CT数据重建图像重建的经典方法。FBP是计算效率高，但产生较低的质量重建比更复杂的迭代方法，特别是当视图的数量低于所需的奈奎斯特速率。在本文中，我们使用深度卷积神经网络（CNN）直接从正弦图数据中生成高质量的重建。我们方法的主要新颖之处在于，我们首先分别对每个视图进行反向投影，以形成反向投影堆栈，然后将此堆栈作为卷积神经网络的输入。这些单视图反投影将正弦图数据的编码转换为适当的空间位置，然后可以通过CNN的空间不变性来利用该空间位置以有效地学习重建。我们证明了我们的CNN基于反投影的模拟稀疏视图CT数据在经典的FBP的好处。
2018-07-06 cs.CV eess.IV
DeepCA: Deep Learning-based 3D Coronary Artery Tree Reconstruction from Two 2D Non-simultaneous X-ray Angiography Projections
University of Oxford（牛津大学）；Institute of Biomedical Engineering（生物医学工程研究所）；Division of Cardiovascular Medicine（心血管医学部）；Radcliffe Department of Medicine（拉德克利夫医学系）；Oxford Acute Vascular Imaging Centre（牛津急性血管成像中心）
针对非同步X射线血管造影投影难以重建三维冠状动脉树的问题，提出DeepCA深度学习流程，利用Wasserstein条件生成对抗网络等隐式补偿运动，实现三维重建，并在真实数据上验证了良好性能。
2024-12-13 cs.CV eess.IV
Deep Learning Sparse Ternary Projections for Compressed Sensing of Images
Vrije Universiteit Brussel（布鲁塞尔自由大学）；imec（比利时微电子研究中心）
压缩感知（CS）是一种采样理论，它允许使用由适当的投影矩阵实现的感知机制，从不完整数量的测量中重建稀疏（或可压缩）信号。CS理论基于随机高斯投影矩阵，其以高概率满足恢复保证;然而，稀疏三元{0，-1，+1}投影更适合于硬件实现。在本文中，我们提出了一种深度学习方法来获得非常稀疏的压缩感知三元投影。我们的深度学习架构以端到端的方式联合学习一对投影矩阵和重建算子。真实图像上的实验结果表明，所提出的方法的有效性相比，国家的最先进的方法，具有显着的优势，在复杂度。
2017-08-28 cs.CV cs.LG stat.ML
First Investigation Into the Use of Deep Learning for Continuous Assessment of Neonatal Postoperative Pain
University of South Florida（南佛罗里达大学）
本文首次研究了使用全自动深度学习框架评估新生儿术后疼痛。它专门研究了使用双线性卷积神经网络（B-CNN）在不同程度的术后疼痛期间提取面部特征，然后使用递归神经网络（RNN）对时间模式进行建模。虽然急性和术后疼痛有一些共同的特点（例如，视觉动作单位），术后疼痛具有不同的动态，并且随着时间的推移以独特的模式演变。我们的实验结果表明，急性和术后疼痛的模式之间有明显的差异。他们还建议使用双线性CNN与RNN模型的组合来连续评估术后疼痛强度。
2020-03-24 cs.CV cs.LG eess.IV
Projection-Based Correction for Enhancing Deep Inverse Networks
Department of Computer Science, Universidad Industrial de Santander（计算机科学系，圣安德烈斯工业大学）
本文提出一种基于投影的校正方法，通过约束解在有效解空间内并确保与前向模型一致，增强深度逆网络的推理，理论证明其可分解为值域和零空间分量，实验验证了重建精度的提升。
2025-05-21 cs.CV cs.LG physics.comp-ph
Deep learning based projection domain metal segmentation for metal artifact reduction in cone beam computed tomography
Aalto University（阿尔托大学）；Planmeca Oy（普兰梅卡公司）
针对CBCT金属伪影减少中投影金属分割标注难的问题，提出用X射线模拟生成合成训练数据，结合全尺寸与裁剪投影训练模型，提升了鲁棒性与图像质量，可集成到现有MAR流程。
2023-10-09 cs.CV eess.IV
Novel-view X-ray Projection Synthesis through Geometry-Integrated Deep Learning
Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔朗根-纽伦堡大学）
针对传统X射线多视角成像辐射暴露高、流程复杂的问题，提出DL-GIPS模型，通过单投影提取并操作几何与纹理特征合成新视角投影，肺部成像案例验证其有效性，有望革新立体与容积成像。
2025-04-16 cs.CV eess.IV
Missing Cone Artifacts Removal in ODT using Unsupervised Deep Learning in Projection Domain
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
光学衍射层析成像（ODT）通过测量不同角度的散射场，得到折射率（RI）的三维分布。虽然RI指数的分布是高度信息化的，但由于全息图的有限角度采集引起的缺失圆锥问题，与水平成像平面相比，重建沿着轴向方向具有非常差的分辨率。为了解决这个问题，我们提出了一个新的无监督深度学习框架，它通过最优传输驱动的cycleGAN来学习丢失投影视图的概率分布。实验结果表明，该方法可以有效地解决光学检测中的缺失圆锥伪影。
2021-07-18 cs.CV cs.LG eess.IV
Empirically Accelerating Scaled Gradient Projection Using Deep Neural Network For Inverse Problems In Image Processing
UNIST（蔚山国立科学技术院）
最近，深度神经网络（DNN）在加速优化算法方面显示出优势。一种方法是展开传统优化算法的有限次迭代，并学习算法中的参数。然而，这些都是向前的方法，实际上既不是迭代的，也不是收敛的。在这里，我们提出了一种新的基于DNN的收敛迭代算法，可以加速传统的优化算法。我们训练一个DNN来产生尺度梯度投影方法中的参数。到目前为止，这些参数的选择是严格的，但已被证明是至关重要的良好的经验表现。仿真结果表明，对于图像处理中的各种大规模反问题，该方法的经验收敛速度明显优于传统的优化方法.
2021-04-22 cs.CV cs.LG stat.ML
