Trajectory saliency detection using consistency-oriented latent codes from a recurrent auto-encoder
Inria(法国国家信息与自动化研究所);Univ Rennes(雷恩大学);IRISA(法国信息与随机系统研究所)
在本文中,我们关注的是从视频序列中检测渐进动态显著性。更确切地说,我们感兴趣的是与运动相关的显著性,并且可能随着时间的推移逐渐出现。它可以与触发警报、专用附加处理或检测特定事件相关。轨迹代表了支持渐进式动态显著性检测的最佳方式。因此,我们将讨论轨迹显著性。如果一个轨迹偏离了与给定上下文相关的共同运动模式的正常轨迹,则该轨迹将被定性为显着的。首先,我们需要一个紧凑而有区别的轨迹表示。我们采用了(几乎)基于无监督学习的方法。由递归自动编码器估计的潜在代码提供期望的表示。此外,我们通过自动编码器损失函数强制正常(相似)轨迹的一致性。轨迹代码到考虑正常性的原型代码的距离是检测显著轨迹的手段。我们在合成和真实轨迹数据集上验证了我们的轨迹显著性检测方法,并突出了其不同组件的贡献。我们表明,我们的方法优于现有的方法从公共可用的数据集在火车站获得的行人轨迹(Alahi 2014)的几个场景。
2021-05-19 cs.CV
EV-MGRFlowNet: Motion-Guided Recurrent Network for Unsupervised Event-based Optical Flow with Hybrid Motion-Compensation Loss
Northeastern University(东北大学)
本文提出EV-MGRFlowNet,一种基于运动引导循环网络和混合运动补偿损失的无监督事件光流估计方法,在MVSEC数据集上平均端点误差降低约22.71%,达到无监督方法最优性能。
2023-05-13 cs.CV
Pose-Oriented Transformer with Uncertainty-Guided Refinement for 2D-to-3D Human Pose Estimation
Qualcomm AI Research(高通人工智能研究院);Qualcomm Technologies, Inc.(高通技术公司);Shanghai Jiao Tong University(上海交通大学)
最近,人们对将Transformers引入3D人体姿态估计(HPE)的兴趣激增,因为它们在建模长期依赖性方面具有强大的功能。然而,现有的基于变换器的方法将身体关节视为同等重要的输入,并且忽略了自我注意力机制中的人体骨架拓扑的先验知识。为了解决这个问题,在本文中,我们提出了一个姿态导向的Transformer(POT)与不确定性指导细化的三维HPE。具体来说,我们首先开发了新的面向姿态的自我注意力机制和距离相关的位置嵌入POT明确利用人体骨架拓扑结构。面向姿态的自我注意力机制明确地对身体关节之间的拓扑相互作用进行建模,而距离相关的位置嵌入对关节到根关节的距离进行编码,以区分具有不同回归难度的关节组。此外,我们提出了一个不确定性指导的细化网络(UGRN),以改善从POT的姿态预测,特别是对于困难的关节,通过考虑估计的不确定性的每个关节的不确定性与不确定性指导的采样策略和自我注意力机制。大量的实验表明,我们的方法在3D HPE基准测试(如Human3.6M和MPI-INF-3DHP)上显著优于具有减少的模型参数的最先进方法
2023-02-15 cs.CV
Degradation-Guided Underwater Image Restoration with Task-Oriented Latent Control
针对水下图像退化信息双重作用被忽略的问题,提出PROTEUS模型,结合退化引导特征适应与面向任务的潜在控制,在多基准上实现了复原质量与计算成本的良好平衡。
2026-08-11 cs.CV
RePoseDM: Recurrent Pose Alignment and Gradient Guidance for Pose Guided Image Synthesis
Glance AI(格朗斯人工智能公司)
针对姿态引导人物图像合成中姿态对齐难、源姿态泄漏等问题,提出带循环姿态对齐与姿态交互场梯度引导的RePoseDM方法,在多基准上实现挑战性场景下的高真实感姿态迁移。
2024-04-11 cs.CV
Recurrent Flow-Guided Semantic Forecasting
Michigan State University(密歇根州立大学)
了解我们周围的世界并对未来做出决定是人类智能的关键组成部分。随着自主系统的不断发展,它们对未来的推理能力将成为其成功的关键。语义预测是一个相对未被开发的领域,自动驾驶汽车可以利用这一领域(例如,预测行人轨迹)。出于自治系统中实时预测的需要,我们提出将具有挑战性的语义预测任务分解为两个子任务:当前帧分割和未来光流预测。通过这种分解,我们构建了一个高效、有效、低开销的模型,它有三个主要组件:流预测网络、特征流聚合LSTM和端到端可学习的warp层。我们提出的方法在短期和移动对象语义预测方面实现了最先进的准确性,同时将模型参数减少了高达95%,并将效率提高了40倍以上。
2018-11-21 cs.CV
Language-Guided Face Animation by Recurrent StyleGAN-based Generator
Microsoft Research Asia(微软亚洲研究院)
本文提出语言引导人脸动画任务,通过循环运动生成器结合预训练 StyleGAN,并设计身份保持、运动平滑和对比损失,实现从单张静态图像生成高质量视频。
2024-07-03 cs.CV
Pancreas segmentation with probabilistic map guided bi-directional recurrent UNet
Shanghai Jiao Tong University(上海交通大学);Ruijin Hospital, Shanghai Jiao Tong University School of Medicine(上海交通大学医学院附属瑞金医院);Rutgers University(罗格斯大学)
医学图像中的胰腺分割对于临床胰腺诊断和治疗具有重要意义。然而,胰腺形状和体积的巨大群体差异会导致巨大的分割困难,即使对于利用全卷积神经网络(FCN)的最新算法也是如此。具体地,胰腺分割遭受2D方法中的空间信息的损失和3D方法的高计算成本。为了缓解这些问题,我们提出了一个概率图引导的双向递归UNet(PBR-UNet)架构,它将切片内信息和切片间概率图融合到一个局部3D混合正则化方案中,然后进行双向递归网络优化。PBR-UNet方法由一个用于有效提取像素级概率图的初始估计模块和一个用于通过2.5D U-Net架构传播混合信息的主要分割模块组成。具体地,通过将输入图像与相邻切片的概率图组合成多通道混合数据,然后分层地聚合整个分割网络的混合信息来推断局部3D信息。此外,一个双向的递归优化机制,开发的混合信息在向前和向后两个方向上更新。这使得所提出的网络能够充分和最佳地利用本地上下文信息。在NIH胰腺CT数据集上进行了定量和定性评估,与其他最先进的方法相比,我们提出的PBR-UNet方法以更少的计算成本获得了更好的分割结果。
2022-08-11 cs.CV
A3GC-IP: Attention-Oriented Adjacency Adaptive Recurrent Graph Convolutions for Human Pose Estimation from Sparse Inertial Measurements
Ulm University(乌尔姆大学);Linköping University(林雪平大学)
用于人体姿态估计的常规方法或者通过依赖于许多惯性测量单元(IMU)而需要高度的仪器,或者通过依赖于外部相机而约束记录空间。这些缺陷是通过从稀疏IMU数据中估计人体姿态的方法来解决的。我们定义了面向注意力的邻接自适应图卷积长短期记忆网络(A3 GC-LSTM),通过将人体图结构直接纳入网络,解决了基于六个IMU的人体姿态估计问题。A3 GC-LSTM在单个网络操作中结合了空间和时间依赖性,比以前的方法更高效。通过为图卷积配备邻接自适应性,可以实现任意长序列上的递归图学习,这消除了深度或递归图网络中的信息丢失问题,同时还允许学习人体关节之间的未知依赖关系。为了进一步提高准确性,将空间注意力形式主义纳入递归LSTM单元。通过我们提出的方法,我们能够利用人体固有的图形性质,从而可以超越现有技术的状态,从稀疏IMU数据的人体姿态估计。
2022-12-22 cs.CV cs.LG
Seed Selection for Human-Oriented Image Reconstruction via Guided Diffusion
Graduate School of FSE, Waseda University Tokyo, Japan(FSE研究生院,早稻田大学东京,日本)
针对现有基于扩散的人机可扩展图像编码方法因单随机种子导致图像质量欠佳的问题,提出基于反向扩散早期中间输出的多候选种子选择法,在不增码率下提升图像质量,多指标优于基线。
2025-07-30 cs.CV
LOGOS: Language-guided Oriented Object Detection in Aerial Scenes
University of Science, VNU-HCM, Vietnam(越南国家大学科学大学);Vietnam National University, Ho Chi Minh City, Vietnam(越南国家大学)
针对航空场景目标检测难题,提出基于Transformer的LOGOS方法,利用文本提示引导检测,通过提示调制内容查询动态调整焦点,经DOTA数据集实验验证,该方法优于现有技术,提升了遥感应用中定向目标检测的性能。
2026-07-10 cs.CV
FGAA-FPN: Foreground-Guided Angle-Aware Feature Pyramid Network for Oriented Object Detection
International school of BUPT(北京邮电大学国际学院)
针对高分辨率遥感和航空图像中定向目标检测难题,提出FGAA-FPN。通过层次功能分解,利用前景引导特征调制模块和角度感知多头注意力模块,在DOTA数据集上实验,取得75.5%和68.3% mAP的最优结果。
2026-07-08 cs.CV
CardioMorphNet: Cardiac Motion Prediction Using a Shape-Guided Bayesian Recurrent Deep Network
University of California, San Diego(加州大学圣地亚哥分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出CardioMorphNet,一种基于循环变分自编码器和贝叶斯公式的3D心脏形状引导可变形配准框架,通过递归配准分割图避免强度相似性损失,在心脏运动估计中优于现有方法,并具有更低的不确定性。
2026-06-08 cs.CV
Sentence Guided Temporal Modulation for Dynamic Video Thumbnail Generation
University of Manitoba(曼尼托巴大学);Huawei Technologies(华为技术有限公司)
我们考虑的问题,句子指定的动态视频缩略图生成。给定输入视频和用户查询语句,目标是生成不仅提供视频内容的预览,而且在语义上对应于语句的视频缩略图。在本文中,我们提出了一个句子引导的时间调制(SGTM)机制,利用句子嵌入调制的归一化的时间激活的视频缩略图生成网络。与现有的国家的最先进的方法,使用经常性的架构,我们提出了一个非经常性的框架,是简单的,并允许更多的并行化。在大规模数据集上的大量实验和分析证明了该框架的有效性。
2020-08-31 cs.CV
DMM: Disparity-guided Multispectral Mamba for Oriented Object Detection in Remote Sensing
University of Electronic Science and Technology of China(电子科技大学);Beijing Institute of Space Mechanics and Electricity(北京空间机电研究所);Donghai Laboratory(东海实验室)
针对多光谱定向目标检测的模态间与模态内差异问题,提出由DCFM、MTA模块和TPA辅助任务构成的DMM框架,在两个数据集上性能优于现有最优方法且保持计算效率。
2024-07-11 cs.CV
Density-Guided Dense Pseudo Label Selection For Semi-supervised Oriented Object Detection
本文提出面向半监督有向目标检测的密度引导密集伪标签选择方法(DDPLS),通过伪密度分数(PDS)估计潜在目标密度并自适应选择可靠伪标签,在DOTA-v1.5基准上以更少标注数据超越了现有方法。
2024-05-15 cs.CV
Demographic-Guided Attention in Recurrent Neural Networks for Modeling Neuropathophysiological Heterogeneity
Yale University(耶鲁大学);Yale School of Medicine(耶鲁大学医学院)
神经系统疾病的异质性表现表明大脑中发生的潜在病理生理变化存在潜在差异。我们建议使用人口统计学引导的注意力(DGA)机制对功能网络差异的异构模式进行建模,用于根据功能磁共振成像(fMRI)时间序列数据进行预测的循环神经网络模型。从DGA头计算的上下文用于帮助基于个人人口统计信息关注适当的功能网络。我们展示了在已发表的研究中使用的ABIDE I数据集的3个子集上改进的分类,这些研究先前已经产生了最先进的结果,在留一个站点交叉验证框架下评估性能,以便更好地概括新数据。最后,我们提供了基于个人人口统计变量解释功能网络差异的例子。
2021-04-15 cs.CV cs.LG eess.IV
Recurrent Video Restoration Transformer with Guided Deformable Attention
ETH Zurich(苏黎世联邦理工学院);Meta Inc.(Meta公司);University of Wurzburg(维尔茨堡大学)
视频恢复的目的是从多个低质量帧恢复多个高质量帧。现有的视频恢复方法通常分为两种极端情况,即,它们或者并行地恢复所有帧,或者以循环的方式逐帧地恢复视频,这将导致不同的优点和缺点。通常,前者具有时间信息融合的优点。然而,它遭受大的模型大小和密集的内存消耗;后者具有相对较小的模型大小,因为它跨帧共享参数;然而,它缺乏长距离依赖建模能力和并行化能力。在本文中,我们试图通过提出一个经常性的视频恢复Transformer,即RVRT,结合这两种情况下的优点。RVRT在全局递归框架内并行处理局部相邻帧,可以在模型大小、有效性和效率之间实现良好的权衡。具体而言,RVRT将视频划分为多个片段,并使用先前推断的片段特征来估计后续片段特征。在每个剪辑中,不同的帧特征通过隐式特征聚合联合更新。在不同的剪辑中,引导变形注意力被设计用于剪辑到剪辑对齐,其从整个推断的剪辑预测多个相关位置,并通过注意力机制聚合它们的特征。视频超分辨率,去模糊和去噪的大量实验表明,所提出的RVRT在平衡模型大小,测试内存和运行时间的基准数据集上实现了最先进的性能。
2022-11-12 cs.CV eess.IV
VLTP: Vision-Language Guided Token Pruning for Task-Oriented Segmentation
University of California, Irvine(加州大学欧文分校);Texas A&M University(德克萨斯农工大学);United States Military Academy(美国陆军军官学校(西点军校));Cisco(思科公司)
针对面向任务的分割(TOS)中ViT计算成本高的问题,提出VLTP机制,通过视觉-语言引导的剪枝解码器筛选任务相关Token,在不损失性能或仅损失1%性能时分别降低25%或40%计算成本。
2024-11-26 cs.CV
Target Oriented High Resolution SAR Image Formation via Semantic Information Guided Regularizations
稀疏正则化合成孔径雷达(SAR)成像框架在生成特征增强的高分辨率图像方面表现出了显著的性能,其中稀疏诱导正则化器通过利用底层图像中某些视觉特征的稀疏先验来实现。然而,由于简单的先验的低级别的功能是不够的,以描述不同的语义内容的图像,这种类型的正则化将无法区分感兴趣的目标和无关的背景杂波。因此,属于目标和杂波的特征在生成的图像中同时受到影响,而不考虑它们的底层语义标签。为了解决这个问题,我们提出了一种新的语义信息引导的框架面向目标的SAR图像形成,其目的是增强感兴趣的目标散射,同时抑制背景杂波。首先,我们开发了一个新的语义特定的正则化图像形成利用目标场景SAR图像中不同的语义类别的统计特性。为了以无监督的方式推断每个像素的语义标签,我们还从先验知识中归纳出一种新的高级先验驱动正则化器和一些语义因果规则。最后,我们的正则化框架的图像形成进一步推导出一个简单的迭代重新加权$\ell_1$最小化问题,可以方便地解决许多现成的求解器。实验结果表明,我们的框架的有效性和优越性的SAR图像形成的目标增强和杂波抑制方面,与国家的艺术。此外,所提出的框架开辟了一个新的方向,致力于一些机器学习策略的图像形成,这可以有利于后续的决策任务。
2017-04-24 cs.CV
Guided Feature Selection for Deep Visual Odometry
Peking University(北京大学);Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学);Beijing Changcheng Aviation Measurement and Control Institute(北京长城航空测控技术研究所)
我们提出了一种新的端到端的视觉里程计架构与指导特征选择的基础上深度卷积递归神经网络。不同于目前的单目视觉里程计方法,我们的方法是建立在直觉上,功能有助于区分不同的运动模式。具体来说,我们提出了一个双分支递归网络,分别利用当前的卷积神经网络(CNN)的特征表示和递归神经网络(RNN)的图像序列推理学习旋转和平移。为了提高特征选择的能力,我们进一步引入了一个有效的上下文感知的指导机制,迫使每个分支提取相关信息,为特定的运动模式明确。实验表明,在流行的KITTI和ICL_NUIM基准测试中,我们的方法在解耦和联合相机姿态恢复方面都优于当前最先进的基于模型和基于学习的方法。
2018-11-25 cs.CV cs.RO
Physics-Guided Recurrent Graph Networks for Predicting Flow and Temperature in River Networks
University of Pittsburgh(匹兹堡大学);U.S. Geological Survey(美国地质调查局);University of Minnesota(明尼苏达大学)
本文提出了一种物理引导的机器学习方法,将先进的机器学习模型和基于物理的模型相结合,以提高对河流网络中的水流和温度的预测。我们首先建立一个递归图网络模型来捕捉河流网络中多个段之间的相互作用。然后,我们提出了一种预训练技术,该技术从基于物理的模型中转移知识,以初始化机器学习模型并学习水流和热力学的物理学。我们还提出了一个新的损失函数,平衡不同河段的性能。我们证明了所提出的方法在预测温度和流量在特拉华河流域的一个子集的有效性。特别是,我们表明,所提出的方法比最先进的基于物理的模型提高了33%/14%,比传统的机器学习模型提高了24%/14%(例如,长短期记忆神经网络)在温度/流量预测中使用非常稀疏(0.1\%)的观测数据进行训练。所提出的方法也已被证明,以产生更好的性能时,推广到不同的季节或不同的流量范围的河流段。
2020-12-08 cs.CV cs.LG physics.geo-ph
ReCoGNet: Recurrent Context-Guided Network for 3D MRI Prostate Segmentation
School of Electrical and Computer Engineering, Georgia Institute of Technology(电气与计算机工程学院,佐治亚理工学院)
提出ReCoGNet混合架构,结合DeepLabV3骨干和ConvLSTM递归头,将MRI序列建模为时空数据,在PROMISE12基准上优于2D和3D分割模型,提升精确率、召回率、IoU和DSC。
2025-06-24 cs.CV eess.IV
Order Matters: Competition-Guided Query Ordering for RNN-Based Object Detection
East China Normal University(华东师范大学);FinVolution Group(信也科技集团)
针对DETR检测器中查询冗余导致训练不稳和预测不果断的问题,提出DETRNN模块,将无序查询转化为基于置信度和相似度的竞争序列,用RNN循环细化,减少冗余并提升精度。
2026-10-26 cs.CV
A Holistic Representation Guided Attention Network for Scene Text Recognition
Northwestern Polytechnical University(西北工业大学);National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology(国家空天地海一体化大数据应用技术国家工程实验室);The University of Adelaide(阿德莱德大学);MinSheng FinTech Corp. Ltd.(民生金融科技股份有限公司)
自然图像中任意形状的不规则场景文本的读取仍然是一个具有挑战性的问题,尽管最近取得了进展。许多现有的方法结合了复杂的网络结构来处理各种形状,使用额外的注释进行更强的监督,或者采用难以训练的递归神经网络进行序列建模。在这项工作中,我们提出了一个简单而强大的场景文本识别方法。在不需要将输入图像转换为序列表示的情况下,我们直接将二维CNN特征连接到由整体表示指导的基于注意力的序列解码器。整体表示可以引导基于注意力的解码器关注更准确的区域。由于没有采用递归模块,我们的模型可以并行训练。与RNN相比,它实现了1.5倍至9.4倍的向后传递加速和1.3倍至7.9倍的向前传递加速。所提出的模型仅使用单词级注释进行训练。通过这种简单的设计,我们的方法在评估的规则和不规则场景文本基准数据集上实现了最先进或有竞争力的识别性能。
2021-03-30 cs.CV
Semantic-decoupled Spatial Partition Guided Point-supervised Oriented Object Detection
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Hefei University of Technology(合肥工业大学)
本文提出了一种高效的训练框架SSP,通过规则驱动的先验注入和数据驱动的标签净化,解决了单点注解放置不足和伪标签质量差的问题,实验表明SSP在DOTA-v1.0和其他数据集上取得了显著的mAP提升,且训练时间和内存占用较低。
2026-06-04 cs.CV
Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks
Google Research(谷歌研究院)
循环神经网络可以被训练来在给定一些输入的情况下产生令牌序列,如最近在机器翻译和图像描述中的结果所例示的。目前训练它们的方法包括在给定当前(循环)状态和先前令牌的情况下,最大化序列中每个令牌的可能性。在推理时,未知的先前标记然后被模型本身生成的标记替换。训练和推理之间的这种差异可能会产生错误,这些错误可能会沿着生成的序列快速积累。我们提出了一个课程学习策略,轻轻地改变训练过程,从一个完全指导计划使用真正的以前的令牌,对一个较少的指导计划,主要是使用生成的令牌。在几个序列预测任务上的实验表明,该方法产生了显着的改善。此外,它还成功用于我们2015年MSCOCO图像描述挑战赛的获奖作品。
2015-09-23 cs.CL cs.CV cs.LG
Every Smile is Unique: Landmark-Guided Diverse Smile Generation
University of Trento(特伦托大学);EPFL(洛桑联邦理工学院);Inria(法国国家信息与自动化研究所);Grenoble-Alpes University(格勒诺布尔阿尔卑斯大学);Fondazione Bruno Kessler (FBK)(布鲁诺·凯斯勒基金会)
每一个微笑都是独一无二的:一个人肯定会以不同的方式微笑(例如,闭上/张开眼睛或嘴巴)。给定一张中性人脸的输入图像,我们能否生成多个具有不同特征的微笑视频?为了解决这个一对多视频生成问题,我们提出了一种新的深度学习架构,称为条件多模式网络(CMM-Net)。为了更好地对面部表情的动态进行编码,CMM-Net明确地利用面部标志来生成微笑序列。具体而言,变分自动编码器用于学习面部地标嵌入。然后,该单个嵌入被条件递归网络利用,该条件递归网络生成以特定表达式为条件的界标嵌入序列(例如,自然的微笑)。接下来,所生成的地标嵌入被馈送到多模式递归地标生成器中,从而产生仍然与给定的微笑类相关联但彼此明显不同的一组地标序列。最后,这些地标序列被翻译成人脸视频。我们的实验结果证明了我们的CMM-Net在生成多个微笑表情的逼真视频方面的有效性。
2018-03-28 cs.CV
Delineation of Skin Strata in Reflectance Confocal Microscopy Images using Recurrent Convolutional Networks with Toeplitz Attention
Northeastern University(东北大学);Memorial Sloan Kettering Cancer Center(纪念斯隆凯特琳癌症中心);Caliber I.D. Inc.(Caliber I.D.公司)
反射共聚焦显微镜(RCM)是一种有效的,非侵入性的皮肤癌诊断预筛选工具,但它需要广泛的培训和经验,以准确评估。有几个定量工具可用于标准化图像采集和分析,和那些可用的是不可解释的。在这项研究中,我们使用一个递归神经网络,关注卷积网络的特征。我们应用它来描绘皮肤层的垂直取向堆栈的横向RCM图像切片在一个可解释的方式。我们引入了一种新的注意力机制,称为Toeplitz注意力,它限制注意力图具有Toeplitz结构。在504个RCM堆栈的专家标记数据集上测试我们的模型,我们实现了88.17%的图像分类准确率,这是目前最先进的。
2017-12-01 cs.CV
Prompt-Guided Attention Head Selection for Focus-Oriented Image Retrieval
Kioxia Corporation(铠侠公司)
本文提出了Prompt-guided attention Head Selection (PHS)方法,通过将ViT的注意力图与用户视觉提示匹配来选择特定注意力头,无需重新训练即可聚焦多对象图像中的特定目标,显著提升了FOIR任务的检索性能。
2025-04-02 cs.CV cs.IR
A Unified Pyramid Recurrent Network for Video Frame Interpolation
Samsung Electronics (China) R&D Center(三星电子(中国)研发中心);Samsung Electronics, South Korea(三星电子(韩国))
流引导合成为帧内插提供了通用框架,其中估计光流以引导连续输入之间的中间帧的合成。在本文中,我们提出了UPR-Net,一种新的统一金字塔递归网络的帧内插。在一个灵活的金字塔框架中,UPR-Net利用轻量级的递归模块进行双向流估计和中间帧合成。在每个金字塔级别,它利用估计的双向流来生成用于帧合成的前向扭曲表示;在金字塔级别上,它能够对光流和中间帧进行迭代细化。特别是,我们表明,我们的迭代合成策略可以显着提高帧插值的鲁棒性大运动的情况下。尽管非常轻量级(1.7M参数),我们的UPR-Net基础版本在大范围的基准测试中实现了出色的性能。我们的UPR-Net系列的代码和训练模型可在https://github.com/srcn-ivl/UPR-Net上获得。
2023-03-23 cs.CV
Learning Task-Oriented Flows to Mutually Guide Feature Alignment in Synthesized and Real Video Denoising
ETH Zürich(苏黎世联邦理工学院);University of Wurzburg(维尔茨堡大学);KU Leuven(鲁汶大学)
视频去噪的目的是去除视频中的噪声,恢复干净的视频。现有的一些工作表明,光流可以帮助去噪利用额外的时空线索从附近的帧。然而,流估计本身也对噪声敏感,并且在大的噪声水平下可能是不可用的。为此,我们提出了一种新的多尺度精细光流引导的视频去噪方法,该方法对不同的噪声水平具有更强的鲁棒性。我们的方法主要包括一个面向去噪的流细化(DFR)模块和一个流引导的相互去噪传播(FMDP)模块。与直接使用现成的流解决方案的先前工作不同,DFR首先学习鲁棒的多尺度光流,并且FMDP通过从低分辨率到高分辨率逐步引入和细化更多的流信息来利用流引导。结合真实噪声退化合成,所提出的多尺度流引导去噪网络在合成高斯去噪和真实视频去噪方面都实现了最先进的性能。这些守则将公开提供。
2023-03-25 cs.CV eess.IV
Recurrent Calibration Network for Irregular Text Recognition
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
场景文本识别在研究界受到越来越多的关注。野外的文本通常具有不规则的排列,典型的有透视文本、弯曲文本、定向文本。大多数现有的方法很难很好地工作不规则的文本,特别是严重扭曲的文本。在本文中,我们提出了一种新的递归校准网络(RCN)的不规则场景的文本识别。RCN逐步校准不规则文本,以提高识别性能。通过将校准过程分解为多个步骤,可以一步一步地将不规则文本校准为正常。此外,为了避免由于不准确的转换而导致信息丢失的积累,我们进一步设计了一个基准点细化结构,以保持文本在循环过程中的完整性。代替校准的图像,基准点的坐标被跟踪和细化,这隐含地对变换信息进行建模。基于细化的基准点,我们估计变换参数,并在每一步从原始图像中采样。通过这种方式,原始字符信息被保留,直到最后的变换。这样的设计导致最佳的校准结果,以提高后续识别的性能。在具有挑战性的数据集上进行的大量实验证明了我们方法的优越性,特别是在不规则基准上。
2018-12-18 cs.CV
Predictive coding feedback results in perceived illusory contours in a recurrent neural network
CerCO(脑与认知研究中心);CNRS(法国国家科学研究中心);ANITI(人工智能与自然智能研究所)
现代前馈卷积神经网络(CNN)现在可以在超人水平上解决一些计算机视觉任务。然而,这些网络只能粗略地模仿人类的视觉感知。与人类视觉的一个区别是,它们似乎不会像人类一样感知虚幻的轮廓(例如Kanizsa广场)。来自视觉皮层的生理学证据表明,对虚幻轮廓的感知可能涉及反馈连接。循环反馈神经网络会像人类一样感知虚幻的轮廓吗?在这项工作中,我们为深度前馈卷积网络配备了大脑启发的循环动力学。该网络首先在自然图像数据集上使用无监督重建目标进行预训练,以将其暴露于自然对象轮廓统计。然后,添加了一个分类决策层,并对模型进行了形式辨别任务的微调:正方形与随机定向的诱导物形状(没有虚幻的轮廓)。最后,该模型进行了测试与陌生的“虚幻轮廓”的配置:诱导形状的方向,以形成一个虚幻的正方形。与前馈基线相比,迭代“预测编码”反馈导致更多虚幻的轮廓被归类为物理正方形。错觉轮廓的感知在模型产生的图像重建的亮度曲线中是可测量的,这表明模型真的“看到”了错觉。消融研究表明,自然图像预训练和反馈纠错都是至关重要的错觉的知觉。最后,我们在更深层次的网络(VGG)中验证了我们的结论:添加相同的预测编码反馈动力学再次导致虚幻轮廓的感知。
2021-06-16 cs.CV q-bio.NC
Component Attention Guided Face Super-Resolution Network: CAGFace
The University of Auckland(奥克兰大学);Purdue University(普渡大学);The Australian National University(澳大利亚国立大学)
为了充分利用人脸的底层结构、人脸数据集的集体信息以及上采样过程中的中间估计,这里我们介绍了一种用于人脸图像的4 $\times$超分辨率的全卷积多级神经网络。我们使用分割网络隐式地施加面部组件式注意力地图,以使我们的网络专注于面部固有模式。我们网络的每个阶段都由一个主干层、一个残差主干层和空间上采样层组成。我们循环地应用阶段来重建中间图像,然后重用其空间到深度转换的版本来逐步引导和增强图像质量。我们的实验表明,我们的脸超分辨率方法实现定量优越和感知愉悦的结果相比,最先进的。
2019-10-19 cs.CV
Semantic-Guided Zero-Shot Learning for Low-Light Image/Video Enhancement
Wenzhou-Kean University(温州肯恩大学)
低光图像挑战人类感知和计算机视觉算法。对于计算摄影和计算机视觉应用(如实时检测和分割)来说,使算法鲁棒以启发弱光图像至关重要。本文提出了一种语义引导的zero-shot低光照增强网络(SGZ),该网络在没有配对图像、未配对数据集和分割注释的情况下进行训练。首先,我们设计了一个增强因子提取网络使用dependency可分离卷积的低光图像的像素级光不足的有效估计。其次,我们提出了一个经常性的图像增强网络,逐步增强低光图像与负担得起的模型大小。最后,我们引入了一个无监督的语义分割网络,用于在密集增强过程中保留语义信息。在基准数据集和低光视频上的大量实验表明,我们的模型优于以前的最先进的。我们进一步讨论了所提出的方法用于低光检测和分割的好处。代码可在https://github.com/ShenZheng2000/Semantic-Guided-Low-Light-Image-Enhancement上获得
2021-11-25 cs.CV
EatGAN: An Edge-Attention Guided Generative Adversarial Network for Single Image Super-Resolution
Department of Mathematics, The Chinese University of Hong Kong(香港中文大学数学系)
EatGAN通过引入边缘注意力机制,结合边缘先验显式和隐式利用,提升单图像超分辨率的生成质量与稳定性。
2025-11-21 cs.CV
A Spatiotemporal Oriented Energy Network for Dynamic Texture Recognition
York University(约克大学)
本文提出了一种新的层次时空方向表示时空图像分析。它旨在结合ConvNets多层架构的优点和更可控的时空分析方法。这种方法的一个显著特点是,与大多数当代卷积网络不同,它不涉及学习;相反,所有的设计决策都是基于理论动机进行分析的。这种方法可以理解在处理的每个阶段和层中提取了什么信息,并最大限度地减少设计中的启发式选择。网络的另一个关键方面是它的循环特性,即每一层处理的输出都会反馈到输入。为了保持网络规模跨层可管理,提出了一种新的跨通道特征池。多层架构的结果系统地揭示了层次图像结构的多尺度,多方向的视觉时空属性。为了说明其效用,该网络已被应用到动态纹理识别的任务。在多个标准数据集上的实证评价表明,该方法具有一定的创新性。
2017-08-22 cs.CV
OGNI-DC: Robust Depth Completion with Optimization-Guided Neural Iterations
Princeton University(普林斯顿大学)
提出 OGNI-DC 深度补全框架,通过循环单元细化深度梯度场并由可微积分器重建深度图,在 NYUv2、KITTI 及跨稀疏度设置中实现优异泛化与最先进精度。
2024-06-17 cs.CV
Fast Human Attention Prediction for Fixation-guided Active Perception in Autonomous Navigation
Norwegian University of Science and Technology (NTNU)(挪威科技大学)
提出GazeLNN,一种基于液态神经网络和MobileNetV3的轻量级扫描路径预测模型,在MIT低分辨率数据集上达到最优性能,计算成本降低99.40%,推理速度提升6倍,并集成到强化学习训练的主动相机-机器人控制策略中,实现自主导航中的注视引导感知。
2026-06-19 cs.CV cs.RO
Grounding of the Functional Object-Oriented Network in Industrial Tasks
Technical University of Munich(慕尼黑工业大学);Siemens Aktiengesellschaft(西门子股份公司)
在这项初步工作中,我们建议设计一个活动识别系统,适合工业4.0(I4.0)的应用程序,特别是专注于示教学习(LfD)在协作机器人任务。更确切地说,我们专注于活动识别系统和协作机器人系统之间的数据交换问题。我们提出了一个活动识别系统与链接的数据使用功能面向对象的网络(FOON),以促进工业用例。最初,我们为我们的用例起草了一个FOON。然后,通过使用对象和手识别系统与递归神经网络(指FOON对象和状态)相结合来估计动作。最后,使用现有的链接数据模型通过上下文代理共享检测到的动作,从而使机器人系统能够解释动作并在之后执行它。我们的初步结果表明,FOON可以用于工业用例,我们可以在LfD应用程序中使用现有的链接数据模型。
2022-04-05 cs.CV cs.RO
Deep Recurrent Neural Network for Mobile Human Activity Recognition with High Throughput
Kyushu Institute of Technology(九州工业大学)
在本文中,我们提出了一种应用深度循环神经网络(DRNN)从原始加速度计数据中高吞吐量识别人类活动的方法,并研究了各种架构及其组合,以找到最佳参数值。“高通量”是指识别时间短。我们通过使用来自7个人的6个活动类的432个试验的训练数据集来研究DRNN的各种参数和架构。对108个单活动类别的分段试验和18个多活动类别的连续试验的测试数据的最大识别率分别为95.42%和83.43%。在这里,传统方法的最高识别率分别为71.65%和54.97%。此外,通过使用额外的数据集来评估所发现的参数的效率。此外,对于每单位时间的识别吞吐量,所构建的DRNN仅需要1.347 [ms],而最好的传统方法需要11.031 [ms],其中包括用于特征计算的11.027 [ms]。这些优点是由所构造的面向实时的DRNN结构紧凑、体积小所导致的。
2016-11-11 cs.CV cs.NE
Cycle In Cycle Generative Adversarial Networks for Keypoint-Guided Image Generation
University of Trento(特伦托大学);University of Oxford(牛津大学);Texas State University(得克萨斯州立大学);EPFL(洛桑联邦理工学院)
在这项工作中,我们提出了一种新的循环中循环生成对抗网络(C $^2$ GAN)的关键点引导图像生成的任务。建议的C $^2$ GAN是一个跨模态的框架,探索联合开发的关键点和图像数据的交互方式。C $^2$ GAN包含两种不同类型的生成器,即,面向关键点生成器和面向图像生成器。它们都以端到端的可学习方式相互连接,并明确形成三个循环子网络,即,一个图像生成周期和两个关键点生成周期。每一个循环不仅旨在重建输入域,而且还产生有用的输出,涉及到另一个循环的生成。通过这样做,周期相互隐含地约束,这提供了来自两种不同模态的互补信息,并带来了跨周期的额外监督,从而促进了整个网络的更鲁棒的优化。在两个公开数据集上的广泛实验结果,即,Radboud Faces和Market-1501,表明我们的方法是有效的,以产生更逼真的图像相比,国家的最先进的模型。
2020-04-16 cs.CV cs.LG eess.IV
Improving Deep Learning Interpretability by Saliency Guided Training
University of Maryland(马里兰大学);Genentech, Inc.(基因泰克公司)
显著性方法已被广泛用于突出模型预测中的重要输入特征。大多数现有的方法使用修改的梯度函数上的反向传播来生成显着图。因此,噪声梯度可能导致不忠实的特征属性。在本文中,我们解决了这个问题,并介绍了一个{ \it显着性指导训练}程序的神经网络,以减少噪声梯度预测中使用的同时保留模型的预测性能。我们的显着性指导训练过程迭代地掩蔽具有小的和潜在的噪声梯度的特征,同时最大化掩蔽和未掩蔽输入的模型输出的相似性。我们将显着性引导的训练过程应用于计算机视觉,自然语言处理和不同神经架构的时间序列的各种合成和真实数据集,包括递归神经网络,卷积网络和Transformers。通过定性和定量评估,我们表明显着性指导的训练过程显着提高了模型在各个领域的可解释性,同时保持其预测性能。
2021-11-29 cs.AI cs.CV cs.LG
Relaxometry Guided Quantitative Cardiac Magnetic Resonance Image Reconstruction
Delft University of Technology(代尔夫特理工大学)
针对传统定量MRI重建网络忽略弛豫测量先验的问题,提出弛豫测量引导的重建框架,融合数据空间先验与物理弛豫先验,经主流骨干网络验证取得优异重建效果。
2024-05-01 cs.CV eess.IV
DwNet: Dense warp-based network for pose-guided human video generation
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for Artificial Intelligence(向量人工智能研究所);University of Trento(特伦托大学)
高分辨率真实感人体视频的生成是计算机视觉中一项具有挑战性的重要任务。在本文中,我们专注于人体运动转移-生成一个视频描绘一个特定的主题,观察到在一个单一的图像,执行一系列的运动举例说明了一个辅助(驾驶)视频。我们基于GAN的架构DwNet利用密集的中间姿势引导表示和细化过程,以纹理的形式将所需的主体外观从源图像扭曲为所需的姿势。通过在先前生成的帧上进一步调节GAN内的解码过程来保持时间一致性。以这种方式,以迭代和循环的方式生成视频。我们通过在两个基准数据集上展示最先进的定量和定性性能来说明我们方法的有效性:太极和时尚建模。后者由我们收集,并将向社会公开。
2019-10-21 cs.CV cs.LG
Ask, Attend and Answer: Exploring Question-Guided Spatial Attention for Visual Question Answering
UMass Lowell(马萨诸塞大学洛厄尔分校)
我们解决的问题,视觉问答(VQA),这需要联合图像和语言理解回答一个问题,一个给定的照片。最近的方法已经将基于卷积递归网络的深度图像描述方法应用于该问题,但是未能对空间推断进行建模。为了解决这个问题,我们提出了一个模型,我们称之为空间记忆网络,并将其应用到VQA任务。记忆网络是具有明确的注意力机制的递归神经网络,该机制选择存储在记忆中的信息的某些部分。我们的空间记忆网络将来自图像不同空间区域的神经元激活存储在其记忆中,并使用问题选择相关区域来计算答案,这一过程构成了网络中的一个单一“跳”。我们提出了一种新的空间注意力架构,对齐的话与图像补丁在第一跳,并获得改进的结果,通过添加第二个注意力跳,认为整个问题选择视觉证据的基础上的第一跳的结果。为了更好地理解网络学习的推理过程,我们设计了专门需要空间推理的合成问题,并将注意力权重可视化。我们在两个已发布的视觉问答数据集DAQUAR [1]和VQA [2]上评估了我们的模型,并与连接图像和问题特征以预测答案的强深度基线模型(iBOWIMG)相比获得了改进的结果[3]。
2016-03-19 cs.AI cs.CL cs.CV