FedLPPA: Learning Personalized Prompt and Aggregation for Federated Weakly-supervised Medical Image Segmentation
Southern University of Science and Technology (SUSTech)(南方科技大学);Jiaxing Research Institute, Southern University of Science and Technology(南方科技大学嘉兴研究院);the University of Hong Kong(香港大学);the Hong Kong University of Science and Technology(香港科技大学)
提出个性化联邦学习框架FedLPPA,通过可学习提示与双注意力机制适应异构弱监督,结合双解码器策略优化伪标签生成,在多模态医学图像分割任务中表现接近全监督集中训练。
2024-05-31 cs.CV eess.IV
Learnable Triangulation of Human Pose
Samsung AI Center(三星人工智能中心);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所)
我们提出了两种新的解决方案,多视图三维人体姿态估计的基础上新的可学习的三角测量方法,结合从多个二维视图的三维信息。第一个(基线)解决方案是一个基本的微分代数三角测量,增加了从输入图像估计的置信权重。第二种解决方案是基于一种新的方法,从中间的2D骨干特征图的体积聚合。然后,通过3D卷积对聚合体积进行细化,生成最终的3D关节热图,并允许对人体姿势进行建模。至关重要的是,这两种方法都是端到端可区分的,这使我们能够直接优化目标指标。我们展示了解决方案在数据集之间的可移植性,并大大提高了Human3.6M数据集的多视图技术水平。视频演示,注释和其他材料将发布在我们的项目页面上(https://saic-violet.github.io/learnable-triangulation)。
2019-05-14 cs.AI cs.CV
Doubly Deformable Aggregation of Covariance Matrices for Few-shot Segmentation
Technical University of Munich(慕尼黑工业大学);University of Melbourne(墨尔本大学);German Aerospace Center(德国航空航天中心)
用少量标注样本训练语义分割模型在各种实际应用中具有巨大的潜力。对于Few-Shot分割任务,主要的挑战是如何在有限的训练数据的情况下准确地测量支持样本和查询样本之间的语义对应。为了解决这个问题,我们建议聚合可学习的协方差矩阵与可变形的4D Transformer,以有效地预测分割图。具体来说,在这项工作中,我们首先设计了一种新的硬示例挖掘机制来学习高斯过程的协方差内核。与现有的基于余弦相似性的方法相比,学习的协方差核函数在对应性测量方面具有很大的优势。基于学习的协方差核,一个有效的双变形4D Transformer模块的设计,自适应聚合特征相似性映射到分割结果。通过结合这两种设计,所提出的方法不仅可以在公共基准上设置新的最先进的性能,而且比现有的方法收敛得更快。在三个公开数据集上的实验证明了该方法的有效性。
2022-07-30 cs.CV
Multi-view Human Pose and Shape Estimation Using Learnable Volumetric Aggregation
Carnegie Mellon University(卡内基梅隆大学)
从RGB图像中估计人体姿态和形状是对基于标记的运动捕获的高度寻求的替代方案,基于标记的运动捕获是费力的,需要昂贵的设备,并且将捕获限制在实验室环境中。然而,基于单目视觉的算法仍然受到旋转模糊性的影响,并且还没有准备好在医疗保健应用中进行翻译,其中高精度是至关重要的。虽然来自多个视角的数据融合可以克服这些挑战,但目前的算法需要进一步改进以获得临床上可接受的精度。在本文中,我们提出了一个可学习的体积聚合方法来重建三维人体姿态和形状从校准的多视图图像。我们使用人体的参数表示,这使得我们的方法直接适用于医疗应用。与以前的方法相比,我们的框架显示出更高的准确性和更大的承诺,实时预测,鉴于其成本效益。
2020-11-26 cs.CV
Physically Adversarial Infrared Patches with Learnable Shapes and Locations
Beihang University(北京航空航天大学);Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院)
由于红外目标检测器在安全关键任务中的广泛应用,有必要评估其对现实世界中对抗性示例的鲁棒性。然而,由于数字世界到物理世界的复杂转换,目前很少有物理红外攻击在实际应用中实现起来比较复杂。为了解决这个问题,在本文中,我们提出了一种物理上可行的红外攻击方法称为“对抗红外补丁”。考虑到红外摄像机通过捕获目标的热辐射成像的机理,对抗性红外贴片通过在目标物体上贴上一片隔热材料来操纵其热分布,从而进行攻击。为了增强对抗攻击,我们提出了一种新的聚合正则化,以指导同时学习补丁的形状和位置的目标对象。因此,可以采用简单的基于梯度的优化来求解它们。我们验证对抗红外补丁在不同的目标检测任务与各种目标检测器。实验结果表明,在不同角度、不同距离、不同姿态和不同场景下,与行人检测器和车辆检测器相比,该方法的攻击成功率(ASR)达到90%以上.更重要的是,对抗性红外贴片易于实现,在物理世界中构建仅需0.5小时,验证了其有效性和高效性。
2023-03-24 cs.CV
AutoAlign: Pixel-Instance Feature Aggregation for Multi-Modal 3D Object Detection
University of Science and Technology(科技大学);Harbin Institute of Technology(哈尔滨工业大学);SenseTime Research(商汤科技研究院);The Chinese University of Hong Kong(香港中文大学);IIIS, Tsinghua University(清华大学智能产业研究院)
通过RGB图像或LiDAR点云的目标检测已在自动驾驶中得到广泛探索。然而,要使这两个数据源相辅相成,相互受益,仍然是一个挑战。在本文中,我们提出了\textit{AutoAlign},一个自动特征融合策略的三维目标检测。而不是建立确定性的对应与相机投影矩阵,我们模型之间的映射关系的图像和点云与一个可学习的对齐映射。该地图使我们的模型能够以动态和数据驱动的方式自动对齐非同质特征。具体而言,交叉注意特征对准模块被设计为自适应地聚合每个体素的\textit{pixel-level}图像特征。为了提高特征对齐过程中的语义一致性,设计了一个自监督的跨模态特征交互模块,通过该模块,模型可以在\textit{instance-level}特征指导下学习特征聚合。广泛的实验结果表明,我们的方法可以导致2.3 mAP和7.0 mAP的KITTI和nuScenes数据集上的改进,分别。值得注意的是,我们最好的模型在nuScenes测试排行榜上达到70.9 NDS,在各种最先进的产品中实现了具有竞争力的性能。
2022-04-21 cs.CV
Regional Semantic Contrast and Aggregation for Weakly Supervised Semantic Segmentation
ETH Zurich(苏黎世联邦理工学院);Beijing Institute of Technology(北京理工大学);Inception Institute of AI(人工智能起源研究所)
从弱标记(例如,仅图像标签)数据是具有挑战性的,因为很难从稀疏的语义标签中推断出密集的对象区域。尽管被广泛研究,大多数目前的努力直接从单个图像或图像对携带的有限语义注释中学习,并努力获得完整的定位图。我们的工作从一个新的角度来阐述这一点,通过探索丰富的语义上下文协同丰富的弱标记训练数据网络学习和推理。特别是,我们提出了区域语义对比和聚合(RCA)。RCA具有区域存储体,可以存储训练数据中出现的海量、多样的对象模式,为探索语义级结构提供了强有力的支持。特别是,我们提出了i)语义对比,通过对比大量的分类对象区域来驱动网络学习,从而实现更全面的对象模式理解,以及ii)语义聚合,以收集内存中的各种关系上下文,以丰富语义表示。以这种方式,RCA获得了细粒度语义理解的强大能力,并最终在两个流行的基准上建立了新的最先进的结果,即,PASCAL VOC 2012和COCO 2014。
2022-03-22 cs.CV
Augmenting Convolutional networks with attention-based aggregation
Meta AI;Sorbonne University(索邦大学);Inria(法国国家信息与自动化研究所)
我们展示了如何使用基于注意力的全局映射来增强任何卷积网络,以实现非局部推理。我们用一个基于注意力的聚合层代替最终的平均池,该聚合层类似于一个单一的Transformer块,它对补丁如何参与分类决策进行加权。我们将这个学习的聚合层插入一个简单的基于补丁的卷积网络,由2个参数(宽度和深度)参数化。与金字塔设计相比,该架构家族在所有层上保持输入补丁分辨率。它产生了令人惊讶的竞争力的准确性和复杂性之间的权衡,特别是在内存消耗方面,我们的实验所示的各种计算机视觉任务:对象分类,图像分割和检测。
2021-12-27 cs.CV
Memory Enhanced Global-Local Aggregation for Video Object Detection
Center of Data Science, Peking University(北京大学数据科学中心);Zhejiang Lab(浙江实验室);Microsoft Research Asia(微软亚洲研究院);Key Laboratory of Machine Perception, MOE, School of EECS, Peking University(北京大学信息科学技术学院教育部机器感知重点实验室)
人类如何识别视频中的物体?由于单帧图像质量的下降,人们可能很难仅利用一幅图像中的信息来识别该帧中的被遮挡物体。我们认为,有两个重要的线索,人类识别视频中的对象:全局语义信息和局部定位信息。近年来,大量的方法采用自注意力机制,利用全局语义信息或局部定位信息来增强关键帧中的特征。在本文中,我们介绍了内存增强的全局-局部聚合(MEGA)网络,这是第一次尝试,充分考虑全球和本地信息。此外,通过一个新颖的和精心设计的长距离存储器(LRM)模块,我们提出的MEGA可以使关键帧获得比以往任何方法更多的内容。通过这两个信息源的增强,我们的方法在ImageNet VID数据集上实现了最先进的性能。代码可在\url{https://github.com/Scalsol/mega.pytorch}上获得。
2020-03-26 cs.CV cs.LG eess.IV
Learnable Query Aggregation with KV Routing for Cross-view Geo-localisation
本文提出一种基于可学习查询聚合与KV路由的跨视图地理定位方法,通过改进模型适应性、空间表示稳定性和特征聚合过程,实现了在较少参数下的高性能表现。
2025-12-30 cs.CV
Learnable Companding Quantization for Accurate Low-bit Neural Networks
Oki Electric Industry Co Ltd.(冲电气工业株式会社)
量化深度神经网络是用于减少存储器消耗和提高推理速度的有效方法,并且因此对于在资源受限的设备中实现是有用的。然而,极低位模型仍然很难达到与全精度模型相当的精度。为了解决这个问题,我们提出了可学习的压扩量化(LCQ)作为一种新的非均匀量化方法的2位,3位和4位模型。LCQ联合优化模型权重和可学习的压扩函数,可以灵活和非均匀地控制权重和激活的量化级别。我们还提出了一种新的权重归一化技术,允许更稳定的量化训练。实验结果表明,LCQ优于传统的国家的最先进的方法,缩小了量化和全精度模型之间的差距,图像分类和目标检测任务。值得注意的是,ImageNet上的2位ResNet-50模型实现了75.1%的top-1准确度,并将差距缩小到1.7%,使LCQ能够进一步利用非均匀量化的潜力。
2021-03-12 cs.CV cs.LG
CAN3D: Fast 3D Medical Image Segmentation via Compact Context Aggregation
The University of Queensland(昆士兰大学);CSIRO(澳大利亚联邦科学与工业研究组织);The University of Newcastle(纽卡斯尔大学)
从3D医学成像(诸如磁共振(MR)成像)直接自动分割对象是具有挑战性的,因为它通常涉及准确地识别在所研究的大体积内的具有复杂几何形状的多个个体对象。为了应对这些挑战,大多数深度学习方法通常通过大幅增加模型中的复杂性或可训练参数的数量来增强其学习能力。因此,这些模型通常需要在操作临床MR系统的标准工作站上进行长的推断时间,并且由于其大的存储器需求而被限制于高性能计算硬件。此外,为了使用有限的计算机存储器通过这些大型模型拟合3D数据集,通常使用诸如逐块训练的折衷技术,其牺牲了来自输入图像的精细尺度几何信息,该精细尺度几何信息对于诊断目的可能具有临床意义。为了解决这些挑战,我们提出了一个紧凑的卷积神经网络,具有浅内存占用,以有效地减少最先进的性能所需的模型参数的数量。这对于实际应用至关重要,因为大多数临床环境只有计算能力和内存有限的低端硬件。所提出的网络可以通过直接处理大的全尺寸3D输入体积来保持数据完整性,而不需要补丁,并且显着减少了训练和推理所需的计算时间。我们还提出了一种新的损失函数与额外的形状约束,以提高在三维MR图像的不平衡类的准确性。
2021-09-22 cs.CV eess.IV
Fine-tuning Image Transformers using Learnable Memory
Google Inc.(谷歌公司)
在本文中,我们提出了增强视觉Transformer模型与可学习的记忆令牌。我们的方法允许模型使用很少的参数来适应新的任务,同时可选地保留其在以前学习的任务上的能力。在每一层,我们引入了一组可学习的嵌入向量,这些向量提供了对特定数据集有用的上下文信息。我们称之为“记忆令牌”。我们发现,与传统的仅头部微调相比,每层仅用少数这样的令牌来增强模型可以显着提高准确性,并且仅略低于显着更昂贵的完全微调。然后,我们提出了一种注意力掩蔽方法,可以扩展到新的下游任务,并具有计算重用。在这种设置中,除了参数高效之外,模型还可以以较小的增量成本执行旧任务和新任务作为单个推理的一部分。
2022-03-30 cs.CV
Learnable pooling with Context Gating for video classification
Inria(法国国家信息与自动化研究所);WILLOW(威洛实验室);Departement d’Informatique de l’École Normale Supérieure(巴黎高等师范学院信息学系);PSL Research University(巴黎文理研究大学);Czech Institute of Informatics, Robotics and Cybernetics(捷克理工大学信息学、机器人学与控制论研究所);Czech Technical University in Prague(布拉格捷克理工大学)
当前用于视频分析的方法通常使用预训练的卷积神经网络(CNN)来提取帧级特征。这些特征然后随时间聚合,通过简单的时间平均或更复杂的递归神经网络,例如长短期记忆(LSTM)或门控递归单元(GRU)。在这项工作中,我们修改现有的视频表示和研究替代方法的时间聚合。我们首先探讨基于聚类的聚合层,并提出了一个双流架构聚合音频和视觉功能。然后,我们引入了一个可学习的非线性单元,名为上下文门控,旨在对网络激活之间的相互依赖关系进行建模。我们的实验结果表明,这两种改进的视频分类任务的优势。特别是,我们在大规模多模态Youtube-8 M v2数据集上评估了我们的方法,并在Youtube 8 M大规模视频理解挑战中优于所有其他方法。
2018-03-05 cs.CV
ACTNET: end-to-end learning of feature activations and multi-stream aggregation for effective instance image retrieval
University of Surrey(萨里大学)
我们提出了一种新的CNN架构称为ACTNET强大的实例图像检索从大规模数据集。我们的关键创新是一个可学习的激活层,旨在提高深度卷积特征映射的信噪比(SNR)。此外,我们还引入了一种受控的多流聚合,其中来自不同卷积层的互补深度特征在聚合成全局描述符之前,使用我们的新型激活层进行最佳转换和平衡。重要的是,我们的激活块的可学习参数与CNN参数一起以端到端的方式显式训练,最大限度地减少了三重损失。这意味着我们的网络联合学习CNN过滤器及其最佳激活和聚合以执行检索任务。据我们所知,这是第一次使用参数函数来控制和学习最佳聚合。我们进行了深入的实验研究三个非线性激活函数:正弦双曲线,指数和修改的威布尔,表明,虽然所有带来显着的收益威布尔函数表现最好,由于其能力,以均衡强激活。结果清楚地表明,我们的ACTNET架构显着增强了深层特征的区分能力,在所有数据集上的最新检索结果上都有显着改善。
2020-10-23 cs.CV
Select, Attend, and Transfer: Light, Learnable Skip Connections
Simon Fraser University(西蒙弗雷泽大学);Siemens Healthineers(西门子医疗)
深度网络中的跳过连接通过促进更深层次网络架构的训练和降低梯度消失的风险,提高了分割和分类性能。它们为类似编码器-解码器的网络提供了更丰富的特征表示,但代价是更高的内存使用率,计算量,并可能导致传输非歧视性特征图。在本文中,我们专注于改进分段网络中使用的跳过连接(例如,U-Net、V-Net和The One Hundred Layers Tiramisu(DensNet)架构)。我们提出了轻,可学习的跳过连接,学习首先选择最具鉴别力的通道,然后参加所选特征图的最具鉴别力的区域。所提出的跳跃连接的输出是一个独特的特征图,这不仅在很大程度上减少了内存使用和网络参数,但也提高了分割精度。我们在三个不同的2D和体积数据集上评估了所提出的方法,并证明了所提出的轻型,可学习的跳过连接在分割精度,内存使用和网络参数数量方面优于传统的重型跳过连接。
2018-05-03 cs.CV
Memory Aggregation Networks for Efficient Interactive Video Object Segmentation
Baidu Research(百度研究院);University of Technology Sydney(悉尼科技大学)
交互式视频对象分割(iVOS)旨在通过用户交互有效地获取视频中目标对象的高质量分割掩模。大多数以前的最先进的处理iVOS与两个独立的网络进行用户交互和时间传播,分别导致在推理阶段的效率低下。在这项工作中,我们提出了一个统一的框架,命名为内存聚合网络(MA-Net),以更有效的方式来解决具有挑战性的iVOS。我们的MA-Net集成了交互和传播操作到一个单一的网络,这显着提高了iVOS的多轮交互方案的效率。更重要的是,我们提出了一个简单而有效的记忆聚合机制来记录信息的知识,从以前的互动轮,提高发现具有挑战性的感兴趣的对象的鲁棒性大大提高。我们对DAVIS Challenge 2018基准的验证集进行了广泛的实验。特别是,我们的MA-Net在没有任何额外功能的情况下达到了76.1%的J@60分数,超过了2.7%的最先进水平。
2020-03-30 cs.CV
Network Memory Footprint Compression Through Jointly Learnable Codebooks and Mappings
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);ISIR(智能系统与机器人研究所);Datakalab(Datakalab公司)
针对码本量化的单码本或高映射开销及梯度搜索问题,提出 JLCM,通过神经元分组初始化、码本与映射联合学习及新型梯度更新,实现 DNN 高效压缩。
2023-09-29 cs.CV
Efficient and Accurate Arbitrary-Shaped Text Detection with Pixel Aggregation Network
National Key Lab for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Tongji University(同济大学);Megvii (Face++) Technology Inc.(旷视科技(Face++));University of Electronic Science and Technology of China(电子科技大学);The University of Adelaide(阿德莱德大学)
场景文本检测是场景文本阅读系统中的重要环节,近年来随着卷积神经网络的发展得到了迅速的发展。尽管如此,仍然存在两个主要挑战,并阻碍其部署到现实世界的应用程序。第一个问题是速度和准确性之间的权衡。第二种方法是对任意形状的文本实例进行建模。近年来,针对任意形状文本的检测问题,提出了一种高效、准确的任意形状文本检测算法--像素聚合网络(PAN),该算法具有低计算成本的分割头和可学习的后处理机制。更具体地,分割头由特征金字塔增强模块(FPEM)和特征融合模块(FFM)组成。FPEM是一个可扩展的U型模块,它可以引入多层次的信息来指导更好的分割。FFM可以将不同深度的FPEM给出的特征聚集到最终的特征中用于分割。可学习的后处理由像素聚合(PA)实现,它可以精确地聚合文本像素预测的相似性向量。在几个标准基准上的实验验证了所提出的PAN的优越性。值得注意的是,我们的方法可以在CTW 1500上以84.2 FPS实现79.9%的竞争力F测量。
2020-08-02 cs.CV
ReWind: Understanding Long Videos with Instructed Learnable Memory
La Sapienza University of Roma(罗马第一大学);Huawei Helsinki Research Center(华为赫尔辛基研究中心)
ReWind提出两阶段记忆框架,通过可学习记忆模块和自适应帧选择,高效理解长视频,在VQA和时间定位基准上显著提升性能。
2025-03-27 cs.AI cs.CV
From Coarse to Fine: Learnable Discrete Wavelet Transforms for Efficient 3D Gaussian Splatting
Video Processing Lab, UC San Diego(UC San Diego视频处理实验室)
提出训练时框架AutoOpti3DGS,利用可学习离散小波变换实现由粗到细的优化,通过固定低通和学习高通滤波器抑制冗余高斯基元,在保持视觉保真度的同时生成更稀疏且兼容受限硬件的3D场景表示。
2025-06-29 cs.CV
Multimodal Aggregation Approach for Memory Vision-Voice Indoor Navigation with Meta-Learning
Fudan University(复旦大学);Westlake University(西湖大学);Purdue University(普渡大学)
视觉和声音是智能体交互和学习的两个关键。在本文中,我们提出了一种新的室内导航模型称为记忆视觉-语音室内导航(MVV-IN),它接收语音命令,并分析视觉观察的多模态信息,以提高机器人的环境理解。我们利用第一视角单目相机拍摄的单个RGB图像。我们还应用了自我注意力机制来保持智能体专注于关键区域。记忆对于代理避免不必要地重复某些任务并使其充分适应新场景非常重要,因此,我们使用元学习。我们已经实验了从视觉观察中提取的各种功能特征。对比实验证明,我们的方法优于国家的最先进的基线。
2020-09-01 cs.CV
A Data Aggregation Visualization System supported by Processing-in-Memory
Columbia University(哥伦比亚大学)
本文提出DIVAN系统,通过频率归一化和分箱自动生成二维可视化,并利用内存内处理架构将大规模聚合计算速度较CPU提升45%-64%。
2025-03-11 cs.CV
Learnable Pooling in Graph Convolution Networks for Brain Surface Analysis
ETS Montreal(蒙特利尔高等技术学院)
脑表面分析对神经科学至关重要,然而,大脑皮层的复杂几何形状阻碍了这项任务的计算方法。困难来自于在欧几里得空间中表示的3D成像数据与高度卷积的大脑表面的非欧几里得几何形状之间的差异。机器学习的最新进展使得神经网络能够用于非欧几里德空间。这些促进了表面数据的学习,但池化策略通常仍然局限于单个固定图。本文提出了一种新的可学习的图池方法,用于处理多个表面值数据以输出基于主题的信息。所提出的方法通过学习基于图谱嵌入的图节点的内在聚合来创新。我们通过在两个大规模基准数据集上的深入实验来说明我们的方法的优势。汇集策略的灵活性评估四个不同的预测任务,即受试者性别分类,皮质区域大小的回归,阿尔茨海默病阶段的分类,和脑年龄回归。我们的实验证明了我们的可学习池化方法与图卷积网络的其他池化技术相比的优越性,其结果提高了大脑表面分析的最新水平。
2019-11-22 cs.CV
Replacement Learning: Training Vision Tasks with Fewer Learnable Parameters
Southeast University(东南大学)
本文提出 Replacement Learning,通过两个可学习参数控制相邻层参数集成并替代冻结层参数,在多个视觉基准和架构上降低参数量、训练时间与显存占用,且性能超过端到端训练。
2024-10-02 cs.CV
Relaxed Spatio-Temporal Deep Feature Aggregation for Real-Fake Expression Prediction
TUBITAK UZAY(土耳其科学技术研究理事会空间技术研究所);Middle East Technical University(中东技术大学)
帧级视觉特征通常使用LSTM、Fisher Vectors、NetVLAD等技术在时间上聚合,以产生鲁棒的视频级表示。我们在这里介绍了一个可学习的聚合技术,其主要目标是保留帧级功能之间的短时时间结构和它们在表示中的空间相互依赖性。此外,它可以很容易地适应的情况下,有非常稀缺的训练样本。我们在一个真假表情预测数据集上对该方法进行了评估,以证明其优越性。我们的方法在官方MAP评估中的测试数据集上获得了65%的分数,并且在Chalearn Challenge中只有一个错误分类的决策具有最佳报告结果(即66:7%)。最后,我们相信这种方法可以扩展到不同的问题,如动作/事件识别在未来。
2017-08-24 cs.CV
iUNets: Fully invertible U-Nets with Learnable Up- and Downsampling
University of Cambridge(剑桥大学)
U-Nets已经被建立为图像到图像学习问题的标准架构,例如成像中的分割和逆问题。对于大规模数据,例如出现在3D医学成像中的数据,U-Net具有过高的内存要求。在这里,我们提出了一种新的完全可逆的基于U-Net的架构,称为iUNet,它采用了新颖的可学习和可逆的上采样和下采样操作,从而使使用内存高效的反向传播成为可能。这使我们能够在相同的GPU内存限制下,在实践中训练更深、更大的网络。由于其可逆性,iUNet还可以用于构建规范化流。
2020-06-30 cs.CV cs.LG eess.IV
Dynamic Local Aggregation Network with Adaptive Clusterer for Anomaly Detection
Guangzhou Institute of Technology, Xidian University(西安电子科技大学广州研究院);Northwestern Polytechnical University(西北工业大学)
现有的基于内存增强的自动编码器(AE)的异常检测方法存在以下缺点:(1)建立存储体需要额外的内存空间。(2)固定数量的原型来自主观假设,忽略了数据特征的差异性和多样性。为了克服这些缺点,我们引入了DLAN-AC,一个动态的本地聚合网络与自适应干扰,异常检测。首先,提出的DLAN可以自动学习和聚合AE的高级特征,以获得更具代表性的原型,同时释放额外的内存空间。第二,所提出的AC可以自适应地对视频数据进行聚类,以获得具有先验信息的初始原型。此外,我们还提出了一个动态冗余聚类策略(DRCS),使DLAN自动消除功能集群,不有助于建设的原型。大量的基准测试实验表明,DLAN-AC优于大多数现有的方法,验证了我们的方法的有效性。我们的代码可在https://github.com/Beyond-Zw/DLAN-AC上公开获取。
2022-07-22 cs.CV
ActionVLAD: Learning spatio-temporal aggregation for action classification
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(Adobe研究院);INRIA(法国国家信息与自动化研究所)
在这项工作中,我们引入了一个新的视频表示的动作分类,聚合本地卷积功能在整个时空范围内的视频。我们通过将最先进的双流网络与可学习的时空特征聚合相结合来做到这一点。由此产生的架构是端到端可训练的全视频分类。我们研究了不同的策略,跨空间和时间的池,并结合来自不同流的信号。我们发现:(i)跨空间和时间联合汇集是重要的,但是(ii)外观和运动流最好被聚合到它们自己的单独表示中。最后,我们表明,我们的表示优于双流基础架构的大幅度(13%相对),以及优于其他基线与HMDB51,UCF101和Charades视频分类基准上的可比基础架构。
2017-04-10 cs.CV
Learnable Sparsity for Vision Generative Models
National University of Singapore(新加坡国立大学);RWTH Aachen University(亚琛工业大学);University of Oxford(牛津大学)
本文提出了一种无需重新训练的扩散模型剪枝方法,通过学习可微掩码和时间步梯度检查点技术,实现高效参数压缩与性能保持。
2026-03-05 cs.CV
ACDnet: An action detection network for real-time edge computing based on flow-guided feature approximation and memory aggregation
Univ. Bourgogne Franche-Comté(勃艮第-弗朗什-孔泰大学);ImViA EA7535
解释人类行为需要理解场景的空间和时间背景。基于卷积神经网络(CNN)的最新动作检测器通过采用双流或3D CNN架构已经展示了显著的结果。然而,由于系统复杂性,这些方法通常以非实时、离线的方式操作以推理时空信息。因此,它们的高计算成本不符合新兴的现实世界场景,例如服务机器人或公共监控,其中检测需要在资源有限的边缘设备上进行。在本文中,我们提出了ACDnet,一个紧凑的动作检测网络,目标是实时的【形】边缘计算,同时解决了效率和准确性。它智能地利用连续视频帧之间的时间相干性来近似它们的CNN特征,而不是天真地提取它们。它还集成了来自过去视频帧的记忆特征聚合,以增强当前检测的稳定性,隐式地对长时间线索进行建模。在公共基准数据集UCF-24和JHMDB-21上进行的实验表明,当与SSD检测器集成时,ACDnet可以鲁棒地实现远高于实时的【形】(75 FPS)的检测。与此同时,与其他使用更重配置的高性能方法相比,它保留了合理的精度(70.92和49.53帧mAP)。代码将在https://github.com/dginhac/ACDnet上提供。
2021-02-26 cs.CV
Object-aware Aggregation with Bidirectional Temporal Graph for Video Captioning
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所)
视频描述旨在自动生成视频内容的自然语言描述,近年来引起了广泛的关注。生成精确、细粒度的字幕不仅需要理解视频的全局内容,还需要捕捉对象的详细信息。同时,视频的表示方法对生成的字幕质量有很大的影响。因此,对于视频描述来说,重要的是捕获具有其详细时间动态的显著对象,并且使用有区别的时空表示来表示它们。在本文中,我们提出了一种新的视频描述方法的基础上,对象感知聚合与双向时间图(OA-BTG),捕捉详细的时间动态视频中的显着对象,并学习歧视性的时空表示通过执行对象感知的局部特征聚合检测到的对象区域。主要创新点和优点是:(1)双向时间图:沿着时间顺序构造和扩展双向时间图,这提供了捕获每个显著对象的时间轨迹的互补方式。(2)对象感知聚合:基于对象的时间轨迹和全局帧序列构建可学习的VLAD模型,进行对象感知的聚合以学习判别表示。为了区分多个对象的不同贡献,本文还提出了一种层次化的注意力机制。在两个广泛使用的数据集上的实验表明,我们的OA-BTG在BLEU@4,METEOR和CIDER指标方面达到了最先进的性能。
2019-06-11 cs.CV
Advanced Feature Learning on Point Clouds using Multi-resolution Features and Learnable Pooling
KAIST(韩国科学技术院)
现有的点云特征学习网络通常包含采样、邻域分组、邻域特征学习和特征聚合的序列,以学习表示点云的全局上下文的高语义点特征。不幸的是,由于采样和最大池化而导致的关于粒度和非最大点特征的信息的复合损失可能会对来自现有网络的高语义点特征产生不利影响,使得它们不足以表示点云的局部上下文,这反过来可能会阻碍网络区分精细形状。为了解决这个问题,我们提出了一种新的点云特征学习网络,PointStack,使用多分辨率特征学习和可学习池(LP)。多分辨率特征学习是通过聚合多个层次中不同分辨率的点特征来实现的,使得最终的点特征既包含高语义信息又包含高分辨率信息。另一方面,LP被用作广义池函数,其通过具有可学习查询的注意力机制来计算多分辨率点特征的加权和,以便从所有可用的点特征中提取所有可能的信息。因此,PointStack能够以最小的粒度和非最大点特征信息损失来提取高语义点特征。因此,最终的聚合点特征可以有效地表示点云的全局和局部上下文。此外,网络头可以很好地理解点云的全局结构和局部形状细节,这使得PointStack能够推进点云特征学习的最新技术。这些代码可在https://github.com/kaist-avelab/PointStack上获得。
2022-05-20 cs.CV
MemRoPE: Training-Free Infinite Video Generation via Evolving Memory Tokens
MemRoPE通过演化记忆标记和在线RoPE索引机制,解决长视频生成中的时间一致性、视觉保真度和主体一致性问题,实现无训练的无限视频生成。
2026-03-12 cs.CV
Not All Layers Are Equal: Dynamic Layer Routing for Reliable CLIP OOD Detection
University of Adelaide(阿德莱德大学);Australian National University(澳大利亚国立大学);Naval Group Pacific(海军集团太平洋公司)
本文提出 Voyager,一种可学习的轻量级路由器,用于在 CLIP 层深度中选择稀疏的最终层锚定专家,以提升分布外检测性能,在 ImageNet-1K 上显著优于提示学习方法,且训练高效。
2026-09-18 cs.CV
D-Net: Learning for Distinctive Point Clouds by Self-Attentive Point Searching and Learnable Feature Fusion
Tsinghua University(清华大学);Wayne State University(韦恩州立大学);Kuaishou Technology(快手科技)
提出D-Net,通过自注意力点搜索和可学习特征融合学习点云中点的独特性,以提升形状理解性能,并在ModelNet和ShapeNet数据集上达到最先进水平。
2023-05-10 cs.CV
Memory-Efficient Transfer Learning with Fading Side Networks via Masked Dual Path Distillation
State Key Laboratory of Virtual Reality Technology and Systems, Beihang University(北京航空航天大学虚拟现实技术与系统国家重点实验室);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);College of Information Technology, United Arab Emirates University(阿联酋大学信息技术学院)
本文提出遮蔽双路径蒸馏方法,通过在微调中互蒸馏冻结主干和可学习侧网络,实现高效迁移学习,在推理时丢弃侧网络以加快速度,同时保持参数和内存效率,并在多个任务上验证了方法的准确性提升。
2026-04-10 cs.CV
LLA-FLOW: A Lightweight Local Aggregation on Cost Volume for Optical Flow Estimation
Tsinghua University(清华大学);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
针对光流估计中纹理缺失导致的匹配歧义问题,以及现有全局信息聚合方法成本过高的缺陷,提出基于局部相似性聚合与移位局部相似性聚合的LLA-FLOW方法,在Sintel数据集上实现了低开销下的竞争力性能。
2023-07-18 cs.CV
KBNet: Kernel Basis Network for Image Restoration
The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院)
空间信息的聚合是基于学习的图像复原的关键。现有的基于CNN的网络大多采用静态卷积核对空间信息进行编码,不能自适应地聚合空间信息。最近的基于变换器的架构实现了自适应空间聚合。但它们缺乏令人满意的卷积归纳偏差,并且需要大量的计算成本。在本文中,我们提出了一个核心的基础注意力(KBA)模块,它引入了可学习的核心基地模型的代表性的图像模式的空间信息聚合。训练不同的核基来模拟不同的局部结构。在每个空间位置,它们被线性地和自适应地通过预测的逐像素系数融合以获得聚合权重。基于KBA模块,我们进一步设计了一个多轴特征融合(MFF)模块,用于编码和融合通道、空间不变和像素自适应特征,以用于图像复原。我们的模型,命名为内核基础网络(KBNet),实现了最先进的性能超过十个基准图像去噪,去噪和去模糊任务,同时需要更少的计算成本比以前的SOTA方法。
2023-03-06 cs.CV
Dynamic Spatial-Temporal Aggregation for Skeleton-Aware Sign Language Recognition
Tianjin University(天津大学)
本文提出动态时空聚合框架(DSTA-SLR),通过双分支空间聚合与多尺度时间建模,在四个基准上实现骨架感知手语识别最先进准确率,并优于RGB方法且计算开销更低。
2024-03-19 cs.CV
Recurrent Embedding Aggregation Network for Video Face Recognition
Michigan State University(密歇根州立大学)
递归网络已经成功地分析了时间数据,并已被广泛用于视频分析。然而,对于视频人脸识别,在大规模数据上训练的基本CNN已经提供了有区别的特征,使用长短期记忆(LSTM),一种流行的递归网络,进行特征学习可能会导致过度拟合并降低性能。我们提出了一个递归嵌入聚合网络(REAN)集到集人脸识别。与LSTM相比,REAN对过拟合具有鲁棒性,因为它只学习如何聚合预训练的嵌入,而不是从头开始学习表示。与质量感知的聚合方法相比,REAN可以利用上下文信息来规避冗余视频帧引入的噪声。在三个公共领域视频人脸识别数据集IJB-S、YTF和PaSC上的实验结果表明,所提出的REAN显著优于朴素CNN-LSTM结构和质量感知聚合方法。
2019-06-25 cs.CV
Joint Super-Resolution and Inverse Tone-Mapping: A Feature Decomposition Aggregation Network and A New Benchmark
Nankai University(南开大学);Institute of Automation, CAS(中国科学院自动化研究所);Guangdong University of Petrochemical Technology(广东石油化工学院)
本文提出轻量级特征分解聚合网络(FDAN),将分解机制从图像域推广至特征域实现多级特征分解,并构建大规模数据集SRITM-4K,实验证明其在联合超分辨率与逆色调映射任务上优于现有方法。
2023-09-07 cs.CV
A Hierarchy of Graph Neural Networks Based on Learnable Local Features
Operational Research Center(运筹学研究中心);Massachusetts Institute of Technology(麻省理工学院);Institute for Applied Computational Science(应用计算科学研究所);Harvard University(哈佛大学);Harvard School of Engineering and Applied Sciences(哈佛工程与应用科学学院)
图神经网络(GNN)是通过迭代地聚合来自节点邻域的特征来学习图上的表示的强大工具。已经提出了许多变体模型,但对于如何比较不同的架构以及如何系统地构建GNN的理解有限。在这里,我们提出了一个基于其聚合区域的GNN层次结构。我们推导出理论结果的判别力和特征表示能力的每一类。然后,我们展示了如何利用这个框架来系统地构建任意强大的GNN。作为一个例子,我们构建了一个简单的架构,超过了Weisfeiler-Lehman图同构测试的表现力。我们在合成和现实世界的基准测试中实证验证了我们的理论,并证明了我们的示例的理论能力转化为节点分类,图分类和图回归任务的强大结果。
2019-11-13 cs.CV cs.LG stat.ML
A Closer Look at Local Aggregation Operators in Point Cloud Analysis
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
点云处理网络架构的最新进展主要是由新设计的局部聚合算子驱动的。然而,这些运营商对网络性能的影响并没有仔细研究,由于不同的整体网络架构和实施细节,在每个解决方案。同时,大多数算子只适用于浅层结构。在本文中,我们重新审视了代表性的本地聚合运营商,并使用相同的深度残差架构来研究它们的性能。我们的调查表明,尽管这些运营商的不同设计,所有这些运营商作出惊人的相似的贡献,在相同的网络输入和特征数的网络性能,并导致在标准基准的最先进的准确性。这一发现促使我们重新思考点云处理中局部聚集算子设计的必要性。为此,我们提出了一个简单的本地聚合运算符,没有可学习的权重,名为位置池(PosPool),它的性能类似于或略优于现有的复杂运算符。特别是,具有PosPool层的简单深度残差网络在所有基准测试中都取得了出色的性能,在具有挑战性的PartNet数据集上的性能远远优于以前的方法(7.4 mIoU)。该代码可在https://github.com/zeliu98/CloserLook3D上公开获取
2020-07-02 cs.CV cs.LG
LightVLN: Efficient Aerial Vision-and-Language Navigation with Compact Memory and History-Guided Local Aggregation
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
LightVLN提出一种轻量级空中视觉语言导航框架,通过紧凑记忆与历史引导局部聚合降低计算开销,在OpenFly和AerialVLN-S数据集上超越7B基线,并实现机载实时部署。
2026-10-06 cs.CV cs.RO
Comprehensive Online Network Pruning via Learnable Scaling Factors
Lahore University of Management Sciences(拉合尔管理科学大学)
部署深度神经网络架构的主要挑战之一是它们的大小,这对它们的推理时间和内存需求有不利影响。深度CNN可以通过根据其重要性删除过滤器来进行宽度修剪,也可以通过删除层和块来进行深度修剪。宽度修剪(过滤器修剪)通常通过可学习的门或开关和稀疏正则化器来执行,而层的修剪迄今为止通过手动设计通常称为学生网络的较小网络来任意执行。我们提出了一个全面的修剪策略,可以执行宽度以及深度明智的修剪。这是通过引入不同粒度的门(神经元,滤波器,层,块)来实现的,然后通过目标函数来控制这些门,该目标函数在每个前向传递期间以不同粒度同时执行修剪。我们的方法适用于各种各样的架构,没有任何限制的空间维度或连接类型(顺序,残留,并行或inception)。我们的方法在基准数据集上进行评估时,压缩率为70%至90%,而准确性没有明显损失。
2020-10-06 cs.CV cs.LG
Learnable Discrete Wavelet Pooling (LDW-Pooling) For Convolutional Networks
National Yang Ming Chiao Tung University(阳明交通大学);University at Albany - SUNY(奥尔巴尼大学 - 纽约州立大学);University at Buffalo(布法罗大学)
池化是现代深度CNN架构中用于特征聚合和提取的简单但必不可少的层。典型的CNN设计集中在卷积层和激活函数上,而池化层的选项较少。我们介绍了学习离散小波池(LDW-Pooling),它可以普遍应用于取代标准池操作,以更好地提取特征,提高准确性和效率。受小波理论的启发,我们在二维特征图上采用水平和垂直的低通(L)和高通(H)滤波器进行池化。特征信号被分解为四个(LL,LH,HL,HH)子带,以更好地保留特征,避免信息丢失。小波变换确保池化后的特征可以完全保留和恢复。接下来,我们采用基于能量的注意力学习来精挑细选关键和代表性的特征。LDW-Pooling与其他最先进的池化技术(如WaveletPooling和LiftPooling)相比是有效和高效的。广泛的实验验证表明,LDW-Pooling可以应用于广泛的标准CNN架构,并始终优于标准(最大值,平均值,混合和随机)池化操作。
2021-10-20 cs.CV cs.LG eess.IV
DC-VLAQ: Query-Residual Aggregation for Robust Visual Place Recognition
BCCITA Provincial Key Laboratory, Hangzhou Dianzi University, China(杭州电子科技大学省重点实验室);TopXGun Robotics, China(TopXGun Robotics);ICT State Key Laboratory, Zhejiang University, China(浙江大学信息与电子技术国家重点实验室);I3A, University of Zaragoza, Spain(阿拉贡大学I3A)
DC-VLAQ通过融合互补视觉基础模型和鲁棒的全局聚合方法,提升了视觉位置识别在大视角变化和领域偏移下的鲁棒性。
2026-01-19 cs.CV cs.RO
Scalable Neural Video Representations with Learnable Positional Features
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Pohang University of Science and Technology (POSTECH)(浦项科技大学)
使用基于坐标的神经表示(CNRs)对复杂信号的简洁表示已经取得了很大进展,最近的几项努力集中在扩展它们以处理视频。这里,主要的挑战是如何(a)缓解训练CNR中的计算效率低下,以(b)实现高质量的视频编码,同时(c)保持参数效率。为了同时满足所有要求(a),(b)和(c),我们提出了具有可学习位置特征(NVP)的神经视频表示,这是一种通过引入“可学习位置特征”有效地将视频摊销为潜在代码的新型CNR。具体来说,我们首先提出了一个CNR架构的基础上设计的2D潜在的关键帧来学习跨每个时空轴的共同的视频内容,这大大提高了所有这三个要求。然后,我们建议利用现有的强大的图像和视频编解码器作为计算/存储器高效的压缩过程的潜在代码。我们证明了NVP在流行的UVG基准上的优越性;与现有技术相比,NVP不仅训练速度快2倍(不到5分钟),而且即使使用少$>$ 8倍的参数,其编码质量也超过了34.07 $\rightarrow$ 34.57(用PSNR度量测量)。我们还展示了NVP的有趣特性,例如,视频修补、视频帧插值等。
2022-10-13 cs.CV cs.LG
Fully Learnable Group Convolution for Acceleration of Deep Neural Networks
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
受益于其在许多任务上的巨大成功,深度学习越来越多地用于低计算成本的设备,例如智能手机,嵌入式设备等。为了降低高计算和内存成本,在这项工作中,我们提出了一个完全可学习的组卷积模块(简称FLGC),它非常有效,可以嵌入到任何深度神经网络中进行加速。具体来说,我们提出的方法在训练阶段以完全端到端的方式自动学习组结构,从而获得比现有的预定义、两步或迭代策略更好的结构。此外,我们的方法可以进一步与dependency可分离卷积结合,在单个CPU上比vanilla Resnet50加速5倍。另一个优点是,在我们的FLGC中,组的数量可以设置为任何值,但不一定是大多数现有方法中的2^k,这意味着在准确性和速度之间有更好的权衡。正如我们在实验中所评估的那样,当使用相同数量的组时,我们的方法比现有的可学习组卷积和标准组卷积具有更好的性能。
2019-03-31 cs.AI cs.CV cs.LG