BrightDreamer: Generic 3D Gaussian Generative Framework for Fast Text-to-3D Synthesis
AI Thrust, HKUST(GZ)(人工智能推进组,香港科技大学(广州));NTU Singapore(新加坡南洋理工大学)
本文提出BrightDreamer,一种端到端前馈文本到3D生成框架,通过TSD网络预测3D高斯中心位置,并利用TTG生成三平面表示估计其余属性,实现77毫秒快速生成且达每秒705帧渲染速度,显著优于现有方法。
2024-11-18 cs.CV
Triplane Meets Gaussian Splatting: Fast and Generalizable Single-View 3D Reconstruction with Transformers
Tsinghua University(清华大学);BNRist(北京信息科学与技术国家研究中心);VAST(北京智源人工智能研究院)
针对现有单视图3D重建方法优化渲染慢的问题,提出结合点解码器与triplane解码器的Transformer架构,用混合Triplane-Gaussian表示实现前馈式快速高质量重建,在合成与真实数据上均优于现有SOTA方法。
2023-12-16 cs.CV
Large-Vocabulary 3D Diffusion Model with Transformer
Nanyang Technological University(南洋理工大学);The Chinese University of Hong Kong(香港中文大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出DiffTF,一种基于三平面表示和3D感知Transformer的扩散模型,通过改进三平面表示、提取通用3D知识并设计3D感知编解码器,解决了大词汇量3D对象生成中的效率和复杂外观挑战,在ShapeNet和OmniObject3D上实现了最先进的生成性能。
2023-09-15 cs.CV
ET-Former: Efficient Triplane Deformable Attention for 3D Semantic Scene Completion From Monocular Camera
University of Maryland(马里兰大学);Amazon Lab126(亚马逊Lab126)
ET-Former是一种单目相机3D语义场景补全的端到端算法,通过三平面可变形注意力机制和CVAE估计不确定性,在Semantic-KITTI上以低显存实现SOTA性能。
2025-03-01 cs.CV
HexaGen3D: StableDiffusion is just one step away from Fast and Diverse Text-to-3D Generation
Qualcomm AI Research(高通人工智能研究院)
HexaGen3D 通过微调预训练二维扩散模型联合预测 6 个正交投影与潜在三平面,在 7 秒内实现无需逐样本优化的高质量、多样化文本到三维生成,并具备较强泛化能力。
2024-01-15 cs.CV
Compress3D: a Compressed Latent Space for 3D Generation from a Single Image
Xi’an Jiaotong University(西安交通大学);International Digital Economy Academy (IDEA)(国际数字经济学院(IDEA))
提出三平面自动编码器构建紧凑潜在空间,结合3D感知交叉注意力机制与双条件扩散模型,从单张图像仅需7秒即可生成高质量3D资产,性能优于现有算法且显著降低训练成本。
2024-03-20 cs.AI cs.CV
DirectTriGS: Triplane-based Gaussian Splatting Field Representation for 3D Generation
CPII under InnoHK(InnoHK下属CPII机构)
DirectTriGS提出用三平面表示将高斯泼溅编码为连续场,结合可微TriRenderer和VAE压缩,在仅2D监督下通过潜在扩散实现高质量文本到3D物体生成。
2025-03-10 cs.CV
Blaze3DM: Marry Triplane Representation with Diffusion for 3D Medical Inverse Problem Solving
University of Chinese Academy of Sciences(中国科学院大学);School of Artificial Intelligence(人工智能学院)
Blaze3DM结合三平面神经场与扩散模型,实现快速高保真的3D医学逆问题求解,性能领先且计算效率提升22~40倍。
2024-05-24 cs.CV eess.IV
SeMv-3D: Towards Concurrency of Semantic and Multi-view Consistency in General Text-to-3D Generation
University of Electronic Science and Technology of China(电子科技大学);Tongji University(同济大学)
针对通用文本生成3D任务中语义一致性与多视角一致性难以兼顾的问题,提出SeMv-3D框架,通过三面体先验学习和基于先验的三面体语义对齐,在多视角一致性上达新SOTA,同时保持有竞争力的语义一致性性能。
2025-05-21 cs.CV
Progressive Text-to-3D Generation for Automatic 3D Prototyping
National University of Singapore(新加坡国立大学);Xi’an Jiaotong University(西安交通大学)
针对文本到3D生成中细节恢复和大尺寸输出优化难题,本文提出多尺度三平面网络MTN及由粗到细的渐进式学习策略,在挑战性描述上稳定生成更优3D形状。
2023-09-26 cs.CV
Disentangled Generation and Aggregation for Robust Radiance Fields
School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院);Peng Cheng Laboratory(鹏城实验室);School of Computer Science, University of Birmingham(伯明翰大学计算机学院)
针对三平面辐射场在相机位姿联合优化中易陷入局部极小值的问题,提出解耦三平面生成与聚合模块及两阶段热启动策略,在位姿含噪或未知的新视角合成任务中达到SOTA性能并实现高效收敛。
2024-09-24 cs.CV cs.GR
Fast Personalized Text-to-Image Syntheses With Attention Injection
Shanghai Jiao Tong University(上海交通大学);ShanghaiTech University(上海科技大学)
提出一种无需微调的快速个性化图像生成方法,通过操纵扩散模型的注意力层平衡文本与身份一致性,实验证明其优越性。
2024-03-17 cs.CV
FastFace: Tuning Identity Preservation in Distilled Diffusion via Guidance and Attention
Skoltech(斯克里普金技术学院);AIRI(人工智能研究所);Sber(俄罗斯储蓄银行);Innopolis(因诺波利斯);HSE University(俄罗斯高等经济大学);Skolkovo Institute of Science and Technology(斯克里普金科学与技术研究所)
本文提出FastFace框架,通过重新设计无分类器引导和注意力操纵机制,实现预训练ID适配器向蒸馏加速扩散模型的免训练适应,提升身份相似度与保真度,并开发了可解耦的公开评估协议。
2025-05-28 cs.CV
FastComposer: Tuning-Free Multi-Subject Image Generation with Localized Attention
Massachusetts Institute of Technology(麻省理工学院)
FastComposer提出一种免微调的高效多主体文本到图像生成方法,通过图像编码器提取主体嵌入增强文本条件,并引入交叉注意力局部化监督与延迟主体条件化技术,解决了多主体身份混合与过拟合问题,实现300至2500倍加速。
2023-05-21 cs.CV
VSA: Faster Video Diffusion with Trainable Sparse Attention
UC San Diego(UC圣迭戈大学);MBZUAI(穆桑大学人工智能研究所);UC Berkeley(伯克利大学)
针对视频扩散Transformer全注意力效率低的问题,提出可训练稀疏注意力VSA,通过粗细两阶段筛选关键token实现高效计算,在保证生成质量的同时大幅降低训练与推理成本,为视频扩散模型规模化提供支持。
2025-10-28 cs.CV
Fast Video Generation with Sliding Tile Attention
University of California, San Diego(加州大学圣地亚哥分校);University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Tsinghua University(清华大学);University of California, Berkeley(加州大学伯克利分校)
本文提出滑动分块注意力(STA),通过硬件感知的分块滑动窗口设计消除视频扩散Transformer全注意力中的冗余,在HunyuanVideo上实现2.8-17倍注意力加速,端到端延迟从945秒降至685秒,微调后进一步降至268秒且质量几乎无损。
2025-06-04 cs.CV
Faster Diffusion via Temporal Attention Decomposition
Center of Excellence for Generative AI, King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学生成式AI卓越中心);Show Lab, National University of Singapore (NUS)(新加坡国立大学Show Lab);Swiss AI Lab, IDSIA, USI & SUPSI(瑞士AI实验室);Meta AI
本文发现文本条件扩散模型中交叉注意力与自注意力在不同推理阶段作用不同,据此提出无需训练的TGATE方法,通过缓存重用注意力输出,实现10%-50%的加速。
2025-02-26 cs.CV
Compact Attention: Exploiting Structured Spatio-Temporal Sparsity for Fast Video Generation
College of Computer Science & Technology, Zhejiang University(计算机科学与技术学院,浙江大学);Huawei Technologies(华为技术)
针对视频生成中自注意力计算开销大的问题,本文提出Compact Attention框架,通过自适应分块、时变窗口和自动配置搜索利用结构化时空稀疏性,在单GPU上实现1.6至2.5倍加速并保持视觉质量。
2026-11-04 cs.CV
SPADE: An Input-Adaptive Sparse Attention Engine for Fast Video Diffusion Models Inference
针对视频扩散Transformer推理开销过高的问题,提出无训练的SPADE稀疏注意力引擎,通过三部分设计实现注意力2.26x-3.40x、端到端推理1.49x-1.80x的加速且保持生成质量。
2026-08-05 cs.CV
Backend-Agnostic Sparse Attention for Fast High-Resolution Visual Generation
School of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学人工智能学院);School of Data Science, Fudan University(复旦大学数据科学学院);School of Computing and Data Science, The University of Hong Kong(香港大学计算及数据科学学院)
针对扩散变换器高分辨率生成中全注意力计算昂贵的问题,提出后端无关的稀疏注意力 BASA,通过跨块窗口移位实现全局交互,无需定制内核,在 FLUX 和 Wan 上实现接近理论值的加速并保持生成质量。
2026-10-21 cs.CV
SSEditor: Controllable Mask-to-Scene Generation with Diffusion Model
Macau University of Science and Technology(澳门科技大学)
本文提出SSEditor,一种基于两阶段扩散模型的可控语义场景编辑器,通过掩码条件和几何-语义融合模块实现无需多步重采样的指定类别场景生成,在多个数据集上验证了其可控性、生成质量及快速构建新场景的能力。
2024-11-19 cs.AI cs.CV
ControLRM: Fast and Controllable 3D Generation via Large Reconstruction Model
South China University of Technology(华南理工大学);Alibaba Group(阿里巴巴集团);University of Chinese Academy of Sciences(中国科学院大学);National University of Singapore(新加坡国立大学)
针对3D生成可控性差且耗时长的问题,提出端到端前馈模型ControLRM,通过联合训练框架复用预训练LRM编码层并解锁三平面解码器,实现2D与3D表示的隐式对齐,在多数据集上展现出强大的快速可控生成与泛化能力。
2024-10-12 cs.AI cs.CV
Fast Autoregressive Video Diffusion and World Models with Temporal Cache Compression and Sparse Attention
Hebrew University of Jerusalem(特拉维夫大学);Google Research(谷歌研究)
提出FAST-AR框架,通过TempCache压缩KV缓存、AnnCA加速交叉注意力、AnnSA稀疏化自注意力,实现自回归视频扩散模型5-10倍加速,同时保持视觉质量并稳定GPU内存使用。
2026-06-15 cs.AI cs.CV
DraftAttention: Fast Video Diffusion via Low-Resolution Attention Guidance
Northeastern University(东北大学);CUHK(香港中文大学);Duke University(杜克大学);Adobe Research(Adobe研究);NUIST(南京信息工程大学);UCM(墨西哥国立自治大学)
针对基于扩散Transformer的视频生成模型计算成本高的问题,提出无需训练的DraftAttention框架,通过低分辨率草稿注意力引导动态稀疏注意力,在保证生成质量的同时实现GPU上最高1.75倍的端到端加速。
2025-05-17 cs.AI cs.CV
Fast Sampling Through The Reuse Of Attention Maps In Diffusion Models
University of Warwick(沃里克大学);Samsung AI Centre Cambridge(三星AI研究中心);Cornell University(康奈尔大学)
本文提出无需重训或蒸馏,通过基于ODE理论的重用注意力图策略,直接降低扩散模型采样延迟,生成图像更接近原始高延迟模型输出。
2025-05-22 cs.AI cs.CV
Less Memory, Faster Speed: Refining Self-Attention Module for Image Reconstruction
Beijing Institute of Technology(北京理工大学)
自注意(Self-attention,SA)机制可以有效地捕捉深度神经网络中的全局依赖关系,并已成功应用于自然语言处理和图像处理。然而,用于图像重建的SA模块具有较高的时间和空间复杂度,这限制了其在更高分辨率图像中的应用。本文对自注意生成对抗网络(SAGAN)中的SA模块进行了改进,通过调整非局部操作、修改SA模块中单元之间的连通性以及重新实现SA模块的计算模式,使其空间复杂度从$\text{O}(n^2)$降低到$\text{O}(n)$,但仍与原SA模块等价.进一步,我们探索了该模块背后的原理,发现我们的模块是一种特殊的通道注意力机制。基于两个图像重建基准数据集的实验结果表明,在相同的计算环境下,两种模型的图像重建效果相当,但所提模型运行速度更快,占用内存空间更少。
2019-05-20 cs.CV cs.LG eess.IV
DraftAttention2: Fast Video Diffusion with Low-Resolution-Guided Mixed-Precision Attention
DraftAttention2提出无需训练的框架,利用低分辨率草稿注意力图联合选择注意力块并分配混合精度,在少步视频扩散中实现质量与效率的优越权衡。
2026-09-29 cs.AI cs.CV
FastCar: Cache Attentive Replay for Fast Auto-Regressive Video Generation on the Edge
Northeastern University(东北大学);Nanjing University(南京大学);Duke University(杜克大学);Adobe Research(Adobe研究);NUIST(南京信息工程大学);Fudan University(复旦大学);UCM(乌拉尔联邦大学)
针对边缘端自回归视频生成解码延迟高的问题,提出FastCar框架,通过时序注意力得分判断复用前帧MLP缓存输出,并配套FPGA动态资源调度加速器,实现2.1倍以上解码加速与更高能效,还可结合稀疏注意力缓解漂移问题。
2025-05-17 cs.AI cs.CV
Data and Physics Driven Learning Models for Fast MRI -- Fundamentals and Methodologies from CNN, GAN to Attention and Transformers
National Heart and Lung Institute, Imperial College London(帝国理工学院国家心肺研究所);Imperial College London(帝国理工学院);Sun Yat-sen University(中山大学);Beihang University(北京航空航天大学);Brunel University London(伦敦布鲁内尔大学);University of Cambridge(剑桥大学);Technical University of Munich(慕尼黑工业大学);Weizmann Institute of Science(魏茨曼科学研究所)
研究表明,在医学图像分析的下游任务中使用数据驱动的深度学习模型毫无疑问,例如,解剖分割和病变检测、疾病诊断和预后以及治疗计划。然而,当上游成像没有正确进行(有伪影)时,深度学习模型并不是医学图像分析的最佳解决方案。这已经在MRI研究中表现出来,其中扫描通常是缓慢的,易于产生运动伪影,具有相对低的信噪比,以及差的空间和/或时间分辨率。最近的研究表明,用于推动快速MRI的深度学习技术的发展有了实质性的增长。本文旨在(1)介绍用于快速MRI的基于深度学习的数据驱动技术,包括基于卷积神经网络和生成对抗网络的方法,(2)综述用于加速MRI重建的基于注意力和Transformer的模型,以及(3)详细研究用于MRI加速的耦合物理和数据驱动模型。最后,我们将通过一些临床应用进行演示,解释数据协调和可解释模型对于多中心和多扫描仪研究中的快速MRI技术的重要性,并讨论当前研究中的常见陷阱和对未来研究方向的建议。
2022-04-01 cs.CV eess.IV physics.med-ph
Turbo4DGen: Ultra-Fast Acceleration for 4D Generation
本文提出Turbo4DGen框架,通过时空缓存机制和动态语义感知注意力剪枝,显著减少4D生成中的冗余计算,实现9.7倍速度提升。
2026-10-30 cs.AI cs.CV cs.GR
Real-Time Radiance Fields for Single-Image Portrait View Synthesis
University of California San Diego(加州大学圣地亚哥分校);NVIDIA(英伟达);Stanford University(斯坦福大学)
该研究提出一种单次实时方法,通过基于Vision Transformer的三平面编码器等技术,仅用合成数据训练实现单张未标定图像的3D感知新视图合成,在速度和质量上均优于现有方法。
2023-05-03 cs.AI cs.CV cs.GR
Fast Efficient Object Detection Using Selective Attention
由于重大疏忽而撤回
2020-02-20 cs.CV
CAIR: Fast and Lightweight Multi-Scale Color Attention Network for Instagram Filter Removal
Sahmyook University(三育大学)
图像复原是计算机视觉中一个重要而又具有挑战性的课题。在各种计算机视觉任务中,将过滤后的图像恢复为原始图像是很有帮助的。我们采用了一个非线性激活函数自由网络(NAFNet)的快速和轻量级的模型,并添加了一个颜色注意模块,提取有用的颜色信息,以提高准确性。我们提出了一个准确,快速,轻量级的网络,具有多尺度和颜色注意力的Instagram过滤器删除(CAIR)。实验结果表明,CAIR算法在快速、轻量的性能上优于现有的Instagram滤波器去除网络,在IFFI数据集上的PSNR超过3.69 dB的情况下,其$\times$约快11 $\times$,轻2.4 $\times$. CAIR可以成功地去除Instagram滤镜,并在定性结果中恢复颜色信息。源代码和预训练的权重可在\url{https://github.com/HnV-Lab/CAIR}获得。
2022-08-30 cs.CV
Efficient Linear Attention for Fast and Accurate Keypoint Matching
KDDI Research, Inc.(KDDI综合研究所)
最近,Transformers在稀疏匹配方面提供了最先进的性能,这对于实现高性能3D视觉应用至关重要。然而,这些Transformers由于其注意力机制的二次计算复杂性而缺乏效率。针对线性计算复杂性,提出了一种有效的线性注意力算法。然后,我们提出了一种新的注意力聚合,通过聚合来自稀疏关键点的全局和局部信息来实现高精度。为了进一步提高效率,我们提出了特征匹配和描述的联合学习。我们的学习比Sinkhorn更简单,更快地匹配,通常用于匹配来自Transformers的学习描述符。我们的方法在HPatch、ETH和Aachen Day-Night三个基准测试中,与更大的SOTA SuperGlue(12 M参数)和SGMNet(30 M参数)相比,仅用0.84M可学习参数就实现了具有竞争力的性能。
2022-04-22 cs.CV
Bidirectional Sparse Attention for Faster Video Diffusion Training
ByteDance(字节跳动)
本文提出双向稀疏注意力框架,通过动态稀疏化查询和键值对,显著提升视频扩散模型的训练效率,同时保持生成质量。
2025-12-30 cs.CV
CenterAtt: Fast 2-stage Center Attention Network
Hikvision Research Institute(海康威视研究院)
在本技术报告中,我们介绍了HIKVISION_LiDAR_Det在waymo开放数据集实时3D检测挑战中的方法。我们的竞赛解决方案是建立在Centerpoint 3D检测框架上的。探索了CenterPoint的几种变体,包括中心注意力头部和特征金字塔网络颈部。为了实现实时的检测,采用了批量范数合并、半精度浮点网络和GPU加速体素化等方法。通过使用这些方法,我们的团队在waymo开放数据集中的实时3D检测挑战中排名第6。
2021-06-19 cs.CV
Local Memory Attention for Fast Video Semantic Segmentation
ETH Zürich(苏黎世联邦理工学院)
我们提出了一种新的神经网络模块,将现有的单帧语义分割模型转换为视频语义分割管道。与以前的作品相比,我们努力实现一个简单,快速和通用的模块,可以集成到几乎任何单帧架构。我们的方法将过去帧中的语义信息的丰富表示聚合到记忆模块中。然后通过注意力机制访问存储在存储器中的信息。与以前的基于记忆的方法相比,我们提出了一个快速的局部注意力层,在先前帧的局部区域提供时间外观线索。我们通过第二个基于注意力的模块进一步将这些线索与当前帧的编码融合。分割解码器处理融合的表示以预测最终的语义分割。我们将我们的方法集成到两个流行的语义分割网络:ERFNet和PSPNet。我们观察到mIoU中Cityscapes的分割性能分别提高了1.7%和2.1%,而ERFNet的推理时间仅增加了1.5ms。
2021-09-26 cs.CV
Fast Convergence of DETR with Spatially Modulated Co-Attention
The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院);Peking University(北京大学)
最近提出的检测Transformer(DETR)模型成功地将Transformer应用于对象检测,并实现了与两阶段目标检测框架(例如Faster-RCNN)相当的性能。然而,DETR的缺点是收敛速度慢。从头开始训练DETR \cite{carion2020end}需要500个epoch才能达到高精度。为了加快其收敛速度,我们提出了一个简单而有效的方案,即空间调制的协同注意力(SMCA)机制,以改善DETR框架。SMCA的核心思想是在DETR中通过将共同注意响应约束为在初始估计的限界框位置附近较高来进行回归感知的共同注意。我们提出的SMCA提高了DETR的收敛速度,取代原来的共同注意力机制在解码器中,而保持其他操作在DETR不变。此外,通过将多头和尺度选择注意力设计集成到SMCA中,我们完全成熟的SMCA可以实现比具有扩展的基于卷积的主干的DETR更好的性能(108个epochs时为45.6 mAP,500个epochs时为43.3 mAP)。我们对COCO数据集进行了广泛的消融研究,以验证拟议SMCA的有效性。
2021-01-19 cs.CV
Fast Convergence of DETR with Spatially Modulated Co-Attention
Shanghai AI Laboratory(上海人工智能实验室);Peking University(北京大学);CUHK-SenseTime Joint Laboratory, The Chinese University of Hong Kong(香港中文大学-商汤科技联合实验室,香港中文大学);SenseTime Research(商汤科技研究院)
最近提出的检测Transformer(DETR)模型成功地将Transformer应用于对象检测,并实现了与Faster-RCNN等两阶段目标检测框架相当的性能。然而,DETR的缺点是收敛速度慢。从头开始训练DETR需要500个epoch才能达到高精度。为了加快其收敛速度,我们提出了一个简单而有效的方案,即空间调制的协同注意力(SMCA)机制,以改善DETR框架。SMCA的核心思想是在DETR中通过将共同注意响应约束为在初始估计的限界框位置附近较高来进行位置感知的共同注意。我们提出的SMCA提高了DETR的收敛速度,取代原来的共同注意力机制在解码器中,而保持其他操作在DETR不变。此外,通过将多头和尺度选择注意力设计集成到SMCA中,我们完全成熟的SMCA可以实现比具有扩展的基于卷积的主干的DETR更好的性能(108个epochs时为45.6 mAP,500个epochs时为43.3 mAP)。我们对COCO数据集进行了广泛的消融研究,以验证SMCA。代码发布于https://github.com/gaopengcuhk/SMCA-DETR。
2021-08-05 cs.CV
FMDConv: Fast Multi-Attention Dynamic Convolution via Speed-Accuracy Trade-off
Durham University(杜伦大学);College of Artificial Intelligence, Nanjing University of Posts and Telecommunications(南京邮电大学人工智能学院)
针对动态卷积计算开销大难以在资源受限环境部署的问题,提出融合三类注意力的FMDConv优化速度-精度权衡,还提出两种量化评估指标,实验验证其在多个数据集上可大幅降低计算成本且保持竞争力精度。
2025-03-21 cs.CV
TurboVGGT: Fast Visual Geometry Reconstruction with Adaptive Alternating Attention
Huawei Noah’s Ark Lab(华为诺亚实验室);University of Toronto(多伦多大学);Foundation Model Department, Huawei(华为基础模型部门)
本文提出TurboVGGT,通过自适应稀疏全局注意力和帧注意力实现高效多视图3D重建,在保持重建质量的同时提升效率。
2026-10-15 cs.CV
a novel attention-based network for fast salient object detection
Inner Mongolian University(内蒙古大学)
在当前显著性目标检测网络中,最流行的方法是使用U型结构。然而,大量的参数导致更多的计算和存储资源的消耗,这是不可行的部署在有限的存储器设备上。另外一些浅层网络不能保持与U型结构相同的精度,而深层网络结构参数较多,不能快速收敛到全局最小损耗。为了克服所有这些缺点,我们提出了一种新的深度卷积网络架构,它有三个贡献:(1)在我们改进的显著对象特征压缩和增强提取模块(ISFCREM)中使用较小的卷积神经网络(CNN)来压缩模型,以减少模型的参数。(2)在ISFCREM中引入通道注意力机制,对不同通道进行加权,提高特征表示能力。(3)在训练期间应用新的优化器来累积所述长期梯度信息,以自适应地调整所述学习率。实验结果表明,该方法在不损失准确性的前提下,将模型压缩到原模型的1/3左右,并且在6个常用的显著性目标检测数据集上的收敛速度更快、更平滑。我们的代码发布在https://gitee.com/binzhangbinzhangbin/code-a-novel-attention-based-network-for-fast-salient-object-detection.git上
2021-12-20 cs.CV
Fast and Accurate Image Restoration and Generation with Rank Enhanced Linear Attention
University of Chinese Academy of Sciences(中国科学院大学)
研究旨在解决Transformer自注意力二次复杂度问题,提出秩增强线性注意力(RELA)及高效视觉Transformer(LAformer),通过集成深度卷积丰富特征表示,经实验验证LAformer在图像恢复和生成任务中性能优且计算高效。
2026-09-01 cs.CV
Fast-COS: A Fast One-Stage Object Detector Based on Reparameterized Attention Vision Transformer for Autonomous Driving
National Formosa University(国立虎尾科技大学);University of Muhammadiyah Malang(玛琅穆罕默德大学);National Taipei University(国立台北大学);National Yang Ming Chiao Tung University(国立阳明交通大学)
针对自动驾驶场景中目标检测需平衡精度与速度的问题,提出Fast-COS单阶段检测器,其基于重参数化注意力视觉Transformer(RAViT)骨干和RepFPN,在多平台测试中精度与效率优于现有模型,适用于资源受限环境。
2025-02-11 cs.CV
Pay Attention to Convolution Filters: Towards Fast and Accurate Fine-Grained Transfer Learning
UC Berkeley(加州大学伯克利分校)
我们提出了一种有效的迁移学习方法,用于使ImageNet预训练的卷积神经网络(CNN)适应细粒度图像分类任务。传统的迁移学习方法通常面临训练时间和精度之间的权衡。通过向预训练网络的每个卷积滤波器添加“注意模块”,我们能够在端到端管道中对每个卷积信号的重要性进行排名和调整。在这份报告中,我们展示了我们的方法可以在几个时期内将预训练的ResNet 50适应于细粒度的迁移学习任务,并实现比传统的迁移学习方法更高的准确性,并接近从头开始训练的模型。我们的模型还提供了可解释的结果,因为卷积信号的秩显示了哪些卷积通道被利用和放大以实现更好的分类结果,以及哪些信号应该被视为特定迁移学习任务的噪声,这可以被修剪到更小的模型大小。
2019-06-12 cs.CV
LINEA: Fast and Accurate Line Detection Using Scalable Transformers
The University of New Mexico(新墨西哥大学)
本文提出LINEA,一种基于可变形直线注意力(DLA)的Transformer直线检测方法,无需大型数据集预训练,在分布外测试中速度更快且sAP精度更高。
2025-05-22 cs.CV
AttaNet: Attention-Augmented Network for Fast and Accurate Scene Parsing
Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Jilin University(吉林大学)
两个因素已被证明是非常重要的语义分割模型的性能:全局上下文和多级语义。然而,生成捕获两个因素的特征总是导致高计算复杂性,这在实时场景中是有问题的。在本文中,我们提出了一个新的模型,称为注意增强网络(AttaNet),捕捉全局上下文和多级语义,同时保持高效率。AttaNet由两个主要模块组成:Strip Attention Module(SAM)和Attention Fusion Module(AFM)。鉴于在具有低分割精度的挑战性图像中,垂直条带区域的数量明显大于水平条带区域,SAM利用条带化操作来大幅降低垂直方向上编码全局上下文的复杂性,同时保留大部分上下文信息,与非局部方法相比。此外,AFM采用跨层聚合策略限制计算量,并采用注意力策略对每个像素上不同层次特征的重要性进行加权融合,得到高效的多层次表示。我们已经在两个语义分割基准上进行了广泛的实验,我们的网络在Cityscapes上实现了不同程度的速度/准确性权衡,例如,71 FPS/79.9% mIoU、130 FPS/78.5% mIoU和180 FPS/70.1% mIoU,在ADE 20 K上也具有领先的性能。
2021-03-10 cs.CV
Fast Attention-Based Simplification of LiDAR Point Clouds for Object Detection and Classification
Institute for Computer Science and Control (SZTAKI)(计算机科学与控制研究所);School of Information Engineering(信息工程学院);Faculty of Technology, Arts, and Culture(技术、艺术与文化学院);School of Control Science and Engineering(控制科学与工程学院)
本文提出一种基于注意力机制的高效激光雷达点云简化方法,通过特征嵌入与注意力采样模块提升目标检测与分类的效率和准确性。
2026-03-08 cs.CV
Accurate and Efficient Stereo Matching via Attention Concatenation Volume
Huazhong University of Science and Technology(华中科技大学);Nanjing University of Science and Technology(南京理工大学)
提出注意力级联体积(ACV)及其快速版Fast-ACV,通过生成注意力权重抑制冗余信息,并设计ACVNet和Fast-ACVNet网络,在多个基准上实现高精度与实时立体匹配。
2023-11-20 cs.CV
Faster Attention Is What You Need: A Fast Self-Attention Neural Network Backbone Architecture for the Edge via Double-Condensing Attention Condensers
University of Waterloo(滑铁卢大学);DarwinAI(达尔文AI公司)
随着设备上TinyML应用越来越多地采用深度学习,对针对边缘优化的高效神经网络骨干的需求不断增加。最近,注意力冷凝器网络的引入导致了低足迹、高效、自注意力神经网络,其在准确性和速度之间取得了很好的平衡。在这项研究中,我们介绍了一种更快的注意力冷凝器设计称为双冷凝注意力冷凝器,允许高度浓缩的功能嵌入。我们进一步采用了机器驱动的设计探索策略,根据最佳实践施加设计约束,以提高效率和鲁棒性,从而产生主干的宏微架构构造。生成的主干(我们将其命名为AttendNeXt)在嵌入式ARM处理器上实现了比其他几个最先进的高效主干更高的推理吞吐量(在更高的精度和速度下,比FB-Net C快10倍以上,在更小的尺寸下,比MobileOne-S1快10倍以上),同时具有较小的模型尺寸(在更高的准确性和速度下,比MobileNetv 3-L小1.37倍)和强大的准确性(在更高的速度下,比ImageNet上的MobileViT XS的top-1准确性高1.1%)。这些有希望的结果表明,探索不同的高效架构设计和自我注意力机制可以为TinyML应用程序带来有趣的新构建块。
2023-02-03 cs.CV eess.IV
RANet: Ranking Attention Network for Fast Video Object Segmentation
The University of Sydney(悉尼大学);Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University(西安交通大学人工智能与机器人研究所);Inception Institute of Artificial Intelligence (IIAI)(起源人工智能研究院);College of Computer Science, Nankai University(南开大学计算机学院)
尽管在线学习(OL)技术提高了半监督视频对象分割(VOS)方法的性能,但OL巨大的时间开销极大地限制了其实用性。基于匹配和基于传播的方法通过避免OL技术以更快的速度运行。然而,由于不匹配和漂移问题,它们受到次优精度的限制。在本文中,我们开发了一个实时但非常准确的排名注意力网络(RANet)的VOS。具体来说,为了整合基于匹配和基于传播的方法的见解,我们采用编码器-解码器框架以端到端的方式学习像素级相似性和分割。为了更好地利用相似性地图,我们提出了一种新的排名注意力模块,自动排名和选择这些地图细粒度的VOS性能。在DAVIS-16和DAVIS-17数据集上的实验表明,我们的RANet实现了最佳的速度-精度权衡,例如,在DAVIS-16上,每帧33毫秒,J&F=85.5%。使用OL,我们的RANet在DAVIS-16上达到J&F=87.1%,超过了最先进的VOS方法。代码可以在https://github.com/Storife/RANet上找到。
2019-09-08 cs.CV
Mixture-of-Top-k Attention: Efficient Attention via Scalable Fast Weights
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出MiTA,通过小规模地标查询收集top-k的键值对作为查询感知的变形路由专家,同时压缩N宽度MLP为共享专家,提升注意力机制的灵活性和可扩展性。
2026-09-27 cs.CV cs.LG
FasterViT: Fast Vision Transformers with Hierarchical Attention
NVIDIA(英伟达)
本文提出FasterViT,一种混合CNN-ViT网络,通过分层注意力(HAT)降低全局自注意力计算成本,在分类、检测和分割任务上实现高准确率与高图像吞吐量的SOTA帕累托前沿,并可作为即插即用模块增强现有网络。
2024-04-01 cs.AI cs.CV cs.LG
Swin Deformable Attention U-Net Transformer (SDAUT) for Explainable Fast MRI
National Heart and Lung Institute, Imperial College London(帝国理工学院国家心肺研究所);Cardiovascular Research Centre, Royal Brompton Hospital(皇家布朗普顿医院心血管研究中心);School of Biomedical Engineering, Sun Yat-sen University(中山大学生物医学工程学院)
快速MRI旨在从部分观察到的测量结果重建高保真图像。近年来,使用深度学习的快速MRI得到了蓬勃发展。与此同时,新的深度学习范例,例如,基于Transformer的模型在自然语言处理中发展迅速,并因其突出的性能而迅速发展用于计算机视觉和医学图像分析。然而,由于Transformer的复杂性,快速MRI的应用可能并不简单。主要障碍是自注意层的计算成本,这是Transformer的核心部分,对于高分辨率MRI输入来说可能是昂贵的。在这项研究中,我们提出了一种新的Transformer架构,用于解决快速磁共振成像,耦合移位窗口Transformer与U-Net,以减少网络的复杂性。我们将变形的注意力,我们的重建模型的可解释性。我们的经验表明,我们的方法在快速MRI任务上实现了一贯的优异性能。此外,与最先进的Transformer模型相比,我们的方法具有更少的网络参数,同时揭示了可解释性。该代码可在https://github.com/ayanglab/SDAUT上公开获取。
2022-07-05 cs.CV cs.LG eess.IV