X-Dancer: Expressive Music to Human Dance Video Generation
UC San Diego(圣迭戈大学);ByteDance(字节跳动);University of Southern California(南加州大学)
X-Dancer提出了一种零样本音乐驱动图像动画流水线,通过统一的transformer-diffusion框架,从单张静态图像生成多样化、长距离且逼真的人类舞蹈视频,显著优于现有方法。
2025-07-11 cs.CV
DanceTrack: Multi-Object Tracking in Uniform Appearance and Diverse Motion
The University of Hong Kong(香港大学);Carnegie Mellon University(卡内基梅隆大学);ByteDance Inc.(字节跳动公司)
用于多对象跟踪(MOT)的典型流水线是使用用于对象定位的检测器,以及随后用于对象关联的重新识别(re-ID)。该流水线部分地由目标检测和重新ID两者的最新进展所激励,并且部分地由现有跟踪数据集中的偏差所激励,其中大多数对象倾向于具有区分的外观并且重新ID模型足以建立关联。针对这种偏差,我们要再次强调,当对象外观没有足够的区分力时,多对象跟踪的方法也应该起作用。为此,我们提出了一个大规模的多人跟踪数据集,其中人类具有相似的外观,不同的运动和极端的清晰度。由于该数据集主要包含群舞视频,因此我们将其命名为“DanceTrack”。我们希望DanceTrack能够提供一个更好的平台来开发更多的MOT算法,这些算法更少地依赖于视觉识别,更多地依赖于运动分析。我们在我们的数据集上对几个最先进的跟踪器进行了基准测试,并观察到与现有基准测试相比,DanceTrack的性能显着下降。数据集、项目代码和竞赛服务器发布于:\url{https://github.com/DanceTrack}。
2022-05-24 cs.CV
Robust Dancer: Long-term 3D Dance Synthesis Using Unpaired Data
Peking University(北京大学)
如何根据一段音乐自动合成看起来自然的舞蹈动作是一个越来越受欢迎但具有挑战性的任务。现有的数据驱动方法大多需要难以获得的成对训练数据,并且由于自回归结构的误差积累而无法生成长序列的运动。我们提出了一种新的三维舞蹈合成系统,只需要不成对的数据进行训练,并可以在同一时间产生逼真的长期运动。对于非配对数据训练,我们探索了节拍和风格的分离,并提出了一种基于Transformer的模型,不依赖于配对数据。对于长期运动的合成,我们设计了一个新的长历史注意策略。它首先通过注意力计算查询长历史嵌入,然后通过多模态自适应门(MAG)将此嵌入显式融合到生成管道中。客观和主观的评价表明,我们的结果是强大的基线方法相媲美,尽管不需要配对的训练数据,是强大的推断长期音乐时。据我们所知,我们是第一个实现非配对数据训练的公司,这种能力可以有效地缓解数据限制。我们的代码发布在https://github.com/BFeng14/RobustDancer上
2023-03-29 cs.CV cs.GR
EDGE: Editable Dance Generation From Music
Stanford University(斯坦福大学)
舞蹈是一种重要的人类艺术形式,但创造新的舞蹈可能是困难和耗时的。在这项工作中,我们介绍了可编辑的舞蹈生成(EDGE),一个国家的最先进的方法,可编辑的舞蹈生成,能够创造现实的,物理上合理的舞蹈,同时保持忠实于输入的音乐。EDGE使用基于transformer的扩散模型,搭配强大的音乐特征提取器Juventure,并提供强大的编辑功能,非常适合舞蹈,包括关节调节和中间。我们引入了一个新的物理可扩展性指标,并通过(1)物理可扩展性,节拍对齐和多样性基准的多个定量指标广泛评估我们的方法产生的舞蹈质量,更重要的是,(2)大规模的用户研究,证明了比以前的最先进的方法有显着的改进。我们的模型的定性样本可以在我们的网站上找到。
2022-11-27 cs.CV cs.GR cs.SD
DanceChat: Large Language Model-Guided Music-to-Dance Generation
本文提出DanceChat,一种由大型语言模型引导的音乐到舞蹈生成方法,通过LLM作为编舞者提供文本动作指令,结合多模态特征融合与扩散模型,在AIST++数据集上实现更优的舞蹈多样性与音乐风格对齐。
2025-08-11 cs.CV cs.MM cs.SD
Walk Before You Dance: High-fidelity and Editable Dance Synthesis via Generative Masked Motion Prior
本研究提出一种生成性遮蔽动作先验模型,实现高保真且可编辑的舞蹈合成,通过多塔结构提升动作生成质量与编辑能力。
2025-12-02 cs.AI cs.CV cs.GR
VITON-DiT: Learning In-the-Wild Video Try-On from Human Dance Videos via Diffusion Transformers
Sun Yat-Sen University(中山大学);ByteDance China(字节跳动中国)
本文提出首个基于扩散Transformer的视频试穿框架VITON-DiT,通过融合服装特征与时空去噪DiT及身份保持ControlNet,仅利用非配对舞蹈视频训练,实现真实场景复杂姿势下的长视频试穿生成。
2024-06-07 cs.CV
DuetGen: Music Driven Two-Person Dance Generation via Hierarchical Masked Modeling
Snap Inc.(Snap公司)
DuetGen提出两阶段分层掩码建模框架,从音乐生成交互式双人舞蹈,通过VQ-VAE和双变换器实现同步与协调,达到最先进性能。
2025-06-23 cs.CV cs.GR cs.SD
Single-Shot Freestyle Dance Reenactment
Facebook AI Research(Facebook人工智能研究);Tel-Aviv University(特拉维夫大学)
源舞者和目标人之间的运动转移任务是姿势转移问题的特殊情况,其中目标人根据舞者的运动改变他们的姿势。在这项工作中,我们提出了一种新的方法,可以通过任意视频序列重新激活单个图像,在训练过程中看不到。该方法结合了三个网络:(i)分割映射网络,(ii)真实帧渲染网络,以及(iii)面部细化网络。通过将此任务分为三个阶段,我们能够获得一系列新颖的逼真帧,捕捉自然的运动和外观。我们的方法获得了比以前的方法更好的视觉质量,并且能够动画化不同的身体类型和外观,这些身体类型和外观是在具有挑战性的姿势中捕获的,如实验和补充视频所示。
2021-03-21 cs.CV cs.GR cs.LG
Learning Quantised Structure-Preserving Motion Representations for Dance Fingerprinting
MBZUAI(穆罕默德·本·扎耶德人工智能大学);City University of Hong Kong(香港城市大学)
本文提出DANCEMATCH框架,通过端到端方法实现基于运动的舞蹈检索,利用量化运动签名实现高效大规模检索,结合骨架运动量化与时空Transformer编码人类姿态,建立结构化运动词汇。
2026-04-01 cs.AI cs.CV
MACE-Dance: Motion-Appearance Cascaded Experts for Music-Driven Dance Video Generation
Renmin University of China(中国人民大学);AMAP, Alibaba Group(阿里集团AMAP);Wuhan University(武汉大学);Tsinghua University(清华大学)
本文提出MACE-Dance框架,结合级联混合专家模型,实现音乐驱动的高质量舞蹈视频生成,通过动作和外观专家分别生成3D动作和视频,提升视觉一致性和动作真实感。
2026-05-07 cs.CV
OpenDance: Multimodal Controllable 3D Dance Generation with Large-scale Internet Data
Peking University(北京大学);Huawei Cloud(华为云)
OpenDance通过构建大规模舞蹈数据集和提出统一的可控生成框架,实现了多模态的3D舞蹈生成,支持音乐、文本、关键点和轨迹等多种条件控制。
2025-11-28 cs.CV
Listen to Rhythm, Choose Movements: Autoregressive Multimodal Dance Generation via Diffusion and Mamba with Decoupled Dance Dataset
Communication University of China(中国传媒大学)
本文提出LRCM框架,通过解耦舞蹈数据集实现多模态指导的扩散模型,结合Mamba模块实现流畅的长序列自回归生成,展示了在多模态输入和长序列生成中的潜力。
2026-04-07 cs.CV cs.GR cs.HC
ChoreoMuse: Robust Music-to-Dance Video Generation with Style Transfer and Beat-Adherent Motion
School of Computer Science, The University of Sydney(计算机科学学院,悉尼大学)
本文提出基于扩散的 ChoreoMuse 框架,以 SMPL 参数为中介并结合 MotionTune 编码器,实现跨音乐风格与舞者特征、贴合节拍且风格可控的高保真舞蹈视频生成。
2025-07-26 cs.AI cs.CV cs.GR
Controllable Dance Generation with Style-Guided Motion Diffusion
本文提出Style-Guided Motion Diffusion方法,通过整合Transformer架构与风格调制模块,实现风格引导的舞蹈生成,提升舞蹈生成的可控性和风格一致性。
2026-02-10 cs.CV cs.MM cs.SD
DanceCrafter: Fine-Grained Text-Driven Controllable Dance Generation via Choreographic Syntax
East China Normal University(东华大学);Beijing Dance Academy(北京舞蹈学院);Beijing University of Posts and Telecommunications(北京邮电大学);New York University Shanghai(纽约大学上海分校);Zhongguancun Academy(中关村学院);Zhongguancun Institute of Artificial Intelligence(中关村人工智能研究院)
本文提出编舞语法框架和DanceFlow数据集,结合专业舞蹈档案与高保真动作捕捉数据,构建细粒度可控舞蹈生成模型DanceCrafter,实现高质量复杂舞蹈序列生成。
2026-04-27 cs.AI cs.CV
Entry-Flipped Transformer for Inference and Prediction of Participant Behavior
Nanyang Technological University(南洋理工大学)
一些团体活动,如团队运动和编排舞蹈,涉及参与者之间的密切互动。在这里,我们调查的任务推断和预测参与者的行为,在运动路径和行动,在这种条件下。我们缩小了问题,估计一组目标参与者如何对其他观察到的参与者的行为作出反应。我们的主要思想是以一种对帧式推理和预测过程中的错误积累具有鲁棒性的方式对参与者之间的时空关系进行建模。我们提出了一种新的入口翻转的Transformer(EF-Transformer),它通过时空域上的注意力机制来模拟参与者之间的关系。与典型的Transformers不同,我们通过翻转查询,键和值条目的顺序来解决错误累积的问题,以增加当前帧中观察到的特征的重要性和保真度。对比实验表明,我们的EF-Transformer在新收集的网球双打数据集,Ceilidh舞蹈数据集和两个行人数据集上实现了最佳性能。此外,它也表明,我们的EF-变压器是更好地限制累积误差和从错误的估计恢复。
2022-07-14 cs.CV
MDD: A Dataset for Text-and-Music Conditioned Duet Dance Generation
Purdue University(普渡大学)
本文提出MDD多模态双人舞数据集,整合620分钟专业动作捕捉、音乐与超10K条文本描述,并定义文本到双人舞和文本到舞蹈伴舞两个生成任务,提供基线评估以推动该方向研究。
2025-08-23 cs.CV cs.GR cs.MM
TM2D: Bimodality Driven 3D Dance Generation via Music-Text Integration
National University of Singapore(新加坡国立大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
针对缺乏音乐-文本配对运动数据的问题,提出TM2D方法,通过3D运动VQ-VAE混合不同数据集运动token、跨模态transformer融合双模态信息,实现高质量3D舞蹈生成,并提出新评估指标。
2023-10-01 cs.CV
Nrityantar: Pose oblivious Indian classical dance sequence classification system
IIT Delhi(德里印度理工学院)
在本文中,我们试图将人类动作识别的研究工作推进到一个相当专业的应用领域,即印度古典舞蹈(ICD)分类。这种舞蹈形式在手部和身体姿势、面部表情或情绪以及头部方向方面的变化使得姿势估计成为一项极具挑战性的任务。为了解决这个问题,我们构造了一个姿势不经意的形状签名,它被馈送到序列学习框架。姿态签名表示在两个过程中完成。首先,我们表示人的姿态在第一帧的舞蹈视频使用对称空间Transformer网络(SVM)提取好的人对象的建议和基于CNN的并行单人姿态估计器(SPPE)。接下来,通过在连续姿态之间分配相似性分数,然后进行非最大抑制,将姿态基础转换为姿态流。我们不是在序列学习器中输入一个简单的关节链,这通常会阻碍网络性能,而是构成一个由标准化距离向量、流量、锚关节之间的角度组成的特征向量,它捕获骨架模式中的相邻配置。因此,使用姿势估计的跨帧的身体关节之间的运动学关系有助于更好地建立时空依赖性。我们对ICD数据集上基于深度网络的舞蹈分类方法进行了详尽的实证评估。
2018-12-13 cs.CV
Music-to-Dance Generation with Optimal Transport
Black Sesame Technologies(黑芝麻科技);Nanyang Technological University(南洋理工大学);University of Alberta(阿尔伯塔大学)
为一首音乐作品编排舞蹈是一项具有挑战性的工作,必须在考虑音乐主题和节奏的同时,创造性地呈现独特的舞蹈风格元素。目前已有多种方法可以解决这一问题,如相似性检索、序列到序列建模和生成对抗网络等,但它们生成的舞蹈序列往往缺乏运动真实感、多样性和音乐一致性。在本文中,我们提出了一个音乐舞蹈与最佳传输网络(MDOT网络)的学习,从音乐生成3D舞蹈编排。我们引入了一个最佳的运输距离来评估所产生的舞蹈分布的真实性和Gromov-Wasserstein距离来衡量舞蹈分布和输入音乐之间的对应关系。这给出了一个明确定义的和非发散的训练目标,减轻了标准GAN训练的限制,标准GAN训练经常受到不稳定性和发散发电机损耗问题的困扰。大量的实验表明,我们的MDOT-Net可以合成现实和多样的舞蹈,实现了与输入音乐的有机统一,反映了共享的意向性和匹配的节奏清晰度。示例结果可在https://www.youtube.com/watch?上找到v=dErfBkrlUO8。
2022-05-04 cs.CV cs.LG cs.SD
LongDanceDiff: Long-term Dance Generation with Conditional Diffusion Model
Tencent(腾讯)
针对长期3D舞蹈生成的冻结等问题,提出基于transformer的条件扩散模型LongDanceDiff,结合部分加噪、互信息最小化及空间约束策略,在效果上优于现有最优方法。
2023-08-23 cs.AI cs.CV
Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic Memory
Nanyang Technological University(南洋理工大学);Sun Yat-Sen University(中山大学);UCLA(加州大学洛杉矶分校);SenseTime Research(商汤科技研究院)
驱动3D角色跟随一段音乐跳舞是非常具有挑战性的,因为编舞规范对姿势施加了空间约束。此外,生成的舞蹈序列还需要保持与不同音乐流派的时间一致性。为了解决这些挑战,我们提出了一种新的音乐到舞蹈的框架,Bailando,有两个强大的组件:1)一个舞蹈记忆,学习总结有意义的舞蹈单元从3D姿势序列到量化的码本,2)一个演员-评论家生成预训练的Transformer(GPT),组成这些单元流畅的舞蹈连贯的音乐。与学习的编舞记忆,舞蹈生成上实现的量化单元,满足高编舞标准,使生成的舞蹈序列被限制在空间约束。为了实现不同的运动节奏和音乐节拍之间的同步对齐,我们引入了一个基于演员-评论家的强化学习计划的GPT与新设计的节拍对齐奖励函数。在标准基准测试上的大量实验表明,我们提出的框架在定性和定量上都达到了最先进的性能。值得注意的是,学习的舞蹈记忆被证明可以以无监督的方式发现人类可解释的舞蹈风格姿势。
2022-03-25 cs.CV cs.SD eess.AS
Motion-Aware Transformer for Multi-Object Tracking
Department of Computer Science, Illinois Institute of Technology(计算机科学系,伊利诺伊理工学院)
本文提出运动感知Transformer,通过显式建模物体运动提升多目标跟踪性能,在多个数据集上取得显著改进。
2026-03-08 cs.CV
DisCo: Disentangled Control for Realistic Human Dance Generation
Nanyang Technological University(南洋理工大学);Microsoft(微软公司);University at Buffalo(布法罗大学);Skywork AI(智源人工智能(Skywork AI));Advanced Micro Devices(超威半导体(AMD))
本文提出 DisCo 框架,通过解耦控制架构与人物属性预训练增强真实人物舞蹈生成的组合性和泛化性,可生成外观多样、动作灵活的高质量图像与视频。
2024-04-04 cs.AI cs.CV
Align Your Rhythm: Generating Highly Aligned Dance Poses with Gating-Enhanced Rhythm-Aware Feature Representation
College of Computer Science and Technology, Harbin Engineering University(哈尔滨工程大学计算机科学与技术学院);Shanghai Academy of Artificial Intelligence for Science(上海人工智能科学研究院);School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院);State Key Laboratory of Space-Ground Integrated Information Technology(空间地面一体化信息技术创新实验室)
本文提出Danceba框架,通过基于相位的节奏提取、时间门控因果注意力和并行Mamba运动建模,增强音乐驱动舞蹈生成的节奏对齐性与动作多样性,实验表明其优于现有最先进方法。
2025-07-18 cs.AI cs.CV cs.MM
Single-Shot Motion Completion with Transformer
NetEase Fuxi AI Lab(网易伏羲人工智能实验室);University of Michigan(密歇根大学);NetEase(网易)
运动补偿是一个具有挑战性和长期讨论的问题,在电影和游戏应用中具有重要意义。对于不同的运动完成场景(中间,填充和混合),大多数以前的方法处理的完成问题与个案的情况下设计。在这项工作中,我们提出了一个简单而有效的方法来解决多个运动完成问题在一个统一的框架下,并实现了一个新的国家的最先进的精度在多个评估设置。受最近基于注意力模型的巨大成功的启发,我们认为完成作为一个序列到序列的预测问题。我们的方法包括两个模块-一个标准的Transformer编码器与自我关注,学习输入运动的长期依赖关系,和一个可训练的混合嵌入模块,建模时间信息和判别关键帧。我们的方法可以运行在一个非自回归的方式和预测多个丢失的帧在一个单一的前向传播中实时的。最后,我们展示了我们的方法在音乐舞蹈应用程序的有效性。
2021-03-01 cs.CV cs.GR
MAGMA: Music Aligned Generative Motion Autodecoder
Georgia Institute of Technology(佐治亚理工学院)
针对音乐到舞蹈映射的难题,提出基于VQ-VAE和Transformer的两步生成方法,并比较不同音乐表示与位置编码,实现高质量、长序列、可定制的实时动作生成。
2023-09-03 cs.CV cs.GR cs.MM
Diverse Image Inpainting with Bidirectional and Autoregressive Transformers
Nanyang Technological University(南洋理工大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
图像修补是一个欠定逆问题,它自然地允许不同的内容来真实地填充丢失或损坏的区域。使用卷积神经网络(CNN)的流行方法可以合成视觉上令人愉快的内容,但是CNN遭受用于捕获全局特征的有限感知域。通过图像级关注,Transformers能够对长距离依赖性进行建模,并通过像素序列分布的自回归建模生成各种内容。然而,自回归Transformers中的单向注意力是次优的,因为损坏的图像区域可以具有任意形状,具有来自任何方向的上下文。我们提出了BAT填充,一个创新的图像修复框架,介绍了一种新的双向自回归Transformer(BAT)的图像修补。BAT利用Transformers来学习自回归分布,这自然允许不同的缺失内容生成。此外,它还集成了像BERT这样的掩蔽语言模型,可以对缺失区域的上下文信息进行双向建模,以实现更好的图像完整性。在多个数据集上的大量实验表明,BAT-Fill在定性和定量的图像修补中实现了优异的多样性和保真度。
2021-06-01 cs.CV
Diverse Part Discovery: Occluded Person Re-identification with Part-Aware Transformer
University of Science and Technology of China(中国科学技术大学);Dongguan University of Technology(东莞理工学院)
被遮挡人员重新识别(Re-ID)是一项具有挑战性的任务,因为人员经常被各种障碍物或其他人遮挡,特别是在人群场景中。为了解决这些问题,我们提出了一种新的端到端的部分感知Transformer(PAT)闭塞的人重新识别通过不同的部分发现通过一个Transformer encoderdecoder架构,包括一个基于像素上下文的Transformer编码器和一个基于部分原型的Transformer解码器。所提出的PAT模型具有几个优点。首先,据我们所知,这是第一个在统一的深度模型中利用Transformer编码器-解码器架构来实现被遮挡人员Re-ID的工作。其次,为了更好地学习零件原型,我们设计了两个有效的机制,包括零件多样性和零件可辨别性。因此,我们可以实现不同的部分发现被遮挡的人Re-ID在弱监督的方式。针对三个任务(遮挡,部分和整体Re-ID)的六个具有挑战性的基准测试的广泛实验结果表明,我们提出的PAT对最先进的方法表现良好。
2021-06-08 cs.CV
DC-Former: Diverse and Compact Transformer for Person Re-Identification
Ant Group(蚂蚁集团)
在人员再识别(re-ID)任务中,由于数据有限,通过深度学习来学习区分表示仍然是具有挑战性的。一般来说,当数据量增加时,模型会获得更好的性能。相似类的加入增强了分类器识别相似身份的能力,从而提高了表征的区分度。在本文中,我们提出了一个多样的和紧凑的Transformer(DC-Former),可以实现类似的效果,通过分裂嵌入空间成多个多样的和紧凑的子空间。紧凑的嵌入子空间有助于模型学习更鲁棒和有区别的嵌入,以识别相似的类。通过融合这些包含更多细粒度信息的不同嵌入,可以进一步提高re-ID的效果。具体而言,在视觉Transformer中使用多个类标记来表示多个嵌入空间。然后,一个自多样性约束(SDC)被施加到这些空间,推动他们远离彼此,这使得每个嵌入空间多样和紧凑。此外,还设计了动态权重控制器(DWC),用于在训练过程中平衡它们之间的相对重要性。我们的方法的实验结果是有希望的,这超过了以前的国家的最先进的方法在几个常用的人重新ID基准。
2023-02-28 cs.CV
OmniMotion: Multimodal Motion Generation with Continuous Masked Autoregression
University of Sydney(悉尼大学);Alibaba Group(阿里集团);Fudan University(复旦大学)
针对全身多模态运动生成,提出连续掩码自回归变换器,结合门控线性注意力、RMSNorm和DiT结构,融合文本、语音、音乐,实验全面优于现有方法。
2025-10-16 cs.CV
ClothTransformer: Unified Latent-Space Transformers for Scalable Cloth Simulation
S-Lab, Nanyang Technological University, Singapore(新加坡南洋理工大学S实验室,南洋理工大学,新加坡);Feeling AI;University of Oxford(牛津大学);Nanyang Technological University(南洋理工大学);Shanghai AI Laboratory(上海人工智能实验室)
提出ClothTransformer,通过将布料模拟重构为潜空间中的自回归序列建模,使用统一Transformer架构处理多种场景,实现比现有方法低4-9倍的误差,并引入可扩展潜空间公式和穿透自由数据集。
2026-07-23 cs.CV cs.GR
DiverseDiT: Towards Diverse Representation Learning in Diffusion Transformers
Fudan University(复旦大学);Shanghai Academy of AI for Science(上海人工智能科学研究院);Shanghai Innovation Institute(上海创新研究院)
通过分析扩散Transformer的表示动力学,发现块间表示多样性是关键,提出DiverseDiT框架,利用长残差连接和多样性损失促进多样特征学习,在ImageNet上提升性能并加速收敛。
2026-06-16 cs.CV
Devil is in the Uniformity: Exploring Diverse Learners within Transformer for Image Restoration
Nankai University(南开大学);Nankai International Advanced Research Institute(南开大学国际先进研究院);Nanjing University of Science and Technology(南京理工大学)
针对Transformer多头注意力的冗余问题,提出HINT模型,通过分层多头注意力和查询-键缓存更新探索多样学习器与头间交互,在5个图像恢复任务的12个基准上验证了优越性。
2025-03-26 cs.CV
Diverse Instance Discovery: Vision-Transformer for Instance-Aware Multi-Label Image Recognition
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
以前关于多标签图像识别(MLIR)的工作通常使用CNN作为研究的起点。本文以纯视觉Transformer(ViT)为研究基础,充分利用Transformer具有长程依赖建模的优势,克服了CNN局限于局部感受野的缺点。然而,对于包含来自不同类别、尺度和空间关系的多个对象的多标签图像,单独使用全局信息并不是最佳的。我们的目标是利用ViT的补丁令牌和自我注意力机制来挖掘多标签图像中的丰富实例,称为多样性实例发现(DiD)。为此,我们提出了一个语义类别感知模块和空间关系感知模块,分别,然后结合两者的重新约束策略,以获得实例感知的注意力地图。最后,我们提出了一种基于弱监督目标定位的方法来提取多尺度局部特征,以形成多视图管道。我们的方法只需要弱监督信息在标签级别,没有额外的知识注入或其他强监督信息是必需的。在三个基准数据集上的实验表明,我们的方法显着优于以前的作品,并在公平的实验比较下达到最先进的结果。
2022-04-22 cs.CV
Array Camera Image Fusion using Physics-Aware Transformers
Duke University(杜克大学);University of Arizona(亚利桑那大学)
我们展示了一个物理感知的Transformer,用于从具有不同分辨率、颜色空间、焦平面、焦距和曝光的相机进行基于特征的数据融合。我们还展示了一个可扩展的解决方案,合成训练数据生成的Transformer使用开源计算机图形软件。我们展示了不同的光谱响应,瞬时视场和帧速率的阵列上的图像合成。
2022-07-05 cs.CV eess.IV
MotionDreamer: One-to-Many Motion Synthesis with Localized Generative Masked Transformer
University of Alberta(阿尔伯塔大学);Concordia University(康考迪亚大学);Simon Fraser University(西蒙菲莎大学)
针对动画领域单参考运动生成多样实例易过拟合的问题,提出MotionDreamer局部掩码建模范式,通过分布正则化量化标记和滑动窗口局部注意力,实现高忠实度多样性生成,且支持多下游任务。
2025-04-11 cs.AI cs.CV cs.MM
PartFormer: Awakening Latent Diverse Representation from Vision Transformer for Object Re-Identification
Xiamen University(厦门大学);Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);Tencent(腾讯);Institute of Artificial Intelligence, Xiamen University(厦门大学人工智能研究院)
针对ViT在目标重识别中易过拟合显著区域的问题,提出PartFormer框架,通过Head Disentangling Block和两种头部多样性约束唤醒潜在多样性表征,在多个基准上显著优于现有方法。
2024-08-29 cs.CV
StyleDiT: A Unified Framework for Diverse Child and Partner Faces Synthesis with Style Latent Diffusion Transformer
Research Center for Information Technology Innovation, Academia Sinica(中央研究院資訊科技創新研究中心)
针对亲属人脸合成中多样性与保真度难以兼顾的问题,提出融合StyleGAN与扩散模型的StyleDiT框架,并引入关系特征引导机制,实现高质量多样化亲属及伴侣人脸合成。
2024-12-14 cs.CV
PoinTr: Diverse Point Cloud Completion with Geometry-Aware Transformers
Tsinghua University(清华大学)
在实际应用中,由于传感器分辨率有限、视点单一和遮挡等原因,获取的点云往往是不完整的。因此,从部分点云恢复完整的点云成为许多实际应用中不可缺少的任务。在本文中,我们提出了一种新的方法,重新制定的点云完成作为一个集到集的翻译问题,并设计了一个新的模型,称为PointTr,采用Transformer编码器-解码器架构的点云完成。通过将点云表示为一组具有位置嵌入的无序点群,我们将点云转换为一系列点代理,并采用Transformers生成点云。为了便于Transformers,以更好地利用感应偏置点云的三维几何结构,我们进一步设计了一个几何感知块,模型的局部几何关系明确。Transformers的迁移使我们的模型能够更好地学习结构知识,并保留点云完成的详细信息。此外,我们提出了两个更具挑战性的基准,更多样化的不完整的点云,可以更好地反映现实世界的情况,以促进未来的研究。实验结果表明,我们的方法优于国家的最先进的方法,在新的基准和现有的大幅度。代码可在https://github.com/yuxumin/PoinTr上获得
2021-08-19 cs.AI cs.CV cs.LG
ComPtr: Towards Diverse Bi-source Dense Prediction Tasks via A Simple yet General Complementary Transformer
Dalian University of Technology(大连理工大学)
本文提出通用互补 Transformer ComPtr,通过一致性增强与差异感知模块建模双源信息,并在多类密集预测任务中验证了统一架构的有效性。
2025-06-09 cs.CV
MoST: Motion Style Transformer between Diverse Action Contents
Korea Electronics Technology Institute(韩国电子技术研究院);Seoul National University(首尔大学);University of Birmingham(伯明翰大学)
提出MoST运动风格Transformer,通过跨身体部件的部分注意力风格调制器、Siamese编码器和风格解耦损失实现内容与风格解耦,有效解决不同内容运动间的风格迁移问题,无需启发式后处理且性能优于现有方法。
2024-03-20 cs.AI cs.CV
Categorical Traffic Transformer: Interpretable and Diverse Behavior Prediction with Tokenized Latent
NVIDIA Research(英伟达研究院);University of California, San Diego(加利福尼亚大学圣迭戈分校);Stanford University(斯坦福大学)
本文提出Categorical Traffic Transformer(CTT),通过可解释的令牌化隐空间直接监督隐变量以避免模式坍缩,在提升预测精度的同时生成语义多样化的行为,并支持与LLM集成实现常识推理和零样本泛化。
2023-11-30 cs.CV cs.LG cs.RO
VLT: Vision-Language Transformer and Query Generation for Referring Segmentation
Nanyang Technological University(南洋理工大学)
提出了一种视觉语言Transformer(VLT)框架,用于指代切分,以促进多模态信息之间的深度交互,增强对视觉语言特征的整体理解。有不同的方法来理解语言表达的动态强调,特别是在与图像交互时。然而,现有的Transformer作品中学习的查询在训练后是固定的,这不能应对语言表达的随机性和巨大的多样性。为了解决这个问题,我们提出了一个查询生成模块,它动态地产生多组特定于输入的查询来表示语言表达的不同理解。为了在这些不同的理解中找到最好的,从而生成更好的掩码,我们提出了一个查询平衡模块来选择性地融合查询集的相应响应。此外,为了提高模型处理不同语言表达的能力,我们考虑样本间学习,明确赋予模型理解同一对象的不同语言表达的知识。我们引入掩蔽对比学习来缩小对同一目标对象的不同表达的特征,同时区分不同对象的特征。所提出的方法是轻量级的,并在五个数据集上一致地实现了新的最先进的参考分割结果。
2022-10-28 cs.CV
ElasticViT: Conflict-aware Supernet Training for Deploying Fast Vision Transformer on Diverse Mobile Devices
Microsoft Research(微软研究院);Tsinghua University(清华大学)
神经结构搜索(NAS)在超过1G FLOP的视觉Transformer(ViT)的自动设计中表现出了很好的性能。然而,为各种移动设备设计轻量级和低延迟的ViT模型仍然是一个巨大的挑战。在这项工作中,我们提出了ElasticViT,一个两阶段的NAS方法,训练一个高质量的ViT超网在一个非常大的搜索空间,支持广泛的移动设备,然后搜索一个最佳的子网络(子网)直接部署。然而,依赖于均匀采样的现有超网训练方法受到梯度冲突问题的困扰:采样后的超网可以具有非常不同的模型大小(例如,50 M与2G FLOPs),导致不同的优化方向和较差的性能。为了解决这个问题,我们提出了两种新的采样技术:复杂性感知采样和性能感知采样。复杂度感知的采样限制了跨相邻训练步骤采样的样本之间的FLOP差异,同时覆盖搜索空间中不同大小的样本。性能感知采样进一步选择具有良好准确性的样本,这可以减少梯度冲突并提高超网质量。我们发现的模型,ElasticViT模型,在ImageNet上从60 M到8亿FLOP实现了67.2%到80.0%的顶级准确率,而无需额外的再训练,在准确性和延迟方面优于所有之前的CNN和ViT。我们的微型和小型模型也是第一批超越最先进CNN的ViT模型,并且在移动设备上的延迟显着降低。例如,ElasticViT-S1的运行速度比EfficientNet-B 0快2.62倍,精度高0.1%。
2023-03-21 cs.CV
Diverse Video Captioning by Adaptive Spatio-temporal Attention
University of Tübingen(图宾根大学)
为了生成合适的视频字幕,推理需要识别相关概念,并注意它们之间的空间关系以及剪辑中的时间发展。我们的端到端的编码器-解码器视频描述框架结合了两个基于transformer的架构,一个适合的Transformer用于单个联合时空视频分析,以及一个基于自注意力的解码器用于高级文本生成。此外,我们引入了一个自适应帧选择方案,以减少所需的传入帧的数量,同时保持相关的内容时,训练两个Transformers。此外,我们估计语义概念相关的视频描述通过聚合每个样本的所有地面实况字幕。我们的方法实现了最先进的结果MSVD,以及大规模的MSR-VTT和VATEX基准数据集考虑多个自然语言生成(NLG)指标。对多样性分数的额外评估突出了我们生成的字幕结构的表达力和多样性。
2022-08-19 cs.CV
Can We Scale Transformers to Predict Parameters of Diverse ImageNet Models?
Samsung Advanced Institute of Technology(三星先进技术研究院);Université de Montreal(蒙特利尔大学);Mila(米拉人工智能研究所)
本文提出训练一个单一 Transformer 网络来预测其他模型的 ImageNet 参数,以降低预训练门槛,实验表明该方法能加速多种模型训练并保持有竞争力的性能。
2023-05-31 cs.AI cs.CV cs.LG
PASTA: Controllable Part-Aware Shape Generation with Autoregressive Transformers
Stanford University(斯坦福大学)
提出PASTA自回归变换器架构,分两阶段训练生成高质量3D形状,支持多输入及尺寸引导生成,并能对特定部件进行可控变体,生成结果更逼真多样且实现简单。
2024-07-18 cs.AI cs.CV cs.GR
AdaPoinTr: Diverse Point Cloud Completion with Adaptive Geometry-Aware Transformers
Beijing National Research Center for Information Science and Technology (BNRist)(北京信息科学与技术国家研究中心);State Key Lab of Intelligent Technologies and Systems(智能技术与系统国家重点实验室);Tsinghua University(清华大学)
在本文中,我们提出了一种新的方法,重新制定的点云完成作为一个集到集的翻译问题,并设计了一个新的模型,称为PointTr,它采用了Transformer的编码器-解码器架构的点云完成。通过将点云表示为具有位置嵌入的无序点组的集合,我们将输入数据转换为点代理序列,并采用Transformers进行生成。为了便于Transformers更好地利用关于点云的3D几何结构的归纳偏差,我们进一步设计了一个几何感知块,该块显式地对局部几何关系进行建模。Transformers的迁移使我们的模型能够更好地学习结构知识并保留点云完成的详细信息。在更复杂和多样化的情况下,我们进一步提出了AdaPointTr,通过开发自适应查询生成机制和设计一种新的去噪任务,在完成点云。结合这两种技术使我们能够高效地训练模型:我们减少了训练时间(15倍或更多),并提高了完成性能(超过20%)。我们还表明,我们的方法可以扩展到场景级的点云完成的情况下,通过设计一个新的几何增强的语义场景完成框架。在现有和新提出的数据集上进行的大量实验证明了我们方法的有效性,在PCN上达到6.53 CD,在ShapeNet-55上达到0.81 CD,在真实世界的KITTI上达到0.392 MMD,大大超过了其他工作,并在各种基准上建立了新的最先进的水平。最值得注意的是,AdaPointTr可以实现更高的吞吐量和更少的FLOP与以前的最佳方法…
2023-01-11 cs.AI cs.CV
Learning Diverse Features in Vision Transformers for Improved Generalization
Idiap Research Institute(Idiap研究所);Mila(米拉人工智能研究所);University of Montreal(蒙特利尔大学);University of Bucharest(布加勒斯特大学);Gheorghe Mihoc - Caius Iacob Institute of Mathematical Statistics and Applied Mathematics of the Romanian Academy(罗马尼亚科学院Gheorghe Mihoc-Caius Iacob数理统计与应用数学研究所)
本文发现ViT通过不同注意力头提取鲁棒和虚假特征,提出基于梯度正交化的方法增强特征多样性,并剪除虚假头以提升分布外泛化性能。
2023-08-30 cs.CV cs.LG
Adaptive High-Frequency Transformer for Diverse Wildlife Re-Identification
Wuhan University(武汉大学)
针对现有野生动物ReID方法物种适配性不足的问题,提出统一多物种框架与自适应高频Transformer,并通过对象感知高频选择增强细节、抑制干扰,在多个数据集和未知物种泛化上取得领先性能。
2024-10-25 cs.AI cs.CV
VesperMUSE: Multi-Modal Fusion Vision Transformer for Image Semantic Segmentation Under Diverse Light Conditions
Department of Computer Science(计算机科学系)
本研究提出VesperMUSE多模态融合视觉Transformer框架,通过物理驱动算法、热引导增强与模态无关自注意力机制,实现不同光照下的鲁棒图像语义分割,为极端环境机器感知提供SOTA方案。
2026-10-16 cs.CV
Colorization Transformer
Google Research(谷歌研究院)
提出了一种基于自注意的图像彩色化新方法--彩色化Transformer。给定灰度图像,着色分三个步骤进行。我们首先使用一个条件自回归Transformer来产生一个低分辨率的灰度图像的粗着色。我们的架构采用条件Transformer层,以有效地条件灰度输入。随后的两个完全并行的网络将粗糙的彩色低分辨率图像上采样为精细着色的高分辨率图像。从Colorization Transformer中进行的采样可产生多种颜色,其保真度优于基于FID结果和基于Mechanical Turk测试中的人类评估的ImageNet着色的先前最先进技术。值得注意的是,在超过60%的情况下,人类评估者更喜欢三种生成的着色中评分最高的一种,而不是地面真实。Colorization Transformer的代码和预训练检查点可在https://github.com/google-research/google-research/tree/master/coltran上公开获取
2021-03-07 cs.AI cs.CV cs.LG