Diverse Dance Synthesis via Keyframes with Transformer Controllers
Beihang University(北京航空航天大学);Peng Cheng Laboratory(鹏城实验室)
现有的基于关键帧的运动合成主要集中在周期性动作或短期运动的生成,如步行,跑步,以及近距离姿势之间的过渡。然而,当处理复杂和即兴的运动时,这些方法将显著降低合成运动的自然性和多样性,例如,舞蹈表演和武术。此外,目前的研究缺乏对生成的运动的细粒度控制,这是必不可少的智能人机交互和动画创作。在本文中,我们提出了一种新的基于关键帧的运动生成网络的基础上,多个约束,它可以实现多样化的舞蹈合成通过学习的知识。具体来说,该算法主要是制定基于递归神经网络(RNN)和Transformer架构。我们的网络的骨干是一个分层的RNN模块,由两个长短期记忆(LSTM)单元组成,其中第一个LSTM用于将历史帧的姿势信息嵌入到潜在空间中,第二个LSTM用于预测下一帧的人体姿势。此外,我们的框架包含两个基于transformer的控制器,分别用于建模根轨迹和速度因子的约束,以便更好地利用帧的时间上下文,实现细粒度的运动控制。我们验证了所提出的方法在一个舞蹈数据集包含广泛的当代舞蹈。三个定量分析的结果验证了该算法的优越性。视频和定性实验结果表明,我们的算法生成的复杂的运动序列可以实现多样的和平滑的关键帧之间的运动过渡,即使是长期的合成。
2022-07-13 cs.CV
PartFormer: Awakening Latent Diverse Representation from Vision Transformer for Object Re-Identification
Xiamen University(厦门大学);Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);Tencent(腾讯);Institute of Artificial Intelligence, Xiamen University(厦门大学人工智能研究院)
针对ViT在目标重识别中易过拟合显著区域的问题,提出PartFormer框架,通过Head Disentangling Block和两种头部多样性约束唤醒潜在多样性表征,在多个基准上显著优于现有方法。
2024-08-29 cs.CV
StyleDiT: A Unified Framework for Diverse Child and Partner Faces Synthesis with Style Latent Diffusion Transformer
Research Center for Information Technology Innovation, Academia Sinica(中央研究院資訊科技創新研究中心)
针对亲属人脸合成中多样性与保真度难以兼顾的问题,提出融合StyleGAN与扩散模型的StyleDiT框架,并引入关系特征引导机制,实现高质量多样化亲属及伴侣人脸合成。
2024-12-14 cs.CV
ComPtr: Towards Diverse Bi-source Dense Prediction Tasks via A Simple yet General Complementary Transformer
Dalian University of Technology(大连理工大学)
本文提出通用互补 Transformer ComPtr,通过一致性增强与差异感知模块建模双源信息,并在多类密集预测任务中验证了统一架构的有效性。
2025-06-09 cs.CV
VLT: Vision-Language Transformer and Query Generation for Referring Segmentation
Nanyang Technological University(南洋理工大学)
提出了一种视觉语言Transformer(VLT)框架,用于指代切分,以促进多模态信息之间的深度交互,增强对视觉语言特征的整体理解。有不同的方法来理解语言表达的动态强调,特别是在与图像交互时。然而,现有的Transformer作品中学习的查询在训练后是固定的,这不能应对语言表达的随机性和巨大的多样性。为了解决这个问题,我们提出了一个查询生成模块,它动态地产生多组特定于输入的查询来表示语言表达的不同理解。为了在这些不同的理解中找到最好的,从而生成更好的掩码,我们提出了一个查询平衡模块来选择性地融合查询集的相应响应。此外,为了提高模型处理不同语言表达的能力,我们考虑样本间学习,明确赋予模型理解同一对象的不同语言表达的知识。我们引入掩蔽对比学习来缩小对同一目标对象的不同表达的特征,同时区分不同对象的特征。所提出的方法是轻量级的,并在五个数据集上一致地实现了新的最先进的参考分割结果。
2022-10-28 cs.CV
ElasticViT: Conflict-aware Supernet Training for Deploying Fast Vision Transformer on Diverse Mobile Devices
Microsoft Research(微软研究院);Tsinghua University(清华大学)
神经结构搜索(NAS)在超过1G FLOP的视觉Transformer(ViT)的自动设计中表现出了很好的性能。然而,为各种移动设备设计轻量级和低延迟的ViT模型仍然是一个巨大的挑战。在这项工作中,我们提出了ElasticViT,一个两阶段的NAS方法,训练一个高质量的ViT超网在一个非常大的搜索空间,支持广泛的移动设备,然后搜索一个最佳的子网络(子网)直接部署。然而,依赖于均匀采样的现有超网训练方法受到梯度冲突问题的困扰:采样后的超网可以具有非常不同的模型大小(例如,50 M与2G FLOPs),导致不同的优化方向和较差的性能。为了解决这个问题,我们提出了两种新的采样技术:复杂性感知采样和性能感知采样。复杂度感知的采样限制了跨相邻训练步骤采样的样本之间的FLOP差异,同时覆盖搜索空间中不同大小的样本。性能感知采样进一步选择具有良好准确性的样本,这可以减少梯度冲突并提高超网质量。我们发现的模型,ElasticViT模型,在ImageNet上从60 M到8亿FLOP实现了67.2%到80.0%的顶级准确率,而无需额外的再训练,在准确性和延迟方面优于所有之前的CNN和ViT。我们的微型和小型模型也是第一批超越最先进CNN的ViT模型,并且在移动设备上的延迟显着降低。例如,ElasticViT-S1的运行速度比EfficientNet-B 0快2.62倍,精度高0.1%。
2023-03-21 cs.CV
Diverse Video Captioning by Adaptive Spatio-temporal Attention
University of Tübingen(图宾根大学)
为了生成合适的视频字幕,推理需要识别相关概念,并注意它们之间的空间关系以及剪辑中的时间发展。我们的端到端的编码器-解码器视频描述框架结合了两个基于transformer的架构,一个适合的Transformer用于单个联合时空视频分析,以及一个基于自注意力的解码器用于高级文本生成。此外,我们引入了一个自适应帧选择方案,以减少所需的传入帧的数量,同时保持相关的内容时,训练两个Transformers。此外,我们估计语义概念相关的视频描述通过聚合每个样本的所有地面实况字幕。我们的方法实现了最先进的结果MSVD,以及大规模的MSR-VTT和VATEX基准数据集考虑多个自然语言生成(NLG)指标。对多样性分数的额外评估突出了我们生成的字幕结构的表达力和多样性。
2022-08-19 cs.CV
VesperMUSE: Multi-Modal Fusion Vision Transformer for Image Semantic Segmentation Under Diverse Light Conditions
Department of Computer Science(计算机科学系)
本研究提出VesperMUSE多模态融合视觉Transformer框架,通过物理驱动算法、热引导增强与模态无关自注意力机制,实现不同光照下的鲁棒图像语义分割,为极端环境机器感知提供SOTA方案。
2026-10-16 cs.CV
Understanding and Optimizing Attention-Based Sparse Matching for Diverse Local Features
本文研究了基于注意力的稀疏匹配模型中检测器与描述符的作用,提出通过多种检测器的键点微调,得到通用的匹配模型,提升了对新检测器的适应能力。
2026-03-12 cs.CV
Point Cloud Learning with Transformer
Southwest University(西南大学)
Transformer网络在自然语言处理中的卓越性能促进了这些模型在处理图像识别和分割等计算机视觉任务方面的发展。在本文中,我们介绍了一种新的框架,称为多级多尺度点Transformer(MLMSPT),直接工作在不规则的点云表示学习。具体来说,一个点金字塔Transformer的研究模型的功能与不同的分辨率或规模,我们定义,其次是一个多层次的Transformer模块聚合上下文信息从不同层次的每个规模,并加强他们的互动。而多尺度Transformer模块被设计用于捕获跨不同尺度的表示之间的依赖关系。对公共基准数据集的广泛评估证明了我们的方法在3D形状分类、分割任务上的有效性和竞争性能。
2022-10-25 cs.CV
TransFER: Learning Relation-aware Facial Expression Representations with Transformers
University of Chinese Academy of Sciences(中国科学院大学);Institute of Deep Learning, Baidu Research(百度研究院深度学习研究所);National Engineering Laboratory for Deep Learning Technology and Application(深度学习技术及应用国家工程实验室);West Virginia University(西弗吉尼亚大学)
人脸表情识别(FER)在计算机视觉中受到越来越多的关注。我们提出了transFER模型,它可以学习丰富的关系感知的本地表示。它主要由三个组件组成:多注意力丢弃(MAD),ViT-FER和多头自注意力丢弃(MSAD)。首先,局部块在区分不同的表达中起着重要的作用,然而,现有的工作很少能找到有区别的和不同的局部块。当某些面片由于姿势变化或视点更改而不可见时,这可能会导致严重的问题。为了解决这个问题,MAD被提议随机丢弃注意力地图。因此,模型被推到探索不同的局部补丁自适应。其次,为了在不同的局部块之间建立丰富的关系,在FER中使用视觉Transformer(ViT),称为ViT-FER。由于全局范围被用来加强每个局部补丁,获得更好的表示,以提高FER性能。第三,多头自注意允许ViT共同关注来自不同位置的不同信息子空间的特征。然而,如果没有明确的指导,多重自我关注可能会提取类似的关系。为了解决这个问题,建议MSAD随机丢弃一个自我注意模块。因此,模型被迫学习不同的本地补丁之间的丰富关系。我们提出的transFER模型优于国家的最先进的方法在几个FER基准,显示其有效性和实用性。
2021-08-25 cs.CV
Array Camera Image Fusion using Physics-Aware Transformers
Duke University(杜克大学);University of Arizona(亚利桑那大学)
我们展示了一个物理感知的Transformer,用于从具有不同分辨率、颜色空间、焦平面、焦距和曝光的相机进行基于特征的数据融合。我们还展示了一个可扩展的解决方案,合成训练数据生成的Transformer使用开源计算机图形软件。我们展示了不同的光谱响应,瞬时视场和帧速率的阵列上的图像合成。
2022-07-05 cs.CV eess.IV
SkyReels-A1: Expressive Portrait Animation in Video Diffusion Transformers
Cranberry-Lemon University(蔓越莓柠檬大学)
针对现有肖像动画方法存在的身份失真、背景不稳定等问题,提出基于视频扩散Transformer的SkyReels-A1框架,通过表情感知条件模块、面部图像-文本对齐模块及多阶段训练,提升运动迁移精度、身份保留与时间连贯性,适用于虚拟化身等领域。
2025-02-15 cs.CV
Diverse Plausible 360-Degree Image Outpainting for Efficient 3DCG Background Creation
Keio University(庆应义塾大学)
我们解决的问题,生成一个360度的图像,从一个单一的图像与一个狭窄的视野,通过估计其周围环境。以前的方法遭受过拟合的训练分辨率和确定性生成。本文提出了一种使用Transformer进行场景建模的完成方法,并提出了改进输出图像上360度图像特性的新方法。具体来说,我们使用带有Transformer的CompletionNets来执行不同的完成,并使用AdjustmentNet来将颜色、拼接和分辨率与输入图像相匹配,从而实现任何分辨率的推理。为了改善输出图像上360度图像的属性,我们还提出了WS感知损失和循环推理。实验结果表明,该方法在定性和定量上均优于现有的SOTA方法。例如,与SOTA方法相比,我们的方法在分辨率上完成了16倍的图像,并实现了1.7倍的Frechet起始距离(FID)。此外,我们提出了一个管道,使用完成结果的照明和背景的3DCG场景。我们的似是而非的背景完成,使视觉上自然的结果,在应用程序中插入虚拟物体与镜面。
2022-03-28 cs.CV
SkyReels-Audio: Omni Audio-Conditioned Talking Portraits in Video Diffusion Transformers
Kunlun Inc.(昆仑公司)
SkyReels-Audio提出基于预训练视频扩散Transformer的统一框架,通过混合课程学习、面部掩码损失和滑动窗口去噪实现多模态音频驱动的高保真长时说话人像生成与编辑,并在唇音同步和身份一致性上取得领先性能。
2025-06-01 cs.CV
Large-Vocabulary 3D Diffusion Model with Transformer
Nanyang Technological University(南洋理工大学);The Chinese University of Hong Kong(香港中文大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出DiffTF,一种基于三平面表示和3D感知Transformer的扩散模型,通过改进三平面表示、提取通用3D知识并设计3D感知编解码器,解决了大词汇量3D对象生成中的效率和复杂外观挑战,在ShapeNet和OmniObject3D上实现了最先进的生成性能。
2023-09-15 cs.CV
Transformers in Remote Sensing: A Survey
MBZ University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Wuhan University(武汉大学)
在过去的十年中,基于深度学习的算法在遥感图像分析的不同领域中受到了广泛的欢迎。最近,最初在自然语言处理中引入的基于变换器的架构已经遍布计算机视觉领域,其中自注意力机制已经被用作流行的卷积算子的替代,用于捕获长程依赖性。受计算机视觉最新进展的启发,遥感界也见证了对用于各种任务的视觉Transformer的更多探索。虽然一些调查集中在Transformers在计算机视觉一般,据我们所知,我们是第一个提出了一个系统的审查Transformers器在遥感的基础上的最新进展。我们的调查涵盖了60多个最近的变压器为基础的方法,不同的遥感问题在遥感的子领域:非常高分辨率(VHR),高光谱(HSI)和合成孔径雷达(SAR)图像。最后,我们通过讨论遥感Transformers器的不同挑战和开放性问题来结束调查。此外,我们打算经常更新和维护遥感论文中的最新Transformers,其各自的代码在:https://github.com/VIROBO-15/Transformer-in-Remote-Sensing
2022-09-02 cs.CV
MiM-DiT: MoE in MoE with Diffusion Transformers for All-in-One Image Restoration
Nanjing University of Science and Technology(南京理工大学);Nankai University(南开大学);Harbin Institute of Technology(哈尔滨工业大学)
MiM-DiT通过双层MoE架构与预训练扩散模型,实现对多种图像退化类型的统一修复,提升复杂真实场景下的修复效果。
2026-03-03 cs.CV
UniLayDiff: A Unified Diffusion Transformer for Content-Aware Layout Generation
College of Artificial Intelligence, Xi’an Jiaotong University(西安交通大学人工智能学院);Amazon.com, Inc.(亚马逊公司);Pixocial Technology(Pixocial技术)
UniLayDiff通过统一的扩散变换器框架,首次实现了内容感知布局生成任务的端到端统一生成,提升了布局质量和生成性能。
2026-09-14 cs.CV
MoST: Motion Style Transformer between Diverse Action Contents
Korea Electronics Technology Institute(韩国电子技术研究院);Seoul National University(首尔大学);University of Birmingham(伯明翰大学)
提出MoST运动风格Transformer,通过跨身体部件的部分注意力风格调制器、Siamese编码器和风格解耦损失实现内容与风格解耦,有效解决不同内容运动间的风格迁移问题,无需启发式后处理且性能优于现有方法。
2024-03-20 cs.AI cs.CV
Learning to Generate Diverse Dance Motions with Transformer
University of Southern California(南加州大学);USC Institute for Creative Technologies(南加州大学创新技术研究所);Beihang University(北京航空航天大学);University of Toronto(多伦多大学);Vector Institute(向量研究所);Pinscreen
随着疫情的持续,虚拟音乐会和使用音乐家数字化表演的现场活动在大型多人在线世界中越来越受欢迎。然而,精心设计的舞蹈动作是非常复杂的动画,将涉及昂贵和繁琐的生产过程。除了使用复杂的动作捕捉系统外,它通常还需要动画师、舞蹈演员和编舞者之间的协作。我们介绍了一个完整的舞蹈动作合成系统,它可以生成复杂的和高度多样化的舞蹈序列给定的输入音乐序列。由于动作捕捉数据是有限的舞蹈动作和风格的范围内,我们介绍了一个庞大的舞蹈动作数据集,是从YouTube视频创建的。我们还提出了一种新的双流运动Transformer生成模型,它可以生成运动序列具有很高的灵活性。我们还介绍了新的评价指标的合成舞蹈动作的质量,并证明我们的系统可以优于国家的最先进的方法。我们的系统为虚拟音乐会提供适合大量人群的高质量动画,也可以作为专业动画管道的参考。最重要的是,我们证明了大量的在线视频可以有效地训练舞蹈动作模型。
2020-08-18 cs.CV cs.GR
PoinTr: Diverse Point Cloud Completion with Geometry-Aware Transformers
Tsinghua University(清华大学)
在实际应用中,由于传感器分辨率有限、视点单一和遮挡等原因,获取的点云往往是不完整的。因此,从部分点云恢复完整的点云成为许多实际应用中不可缺少的任务。在本文中,我们提出了一种新的方法,重新制定的点云完成作为一个集到集的翻译问题,并设计了一个新的模型,称为PointTr,采用Transformer编码器-解码器架构的点云完成。通过将点云表示为一组具有位置嵌入的无序点群,我们将点云转换为一系列点代理,并采用Transformers生成点云。为了便于Transformers,以更好地利用感应偏置点云的三维几何结构,我们进一步设计了一个几何感知块,模型的局部几何关系明确。Transformers的迁移使我们的模型能够更好地学习结构知识,并保留点云完成的详细信息。此外,我们提出了两个更具挑战性的基准,更多样化的不完整的点云,可以更好地反映现实世界的情况,以促进未来的研究。实验结果表明,我们的方法优于国家的最先进的方法,在新的基准和现有的大幅度。代码可在https://github.com/yuxumin/PoinTr上获得
2021-08-19 cs.AI cs.CV cs.LG
AdaPoinTr: Diverse Point Cloud Completion with Adaptive Geometry-Aware Transformers
Beijing National Research Center for Information Science and Technology (BNRist)(北京信息科学与技术国家研究中心);State Key Lab of Intelligent Technologies and Systems(智能技术与系统国家重点实验室);Tsinghua University(清华大学)
在本文中,我们提出了一种新的方法,重新制定的点云完成作为一个集到集的翻译问题,并设计了一个新的模型,称为PointTr,它采用了Transformer的编码器-解码器架构的点云完成。通过将点云表示为具有位置嵌入的无序点组的集合,我们将输入数据转换为点代理序列,并采用Transformers进行生成。为了便于Transformers更好地利用关于点云的3D几何结构的归纳偏差,我们进一步设计了一个几何感知块,该块显式地对局部几何关系进行建模。Transformers的迁移使我们的模型能够更好地学习结构知识并保留点云完成的详细信息。在更复杂和多样化的情况下,我们进一步提出了AdaPointTr,通过开发自适应查询生成机制和设计一种新的去噪任务,在完成点云。结合这两种技术使我们能够高效地训练模型:我们减少了训练时间(15倍或更多),并提高了完成性能(超过20%)。我们还表明,我们的方法可以扩展到场景级的点云完成的情况下,通过设计一个新的几何增强的语义场景完成框架。在现有和新提出的数据集上进行的大量实验证明了我们方法的有效性,在PCN上达到6.53 CD,在ShapeNet-55上达到0.81 CD,在真实世界的KITTI上达到0.392 MMD,大大超过了其他工作,并在各种基准上建立了新的最先进的水平。最值得注意的是,AdaPointTr可以实现更高的吞吐量和更少的FLOP与以前的最佳方法…
2023-01-11 cs.AI cs.CV
Categorical Traffic Transformer: Interpretable and Diverse Behavior Prediction with Tokenized Latent
NVIDIA Research(英伟达研究院);University of California, San Diego(加利福尼亚大学圣迭戈分校);Stanford University(斯坦福大学)
本文提出Categorical Traffic Transformer(CTT),通过可解释的令牌化隐空间直接监督隐变量以避免模式坍缩,在提升预测精度的同时生成语义多样化的行为,并支持与LLM集成实现常识推理和零样本泛化。
2023-11-30 cs.CV cs.LG cs.RO
Learning Diverse Features in Vision Transformers for Improved Generalization
Idiap Research Institute(Idiap研究所);Mila(米拉人工智能研究所);University of Montreal(蒙特利尔大学);University of Bucharest(布加勒斯特大学);Gheorghe Mihoc - Caius Iacob Institute of Mathematical Statistics and Applied Mathematics of the Romanian Academy(罗马尼亚科学院Gheorghe Mihoc-Caius Iacob数理统计与应用数学研究所)
本文发现ViT通过不同注意力头提取鲁棒和虚假特征,提出基于梯度正交化的方法增强特征多样性,并剪除虚假头以提升分布外泛化性能。
2023-08-30 cs.CV cs.LG
Adaptive High-Frequency Transformer for Diverse Wildlife Re-Identification
Wuhan University(武汉大学)
针对现有野生动物ReID方法物种适配性不足的问题,提出统一多物种框架与自适应高频Transformer,并通过对象感知高频选择增强细节、抑制干扰,在多个数据集和未知物种泛化上取得领先性能。
2024-10-25 cs.AI cs.CV
MMTF-DES: A Fusion of Multimodal Transformer Models for Desire, Emotion, and Sentiment Analysis of Social Media Data
University of Chittagong(吉大港大学);Charles Sturt University(查尔斯史都华大学);Southern Illinois University(南伊利诺伊大学)
本文提出统一的多模态Transformer框架MMTF-DES,通过联合微调ViLT和VAuLT模型并采用早期融合策略提取图像-文本对特征,用于识别社交媒体中的人类欲望、情感和情绪。
2023-10-22 cs.CV cs.LG
Retargeting Motions to Diverse Skeletons via Learnable Flattening
Institute of Computer Science, University of Göttingen(哥廷根大学计算机科学研究所);Campus Institute Data Science, University Göttingen(哥廷根大学数据科学校园研究所);Pantomim P.S.A
本文提出一种Transformer自编码器,通过可学习展平骨骼图实现跨拓扑运动重定向,在零样本下将全局关节误差降低43-47%,并获用户研究最高评价。
2026-10-21 cs.AI cs.CV
Can We Scale Transformers to Predict Parameters of Diverse ImageNet Models?
Samsung Advanced Institute of Technology(三星先进技术研究院);Université de Montreal(蒙特利尔大学);Mila(米拉人工智能研究所)
本文提出训练一个单一 Transformer 网络来预测其他模型的 ImageNet 参数,以降低预训练门槛,实验表明该方法能加速多种模型训练并保持有竞争力的性能。
2023-05-31 cs.AI cs.CV cs.LG
ClothTransformer: Unified Latent-Space Transformers for Scalable Cloth Simulation
S-Lab, Nanyang Technological University, Singapore(新加坡南洋理工大学S实验室,南洋理工大学,新加坡);Feeling AI;University of Oxford(牛津大学);Nanyang Technological University(南洋理工大学);Shanghai AI Laboratory(上海人工智能实验室)
提出ClothTransformer,通过将布料模拟重构为潜空间中的自回归序列建模,使用统一Transformer架构处理多种场景,实现比现有方法低4-9倍的误差,并引入可扩展潜空间公式和穿透自由数据集。
2026-07-23 cs.CV cs.GR
Diffusion Transformer Policy
Shanghai AI Lab(上海人工智能实验室);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);MMLab, The Chinese University of Hong Kong(香港中文大学MMLab);Peking University(北京大学);SenseTime Research(商汤科技研究院);Tsinghua University(清华大学);Center for Artificial Intelligence and Robotics, HKISI, CAS(中国科学院香港创新研究院人工智能与机器人中心)
针对现有视觉-语言-动作模型小型动作头难以适配多样动作空间的问题,提出Diffusion Transformer Policy,用大型Transformer直接对动作块去噪建模连续动作序列,在多个仿真与真实机器人基准上取得更优泛化性能。
2025-03-23 cs.CV cs.RO
Colorization Transformer
Google Research(谷歌研究院)
提出了一种基于自注意的图像彩色化新方法--彩色化Transformer。给定灰度图像,着色分三个步骤进行。我们首先使用一个条件自回归Transformer来产生一个低分辨率的灰度图像的粗着色。我们的架构采用条件Transformer层,以有效地条件灰度输入。随后的两个完全并行的网络将粗糙的彩色低分辨率图像上采样为精细着色的高分辨率图像。从Colorization Transformer中进行的采样可产生多种颜色,其保真度优于基于FID结果和基于Mechanical Turk测试中的人类评估的ImageNet着色的先前最先进技术。值得注意的是,在超过60%的情况下,人类评估者更喜欢三种生成的着色中评分最高的一种,而不是地面真实。Colorization Transformer的代码和预训练检查点可在https://github.com/google-research/google-research/tree/master/coltran上公开获取
2021-03-07 cs.AI cs.CV cs.LG
Enhancing Text-to-Image Diffusion Transformer via Split-Text Conditioning
Tongji University(同济大学);The Ohio State University(俄亥俄州立大学);Georgia Institute of Technology(佐治亚理工学院);Shandong Academy of Sciences(山东省科学院);Macquarie University(麦考瑞大学)
本文提出DiT-ST框架,通过分段文本条件化提升扩散变换器对完整文本描述的理解能力,通过分层递进的方式注入不同语义基本类型,增强特定语义基本类型的表示学习。
2026-04-14 cs.AI cs.CV
Dream360: Diverse and Immersive Outdoor Virtual Scene Creation via Transformer-Based 360 Image Outpainting
HKUST(GZ)(香港科技大学(广州));OPPO;USTC(中国科学技术大学);KAIST(韩国科学技术院);ICL(帝国理工学院);HKUST(香港科技大学)
本文提出 Dream360,利用基于 Transformer 的 S-VQGAN 与频率感知精修,从指定窄视口图像生成多样化高保真 360 全景,并通过 FID 与 15 人 VR 用户研究验证其优越性。
2024-01-19 cs.CV cs.HC
Transferable Tactile Transformers for Representation Learning Across Diverse Sensors and Tasks
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
针对触觉传感器与任务异构的问题,提出可迁移触觉Transformer框架T3,依托聚合13种传感器、11类任务的超300万样本FoTa数据集预训练,实现零样本迁移与高效微调,显著提升接触-rich操作任务成功率。
2024-10-06 cs.CV cs.LG cs.RO
Automatic Vehicle Detection using DETR: A Transformer-Based Approach for Navigating Treacherous Roads
Institute of Information Technology(信息科技学院);University of Dhaka(达卡大学);Dept. of Computer Science and Engineering(计算机科学与工程系)
首次将DETR用于复杂驾驶环境中的自动车辆检测,通过Co-DETR训练方案增强特征学习与注意力机制,在BadODD数据集上优于YOLO等传统方法。
2026-06-23 cs.AI cs.CV
Dissecting Representation Structure in Vision Transformers: A Rigorous Architectural Study
Singapore University of Technology and Design(新加坡科技设计大学);Temasek Laboratories(淡马锡实验室)
本研究通过对ViT不同架构尺度的严谨分析,揭示其表征与泛化的关系,提出缓解特征崩溃的方案、可靠泛化预测指标等,所提代理指标提升了相关性排名,可指导高效ViT设计。
2026-10-12 cs.CV cs.LG
Sentiment-oriented Transformer-based Variational Autoencoder Network for Live Video Commenting
University of Science and Technology of China(中国科学技术大学)
本文提出So-TVAE网络,结合VAE和随机掩码机制及批量注意力模块,在情感引导下生成多样化的直播视频评论,并在Livebot和VideoIC数据集上优于现有方法。
2024-04-19 cs.AI cs.CV
PASTA: Controllable Part-Aware Shape Generation with Autoregressive Transformers
Stanford University(斯坦福大学)
提出PASTA自回归变换器架构,分两阶段训练生成高质量3D形状,支持多输入及尺寸引导生成,并能对特定部件进行可控变体,生成结果更逼真多样且实现简单。
2024-07-18 cs.AI cs.CV cs.GR
A Universal Representation Transformer Layer for Few-Shot Image Classification
Mila(米拉研究所);Australian AI Institute, UTS(澳大利亚人工智能研究所,悉尼科技大学);McGill University(麦吉尔大学);Google Research, Brain Team(谷歌研究院,大脑团队)
Few-Shot分类的目标是在只有少量样本的情况下识别未见过的类别。我们考虑多域Few-Shot图像分类的问题,其中看不见的类和例子来自不同的数据源。这个问题已经引起了越来越多的关注,并激发了元数据集等基准的开发。在这种多域设置中的一个关键挑战是有效地集成来自不同训练域集合的特征表示。在这里,我们提出了一个通用表示Transformer(URT)层,该层通过动态重新加权和组合最合适的特定于域的表示,来进行元学习,以利用通用特征进行Few-Shot分类。在实验中,我们表明,URT设置一个新的国家的最先进的元数据集的结果。具体而言,与竞争方法相比,它在最多的数据源上实现了最高性能。我们分析了URT的变体,并呈现了注意力得分热图的可视化,该热图揭示了模型如何执行跨领域泛化。我们的代码可在https://github.com/liulu112601/URT上获得。
2020-09-02 cs.CV cs.LG stat.ML
A Novel Feature Map Enhancement Technique Integrating Residual CNN and Transformer for Alzheimer Diseases Diagnosis
University of Engineering and Applied Sciences (UEAS)(工程与应用科学大学)
提出一种融合残差CNN与Transformer的FME-Residual-HSCMT技术,通过特征图增强和空间注意力机制,在Kaggle数据集上以98.42%准确率实现阿尔茨海默病MRI高效诊断。
2024-05-25 cs.AI cs.CV eess.IV
Spatiotemporal Feature Learning Based on Two-Step LSTM and Transformer for CT Scans
National Cheng Kung University(国立成功大学)
计算机断层扫描(CT)成像可以非常实用的诊断各种疾病。然而,CT图像的性质甚至更加多样化,因为CT扫描的分辨率和切片数量由机器及其设置确定。传统的深度学习模型很难处理如此多样化的数据,因为深度神经网络的基本要求是输入数据的形状一致。在本文中,我们提出了一种新的,有效的,两步式的方法来彻底解决这个问题,以进行COVID-19症状分类。首先,通过传统的主干网提取CT扫描的每个切片的语义特征嵌入。然后,我们提出了一个长短期记忆(LSTM)和基于transformer的子网络来处理时间特征学习,从而实现时空特征表示学习。以这种方式,所提出的两步LSTM模型可以防止过拟合,并提高性能。综合实验结果表明,所提出的两步方法不仅表现出良好的性能,而且可以相互补偿。更具体地说,两步LSTM模型的假阴性率较低,而两步Swin模型的假阳性率较低。综上所述,建议在实际应用中采用模型集成以获得更稳定和有前途的性能。
2022-07-08 cs.CV cs.LG eess.IV