VoViT: Low Latency Graph-based Audio-Visual Voice Separation Transformer
Universitat Pompeu Fabra(庞培法布拉大学)
本文提出了一种视听方法的语音分离,产生国家的最先进的结果,在低延迟在两个场景:语音和歌声。该模型基于两阶段网络。运动线索是用一个轻量级的图卷积网络来处理面部标志。然后,音频和运动特征都被馈送到视听Transformer,其产生对隔离的目标源的相当好的估计。在第二阶段中,用纯音频网络增强主要语音。我们介绍了不同的消融研究,并与最先进的方法进行了比较。最后,我们探讨了在歌唱声分离任务中训练的语音分离模型的可移植性。演示、代码和权重可在https://ipcv.github.io/VoViT/上获得
2022-07-19 cs.CV cs.LG cs.SD
AV-DiT: Efficient Audio-Visual Diffusion Transformer for Joint Audio and Video Generation
University of Toronto(多伦多大学);University of Texas at Dallas(德克萨斯大学达拉斯分校);Adobe Research(奥多比研究机构)
本文提出 AV-DiT,利用图像预训练的共享 DiT 主干与轻量级模态适配器实现音视频联合生成,并在 AIST++ 和 Landscape 上以更少可训练参数达到最先进性能。
2024-06-11 cs.CV
ModEFormer: Modality-Preserving Embedding for Audio-Video Synchronization using Transformers
Amazon Studios(亚马逊工作室)
缺乏音频-视频同步是电视广播和视频会议期间的常见问题,导致不令人满意的观看体验。一个被广泛接受的范例是创建一个错误检测机制,该机制识别音频领先或滞后的情况。我们提出了ModEFormer,它独立地提取音频和视频嵌入使用特定的模态Transformers。与其他基于transformer的方法不同,ModEFormer保留了输入流的模态,这允许我们使用更大的批量大小和更多的负音频样本进行对比学习。此外,我们提出了一个权衡负样本的数量和数量的独特的样本在一批显着超过以前的方法的性能。实验结果表明,ModEFormer实现了最先进的性能,94.5%的LRS 2和90.9%的LRS 3。最后,我们演示了如何ModEFormer可以用于偏移检测测试剪辑。
2023-03-21 cs.CV cs.LG cs.SD
Synchronized Audio-Visual Frames with Fractional Positional Encoding for Transformers in Video-to-Text Translation
University of Augsburg(奥格斯堡大学)
视频到文本(VTT)是自动生成短视听视频片段的描述的任务,例如,它可以支持视障人士理解YouTube视频的场景。Transformer体系结构在机器翻译和图像描述方面都表现出了出色的性能,但缺乏直接和可再现的VTT应用。然而,有没有全面的研究,不同的策略和建议,视频描述生成,包括利用伴随的音频与完全自我关注的网络。因此,我们探索有前途的方法,从图像描述和视频处理,并将其应用到VTT开发一个简单的Transformer架构。此外,我们提出了一种新的方式同步音频和视频功能的Transformers,我们称之为分数位置编码(FPE)。我们在VATEX数据集上运行了多个实验,以确定适用于看不见的数据集的配置,该配置有助于用自然语言描述短视频片段,并将CIDEr和BLEU-4分数与普通Transformer网络相比提高了37.13和12.83分,并在MSR-VTT和MSVD数据集上实现了最先进的结果。此外,FPE有助于将CIDER评分提高8.6%的相对因子。
2021-12-28 cs.CV
In-Context Audio Control of Video Diffusion Transformers
MMLab, The Chinese University of Hong Kong(香港中文大学MMLab);Kling Team, Kuaishou Technology(快手科技Kling团队)
本文提出ICAC框架,通过三维注意力机制实现音频驱动的视频生成,解决时间同步信号在视频扩散模型中的整合问题。
2025-12-21 cs.CV
SkyReels-Audio: Omni Audio-Conditioned Talking Portraits in Video Diffusion Transformers
Kunlun Inc.(昆仑公司)
SkyReels-Audio提出基于预训练视频扩散Transformer的统一框架,通过混合课程学习、面部掩码损失和滑动窗口去噪实现多模态音频驱动的高保真长时说话人像生成与编辑,并在唇音同步和身份一致性上取得领先性能。
2025-06-01 cs.CV
CATR: Combinatorial-Dependence Audio-Queried Transformer for Audio-Visual Video Segmentation
Zhejiang University(浙江大学);Finvolution Group(信也科技集团)
针对视听视频分割中时空依赖建模不足和音频约束薄弱的问题,提出CATR框架,通过解耦音视频Transformer和音频约束查询实现细粒度组合依赖建模,在三个数据集上以两种骨干网络取得SOTA性能。
2023-09-20 cs.CV
VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text
Columbia University(哥伦比亚大学);Google(谷歌);Cornell University(康奈尔大学)
我们提出了一个框架,学习多模态表示从未标记的数据使用卷积自由Transformer架构。具体来说,我们的视频-音频-文本Transformer(VATT)将原始信号作为输入,并提取多模态表示,这些表示足够丰富,可以使各种下游任务受益。我们使用多模态对比损失从头开始训练VATT端到端,并通过视频动作识别、音频事件分类、图像分类和文本到视频检索等下游任务来评估其性能。此外,我们研究了一个模态不可知的,单骨干Transformer共享三个模态之间的权重。我们证明了无卷积VATT在下游任务中的性能优于最先进的基于ConvNet的架构。特别是,VATT的视觉Transformer在Kinetics-400上达到了82.1%的顶级准确率,在Kinetics-600上达到了83.6%,在Kinetics-700上达到了72.7%,在Moments in Time上达到了41.1%,这些都是新的记录,同时避免了监督式的预训练。转移到图像分类导致ImageNet上的top-1准确率为78.7%,而从头开始训练相同的Transformer的准确率为64.7%,这表明尽管视频和图像之间存在领域差距,但我们的模型具有普遍性。VATT的音频Transformer还在基于波形的音频事件识别方面创造了新纪录,在AudioSet上实现了39.4%的mAP,而无需任何监督的预训练。VATT的源代码是公开的。
2021-12-07 cs.AI cs.CV cs.LG
Visual Echoes: A Simple Unified Transformer for Audio-Visual Generation
Sony Group Corporation(索尼集团公司);Sony AI(索尼人工智能)
本文提出一种简单轻量的生成式Transformer,在离散VQ-GAN空间中通过掩码去噪训练,实现图像到音频生成,并可直接扩展至音频到图像及联合生成,性能超越现有方法。
2024-05-24 cs.CV cs.LG cs.MM
Audio-Visual Transformer Based Crowd Counting
University of Kansas(堪萨斯大学);NUST(巴基斯坦国立科技大学);Ryerson University(瑞尔森大学)
人群估计是一个非常具有挑战性的问题。近年来的研究试图利用听觉信息来辅助视觉模型,但由于缺乏有效的特征提取和融合方法,其性能受到限制。本文提出了一种新的视听多任务网络,以解决在人群计数的关键挑战,有效地利用视觉和音频输入更好的模态关联和生产特征提取。该网络引入了辅助和显式图像块重要性排名(PIR)和块明智的人群估计(PCE)信息的概念,以产生第三(运行时)模态。这些模态(音频、视觉、运行时)经历变换器启发的跨模态协同注意力机制以最终输出人群估计。为了获得丰富的视觉特征,我们提出了一个多分支结构与之间的transformer风格的融合。广泛的实验评估表明,该计划优于国家的最先进的网络在所有的评估设置高达33.8%的改善。我们还分析和比较了我们的网络的仅视觉变体,并实证证明了其优于以前的方法。
2021-09-04 cs.CV
AVSegFormer: Audio-Visual Segmentation with Transformer
Nanjing University(南京大学);The Chinese University of Hong Kong(香港中文大学)
本文提出基于 Transformer 的 AVSegFormer 框架,通过音频查询、可学习查询、音视混合器和中间掩码损失提升发声物体分割性能,并在 AVS 基准上达到最先进水平。
2023-12-18 cs.CV cs.LG cs.SD
AVE-CLIP: AudioCLIP-based Multi-window Temporal Transformer for Audio Visual Event Localization
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
视听事件(AVE)由视频片段中视觉和听觉信号的对应关系表示。AVE的精确定位是非常具有挑战性的,因为它需要有效的多模态特征对应以使短距离和长距离的时间相互作用接地。现有的方法在捕捉不同规模的多模态交互由于无效的多模态培训策略的斗争。为了克服这一限制,我们引入了AVE-CLIP,这是一种新的框架,它将在大规模视听数据上预训练的AudioCLIP与多窗口时间Transformer集成在一起,以有效地在不同时间尺度的视频帧上操作。我们的贡献是三方面的:(1)我们引入了一个多阶段的训练框架,通过对比微调,有效的平均视频特征提取和多尺度训练阶段,将使用音频图像对预训练的AudioCLIP纳入视频帧的AVE定位任务。(2)我们提出了一个多域注意力机制,在不同的时间尺度上的时间和特征域上操作,以融合局部和全局特征变化。(3)我们引入了一个时间精炼方案,事件引导的注意力,然后通过一个简单而有效的后处理步骤来处理不同事件背景的显着变化。我们的方法在公开可用的AVE数据集上实现了最先进的性能,平均精度提高了5.9%,这证明了它比现有方法的优越性。
2022-10-11 cs.CV
Siamese Vision Transformers are Scalable Audio-visual Learners
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出音视频孪生网络AVSiam,用单一共享ViT骨干同时处理音频和视觉输入,结合多比例随机掩码的对比预训练,在AudioSet和VGGSound上以更高参数效率取得有竞争力的分类与检索性能。
2024-03-28 cs.CV cs.SD eess.AS
Vision Transformers are Parameter-Efficient Audio-Visual Learners
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出LAVISH适配器,通过向冻结的预训练ViTs注入少量可训练参数并利用潜在token形成注意力瓶颈,高效融合音视频线索,在减少参数和无需音频预训练的情况下实现优异的音视频学习性能。
2023-04-05 cs.CL cs.CV cs.LG
Leveraging TCN and Transformer for effective visual-audio fusion in continuous emotion recognition
Chinatelecom Cloud(天翼云科技有限公司)
本文提出一种结合TCN和Transformer的多模态融合模型,有效整合视觉与音频信息以提升连续情感识别准确率,在ABAW竞赛的表情分类挑战中优于基线并获第3名。
2023-09-06 cs.CV
Zorro: the masked multimodal transformer
DeepMind;VGG, Dept. of Engineering Science, University of Oxford(牛津大学工程科学系VGG)
基于注意力的模型对多模态处理很有吸引力,因为来自多个模态的输入可以连接并馈送到单个骨干网络-因此需要很少的融合工程。然而,所得到的表示在整个网络中完全纠缠在一起,这可能并不总是可取的:在学习中,对比视听自监督学习需要独立的音频和视觉特征来操作,否则学习崩溃;在推理中,视听模型的评估应该可以在只有音频或只有视频的基准上进行。在本文中,我们介绍了Zorro,一种使用掩码来控制如何从每个模态的输入路由内部Transformers,保持某些部分的表示模态纯的技术。我们将这种技术应用于三种流行的基于transformer的架构(ViT,Swin和HiP),并表明通过对比预训练,Zorro在多模态任务(AudioSet和VGGSound)的最相关基准测试中获得了最先进的结果。此外,生成的模型能够对视频和音频基准(如Kinetics-400或ESC-50)执行单峰推理。
2023-02-22 cs.CV
A Better Use of Audio-Visual Cues: Dense Video Captioning with Bi-modal Transformer
Tampere University(坦佩雷大学)
密集视频描述旨在定位和描述未修剪视频中的重要事件。现有的方法主要通过只利用视觉特征来解决这个任务,而完全忽略了音轨。只有少数先前的作品利用了这两种模式,但它们显示出较差的结果或证明了具有特定域的数据集的重要性。在本文中,我们介绍了双模态Transformer,它概括了双模态输入的Transformer架构。我们展示了所提出的模型的有效性与音频和视觉模态的密集视频描述任务,但该模块能够消化任何两种形式的序列到序列的任务。我们还表明,作为双模态Transformer的一部分,预训练的双模态编码器可以用作简单提案生成模块的特征提取器。该性能在具有挑战性的ActivityNet Captions数据集上得到了证明,我们的模型在该数据集上实现了出色的性能。代码可在以下网址获得:v-iashin.github.io/bmt
2020-08-11 cs.CL cs.CV cs.LG
MAiVAR-T: Multimodal Audio-image and Video Action Recognizer using Transformers
Edith Cowan University(伊迪丝·考恩大学);The University of Western Australia(西澳大学)
本文提出MAiVAR-T模型,通过将音频表示转换到图像域并与视频模态融合,提升多模态人类动作识别性能,实验证明其优于仅用单一模态的现有方法。
2023-08-01 cs.AI cs.CV cs.LG
Transformer-Based Video Front-Ends for Audio-Visual Speech Recognition for Single and Multi-Person Video
Google(谷歌)
视听自动语音识别(AV-ASR)通过引入视频模态作为附加信息源来扩展语音识别。在这项工作中,包含在说话人的嘴的运动的信息被用来增强音频功能。视频模态传统上用3D卷积神经网络(例如,VGG的3D版本)处理。最近,图像Transformer网络arXiv:2010.11929展示了为图像分类任务提取丰富视觉特征的能力。在这里,我们建议用视频Transformer代替3D卷积来提取视觉特征。我们训练我们的基线和建议的模型上的大规模语料库的YouTube视频。我们的方法的性能进行了评估的标签子集的YouTube视频以及LRS 3-TED公共语料库。我们最好的纯视频模型在YTDEV 18上获得了31.4%的WER,在LRS 3-TED上获得了17.0%的WER,比我们的卷积基线分别提高了10%和15%。我们实现了最先进的性能的视听识别的LRS 3-TED微调后,我们的模型(1.6% WER)。此外,在多人AV-ASR的一系列实验中,我们的卷积视频前端平均相对减少了2%。
2022-10-31 cs.CV cs.LG cs.SD
ASiT: Local-Global Audio Spectrogram vIsion Transformer for Event Classification
University of Surrey(萨里大学);Surrey Institute for People-Centred AI(萨里以人为本人工智能研究院);Centre for Vision, Speech and Signal Processing(视觉、语音与信号处理中心)
针对音频领域Transformer依赖图像预训练、标注数据不足的问题,提出结合分组掩码学习与自蒸馏的自监督框架ASiT,捕获音频频谱图局部-全局上下文,在五项音频语音分类任务上达到新SOTA。
2024-03-10 cs.CV cs.SD eess.AS
DanceFusion: A Spatio-Temporal Skeleton Diffusion Transformer for Audio-Driven Dance Motion Reconstruction
Tsinghua University(清华大学)
DanceFusion提出一种时空骨架扩散Transformer框架,结合层级VAE与扩散模型,处理短视频中不完整噪声骨架数据,实现与音乐同步的高保真舞蹈动作重建与生成,性能超越现有方法。
2024-11-07 cs.CV
Transavs: End-To-End Audio-Visual Segmentation With Transformer
Fudan University(复旦大学);Zhejiang University(浙江大学);Youtu Lab, Tencent(腾讯优图实验室)
针对音视频分割中音频信息密集与同类声音难区分的问题,提出首个基于Transformer的端到端框架TransAVS,通过音频查询与自监督损失实现精确分割,在AVSBench上达到最优性能。
2023-12-26 cs.CV cs.MM cs.SD
MA-AVT: Modality Alignment for Parameter-Efficient Audio-Visual Transformers
University of Texas at Austin(德克萨斯大学奥斯汀分校);Carnegie Mellon University(卡内基梅隆大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出MA-AVT,一种参数高效的音视频Transformer,通过联合单模态与多模态token学习、逐块对比学习及判别性前景挖掘实现深度模态对齐,在多个基准上显著超越现有方法。
2024-06-07 cs.CV cs.MM cs.SD
Masked Lip-Sync Prediction by Audio-Visual Contextual Exploitation in Transformers
Tokyo Institute of Technology(东京工业大学);Baidu Inc.(百度公司);The University of Sydney(悉尼大学);Monash University(莫纳什大学);Nanyang Technological University(南洋理工大学)
先前的研究已经探索了在给定音频条件下为任意目标生成准确的对口型说话面孔。然而,它们中的大多数变形或生成整个面部区域,导致不真实的结果。在这项工作中,我们深入研究了只改变目标人物的嘴型的公式。这需要掩蔽原始图像的很大一部分,并在音频和参考帧的帮助下对其进行无缝修复。为此,我们提出了视听上下文感知的Transformer(AV-CAT)框架,该框架通过预测被掩蔽的嘴部形状来产生具有照片般逼真质量的准确的嘴唇同步。我们的关键见解是利用所需的上下文信息提供的音频和视觉形式彻底与精心设计的Transformers。具体来说,我们提出了一个卷积变压器的混合骨干和设计一个基于注意力的融合策略,以填补被掩盖的部分。它均匀地关注未掩蔽区域和参考帧上的纹理信息。然后,语义音频信息参与增强自我注意计算。此外,具有音频注入的细化网络提高了图像和唇同步质量。大量的实验验证了我们的模型可以为任意对象生成高保真的对口型结果。
2022-12-09 cs.AI cs.CV cs.GR
Mettle: Meta-Token Learning for Memory-Efficient Audio-Visual Adaptation
MBZUAI;Hefei University of Technology(合肥工业大学);University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学);Peking University(北京大学);Tsinghua University(清华大学);OpenNLP Lab(OpenNLP实验室)
提出内存高效的Mettle方法,利用层中心蒸馏(LCD)和元令牌注入(MTI)模块将大规模预训练transformer模型适应下游视听任务,在保持参数效率和准确率的同时显著降低内存使用和训练时间。
2025-06-29 cs.CV
Audio Visual Scene-Aware Dialog Generation with Transformer-based Video Representations
NTT Computer and Data Science Laboratories, NTT Corporation(日本电信电话株式会社计算机与数据科学实验室)
已经有许多尝试来构建可以响应关于给定视听信息的问题的多模态对话系统,并且这种系统的代表性任务是视听场景感知对话(AVSD)。大多数传统的AVSD模型采用基于卷积神经网络(CNN)的视频特征提取器来理解视觉信息。虽然CNN倾向于获得时间和空间局部信息,但全局信息对于提高视频理解也至关重要,因为AVSD需要长期的时间视觉依赖性和整体视觉信息。在这项研究中,我们应用了基于变换器的视频特征,该特征可以比基于CNN的特征更有效地捕获时间和空间全局表示。我们的AVSD模型及其基于transformer的功能在答案生成方面获得了更高的客观性能分数。此外,我们的模型在DSTC 10中获得了接近人类答案的主观分数。我们观察到,基于transformer的视觉特征对AVSD任务是有益的,因为我们的模型倾向于正确回答需要时间和空间上广泛的视觉信息的问题。
2022-02-21 cs.CL cs.CV
Transformer-based Sequence Labeling for Audio Classification based on MFCCs
本文提出一种基于Transformer编码器和MFCC的轻量级音频分类模型,在UrbanSound8k等数据集上最高准确率达95.2%,参数量仅127,544。
2023-07-05 cs.CV cs.SD eess.AS
Playmate2: Training-Free Multi-Character Audio-Driven Animation via Diffusion Transformer with Reward Feedback
Project lead & Corresponding Author(项目负责人及通讯作者)
针对音频驱动视频生成中唇形同步、长视频时间连贯性及多角色动画的挑战,提出基于扩散Transformer的框架,结合LoRA训练策略、位置偏移推理及Mask-CFG免训练方法,实现任意长度多角色逼真说话视频生成且性能超越现有方法。
2025-11-18 cs.CV
Multimodal Emotion Recognition using Audio-Video Transformer Fusion with Cross Attention
School of Computer Science and Engineering, Vellore Institute of Technology (VIT) University(计算机科学与工程学院,维洛雷理工学院(VIT大学))
本文提出AVT-CA模型,通过音频-视频Transformer融合与交叉注意力机制,提升多模态情感识别的准确率和F1分数。
2026-01-20 cs.CL cs.CV cs.LG
Efficient Multiscale Multimodal Bottleneck Transformer for Audio-Video Classification
本文提出多尺度多模态Transformer(MMT),结合多尺度音频与视频Transformer及对比损失实现高效音视频分类,在多个基准上显著提升准确率并降低计算开销。
2024-01-08 cs.AI cs.CV cs.LG
Dynamic Motion Synthesis: Masked Audio-Text Conditioned Spatio-Temporal Transformers
Georgia Tech(佐治亚理工学院)
本文提出一种基于VQVAE离散化和双向掩码语言建模的多模态运动生成框架,同时以文本和音频为条件,结合空间注意力与token critic提升运动连贯性和自然性,拓展了多模态运动合成的可能性。
2024-09-03 cs.CV cs.GR
Spherical Vision Transformers for Audio-Visual Saliency Prediction in 360-Degree Videos
Department of Computer Science and Engineering, Koç University(计算机科学与工程系,科克大学);Department of Psychology, Boğaziçi University(心理学系,博多伊大学);National Institute of Advanced Industrial Science and Technology (AIST), Intelligent Platforms Research Institute(国家先进工业科学与技术研究院(AIST),智能平台研究机构);Department of Psychology, Boğaziçi University University(心理学系,博多伊大学);Department of Computer Engineering, Hacettepe University(计算机工程系,哈切塞特佩大学);KUIS AI Center(KUIS人工智能中心)
针对360度视频显著性预测中球面畸变与空间音频融合问题,本文构建YT360-EyeTracking数据集,并提出球面几何感知的视觉Transformer模型SalViT360及其音视扩展SalViT360-AV,显著优于现有方法。
2025-08-27 cs.CV
AVESFormer: Efficient Transformer Design for Real-Time Audio-Visual Segmentation
School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);China Tower Corporation Limited(中国铁塔股份有限公司)
本文提出首个实时音视频分割Transformer模型AVESFormer,通过高效提示查询生成器和ELF解码器解决注意力耗散与解码器低效问题,在多个基准上取得领先性能并实现速度与精度的良好平衡。
2024-08-03 cs.CV
AudioGen-Omni: A Unified Multimodal Diffusion Transformer for Video-Synchronized Audio, Speech, and Song Generation
China University of Mining and Technology(中国矿业大学);Kuaishou Technology(快手科技)
AudioGen-Omni提出统一多模态扩散Transformer,通过联合训练与PAAPI机制实现视频同步的高保真音频、语音和歌曲生成,在多项任务上达到最先进水平并显著提升效率。
2025-08-07 cs.CV cs.MM cs.SD
Multi Modal Facial Expression Recognition with Transformer-Based Fusion Networks and Dynamic Sampling
Dongguk University(东国大学)
人脸表情识别是情感检测、心理健康分析、人机交互等领域的重要应用。在本文中,我们提出了一种多模态的面部表情识别方法,利用音频信息以及面部图像提供了一个重要的线索,以区分一些模糊的面部表情。具体来说,我们引入了模态融合模块(MFM)融合视听信息,其中图像和音频特征提取Swin Transformer。此外,我们通过采用动态数据恢复来解决数据集中的不平衡问题。我们的模型已经在CVPR 2023的野外情感行为(ABAW)挑战中进行了评估。
2023-03-19 cs.CV
AVTENet: A Human-Cognition-Inspired Audio-Visual Transformer-Based Ensemble Network for Video Deepfake Detection
Social Networks and Human-Centered Computing Program, Taiwan International Graduate Program, Academia Sinica(社会网络与以人为本计算计划、台湾国际研究生计划、中国科学院);Institute of Information Systems and Applications, National Tsing Hua University(信息系统与应用研究所、国立清华大学);Department of Computer Science, National Chengchi University(计算机科学系、国立成功大学);Research Center for Information Technology Innovation, Academia Sinica(信息技术创新研究中心、中国科学院);Institute of Information Science, Academia Sinica(信息科学研究所、中国科学院)
本文提出受人类多感官认知启发的AVTENet,通过集成多个纯Transformer变体融合音视频线索检测深度伪造,在FakeAVCeleb数据集上取得最先进性能并显著超越人类。
2025-07-06 cs.AI cs.CV cs.LG
Syncphony: Synchronized Audio-to-Video Generation with Diffusion Transformers
Yonsei University(延世大学)
本文提出 Syncphony,结合运动感知损失与音频同步引导,在扩散 Transformer 视频主干上实现高视觉质量的细粒度音频驱动视频生成,并用新指标 CycleSync 验证其优势。
2025-09-26 cs.CV
Unveiling the Power of Audio-Visual Early Fusion Transformers with Dense Interactions through Masked Modeling
Carnegie Mellon University(卡内基梅隆大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出利用掩码重建框架训练视听早期融合Transformer,并通过分解局部表示降低注意力融合的计算复杂度,在多个视听任务上取得优越性能。
2023-12-02 cs.AI cs.CV cs.LG
Facial Expression Recognition with Swin Transformer
Dongguk University(东国大学)
识别人类面部表情的任务在各种与人类相关的系统中起着至关重要的作用,包括医疗保健和医疗领域。随着最近深度学习的成功和大量注释数据的可访问性,面部表情识别研究已经足够成熟,可以在具有视听数据集的真实场景中使用。在本文中,我们介绍了基于Swin变换的面部表情方法在野生视听数据集的Aff-Wild 2表达式数据集。具体来说,我们采用了三流网络(即,视频流、时间流和音频流),将多模态信息融合到人脸表情识别中。在Aff-Wild 2数据集上的实验结果表明了我们提出的多模态方法的有效性。
2022-03-25 cs.AI cs.CV
Cosh-DiT: Co-Speech Gesture Video Synthesis via Hybrid Audio-Visual Diffusion Transformers
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Baidu(百度);Tokyo Institute of Technology(东京工业大学);Tsinghua University(清华大学);University of Science and Technology of China(中国科学技术大学);Nanyang Technological University(南洋理工大学)
本文提出 Cosh-DiT 混合音视频 Diffusion Transformer 框架,通过离散音频到动作扩散与连续动作到视频扩散,实现与语音节奏同步的逼真协同语音手势视频生成。
2025-03-13 cs.CV
The Right to Talk: An Audio-Visual Transformer Approach
University of Arkansas(阿肯色大学);Concordia University(康考迪亚大学);VinAI Research(VinAI研究院);Carnegie Mellon University(卡内基梅隆大学)
话轮转换在构建会话规则中起着至关重要的作用。识别主要发言者(谁在适当地轮到他/她发言)和打断者(谁在打断或对主要发言者的话语作出反应)的任务仍然是一项具有挑战性的任务。尽管一些现有方法已经部分地解决了该任务,但是仍然存在一些限制。首先,由于不同的模态,音频和视觉特征的直接关联可能限制要提取的相关性。其次,跨时间段的关系,有助于保持本地化,分离和会话上下文的一致性没有得到有效利用。最后,说话者之间的互动,通常包含跟踪和预期的决定过渡到一个新的扬声器通常被忽略。因此,这项工作介绍了一种新的视听Transformer方法的定位和突出的问题,在音频和视频通道的多扬声器的对话视频在野外的主扬声器。所提出的方法利用不同类型的相关性呈现在视觉和音频信号。跨时空的时间视听关系通过Transformerstructure中的自我注意力机制来预期和优化。此外,一个新收集的数据集被引入到主说话人检测。据我们所知,这是第一个研究,能够自动定位和突出显示的主要发言人在视觉和音频通道中的多说话人对话视频之一。
2021-08-06 cs.CV cs.SD eess.AS
Visual Transformers for Primates Classification and Covid Detection
LMU Munich(慕尼黑大学)
我们将视觉Transformer)应用于原始音频记录的梅尔声谱图表示,这是一种围绕注意力机制构建的深度机器学习模型。当添加基于mel的数据增强技术和样本加权时,我们在ComparE21的两个(PRS和CCS挑战)任务上实现了相当的性能,优于大多数单一模型基线。我们进一步介绍重叠的垂直修补和参数配置的影响进行评估。索引术语:音频分类,注意力,梅尔频谱图,不平衡数据集,计算语言学
2022-12-20 cs.CV cs.LG cs.SD
A Versatile Diffusion Transformer with Mixture of Noise Levels for Audiovisual Generation
Seoul National University(首尔国立大学);Google DeepMind(谷歌DeepMind);Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出噪声水平混合训练法,通过跨时间与模态设置可变扩散时间步,使单个基于 Transformer 的视听潜扩散模型以任务无关方式支持多种视听生成,并在一致性上优于基线。
2024-05-22 cs.CV cs.LG cs.MM
Multimodal Transformer Distillation for Audio-Visual Synchronization
National Taiwan University(台湾大学)
本文提出MTDVocaLiST模型,通过多模态Transformer蒸馏损失和不确定性加权,在显著缩小模型规模(减少83.52%)的同时,性能超越同规模SOTA模型,实现高效音视频同步。
2024-03-18 cs.CV cs.IR cs.SD
SNIFR : Boosting Fine-Grained Child Harmful Content Detection Through Audio-Visual Alignment with Cascaded Cross-Transformer
IIIT-DelhiIndia(印度德里印度理工学院);V.B.S.P.UIndia(印度V.B.S.P.U);UPESIndia(印度UPES);Independent ResearcherIndia(印度独立研究者);Reliance AIIndia(印度Reliance AI);University of TartuEstonia(爱沙尼亚塔尔图大学);Plaksha UniversityIndia(印度Plaksha大学)
本文提出SNIFR框架,通过Transformer编码器与级联交叉Transformer实现音视频对齐,显著提升细粒度儿童有害内容检测性能,达到新的最先进水平。
2025-06-03 cs.CV cs.MM eess.AS
UniForm: A Unified Multi-Task Diffusion Transformer for Audio-Video Generation
UniForm提出统一多任务扩散Transformer,在共享潜在空间中联合生成音频和视频,通过任务特定噪声方案与任务令牌以单组参数支持视频到音频、音频到视频及文本到音视频生成,并借助大语言模型和大规模数据集提升生成多样性,性能接近最先进单任务模型。
2025-07-07 cs.AI cs.CV cs.MM
JavisDiT: Joint Audio-Video Diffusion Transformer with Hierarchical Spatio-Temporal Prior Synchronization
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学);University of Rochester(罗切斯特大学);Nanyang Technological University(南洋理工大学)
JavisDiT通过层次化时空先验同步机制,实现了高质量的音频视频同步生成,解决了现实场景中的同步评估问题。
2026-02-22 cs.AI cs.CV cs.SD
Taming Data and Transformers for Audio Generation
Rice University(莱斯大学);Snap Inc(森宝公司)
针对环境声音生成器受数据稀缺、字幕质量不足及模型架构限制的问题,提出高效数据集收集管道构建AutoReCap-XL数据集、AutoCap字幕模型提升注释质量,以及GenAu可扩展架构,显著提升生成性能。
2025-04-16 cs.CL cs.CV cs.MM
RAP: Real-time Audio-driven Portrait Animation with Video Diffusion Transformer
RAP通过混合注意力机制和静态-动态训练-推理范式,在实时约束下实现高质量音频驱动人物动画,提升音频-视觉同步与视觉保真度。
2026-02-26 cs.CV cs.GR cs.SD
TVLT: Textless Vision-Language Transformer
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
在这项工作中,我们提出了无文本的视觉语言Transformer(TVLT),其中同质的Transformer块采取原始的视觉和音频输入的视觉和语言表示学习与最小的模态特定的设计,不使用文本特定的模块,如标记或自动语音识别(ASR)。TVLT通过重建连续视频帧和音频频谱图的掩蔽补丁(掩蔽自动编码)和对比建模来对齐视频和音频来训练。TVLT在各种多模态任务(如视觉问答、图像检索、视频检索和多模态情感分析)上的性能可与基于文本的对应物相媲美,推理速度快28倍,参数仅为1/3。我们的研究结果表明,学习紧凑和有效的视觉语言表示从低级别的视觉和音频信号,而不假设文本的存在。我们的代码和检查点可在https://github.com/zinengtang/TVLT上找到
2022-11-02 cs.AI cs.CL cs.CV
Optimizing Latency for Online Video CaptioningUsing Audio-Visual Transformers
Mitsubishi electric research laboratories(三菱电机研究实验室)
视频描述是理解场景、用自然语言描述事件的必要技术。为了将其应用于实时监控,系统不仅需要准确地描述事件,而且还需要尽快产生字幕。需要低延迟字幕来实现这样的功能,但是用于在线视频描述字幕的这一研究领域尚未被追求。本文提出了一种新的方法来优化每个字幕的输出时间之间的权衡延迟和字幕质量的基础上。视听变换器被训练为仅使用所有视频帧的一小部分来生成地面实况字幕,并且模仿所有帧都被给予的预先训练的Transformer的输出。基于CNN的定时检测器也被训练来检测适当的输出定时,其中由两个变压器生成的字幕变得彼此足够接近。通过联合训练的Transformer和定时检测器,可以在事件触发的视频剪辑的早期阶段生成字幕,只要事件发生或可以预测。使用ActivityNet Captions数据集进行的实验表明,我们的方法使用整个视频片段实现了预先训练的Transformer给出的上限的94%的字幕质量,仅使用了从开始的28%的帧。
2021-08-04 cs.CL cs.CV
Multiresolution and Multimodal Speech Recognition with Transformers
Amazon Lab126(亚马逊Lab126)
本文提出了一种基于transformer结构的视听自动语音识别系统。我们特别关注的场景上下文提供的视觉信息,地面的ASR。我们提取表示音频功能的编码器层的Transformer和融合视频功能,使用一个额外的跨模态多头注意层。此外,我们将多任务训练标准的多分辨率ASR,我们训练的模型,以产生字符和子字级transmittance。How2数据集上的实验结果表明,多分辨率训练可以将收敛速度提高约50%,并将字错误率(WER)性能相对于子字预测模型提高18%。此外,结合视觉信息提高了性能,相对于仅音频模型的相对增益高达3.76%。我们的研究结果与最先进的Listen,Attend和Spell架构相当。
2020-04-29 cs.CV cs.LG cs.SD
Masked Generative Video-to-Audio Transformers with Enhanced Synchronicity
Dolby Laboratories(杜比实验室);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
针对视频转音频生成中同步性与音质难以兼顾的问题,提出MaskVAT模型,结合高质量音频编解码器与序列到序列掩码生成结构,同时实现高同步性、优音质与语义匹配,性能达同期最优水平。
2024-07-15 cs.AI cs.CV cs.SD
FaceFormer: Speech-Driven 3D Facial Animation with Transformers
The University of Hong Kong(香港大学);Adobe Research(奥多比研究院);Texas A&M University(得克萨斯农工大学);The Hong Kong University of Science and Technology(香港科技大学)
由于人脸的复杂几何形状和3D视听数据的有限性,语音驱动的3D人脸动画具有挑战性。先前的工作通常集中在学习音素级功能的短音频窗口与有限的上下文,偶尔会导致不准确的嘴唇运动。为了解决这一限制,我们提出了一个基于变换器的自回归模型,FaceFormer,它编码的长期音频上下文和自回归预测一系列的动画3D人脸网格。为了解决数据稀缺的问题,我们整合了自我监督的预训练语音表示。此外,我们设计了两个偏置注意力机制很好地适合于这个特定的任务,包括偏置跨模态多头(MH)注意和偏置因果MH自我注意与周期性位置编码策略。前者有效地对齐音频运动模态,而后者提供了推广到更长音频序列的能力。大量的实验和感知用户研究表明,我们的方法优于现有的国家的最先进的。代码将被提供。
2022-03-17 cs.CV cs.GR