面向视频、音频及更多模态的结构化噪声掩码建模
Structured-Noise Masked Modeling for Video, Audio and Beyond
AI总结：
针对现有掩码建模多采用随机掩码、忽略模态结构特性的问题，提出基于结构化噪声的掩码方法，通过白噪声滤波生成适配模态特征的掩码，在无额外计算开销的情况下稳定提升视频、音频掩码建模性能。
摘要：
掩码建模已成为一种强大的自监督学习框架，但现有方法大多依赖随机掩码，忽略了不同模态的结构特性。在本研究中，我们提出了基于结构化噪声的掩码方法——一种简单却有效的方案，能自然契合视频与音频数据的空间、时间及频谱特征。我们通过将白噪声滤波为不同的色噪声分布，生成可保留模态特有模式的结构化掩码，无需手工设计启发式规则，也无需访问数据本身。该方法可提升掩码视频与音频建模框架的性能，且不会带来任何计算开销。大量实验表明，对于标准及先进的掩码建模方法，结构化噪声掩码相比随机掩码均能取得一致的性能提升，凸显了模态感知掩码策略对表示学习的重要性。
英文摘要：
Masked modeling has emerged as a robust self-supervised learning framework. However, most methods rely on random masking, which disregards the structural properties of different data modalities. To align with the spatiotemporal and spectral characteristics of video and audio data, we introduce a structured noise-based masking approach. By filtering white noise into different color noise distributions, we generate structured masks that capture modality-specific patterns without requiring handcrafted heuristics or access to the data. Our approach enhances masked video and audio modeling frameworks without any additional computational cost. Experiments show that structured noise masking consistently outperforms random masking, underscoring the value of modality-aware masking strategies for representation learning.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
