Towards Universal Video MLLMs with Attribute-Structured and Quality-Verified Instructions
VCIP, School of Computer Science, Nankai University（VCIP，计算机科学学院，南开大学）；ByteDance Inc.（字节跳动公司）；Tsinghua University（清华大学）
本研究提出ASID-1M数据集、ASID-Verify验证流程和ASID-Captioner模型，通过细粒度结构化指令提升视频理解性能，实现高质量描述生成与指令遵循。
2026-02-13 cs.CV
On the Role of Visual Cues in Audiovisual Speech Enhancement
Apple（苹果公司）
我们提出了一个视听语音增强模型的反省。特别是，我们专注于解释神经视听语音增强模型如何使用视觉线索，以提高目标语音信号的质量。我们发现，视觉线索不仅提供有关言语活动的高层次信息，即，语音/沉默，而且还有关于发音位置的细粒度视觉信息。这一发现的一个副产品是，学习的视觉嵌入可以用作其他视觉语音应用程序的功能。我们证明了学习的视觉嵌入分类视位（视觉类比音素）的有效性。我们的研究结果提供了深入了解视听语音增强的重要方面，并展示了如何使用这些模型的视觉语音应用程序的自我监督任务。
2021-02-25 cs.CL cs.CV cs.LG
Jointly Discovering Visual Objects and Spoken Words from Raw Sensory Input
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们探讨神经网络模型，学习相关联的语音字幕段与语义相关的自然图像，他们所指的部分。我们证明，这些视听关联定位出现从网络内部表示学习作为一个副产品的训练，以执行图像-音频检索任务。我们的模型直接对图像像素和语音波形进行操作，并且在训练期间不依赖于任何传统的标签，分割或模态之间对齐形式的监督。我们使用Places 205和ADE 20 k数据集进行分析，证明我们的模型隐式地学习语义耦合的对象和单词检测器。
2018-04-04 cs.CL cs.CV cs.SD
A vector quantized masked autoencoder for audiovisual speech emotion recognition
CentraleSupélec（中央理工学院）；IETR（信息与电信研究实验室）；UMR CNRS 6164（法国国家科学研究中心6164号研究单位）
本文提出VQ-MAE-AV自监督多模态模型，通过向量量化与掩码自编码器从无标签视听语音中学习帧级和序列级表示，并在多个数据集上取得最先进的情感识别性能。
2025-05-09 cs.LG cs.MM cs.SD
Local Multimodal Music Alignment from Global Supervision
研究如何利用全局监督实现局部多模态音乐对齐，提出FuSiLi方法，通过基于Sinkhorn的软对齐操作局部特征，结合传统全局相似性微调预训练编码器，在跨模态检索和帧级对齐任务中表现出色，优于多种基线。
2026-07-27 cs.LG cs.MM cs.SD
ATD: Augmenting CP Tensor Decomposition by Self Supervision
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IQVIA（艾昆纬）；Relativity（Relativity公司）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
张量分解是对信号等多维数据进行降维和特征解释的有力工具。现有的张量分解目标（例如，Frobenius范数）是设计用于在统计假设下拟合原始数据，这可能与下游分类任务不一致。在实践中，原始输入张量可能包含不相关的信息，而数据增强技术可以用于平滑样本中的类无关噪声。本文通过提出增强张量分解（ATD）来解决上述挑战，ATD有效地结合了数据增强和自监督学习（SSL）来提升下游分类。为了解决新的增广目标的非凸性，我们开发了一种迭代法，使优化遵循交替最小二乘（ALS）的时尚。我们在多个数据集上评估我们提出的ATD。与基于张量的基线相比，它可以实现0.8% - 2.5%的精度增益。此外，我们的ATD模型显示出相当或更好的性能（例如，高达15%的精度），同时使用这些基线模型的小于5%的可学习参数
2022-09-18 cs.LG cs.NA math.NA
A model of early word acquisition based on realistic-scale audiovisual naming events
Tampere University（坦佩雷大学）
本文提出一个仅依赖未标注视听输入的统计学习模型，在现实规模命名事件条件下模拟12个月以下婴儿的词汇习得，验证了无需先验语言能力即可实现与婴儿相当的词语识别和词汇增长。
2024-06-07 cs.AI cs.CL eess.AS
Neural Text to Articulate Talk: Deep Text to Audiovisual Speech Synthesis achieving both Auditory and Photo-realism
National Technical University of Athens（雅典国家技术大学）；Athena Research Center（雅典娜研究中心）；Foundation for Research & Technology - Hellas (FORTH)（希腊研究与技术基金会（FORTH））
本文提出 NEUTART，一种基于 Transformer 的非级联文本驱动视听语音合成框架，通过联合视听特征空间、语音引导三维面部重建和唇读损失，生成照片级逼真且音画同步的说话人脸视频。
2023-12-11 cs.CV cs.SD eess.AS
That Sounds Right: Auditory Self-Supervision for Dynamic Robot Manipulation
New York University（纽约大学）
学习从原始感官数据中产生接触丰富的动态行为一直是机器人技术的一个长期挑战。突出的方法主要集中于使用视觉或触觉感知，其中不幸的是，一种方法无法捕获高频交互，而另一种方法对于大规模数据汇集来说可能过于精细。在这项工作中，我们提出了一种以数据为中心的方法来动态操纵，使用一个经常被忽视的信息源：声音。我们首先使用商品接触式麦克风在五个动态任务中收集了25k个交互声音对的数据集。然后，给定这些数据，我们利用自监督学习来加速声音的行为预测。我们的实验表明，这种自我监督的“预训练”对于实现高性能至关重要，MSE比普通监督学习低34.5%，比视觉训练低54.3%。重要的是，我们发现，当被要求生成所需的声音配置文件时，我们的模型在UR10机器人上的在线推出可以产生动态行为，在音频相似性指标上比监督学习平均提高11.5%。
2022-10-03 cs.LG cs.RO cs.SD
Bootstrapping Audiovisual Speech Recognition in Zero-AV-Resource Scenarios
Barcelona Supercomputing Center (BSC), Spain（巴塞罗那超级计算中心（BSC））；Universitat Politècnica de Catalunya (UPC), Spain（巴塞罗那理工大学（UPC））
本文提出了一种在缺乏真实音频视频资源的情况下，通过合成视觉数据提升音频视觉语音识别性能的方法，实现了在资源匮乏语言上的高效识别。
2026-09-30 cs.CL eess.AS eess.IV
CoLES: Contrastive Learning for Event Sequences with Self-Supervision
AIRI（人工智能研究所）；Sber AI Lab（俄罗斯联邦储蓄银行人工智能实验室）；MIPT（莫斯科物理技术学院）；New York University（纽约大学）
我们解决的问题，自监督学习的离散事件序列产生的现实世界的用户。自监督学习将来自原始数据的复杂信息合并到低维固定长度的向量表示中，可以很容易地应用于各种下游机器学习任务。在本文中，我们提出了一种新的方法“CoLES”，适应对比学习，以前用于音频和计算机视觉域，在自监督设置的离散事件序列域。我们基于欧洲大型金融服务公司的交易序列部署了CoLES嵌入。CoLES嵌入的使用显著提高了现有模型在下游任务上的性能，并产生了显著的财务收益，每年可达数亿美元。我们还在几个公共事件序列数据集上评估了CoLES，并表明CoLES表示在不同的下游任务上始终优于其他方法。
2022-07-22 cs.LG
End-to-end Audiovisual Speech Activity Detection with Bimodal Recurrent Neural Models
Erik Jonsson School of Engineering & Computer Science, The University of Texas at Dallas（德克萨斯大学达拉斯分校埃里克·约松工程与计算机科学学院）
本研究提出一种端到端双模态循环神经网络（BRNN）用于视听语音活动检测，直接从原始数据学习声学和视觉特征，在大型语料库上相比音频基线提升1.2%，并在噪声环境下达到92.7%的F1分数。
2018-09-12 cs.CL cs.CV eess.AS
Learning Transferable Visual Models From Natural Language Supervision
OpenAI
最先进的计算机视觉系统经过训练以预测一组固定的预定对象类别。这种受限制的监督形式限制了它们的通用性和可用性，因为需要额外的标记数据来指定任何其他视觉概念。直接从原始文本中学习图像是一种很有前途的替代方案，它利用了更广泛的监督来源。我们证明了预测哪个标题与哪个图像搭配的简单预训练任务是一种有效且可扩展的方法，可以在从互联网收集的4亿对（图像，文本）数据集上从头开始学习SOTA图像表示。在预训练之后，使用自然语言来引用学习的视觉概念（或描述新的视觉概念），从而实现模型到下游任务的zero-shot传输。我们通过对30多个不同的现有计算机视觉数据集进行基准测试来研究这种方法的性能，这些数据集涵盖了OCR、视频中的动作识别、地理定位和许多类型的细粒度对象分类等任务。该模型可以轻松地转移到大多数任务中，并且通常与完全监督的基线竞争，而无需任何数据集特定的训练。例如，我们在ImageNet zero-shot上匹配原始ResNet-50的准确性，而不需要使用它所训练的128万个训练样本中的任何一个。我们在https://github.com/OpenAI/CLIP上发布了我们的代码和预训练模型权重。
2021-02-26 cs.CV cs.LG
Anomalies, Representations, and Self-Supervision
Universität Heidelberg（海德堡大学）；Ulster University（阿尔斯特大学）；Indian Institute of Science Education and Research（印度科学教育与研究学院）
本文提出基于对比学习的自监督异常检测方法 AnomalyCLR，通过背景增强、Transformer Encoder 表示和 AutoEncoder 评分，在 CMS ADC2021 上显著提升各类信号检测性能。
2024-08-07 cs.LG hep-ex hep-ph
Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision
Google Research（谷歌研究院）
预先训练的表示对于许多NLP和感知任务变得至关重要。虽然NLP中的表示学习已经过渡到在没有人类注释的原始文本上进行训练，但视觉和视觉语言表示仍然严重依赖于精心策划的训练数据集，这些数据集价格昂贵或需要专业知识。对于视觉应用程序，表示主要使用具有显式类标签的数据集（如ImageNet或OpenImages）来学习。对于视觉语言，流行的数据集，如Conceptual Captions，MSCOCO或CLIP都涉及到一个重要的数据汇集（和清理）过程。这种昂贵的管理过程限制了数据集的大小，从而阻碍了训练模型的扩展。在本文中，我们利用了超过10亿个图像替代文本对的噪声数据集，在概念标题数据集中没有昂贵的过滤或后处理步骤。一个简单的双编码器架构学习使用对比损失来对齐图像和文本对的视觉和语言表示。我们表明，我们的语料库的规模可以弥补其噪音，并导致国家的最先进的表示，即使这样一个简单的学习计划。我们的视觉表示在转移到ImageNet和VTAB等分类任务时实现了强大的性能。对齐的视觉和语言表示实现了zero-shot图像分类，并在Flickr 30 K和MSCOCO图像-文本检索基准上设置了新的最先进的结果，即使与更复杂的交叉注意力模型相比也是如此。这些表示还支持复杂文本和文本+图像查询的跨模态搜索。
2021-06-11 cs.CL cs.CV cs.LG
Understanding the limitations of self-supervised learning for tabular anomaly detection
University College London（伦敦大学学院）；University of Leeds（利兹大学）
本文通过26个基准数据集上的实验，发现自监督学习表示未能提升表格异常检测性能，原因是神经网络引入无关特征，但利用表示子空间可恢复性能。
2024-03-14 cs.LG
Two Stream Networks for Self-Supervised Ego-Motion Estimation
Toyota Research Institute（丰田研究院）
从原始未标记的RGB视频流中学习深度和相机自我运动，通过强大的几何线索进行自我监督，正在取得令人兴奋的进展。为了不仅利用外观，而且还利用场景几何形状，我们提出了一种新的自监督双流网络，使用RGB和推断的深度信息，用于精确的视觉里程计。此外，我们引入了一个稀疏诱导数据增强政策，有效地规范了姿态网络，使更强的泛化性能的自我运动学习。结果表明，我们提出的双流姿势网络在KITTI里程计基准上实现了基于学习的方法中最先进的结果，特别适合大规模的自我监督。我们在100万帧的大规模城市驾驶数据集上进行的实验表明，我们提出的架构的性能确实随着数据的增加而逐渐扩展。
2019-11-19 cs.CV eess.IV
Monocular Depth Estimation with Self-supervised Instance Adaptation
University of Oxford（牛津大学）
自监督学习的最新进展表明，可以从原始视频数据中学习精确的单目深度重建，而无需使用任何3D地面实况进行监督。然而，在机器人应用中，场景的多个视图可能可用或不可用，这取决于机器人的动作，在单目和多视图重建之间切换。为了解决这种混合设置，我们提出了一种新的方法，扩展了任何现成的自我监督单目深度重建系统，在测试时使用多个图像。我们的方法建立在一个标准的先验学习来执行单目重建，但在测试时使用自我监督，以进一步提高重建精度时，多个图像是可用的。当用于更新模型的正确组件，这种方法是非常有效的。在标准KITTI基准上，我们的自监督方法始终优于所有以前的方法，对于三种常见设置（单眼，立体和单眼+立体），绝对误差平均减少25%，并且与完全监督的最先进方法相比，准确性非常接近。
2020-04-13 cs.CV cs.LG
FALCON: Future-Aware Learning with Contextual Object-Centric Pretraining for UAV Action Recognition
FALCON通过结合对象感知的遮蔽自动编码和对象中心双时间线未来重建，提升无人机动作识别的准确率和推理速度。
2026-03-06 cs.AI cs.CV cs.LG
Neural Ray Surfaces for Self-Supervised Learning of Depth and Ego-motion
Toyota Research Institute（丰田研究院）；Toyota Technological Institute at Chicago（芝加哥丰田技术学院）
自监督学习已经成为深度和自我运动估计的强大工具，在基准数据集上产生了最先进的结果。然而，当前方法共有的一个显著限制是已知参数相机模型（通常是标准针孔几何形状）的假设，这导致当应用于显著偏离该假设的成像系统时失败（例如，折反射照相机或水下成像）。在这项工作中，我们表明，自我监督可以用来学习准确的深度和自我运动估计，而无需事先了解相机模型。受Grossberg和Nayar几何模型的启发，我们引入了神经射线表面（NRS），这是一种代表像素投影射线的卷积网络，可以近似各种相机。NRS是完全可区分的，可以从未标记的原始视频中端到端学习。我们演示了使用NRS的视觉里程计和深度估计从原始视频获得的各种各样的相机系统，包括针孔，鱼眼，和折反射的自监督学习。
2020-08-15 cs.CV cs.LG cs.RO
Shuffle and Learn: Unsupervised Learning using Temporal Order Verification
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook AI研究院）
在本文中，我们提出了一种方法来学习的原始时空信号在视频中的视觉表示。我们的表示是在没有语义标签监督的情况下学习的。我们将我们的方法制定为无监督的顺序验证任务，即，我们确定来自视频的帧序列是否处于正确的时间顺序。通过这个简单的任务，没有语义标签，我们使用卷积神经网络（CNN）学习了一个强大的视觉表示。该表示包含从ImageNet等监督图像数据集学习的补充信息。定性结果表明，我们的方法捕获的信息是随时间变化的，如人体姿势。当用作动作识别的预训练时，我们的方法在没有外部数据的情况下在基准数据集（如UCF101和HMDB51）上进行学习时获得了显着的收益。为了证明其对人体姿态的敏感性，我们展示了FLIC和MPII数据集上的姿态估计结果，这些数据集具有竞争力，或者比使用更多监督的方法更好。我们的方法可以与监督表示相结合，以进一步提高准确性。
2016-07-26 cs.AI cs.CV cs.LG
Contrastive Learning of Structured World Models
University of Amsterdam（阿姆斯特丹大学）；UvA-Bosch Delta Lab（阿姆斯特丹大学-博世三角洲实验室）；CIFAR（加拿大高等研究院）
从对象、关系和层级的角度对我们的世界进行结构化的理解是人类认知的重要组成部分。从原始感官数据中学习这样一个结构化的世界模型仍然是一个挑战。作为实现这一目标的一步，我们引入了对比训练的结构化世界模型（C-SWM）。C-SWMs利用对比方法在具有组成结构的环境中进行表征学习。我们将每个状态嵌入构造为一组对象表示及其关系，由图神经网络建模。这允许从原始像素观察中发现对象，而无需作为学习过程的一部分进行直接监督。我们评估C-SWM的组成环境，涉及多个相互作用的对象，可以独立操作的代理，简单的雅达利游戏，和多对象物理模拟。我们的实验表明，C-SWMs可以克服基于像素重建的模型的局限性，并在高度结构化的环境中优于该模型类的典型代表，同时学习可解释的基于对象的表示。
2020-01-05 cs.AI cs.LG stat.ML
Unsupervised Multi-Modal Representation Learning for Affective Computing with Multi-Corpus Wearable Data
随着智能技术的最新发展，人们越来越关注将人工智能和机器学习用于情感计算，以通过情感识别进一步增强用户体验。通常，用于情感计算的机器学习模型使用从生物信号手动提取的特征来训练。这样的特征对于大型数据集可能不能很好地概括，并且在从原始输入数据捕获信息时可能是次优的。解决这个问题的一种方法是使用完全监督的深度学习方法来学习生物信号的潜在表示。但是，这种方法需要人工监督来标记数据，这些数据可能无法获得或难以获得。在这项工作中，我们提出了一个无监督的框架，减少对人类监督的依赖。拟议的框架利用两个堆叠的卷积自动编码器来学习可穿戴心电图（ECG）和皮肤电活动（EDA）信号的潜在表示。这些表示在用于二进制唤醒分类的随机森林模型内被利用。这种方法减少了人工监督，并使数据集的聚合允许更高的概括性。为了验证该框架，创建了由AMIGOS、ASCERTAIN、CLEAS和MAHNOB-HCI数据集组成的聚合数据集。我们提出的方法的结果进行了比较，使用卷积神经网络，以及采用手工提取手工制作的功能的方法。用于融合这两种模式的方法也进行了研究。最后，我们证明了我们的方法优于目前最先进的结果，这些结果使用ECG和EDA生物信号在相同的数据集上进行了唤醒检测。结果表明，堆叠卷积自动编码器与机器学习一起用于情感计算的广泛适用性。
2020-08-24 cs.LG eess.SP
BENDR: using transformers and a contrastive self-supervised learning task to learn from massive amounts of EEG data
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Li Ka Shing Knowledge Institute（李嘉诚知识研究所）
用于脑机接口（BCI）分类的深度神经网络（DNN）通常被期望在各种上下文中训练时学习一般特征，使得这些特征可以根据特定上下文进行微调。虽然在这种方法中发现了一些成功，但我们认为这种解释是有限的，另一种方法可以更好地利用新（公开）的大规模EEG数据集。我们考虑如何调整用于语言建模（LM）的技术和架构，这些技术和架构似乎能够处理大量的数据，并以同样的方式开发具有DNN的脑电成像建模（EM）。我们特别适应的方法有效地用于自动语音识别，类似的（LM）使用一个自我监督的训练目标，学习压缩表示的原始数据信号。在适应EEG之后，我们发现单个预训练模型能够对使用不同硬件记录的完全新颖的原始EEG序列进行建模，并且不同的受试者执行不同的任务。此外，该模型的内部表示和整个架构都可以针对各种下游BCI和EEG分类任务进行微调，在更特定于任务（睡眠阶段分类）的自我监督方面优于先前的工作。
2021-01-28 cs.LG cs.NE q-bio.QM
The SSL Interplay: Augmentations, Inductive Bias, and Generalization
Meta AI；MIT（麻省理工学院）
本文针对自监督学习中增强、架构与训练算法的交互影响，在理论友好设置下分析预训练与下游任务的泛化性能，为稳定训练和避免表示坍缩提供实践洞见。
2023-06-01 cs.AI cs.LG math.ST
Visually Guided Self Supervised Learning of Speech Representations
Samsung R&D Institute, UK（三星英国研发中心）
自我监督表示学习最近吸引了大量的研究兴趣，无论是音频和视觉模态。然而，大多数作品通常集中在一个特定的模态或功能单独和已经有非常有限的工作，研究两种模态之间的相互作用，学习自我监督表示。我们提出了一个框架，学习音频表示的视听语音的背景下，由视觉模态指导。我们采用生成音频到视频的训练方案，其中我们动画对应于一个给定的音频剪辑的静止图像，并优化生成的视频尽可能接近的语音段的真实视频。通过这个过程，音频编码器网络学习有用的语音表示，我们评估情感识别和语音识别。我们在情感识别和语音识别方面都取得了很好的效果。这表明了视觉监督学习音频表示的潜力，作为一种新的自我监督学习的方式，这在过去还没有被探索。所提出的无监督音频特征可以利用几乎无限数量的未标记视听语音的训练数据，并且具有大量潜在的有前途的应用。
2020-02-20 cs.CV cs.MM eess.AS
DSPGAN: a GAN-based universal vocoder for high-fidelity TTS by time-frequency domain supervision from DSP
Northwestern Polytechnical University（西北工业大学）；TAL Education Group（好未来集团）
本文提出DSPGAN，一种基于GAN的通用神经声码器，通过引入来自DSP模块的时频域监督和正弦激励时域监督，解决训练与推理阶段频谱不匹配问题，实现跨说话人、语言和风格的高保真语音合成。
2023-05-28 cs.SD eess.AS
SpidR: Learning Fast and Stable Linguistic Units for Spoken Language Models Without Supervision
ENS-PSL, EHESS, CNRS（ENS-PSL、EHESS、CNRS）；FAIR at Meta（Meta的FAIR）
SpidR通过自监督学习高效语音表示，提升无监督语音语言建模性能，减少预训练时间
2025-12-26 cs.CL cs.SD eess.AS
Sonic4D: Spatial Audio Generation for Immersive 4D Scene Exploration
Sonic4D通过生成与4D场景一致的空间音频，提升沉浸式4D场景探索体验。
2026-02-27 cs.MM cs.SD eess.AS
