Social Gesture Recognition in spHRI: Leveraging Fabric-Based Tactile Sensing on Humanoid Robots
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）
针对人机社交触觉交互需求，研究提出搭载于人形机器人手臂的织物基触觉社交手势识别系统，构建多参与者数据集并提取时序特征分类，为spHRI系统发展提供新思路。
2025-03-21 cs.RO
3D Shape Reconstruction from Vision and Touch
Facebook AI Research（Facebook人工智能研究院）；McGill University（麦吉尔大学）；University of California, Berkeley（加州大学伯克利分校）
当一个蹒跚学步的孩子看到一个新玩具时，他们的本能行为是把它捡起来，并用他们的手和眼睛一起检查它，清楚地搜索它的表面，以正确地理解他们在玩什么。在这里的任何情况下，触摸提供高保真的本地化信息，而视觉提供互补的全局上下文。然而，在3D形状重建中，视觉和触觉方式的互补融合仍然在很大程度上未被探索。在本文中，我们研究了这个问题，并提出了一个有效的基于图表的方法来多模态形状理解，鼓励类似的融合视觉和触摸信息。要做到这一点，我们引入了一个数据集的模拟触摸和视觉信号之间的互动机器人手和一个大阵列的3D对象。我们的研究结果表明，（1）利用视觉和触摸信号始终提高单一模态基线;（2）我们的方法优于其他模态融合方法，并从所提出的基于图表的结构中获益匪浅;（3）构建质量随着提供的抓握次数而增加;以及（4）触摸信息不仅增强了触摸部位处的重建，而且还外推到其局部邻域。
2020-11-02 cs.CV cs.RO
Connecting Look and Feel: Associating the visual and tactile properties of physical materials
MIT（麻省理工学院）；Tsinghua University（清华大学）
为了让机器与物理世界进行交互，它们必须了解它们遇到的物体和材料的物理特性。我们使用织物作为具有丰富机械特性的可变形材料的示例。薄的柔性织物，当悬垂时，往往看起来不同于重的硬织物。摸起来也不一样。使用118个织物样品的集合，我们捕获了悬垂织物的颜色和深度图像以及来自高分辨率触摸传感器的触觉数据。然后，我们试图通过联合训练三种模式的CNN来关联视觉和触觉的信息。通过CNN，每个输入，无论模态如何，都生成记录织物物理属性的嵌入向量。通过比较嵌入，我们的系统能够查看织物图像并预测它的感觉，反之亦然。我们还表明，在视觉和触摸数据上联合训练的系统在纯粹使用视觉输入进行测试时，可以优于仅在视觉数据上训练的类似系统。
2017-04-12 cs.CV
Binding Touch to Everything: Learning Unified Multimodal Tactile Representations
Yale University（耶鲁大学）；University of Michigan（密歇根大学）
针对触觉多模态学习数据成本高、传感器输出不统一的问题，提出UniTouch统一触觉模型，通过对齐预训练图像嵌入、引入可学习传感器专属token实现多模态关联与异构传感器学习，能在零样本下完成多种触觉任务，为同类首创。
2024-01-31 cs.CV cs.RO
The Feeling of Success: Does Touch Sensing Help Predict Grasp Outcomes?
U.C. Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
本研究在结合视觉与触觉的多模态感知框架内，利用配备GelSight传感器的两指夹爪收集超9000次抓取试验，验证触觉感知能显著提升深度神经网络对抓取结果的预测性能。
2025-03-04 cs.CV cs.LG cs.RO
VTLoc: Learning-based Tactile Contact Localization in Visual Point Clouds
Department of Engineering, King’s College London（伦敦国王学院工程系）
研究视觉与触觉融合的接触定位问题，提出VTLoc框架，通过几何多模态对齐模块和迭代定位更新器，利用视觉点云从触觉读数定位接触点，在新基准上减少对应模糊性，改善单触接触定位。
2026-07-20 cs.CV cs.RO
A Touch, Vision, and Language Dataset for Multimodal Alignment
UC Berkeley（加州大学伯克利分校）；Meta AI；TU Dresden（德累斯顿工业大学）
本文提出包含44K野外视觉-触觉对的数据集，训练触觉编码器和TVL模型，显著提升触觉-视觉-语言对齐与理解性能。
2024-02-20 cs.CV cs.RO
SToLa: Self-Adaptive Touch-Language Framework with Tactile Commonsense Reasoning in Open-Ended Scenarios
SToLa通过专家混合架构实现触觉与语言模态的自适应统一，解决开放性场景中触觉常识推理的挑战，提升多模态推理性能。
2026-03-02 cs.CV
Multimodal perception for dexterous manipulation
Department One（第一系）；Department Two（第二系）
人类通常以多模态的方式感知世界，即视觉，触觉，声音被用来从各个维度理解周围环境。这些感觉结合在一起，以实现协同效应，其中学习比单独使用每个感觉更有效。对于机器人来说，视觉和触觉是实现灵巧操作的两个关键感官。视觉通常给我们明显的特征，如形状，颜色，和触摸提供局部信息，如摩擦，纹理等，由于视觉和触觉之间的互补性，这是我们希望结合视觉和触摸的协同感知和操纵。多通道感知的研究主要集中在跨通道学习、三维重建、视觉和触觉的多通道翻译等方面。具体来说，我们提出了一个用于视觉和触觉之间转换的跨模态感觉数据生成框架，该框架能够生成逼真的伪数据。通过使用这种跨模态翻译方法，我们希望弥补不可访问的数据，帮助我们从不同的角度学习对象的属性。近年来，注意力机制成为视觉感知和触觉感知中的一种流行方法。本文提出了一种时空注意力模型用于触觉纹理识别，该模型同时考虑了空间特征和时间维度。我们提出的方法不仅关注每个空间特征中的显著特征，而且在整个时间上对时间相关性进行建模。这一明显的改善证明了我们的选择性注意力机制的有效性。时空注意方法在抓取、识别和多模态感知等方面有着广泛的应用前景。
2021-12-28 cs.CV cs.RO
Empirical Evaluation of Multi-Modal Touch Detection in Over-the-Shoulder Video Surveillance
本文评估了一种多模态触摸检测框架，用于从肩后视频中重建移动键盘按键事件，但实验表明在非受控场景下无法可靠重建击键。
2026-06-28 cs.CR cs.CV
Hearing Touch: Audio-Visual Pretraining for Contact-Rich Manipulation
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；Olin College of Engineering（奥林工程学院）；Meta AI
针对机器人触觉模态缺乏互联网规模预训练数据的问题，提出用接触式麦克风作为替代触觉传感器，借助大规模视听预训练获取表示以提升富接触操作性能，是首个将多感官预训练用于机器人操作的方法。
2024-05-14 cs.AI cs.CV cs.LG
Towards Comprehensive Multimodal Perception: Introducing the Touch-Language-Vision Dataset
Beijing Jiaotong University（北京交通大学）；School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）
针对触觉多模态研究中语言建模不足的问题，本文构建带句子级描述的 TLV 数据集，并提出轻量级 STLV-Align 框架，仅调整1%参数即实现触觉、语言与视觉的有效语义对齐。
2024-06-17 cs.CV cs.RO
TextToucher: Fine-Grained Text-to-Touch Generation
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Advanced Technology Institute, Zhejiang University（浙江大学先进技术研究院）；State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室）；College of Computer Science and Technology, Yale University（耶鲁大学计算机科学与技术学院）
针对视觉驱动触觉生成难以准确表达人类触感的问题，本文提出TextToucher，通过对象级与传感器级双粒度文本条件在扩散Transformer中生成高质量触觉图像，并用CTTP指标验证其优越性。
2025-01-09 cs.CV
Wake up for Touch! Mask-isolated Tactile Alignment Learning in MLLMs
Division of Artificial Intelligence & Software（人工智能与软件系）
提出Splash框架，通过参数空间划分（休眠/关键子空间）实现非破坏性触觉模态扩展，在不增加推理开销下保持视觉语言能力，在触觉基准上达到SOTA。
2026-07-02 cs.CV cs.MM cs.RO
What to Attend, What to Keep: Skill-Conditioned Visuotactile Representation with Progress-Guided Event Memory
University of Maryland（马里兰大学）
本研究提出技能条件化视觉触觉表征，通过进度引导的稀疏事件记忆，在接触密集型任务中显著降低滑移检测、扭转完成延迟及进度误差，揭示观察形成是多模态表征的核心挑战。
2026-10-01 cs.CV cs.RO
Connecting Multi-modal Contrastive Representations
Zhejiang University（浙江大学）；ByteDance（字节跳动）；Shanghai AI Laboratory（上海人工智能实验室）
提出无需配对数据的高效方法C-MCR，利用重叠模态连接预训练的多模态对比表示空间，实现非重叠模态间的对齐，在视听及3D-语言任务上取得SOTA性能。
2023-10-19 cs.AI cs.CV cs.LG
Generating Visual Scenes from Touch
University of Michigan（密歇根大学）
本文提出基于潜在扩散的视觉-触觉双向合成模型，在触觉风格化和无场景先验的触觉生成图像任务上取得突破，并扩展至去除传感器/手及由反射率与触觉估计明暗。
2023-09-26 cs.CV
OmniTact: A Multi-Directional High Resolution Touch Sensor
University of California, Berkeley（加利福尼亚大学伯克利分校）；Facebook AI Research（脸书人工智能研究院）；Stanford（斯坦福大学）
将触摸作为机器人的感测模态可以实现更精细和更强大的操纵技能。现有的触觉传感器要么是平面的，敏感区域小，要么只提供低分辨率的信号。在本文中，我们介绍了OmniTact，一个多方向的高分辨率触觉传感器。OmniTact被设计为用作机器人手的机器人操作的指尖，并使用多个微型相机来检测基于凝胶的皮肤的多方向变形。这提供了丰富的信号，使用现代图像处理和计算机视觉方法可以从该信号推断出各种不同的接触状态变量。我们评估的能力OmniTact上的一个具有挑战性的机器人控制任务，需要插入一个电连接器到插座，以及一个状态估计的问题，这是典型的灵巧的机器人操作中遇到的，其中的目标是推断接触的角度弯曲的手指压在一个对象。这两项任务都只使用触摸感应和深度卷积神经网络来处理来自传感器摄像头的图像。我们比较了仅在一侧敏感的最先进的触觉传感器以及最先进的多方向触觉传感器，发现OmniTact的高分辨率和多方向感测的组合对于可靠地插入电连接器至关重要，并且允许在状态估计任务中具有更高的精度。视频和补充材料可以在https://sites.google.com/berkeley.edu/omnitact上找到
2020-03-16 cs.CV cs.LG cs.RO
OPENTOUCH: Bringing Full-Hand Touch to Real-World Interaction
MIT（麻省理工学院）；Duke University（杜克大学）；Brown University（布朗大学）；University of Washington（华盛顿大学）；Harvard University（哈佛大学）
OpenTouch是首个现实场景的第一人称全手触觉数据集，通过同步视频-触觉-姿态数据和详细注释，推动多模态感知和机器人操作研究。
2025-12-18 cs.AI cs.CV cs.RO
See, Hear, and Feel: Smart Sensory Fusion for Robotic Manipulation
Stanford University（斯坦福大学）；Massachusetts Institute of Technology（麻省理工学院）
人类在日常活动中使用所有的感官来完成不同的任务。相比之下，现有的机器人操作工作主要依赖于一种或偶尔两种模式，如视觉和触觉。在这项工作中，我们系统地研究视觉，听觉和触觉感知如何共同帮助机器人解决复杂的操作任务。我们建立了一个机器人系统，它可以用摄像头看，用接触式麦克风听，用基于视觉的触觉传感器感觉，所有三种感觉方式都融合了自我注意力模型。两个具有挑战性的任务，密集的包装和浇注的结果，展示了机器人操作的多感官感知的必要性和力量：视觉显示的机器人的全球地位，但往往会受到闭塞，音频提供即时反馈的关键时刻，甚至是不可见的，触摸提供精确的局部几何决策。利用所有三种模式，我们的机器人系统显着优于以前的方法。
2022-12-08 cs.CV cs.RO
Touch-R1: Reinforcing Touch Reasoning in MLLMs
Xiamen University（厦门大学）；Great Bay University（大湾大学）；Fudan University（复旦大学）；Nanjing University（南京大学）；Daimon Robotics（达摩机器人）
针对触觉推理中物理属性序数性和跨传感器分布偏移的挑战，提出基于触觉接地GRPO目标训练的Touch-R1模型，在TouchReason-Bench上平均性能超过Octopi-13B和GPT-4o。
2026-05-26 cs.CV
TouchStone: Evaluating Vision-Language Models by Language Models
Alibaba Group（阿里巴巴集团）；Huazhong University of Science and Technology（华中科技大学）；Tsinghua University（清华大学）
提出TouchStone评估方法，利用强LLM作为评判者，构建含27个子任务的数据集，全面评估LVLMs的对话与叙事能力，并验证GPT-4评分与人类偏好一致。
2023-09-04 cs.CL cs.CV
Fine-Grained Classification: Connecting Metadata via Cross-Contrastive Pre-Training
New York University（纽约大学）
本文提出通过跨对比预训练整合图像、文本与元数据的统一细粒度分类框架，在 NABirds 上以 84.44% top-1 准确率超过基线 7.83%，并优于强多模态方法。
2025-10-18 cs.CV cs.LG
Connecting the Dots between Audio and Text without Parallel Data through Visual Knowledge Transfer
University of Edinburgh（爱丁堡大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
能够表示和描述环境音景的机器具有实际潜力，例如，用于音频标记和字幕系统。主流的学习范式一直依赖于平行的音频文本数据，这是，然而，很少在网络上。我们提出了VIP-ANT诱导\textbf{A} udio- \textbf{T} ext对齐，而不使用任何并行的音频文本数据。我们的核心思想是在双模态图像-文本表示和双模态图像-音频表示之间共享图像模态;图像模态作为枢轴，隐式地连接三模态嵌入空间中的音频和文本。在没有配对音频文本数据的困难zero-shot设置中，我们的模型在ESC 50和US 8 K音频分类任务上展示了最先进的zero-shot性能，甚至超过了Clotho字幕检索（具有音频查询）的监督状态2.2\% R@1。我们进一步调查了最小音频文本监督的情况，发现，例如，仅仅几百个监督的音频-文本对在US 8 K上将zero-shot音频分类精度提高了8%。然而，为了在一些zero-shot任务上匹配人类平价，我们的经验缩放实验表明，我们需要大约$2^{21} \approx 2M$监督的音频字幕对。我们的工作为学习音频文本连接开辟了新的途径，几乎没有平行的音频文本数据。
2022-05-02 cs.CL cs.CV cs.SD
Seeing Through Touch: Tactile-Driven Visual Localization of Material Regions
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Hankuk University of Foreign Studies（韩国外国语大学）；Ulsan National Institute of Science and Technology（蔚山科学技术院）
本文提出通过密集跨模态特征交互学习局部视觉-触觉对齐，生成触觉条件下的材料分割热图，提升材料区域视觉定位的鲁棒性和多样性。
2026-04-13 cs.CV
Tactile-Augmented Radiance Fields
University of Michigan（密歇根大学）；Yale University（耶鲁大学）；UC Berkeley（加州大学伯克利分校）
本文提出TaRF场景表示，利用多视图几何配准稀疏触觉探针与视觉场景，并通过条件扩散模型由神经辐射场渲染的RGB-D图像生成触觉信号，还构建了空间对齐的视觉-触觉数据集。
2024-05-07 cs.CV
AttX: Attentive Cross-Connections for Fusion of Wearable Signals in Emotion Recognition
Ingenuity Research Labs（英格纽蒂研究实验室）
我们提出了跨模态注意连接，一种新的动态和有效的技术，多模态表示学习从可穿戴数据。我们的解决方案可以集成到管道的任何阶段，即，在任何卷积层或块之后，在负责处理每个模态的各个流之间创建中间连接。此外，我们的方法受益于两个属性。首先，它可以单向（从一种模态到另一种模态）或双向共享信息。其次，它可以同时集成到多个阶段，以进一步允许在多个接触点中交换网络梯度。我们在三个公共的多模态可穿戴数据集WESAD，SWELL-KW和CASE上进行了广泛的实验，并证明了我们的方法可以有效地调节和共享不同模态之间的信息，以学习更好的表示。我们的实验进一步证明，一旦集成到简单的基于CNN的多模态解决方案（2，3或4模态）中，我们的方法可以产生优于或具有竞争力的性能，达到最先进的水平，并优于各种基线单峰和经典的多模态方法。
2022-06-09 cs.CV cs.LG eess.SP
Controllable Visual-Tactile Synthesis
Carnegie Mellon University（卡内基梅隆大学）
针对现有生成模型多聚焦视觉、忽略触觉模态的问题，该研究构建服装视触觉数据集，提出单草图驱动的视触觉联合条件生成模型，并实现触觉设备的沉浸式多感官渲染。
2023-05-04 cs.CV cs.GR cs.HC
Connecting Language and Vision for Natural Language-Based Vehicle Retrieval
University of Technology Sydney（悉尼科技大学）；Zhejiang University（浙江大学）
车辆搜索是智能城市高效交通管理的一项基本任务。现有的实践大多集中在基于图像的车辆匹配，包括车辆重新识别和车辆跟踪。在本文中，我们采用了一种新的模式，即，语言描述，以搜索感兴趣的车辆，并探索该任务在现实世界中的潜力。基于自然语言的车辆搜索对视觉和语言模态的细粒度理解提出了新的挑战。为了连接语言和视觉，我们建议以端到端的方式联合训练最先进的视觉模型和基于transformer的语言模型。除了网络结构设计和训练策略外，本文还重新讨论了几个优化目标。定性和定量实验验证了该方法的有效性。我们提出的方法在第五届AI城市挑战赛中获得了第一名，在私人测试集上获得了18.69%的MRR准确率。我们希望这项工作可以铺平道路，为未来的研究，使用语言描述有效和高效地为现实世界的车辆检索系统。该代码将在https://github.com/ShuaiBai623/AIC2021-T5-CLV上提供。
2021-05-31 cs.CV
Hierarchical Cross-modal Transformer for RGB-D Salient Object Detection
School of Computer Science, Southeast University（东南大学计算机科学与工程学院）
大多数现有的RGB-D显着目标检测（SOD）方法遵循基于CNN的范式，由于CNN的自然局部性，该范式无法对跨空间和模态的长距离依赖性进行建模。本文提出了一种新的多模态Transformer，即分层交叉模态Transformer（HCT）。与以前的多模态Transformers直接连接来自两个模态的所有补丁不同，我们分层地探索跨模态互补性，以尊重未对齐区域中的模态间隙和空间差异。具体来说，我们建议使用通道内自我注意力来探索互补的全局上下文，并测量空间对齐的通道间注意力本地捕获跨通道的相关性。此外，我们提出了一个特征金字塔模块的Transformer（FPT），以提高信息的跨尺度集成，以及一致性互补模块，解开多模态集成路径，提高融合自适应性。在大量公共数据集上进行的综合实验验证了我们设计的有效性以及对最先进模型的一致改进。
2023-02-16 cs.CV
A Transfer Learning Approach to Cross-Modal Object Recognition: From Visual Observation to Robotic Haptic Exploration
Technical University of Munich（慕尼黑工业大学）；ABB Corporate Research（ABB集团研究院）；University of Campania Luigi Vanvitelli（坎帕尼亚大学路易吉·万维泰利）；Institute of Robotics and Mechatronics, German Aerospace Center（德国航空航天中心机器人与机电一体化研究所）
在这项工作中，我们介绍了机器人主动探索的跨模态视觉触觉对象识别的问题。这个术语的意思是机器人用视觉感知观察一组物体，之后，它只能用触觉探索来识别这些物体，而之前没有接触过任何物体。使用机器学习术语，在我们的应用程序中，我们有一个视觉训练集和触觉测试集，反之亦然。为了解决这个问题，我们提出了一种方法，由四个步骤组成：找到一个视觉-触觉的共同表示，定义一组合适的功能，跨域传输的功能，和分类的对象。我们使用一组15个对象来展示我们的方法的结果，每个对象收集40个视觉示例和5个触觉示例。所提出的方法实现了94.7%的准确度，这是可比的单模态的情况下，即，当使用视觉数据作为训练集和测试集时。此外，与人类的能力相比，它表现得很好，我们粗略估计了10名参与者的实验。
2020-01-18 cs.CV cs.RO
Bridging Audio and Vision: Zero-Shot Audiovisual Segmentation by Connecting Pretrained Models
Department of Computer Science and Engineering（计算机科学与工程系）
针对视听分割依赖像素级标注的问题，提出融合多个预训练音频、视觉与文本模型的零样本框架，无需任务训练即取得最先进性能。
2025-06-06 cs.CV cs.SD eess.AS
Learning Multi-Modal Self-Awareness Models for Autonomous Vehicles from Human Driving
DITEN, University of Genoa（热那亚大学DITEN学院）；Carlos III University of Madrid（马德里康普顿斯大学）
本文提出了一种新的方法来学习自主车辆的自我意识模型。所提出的技术是基于由人类操作员执行的不同机动任务相关的同步多传感器动态数据的可用性。结果表明，不同的机器学习方法可以使用耦合动态贝叶斯网络，首先学习单一模态模型，然后在事件级相关的模型，发现上下文的多模态概念。在所提出的情况下，视觉感知和定位被用作模态。模态之间在时间上的互相关是从数据中发现的，并且被描述为在事件（离散）级别连接共享和私有多模态DBN的概率链接。在自动驾驶汽车上进行的实验结果，突出所提出的方法，允许异常检测和自主决策的基础上学习的自我意识模型的潜力。
2018-06-07 cs.CV
Perceiver: General Perception with Iterative Attention
DeepMind（深度思维）
生物系统通过同时处理来自视觉、听觉、触觉、本体感受等不同模态的高维输入来感知世界。另一方面，深度学习中使用的感知模型是为个体模态设计的，通常依赖于特定领域的假设，例如几乎所有现有视觉模型所利用的局部网格结构。这些先验引入了有益的归纳偏差，但也将模型锁定在个体模态上。在本文中，我们介绍了Perceiver -一个建立在Transformers基础上的模型，因此对其输入之间的关系做了一些架构假设，但也可以扩展到数十万个输入，如ConvNets。该模型利用不对称的注意力机制来迭代地将输入提取到紧密的潜在瓶颈中，从而使其能够扩展以处理非常大的输入。我们表明，这种架构在各种形式的分类任务上具有竞争力或优于强大的专业模型：图像，点云，音频，视频和视频+音频。Perceiver通过直接处理50，000个像素，在没有2D卷积的情况下获得了与ResNet-50和ImageNet上的ViT相当的性能。它在AudioSet的所有模式中也具有竞争力。
2021-06-23 cs.AI cs.CV cs.LG
Tactile DreamFusion: Exploiting Tactile Sensing for 3D Generation
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对现有3D生成方法几何细节失真的问题，提出Tactile DreamFusion，引入触觉模态与轻量3D纹理场，结合定制TextureDreambooth和多部件流水线，首次用高分辨率触觉传感提升3D生成的几何细节，在两类任务中实现双模态精准对齐的逼真精细纹理生成。
2024-12-09 cs.CV cs.GR
CroMo: Cross-Modal Learning for Monocular Depth Estimation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；École Polytechnique（巴黎综合理工学院）；Technical University of Munich（慕尼黑工业大学）
基于学习的深度估计最近在多个方向上取得了进展;从使用单目视频的自我监督到提供最高精度的监督方法。作为监督的补充，通过组合来自多个信号的信息，进一步提高了性能和鲁棒性。在本文中，我们系统地研究与传感器和模态设计选择以及相关的模型训练策略相关的关键权衡。我们的研究使我们找到了一种新的方法，能够将偏振，飞行时间和结构光输入的特定模式优势联系起来。我们提出了一种新的管道，能够估计从单眼偏振，我们评估各种训练信号的深度。因此，可微分分析模型的反演将场景几何与偏振和ToF信号连接起来，并实现了自我监督和跨模态学习。在没有现有多模态数据集的情况下，我们使用定制的多模态相机装备来检查我们的方法，并收集CroMo;第一个数据集由同步立体偏振，间接ToF和结构光深度组成，以视频速率捕获。在具有挑战性的视频场景上进行的大量实验证实了定性和定量管道的优势，我们能够超越竞争对手的单眼深度估计方法。
2022-03-28 cs.CV
V2A-Mapper: A Lightweight Solution for Vision-to-Audio Generation by Connecting Foundation Models
Dolby（杜比实验室）
本研究针对视觉到音频生成任务，提出轻量V2A-Mapper连接CLIP、CLAP与AudioLDM基础模型，以极少训练参数实现了优于现有方法的生成保真度与语义相关性。
2023-12-14 cs.AI cs.CV cs.MM
