车辆的联觉：从视觉输入合成触觉数据
Synesthesia of Vehicles: Tactile Data Synthesis from Visual Inputs
AI总结：
本文提出基于视觉输入的触觉数据合成方法，通过跨模态时空对齐和潜在扩散模型提升自动驾驶车辆的触觉感知能力，从而增强安全性能。
摘要：
自动驾驶车辆（AVs）依赖多模态融合以确保安全，但当前的视觉和光学传感器无法检测到道路引起的激励，这对于车辆的动态控制至关重要。受人类联觉的启发，我们提出了车辆联觉（SoV），一种新的框架，用于从视觉输入预测触觉激励，以提高自动驾驶车辆的安全性。我们开发了一种跨模态时空对齐方法，以解决时间和空间差异。此外，提出了一种使用潜在扩散的视觉-触觉联觉（VTSyn）生成模型，用于无监督的高质量触觉数据合成。一个真实的车辆感知系统在多样的道路和照明条件下收集了多模态数据集。广泛的实验表明，VTSyn在时间、频率和分类性能上均优于现有模型，通过主动触觉感知增强了AV的安全性。
英文摘要：
Autonomous vehicles (AVs) rely on multi-modal fusion for safety, but current visual and optical sensors fail to detect road-induced excitations which are critical for vehicles' dynamic control. Inspired by human synesthesia, we propose the Synesthesia of Vehicles (SoV), a novel framework to predict tactile excitations from visual inputs for autonomous vehicles. We develop a cross-modal spatiotemporal alignment method to address temporal and spatial disparities. Furthermore, a visual-tactile synesthetic (VTSyn) generative model using latent diffusion is proposed for unsupervised high-quality tactile data synthesis. A real-vehicle perception system collected a multi-modal dataset across diverse road and lighting conditions. Extensive experiments show that VTSyn outperforms existing models in temporal, frequency, and classification performance, enhancing AV safety through proactive tactile perception.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
