OmniEncoder: See, Hear, and Feel Continuous Motion Like Humans With One Encoder
OmniEncoder: 通过一个编码器实现如同人类般连续的视觉、听觉与触觉感知
机构 * Tongyi Lab Alibaba Group(阿里巴巴集团通义实验室) ; Shenzhen University of Advanced Technology(深圳先进技术大学)
AI总结 OmniEncoder通过统一的Transformer架构,在共享潜在空间中对视觉和音频信号以25fps对称嵌入,解决多模态解耦与计算效率问题,提升连续视觉理解任务性能。