OmniJigsaw: Enhancing Omni-Modal Reasoning via Modality-Orchestrated Reordering
OmniJigsaw:通过模态协调重排序增强多模态推理
机构 * Zhejiang University(浙江大学) ; Xiaomi Inc.(小米公司)
AI总结 OmniJigsaw通过模态协调重排序任务提升多模态推理能力,采用三重策略实现跨模态整合,并通过两级数据过滤提升模型适应性,验证了其在多模态自监督学习中的有效性。
Comments Project page: https://aim-uofa.github.io/OmniJigsaw/