从经典视觉编码视角重新审视多模态大语言模型令牌技术
Revisiting MLLM Token Technology through the Lens of Classical Visual Coding
AI总结：
本文从经典视觉编码视角系统比较MLLM令牌技术，建立统一形式化框架，提炼双向设计启示，并展望未来方向，为高效多模态模型与语义视觉编解码器协同发展铺路。
摘要：
经典视觉编码与多模态大语言模型（MLLM）令牌技术共享同一核心目标——在最小化计算成本的同时最大化信息保真度。因此，本文通过长期发展的视觉编码领域已确立的原则，重新审视MLLM令牌技术，包括令牌化、令牌压缩和令牌推理。从这一视角出发，我们（1）建立了一个统一的形式化框架，将令牌技术与视觉编码连接起来，从而支持系统性的、逐模块的比较分析；（2）综合双向见解，探索视觉编码原则如何提升MLLM令牌技术的效率和鲁棒性，以及反过来，令牌技术范式如何为下一代语义视觉编解码器的设计提供启示；（3）展望有前景的未来研究方向与关键未解决挑战。总之，本研究首次对MLLM令牌与视觉编码进行了全面且结构化的技术比较，为同时实现更高效的多模态模型和更强大的视觉编解码器铺平了道路。
英文摘要：
Classical visual coding and Multimodal Large Language Model (MLLM) token technology share the core objective - maximizing information fidelity while minimizing computational cost. Therefore, this paper reexamines MLLM token technology, including tokenization, token compression, and token reasoning, through the established principles of long-developed visual coding area. From this perspective, we (1) establish a unified formulation bridging token technology and visual coding, enabling a systematic, module-by-module comparative analysis; (2) synthesize bidirectional insights, exploring how visual coding principles can enhance MLLM token techniques' efficiency and robustness, and conversely, how token technology paradigms can inform the design of next-generation semantic visual codecs; (3) prospect for promising future research directions and critical unsolved challenges. In summary, this study presents the first comprehensive and structured technology comparison of MLLM token and visual coding, paving the way for more efficient multimodal models and more powerful visual codecs simultaneously.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
