QG-VTC: Question-Guided Visual Token Compression in MLLMs for Efficient VQA
BeiJing JiaoTong University(北京交通大学);Institute of Automation of Chinese Academy of Sciences(中国科学院自动化研究所)
针对MLLM在VQA中视觉Token冗余导致计算开销大的问题,提出QG-VTC方法,通过问题引导的渐进式视觉Token压缩,仅用1/8的Token即达到与未压缩模型相当的性能。
2025-04-01 cs.CV
ETC: Extreme Token Compression via Task-aware Visual Information Distillation in VLMs
School of Remote Sensing and Information Engineering, Wuhan University(武汉大学遥感与信息工程学院)
提出ETC框架,基于变分信息蒸馏原理,在减少输入令牌数量时最小化任务损失,通过文本-图像交叉注意力加权视觉特征并引入变分信息蒸馏,实现单令牌压缩下仍保持强任务性能。
2026-07-24 cs.CV
Probing Inter-modality: Visual Parsing with Self-Attention for Vision-Language Pre-training
University of Science and Technology of China(中国科学技术大学);Sun Yat-sen University(中山大学);Microsoft Research(微软研究院);University of Rochester(罗切斯特大学)
视觉语言预训练(VLP)旨在从图像-文本对中学习多模态表示,并以微调的方式为下游视觉语言任务服务。主流的VLP模型采用CNN-Transformer架构,它用CNN嵌入图像,然后用Transformer对齐图像和文本。视觉内容之间的视觉关系在图像理解中起着重要的作用,是进行通道间对齐学习的基础。然而,由于局部感受野在建模远程依赖性方面的弱点,CNN在视觉关系学习方面存在局限性。因此,学习视觉关系和模态间对齐这两个目标被封装在同一个Transformer网络中。这样的设计可能会限制Transformer中的模态间对齐学习,忽略了每个目标的专用特性。为了解决这个问题,我们提出了一个完整的Transformer视觉嵌入VLP更好地学习视觉关系,并进一步促进跨模态对齐。具体来说,我们提出了一个名为通道间流(IMF)的指标来衡量视觉和语言通道之间的相互作用(即,模态间)。我们还在Transformer中设计了一种新的掩蔽优化机制--掩蔽特征回归(Masked Feature Regression,MFR),以进一步促进通道间学习。据我们所知,这是第一项研究,探讨Transformer的视觉特征学习VLP的好处。我们验证了我们的方法在广泛的视觉语言任务,包括图像文本检索,视觉问答(VQA),视觉蕴涵和视觉推理。我们的方法不仅优于最先进的VLP性能,而且还显示出对IMF指标的好处。
2021-11-09 cs.CV
PVC: Progressive Visual Token Compression for Unified Image and Video Processing in Large Vision-Language Models
Tsinghua University(清华大学);OpenGVLab(开放通用实验室);Shanghai AI Laboratory(上海人工智能实验室);SenseTime Research(商汤科技研究院);Nanjing University(南京大学);The Chinese University of Hong Kong(香港中文大学)
针对现有大视觉语言模型图像视频token压缩策略不统一的问题,提出渐进式视觉Token压缩(PVC)方法,通过将图像转为静态视频、逐帧渐进编码补全信息,在低token量下同时实现视频理解SOTA与图像任务无性能损失。
2024-12-12 cs.CV
MedARC: Training-Free Adaptive Redundancy Compression of Visual Tokens for 3D Medical Vision-Language Models
针对3D医学VLMs的视觉令牌冗余压缩问题,本文提出无训练框架MedARC,整合三类线索估计令牌重要性,通过显著性感知合并策略压缩令牌,在CT-RATE和MR-RATE上实现性能保持的同时降低开销。
2026-07-30 cs.CV
VisionSelector: End-to-End Learnable Visual Token Compression for Efficient Multimodal LLMs
University of Science and Technology of China(中国科学技术大学);ZTE Corporation(中兴通讯股份有限公司)
针对多模态大语言模型的视觉令牌压缩瓶颈,提出端到端可学习的VisionSelector框架,通过可微Top-K与课程退火策略实现高效自适应令牌选择,在压缩时保持优异性能并提升预填充速度。
2026-08-11 cs.CV
FlashSloth: Lightning Multimodal Large Language Models via Embedded Visual Compression
Xiamen University(厦门大学);Shanghai AI Laboratory(上海人工智能实验室);Tencent(腾讯);OpenGVLab(开放视觉实验室)
针对多模态大语言模型响应慢的问题,本文提出FlashSloth微型模型,通过嵌入式视觉压缩设计在减少视觉token冗余的同时保留关键信息,相比现有微型模型,在保持高性能的同时大幅降低视觉token数量、训练内存和计算复杂度。
2024-12-05 cs.CV
Mixing Importance with Diversity: Joint Optimization for KV Cache Compression in Large Vision-Language Models
EPIC Lab, Shanghai Jiao Tong University(上海交通大学);Sichuan University(四川大学);Huazhong University of Science and Technology(华中科技大学)
MixKV通过融合重要性与多样性,优化KV缓存压缩,提升多模态模型的存储效率与推理性能。
2026-01-28 cs.CV
CodeShrink: Adaptive Visual Compression for Efficient Multimodal Code Understanding
CodeShrink是含无空白渲染、自适应压缩配置、主导令牌选择的自适应视觉压缩框架,可减少代码理解的视觉令牌用量,在三类代码任务上优于基线。
2026-08-03 cs.CV cs.SE
Can Vision-Language Models Handle Long-Context Code? An Empirical Study on Visual Compression
Zhejiang University(浙江大学);Hangzhou City University(杭州市大学);Shenzhou Aerospace Software Technology Company Limited(神州航天软件技术有限公司)
本文提出LongCodeOCR,通过视觉压缩替代文本压缩,提升长上下文代码任务的性能与效率,同时揭示了视觉压缩在全局依赖支持与保真度之间的权衡。
2026-01-31 cs.CV cs.SE
Improving Cross-Modal Understanding in Visual Dialog via Contrastive Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
可视化对话是一项具有挑战性的视觉语言任务,因为可视化对话代理需要在对图像内容和对话历史进行推理后回答一系列问题。虽然现有的方法试图处理视觉对话中的跨模态理解,但它们仍然不足以基于对视觉和文本上下文的理解来对候选答案进行排序。本文基于视觉语言预训练模型VD-BERT,分析了视觉对话中的跨模态理解问题,提出了一种新的提高视觉对话跨模态理解的方法ICMU。ICMU通过基于四向对比学习区分不同的拉取输入(即拉取图像、问题或答案)来增强跨模态理解。此外,ICMU利用单轮视觉问答来增强视觉对话模型的跨模态理解,以处理多轮视觉接地对话。实验结果表明,该方法提高了可视化对话模型的跨模态理解能力,在VisDial数据集上取得了满意的效果。
2022-04-15 cs.CL cs.CV
Bridging Modality Gap for Visual Grounding with Effecitve Cross-modal Distillation
Peking University(北京大学)
本文提出EpmVG框架,通过跨模态蒸馏机制将多模态预训练模型中的图文一致性信息引入视觉定位任务,以弥合单模态骨干网络之间的领域差距,并在五个数据集上验证了其优于现有方法的性能。
2024-07-06 cs.AI cs.CV
FCoT-VL:Advancing Text-oriented Large Vision-Language Models with Efficient Visual Token Compression
University of Science and Technology of China(中国科学技术大学)
本文提出FCoT-VL框架,通过轻量自蒸馏预训练和高质量后训练压缩视觉令牌,在保持性能的同时降低计算开销,并在面向文本基准上超越基线。
2025-02-22 cs.AI cs.CV
Dynamic Fusion with Intra- and Inter- Modality Attention Flow for Visual Question Answering
The Chinese University of Hong Kong(香港中文大学);Singapore Management University(新加坡管理大学);NLPR, CASIA(中国科学院自动化研究所模式识别国家重点实验室);Tsinghua University(清华大学)
学习多模态特征的有效融合是视觉问答的核心。我们提出了一种新的方法,动态融合多模态功能与内部和模态间的信息流,交替通过动态信息之间和跨视觉和语言模态。该方法能够鲁棒地捕捉语言域和视觉域之间的高层交互,从而显著提高视觉问答的性能。我们还表明,建议的动态模态内的注意力流的条件下,其他模态可以动态调制的目标模态,这是至关重要的多模态特征融合的模态内的注意。VQA 2.0数据集上的实验结果表明,该方法达到了最先进的VQA性能。广泛的消融研究进行了全面的分析所提出的方法。
2019-08-23 cs.CV eess.IV
DualComp: End-to-End Learning of a Unified Dual-Modality Lossless Compressor
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University(图像通信与网络工程研究所,上海交通大学);Ant Group(蚂蚁集团)
针对多模态数据压缩需独立模型且缺乏灵活性的问题,提出统一轻量级双模态无损压缩器DualComp,通过模态统一分词、模态切换上下文学习及模态路由专家混合等结构增强,以少量参数达到与SOTA LLM方法相当的压缩性能,并实现CPU近实时推理。
2025-05-22 cs.AI cs.CV cs.MM
On the Adversarial Robustness of Large Vision-Language Models under Visual Token Compression
The Hong Kong Polytechnic University, Hong Kong(香港理工大学);Nanyang Technological University, Singapore(南洋理工大学);Chongqing University, Chongqing, China(重庆大学);Research Centre for Privacy and Security Technologies in Future Smart Systems, PolyU(未来智能系统中的隐私与安全技术研究中心)
本文研究了视觉标记压缩对大型视觉-语言模型对抗鲁棒性的影响,提出CAGE攻击方法,通过优化与压缩推理对齐,揭示压缩机制下的鲁棒性漏洞。
2026-05-17 cs.AI cs.CR cs.CV
LensVLM: Selective Context Expansion for Compressed Visual Representation of Text
Apple(苹果公司);Duke University(杜克大学)
LensVLM通过选择性上下文扩展提升压缩视觉表示的准确性,在4.3倍压缩下表现优异,且在多模态任务中表现更佳。
2026-10-12 cs.AI cs.CV
SEER: Long-Context Reasoning via Selective Visual-Text Compression
The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Cambridge(剑桥大学);University of Technology Sydney(悉尼科技大学);The University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
SEER是结合视觉压缩效率与文本推理精度的框架,经监督微调后在LongBench等长上下文基准测试中,准确率优于Glyph-9B、Qwen3-8B等基线模型,可提升提取精度并保留提示token节省量。
2026-08-18 cs.CL cs.CV
InternVL-X: Advancing and Accelerating InternVL Series with Efficient Visual Token Compression
Baidu Inc.(百度公司);Xidian University(西安电子科技大学);University of Chinese Academy of Sciences(中国科学院大学)
InternVL-X通过PVTC、LVTC和RVTC三种视觉令牌压缩方法,在减少计算资源的同时提升性能,以20%或更少的令牌在7个基准上达到最先进水平,平均指标提升2.34%。
2025-03-27 cs.AI cs.CV
AirCache: Activating Inter-modal Relevancy KV Cache Compression for Efficient Large Vision-Language Model Inference
Alibaba Group(阿里巴巴集团)
本文提出AirCache,通过模态间相关性评估视觉KV缓存重要性并自适应分配逐层预算,在仅保留10%视觉缓存时保持性能,并将解码延迟降低29%至66%。
2025-07-23 cs.AI cs.CV
Beyond Selection: Token Parameterization for Extreme Visual Token Compression
Zhejiang University(浙江大学)
本文提出令牌参数化视角,设计轻量级四步编码器Braco,在极端压缩下实现高准确率与高效率,显著降低延迟和计算量。
2026-09-30 cs.CV cs.LG
Task-Aware Structured Memory for Dynamic Multi-modal In-Context Learning
Zhihui Chen(陈志辉);Ziwei Chen(陈子伟);Ling Shao(邵令)
提出TASM框架,通过任务向量引导压缩、语义感知令牌合并和层次化记忆结构,解决多模态大语言模型上下文学习中记忆压缩导致的语义破坏和静态问题。
2026-06-11 cs.AI cs.CV
Visual Text Compression as Measure Transport
University of Alberta(阿尔伯塔大学);vivo Mobile Communication Co., Ltd(vivo移动通信有限公司);Tsinghua University(清华大学)
本文通过度量传输理论分析视觉文本压缩,提出无标签路由准则和传输感知聚焦机制,提升压缩效率并优化下游任务表现。
2026-10-20 cs.AI cs.CV
A Systematic Study of Cross-Modal Typographic Attacks on Audio-Visual Reasoning
Boston University(波士顿大学)
本文研究多模态字体攻击对多模态大语言模型的影响,发现跨模态攻击比单模态攻击更有效,揭示了多模态推理中的关键安全漏洞。
2026-10-12 cs.CV cs.SD
Towards Lossless Ultimate Vision Token Compression for VLMs
Huawei Noah’s Ark Lab(华为诺亚实验室)
本文提出LUVC框架,通过正交空间轴的迭代合并和频谱修剪单元,实现视觉语言模型中视觉标记的无损压缩,提升推理速度并保持精度。
2025-12-09 cs.AI cs.CV
Learning Trimodal Relation for Audio-Visual Question Answering with Missing Modality
Kyung Hee University(庆熙大学);Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
针对视听问答中模态缺失导致性能下降的问题,提出RMM生成器和AVR扩散模型,通过关系感知与共享线索增强模态特征,实现模态缺失下的稳健问答。
2024-07-23 cs.AI cs.CV cs.MM
Structural Anchor Pruning: Training-Free Multi-Vector Compression for Visual Document Retrieval
Aalto University(阿alto大学)
本文提出结构锚点剪枝(SAP),一种无需训练的多向量压缩方法,通过保留评分、指导窗口选择和视觉入度中心性评分三个组件,在不进行模型参数调整的情况下,实现了超过90%的视觉token剪枝同时保持NDCG@5超过90%的性能。
2026-09-01 cs.CL cs.CV cs.IR
VL-Cache: Sparsity and Modality-Aware KV Cache Compression for Vision-Language Model Inference Acceleration
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Amazon(亚马逊);AWS AI
针对现有KV缓存压缩方法直接迁移到视觉-语言模型效果不佳的问题,提出兼具稀疏性与模态感知的VL-Cache压缩方案,在仅保留10%缓存的情况下保持精度,实现显著的推理加速与内存节省。
2024-10-29 cs.AI cs.CL cs.CV
Multi-modality Latent Interaction Network for Visual Question Answering
The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院);Tsinghua University(清华大学)
视觉问答(Visual Question Questioning,VQA)多通道特征的学习,利用视觉区域和问句之间的关系取得了很大的成功。然而,我们认为,现有的方法主要是模型之间的关系,个别视觉区域和单词,这是不够的,以正确地回答这个问题。从人类的角度来看,回答视觉问题需要理解视觉和语言信息的摘要。在本文中,我们提出了多模态潜在交互模块(MLI)来解决这个问题。该模块学习潜在视觉和语言摘要之间的跨模态关系,将视觉区域和问题总结为少量的潜在表示,以避免建模无信息的单个区域-单词关系。潜在摘要之间的跨模态信息被传播以融合来自两种模态的有价值的信息,并用于更新视觉和单词特征。这种MLI模块可以堆叠几个阶段,以模拟两种模式之间的复杂和潜在关系,并在公共VQA基准测试,VQA v2.0和TDIUC上实现极具竞争力的性能。此外,我们表明,我们的方法的性能可以显着提高与预训练的语言模型BERT相结合。
2019-08-10 cs.CV cs.SD eess.AS
LVLM-Compress-Bench: Benchmarking the Broader Impact of Large Vision-Language Model Compression
Intel Labs(英特尔实验室);Georgia Institute of Technology(佐治亚理工学院)
本文提出 LVLM-Compress-Bench 框架,系统评估 KV 缓存和权重量化压缩对大型视觉语言模型在十个多模态数据集上的生成性能及伦理指标的影响,揭示了不同量化预算下模型性能保持与丧失的多样行为。
2025-03-06 cs.AI cs.CL cs.CV
MM-Prompt: Cross-Modal Prompt Tuning for Continual Visual Question Answering
Khoury College of Computer Sciences, Northeastern University(东北大学克劳尔计算机科学学院);New Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别新实验室)
MM-Prompt通过跨模态提示查询与恢复,解决持续视觉问答中的模态不平衡问题,提升准确性与知识保留。
2025-09-11 cs.AI cs.CV cs.LG
AdaCoder: Adaptive Prompt Compression for Programmatic Visual Question Answering
Tokyo Institute of Technology(东京工业大学);National Institute of Informatics(情报学研究所);OMRON SINIC X Corporation(欧姆龙SINIC X公司)
针对视觉程序化模型因需长输入提示提供API细节而效率低的问题,提出自适应提示压缩框架AdaCoder,通过按问题类型生成并选择压缩预提示,在免训练适配黑盒LLM的同时减少71.1%的token长度并提升问答性能。
2024-07-28 cs.AI cs.CV cs.MM
A Better Use of Audio-Visual Cues: Dense Video Captioning with Bi-modal Transformer
Tampere University(坦佩雷大学)
密集视频描述旨在定位和描述未修剪视频中的重要事件。现有的方法主要通过只利用视觉特征来解决这个任务,而完全忽略了音轨。只有少数先前的作品利用了这两种模式,但它们显示出较差的结果或证明了具有特定域的数据集的重要性。在本文中,我们介绍了双模态Transformer,它概括了双模态输入的Transformer架构。我们展示了所提出的模型的有效性与音频和视觉模态的密集视频描述任务,但该模块能够消化任何两种形式的序列到序列的任务。我们还表明,作为双模态Transformer的一部分,预训练的双模态编码器可以用作简单提案生成模块的特征提取器。该性能在具有挑战性的ActivityNet Captions数据集上得到了证明,我们的模型在该数据集上实现了出色的性能。代码可在以下网址获得:v-iashin.github.io/bmt
2020-08-11 cs.CL cs.CV cs.LG
OmniScope: Modality-Decoupled Token Compression for Omnimodal Large Language Models
Media Analytics and Computing Lab, Xiamen University(厦门大学媒体分析与计算实验室);Institute of Artificial Intelligence, Xiamen University(厦门大学人工智能研究所);Alibaba Group(阿里巴巴集团)
研究针对全模态大语言模型令牌压缩问题,提出无需训练的OmniScope框架,以查询为语义锚点分别估计音频和视频相关性,分配特定模态预算并采用相应策略处理,在多基准和模型规模上效果佳,实现加速和内存减少,提出跨模态推理设计原则。
2026-08-04 cs.CV
OmniSelect: Dynamic Modality-Aware Token Compression for Efficient Omni-modal Large Language Models
Soochow University(苏州大学);Peking University(北京大学)
本文提出OmniSelect,一种无需训练的模态自适应令牌剪枝框架,通过动态选择压缩策略来提高多模态大语言模型的效率,通过轻量级AudioCLIP模型估计跨模态相关性,并根据相关性得分在不同时间组中进行细粒度令牌剪枝,从而在不增加训练成本的情况下实现高效的多模态令牌压缩。
2026-10-15 cs.CV
OmniPack: Unified Token Compression for Efficient Omni-modal Large Language Models
本文针对全模态大语言模型的高计算开销问题,提出无需训练的OmniPack框架,通过LLM前结构压缩与LLM内语义优化的协作,在5个基准上实现最优性能-效率权衡,在Qwen2.5-Omni-7B上大幅降低计算量且保持高性能。
2026-08-05 cs.CV
UMCL: Unimodal-generated Multimodal Contrastive Learning for Cross-compression-rate Deepfake Detection
National Tsing Hua University(清华大学);National Cheng Kung University(成功大学);National Yang Ming Chiao Tung University(阳明交通大学)
UMCL通过单模生成多模对比学习,提升跨压缩率深度伪造检测的鲁棒性和准确性。
2025-11-24 cs.CV
Selective Complementary Feature Fusion and Modal Feature Compression Interaction for Brain Tumor Segmentation
Engineering Research Center of Learning-Based Intelligent System(学习智能系统教育部工程研究中心);Tianjin University of Technology(天津理工大学)
针对脑胶质瘤分割中跨模态特征融合难、多模态特征冗余交互的问题,提出CFCI-Net,通过SCFF模块和MFCI transformer实现高效特征融合与压缩交互,在BraTS数据集上取得优于SOTA模型的效果。
2025-03-20 cs.CV eess.IV
Analysis of the Effect of Low-Overhead Lossy Image Compression on the Performance of Visual Crowd Counting for Smart City Applications
Aarhus University(奥胡斯大学)
由遍布智慧城市的摄像头捕获的图像和视频帧通常通过网络传输到服务器,由深度神经网络处理以执行各种任务。原始图像的传输,即,在没有任何形式的压缩的情况下,需要高带宽,并且可能导致拥塞问题和传输延迟。有损图像压缩技术的使用会降低图像的质量,导致精度下降。在本文中,我们分析了应用低开销的有损图像压缩方法对视觉人群计数的准确性的影响,并衡量带宽减少和获得的准确性之间的权衡。
2022-07-20 cs.CV
Can Text-to-image Model Assist Multi-modal Learning for Visual Recognition with Visual Modality Missing?
University of Southern California(南加州大学)
本文提出多模态学习框架GTI-MM,利用文本到图像模型生成合成图像填补缺失的视觉模态数据,实验证明该方法有效提升了视觉模态缺失场景下的数据效率与模型鲁棒性。
2024-02-14 cs.CV
Cross Modal Compression: Towards Human-comprehensible Semantic Compression
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学);Information Technology R&D Innovation Center of Peking University(北京大学信息技术创新研发中心)
传统的图像/视频压缩的目标是在尽可能高的信号保真度的情况下降低传输/存储成本。然而,随着近年来对机器分析和语义监控的需求不断增加,语义保真度而不是信号保真度正在成为图像/视频压缩中的另一个新兴问题。随着跨模态转换和生成技术的发展,本文提出了一种基于语义的视觉数据压缩框架--跨模态压缩(CMC),用于对高冗余度的视觉数据(如图像、视频等)进行转换。到一个紧凑的,人类可理解的领域(如文本,草图,语义图,属性等),同时保留语义。具体来说,我们首先制定CMC问题作为一个率失真优化问题。其次,我们研究了传统的图像/视频压缩和最近的特征压缩框架之间的关系,显示我们的CMC和这些以前的框架之间的差异。然后,我们提出了一个新的范式CMC证明其有效性。定性和定量的结果表明,我们提出的CMC可以实现令人鼓舞的重建结果与1/4的压缩比,表现出更好的压缩性能比广泛使用的JPEG基线。
2022-09-06 cs.CV cs.MM eess.IV
Revisit Visual Representation in Analytics Taxonomy: A Compression Perspective
Wangxuan Institute of Computer Technology(王选计算机研究所);Peking University(北京大学)
视觉分析在物联网中发挥着越来越重要的作用,在物联网中,大量的视觉信号必须被压缩并输入机器。但是面对如此大的数据和受限的带宽容量,现有的图像/视频压缩方法导致非常低质量的表示,而现有的特征压缩技术无法支持具有低比特率表示的多样化的视觉分析应用/任务。在本文中,我们提出并研究了新的问题,支持多个机器视觉分析任务与压缩的视觉表示,即信息压缩问题的分析分类。通过利用不同任务之间的内在可移植性,我们的框架成功地构建了紧凑和表达的表示在低比特率,以支持一组多样化的机器视觉任务,包括高级语义相关的任务和中级几何分析任务。为了在表示中施加紧凑性,我们提出了基于码本的超先验,这有助于将表示映射到低维流形。由于该算法能很好地拟合图像的深度视觉特征信号结构,因此能更准确地估计熵,从而提高压缩效率。利用该框架和基于码本的超先验,我们进一步研究了具有不同抽象粒度级别的不同任务特征之间的关系。实验结果表明,与现有的压缩方案相比,与所提出的方案,一组多样化的任务,可以支持在一个显着降低的比特率。
2021-06-16 cs.CV
Compression ensembles quantify aesthetic complexity and the evolution of visual art
Tallinn University(塔林大学);University of Cambridge(剑桥大学);The Alan Turing Institute(阿兰·图灵研究所)
视觉美学和复杂性的量化有着悠久的历史,后者以前通过应用压缩算法来操作。在这里,我们概括和扩展的压缩方法超越简单的复杂性措施,量化算法的距离在历史和当代的视觉媒体。所提出的“集成”方法通过压缩给定输入图像的大量变换版本来工作,从而产生相关联的压缩比的向量。这种方法比其他基于压缩的算法距离更有效,并且特别适合于视觉伪影的定量分析,因为人类的创造性过程可以被理解为最广泛意义上的算法。与使用机器学习的可比图像嵌入方法不同,我们的方法可以通过转换完全解释。我们证明了该方法是认知上合理的,并通过评估它对人类的复杂性判断,以及作者和风格的自动检测任务的目的。我们展示了如何使用这种方法来揭示和量化艺术历史数据的趋势,无论是在几个世纪的规模和快速发展的当代NFT艺术市场。我们进一步量化的时间相似性,以消除歧义的艺术家以外的记录的主流,从那些谁是深深嵌入在时代精神。最后,我们注意到,压缩合奏构成了视觉家族相似性的概念的定量表示,作为不同的维度集对应于共享的视觉特征,否则很难确定。我们的方法为视觉艺术,算法图像分析和定量美学的研究提供了一个新的视角。
2022-05-20 cs.CV
FocusLLaVA: A Coarse-to-Fine Approach for Efficient and Effective Visual Token Compression
Mybank, Ant Group(蚂蚁集团网商银行);Tongji University(同济大学)
FocusLLaVA提出由粗到细的视觉令牌压缩方法,通过视觉引导和文本引导采样器去除冗余并选择与指令相关的令牌,同时提升多模态大语言模型的效率与性能。
2024-11-21 cs.CV
Lossless Compression of Angiogram Foreground with Visual Quality Preservation of Background
Isfahan University of Technology(伊斯法罕理工大学);University of Queensland(昆士兰大学);University of Michigan(密歇根大学)
随着远程医疗信息量的增加,对医学图像压缩的需求变得更加重要。在血管造影图像中,整个图像的一小部分通常属于为诊断提供关键信息的脉管系统。图像的其他部分在诊断上不太重要,可以用更高的压缩比压缩。然而,这些部分的质量也会影响图像的视觉感知。现有的方法使用不同的技术压缩血管造影图像的前景和背景。在本文中,我们首先利用卷积神经网络分割血管,然后提出了一个分层块处理算法,既能够消除背景冗余,并保持血管造影片的整体视觉质量。
2018-02-21 cs.CV
Improving Video Compression With Deep Visual-Attention Models
Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
深度学习的最新进展显着提高了视觉注意力建模的质量。在这项工作中,我们将这些进展应用到视频压缩。我们提出了一种压缩方法,使用显着性模型,自适应压缩帧区域根据其预测的显着性。我们选择了三个国家的最先进的显着性模型,适用于视频压缩,并分析他们的结果。分析包括模型的客观评价以及压缩视频的客观和主观评价。我们的方法,这是基于x264视频编解码器,可以产生视频与普通x264相同的视觉质量,但它减少了25%的比特率根据客观评价和17%根据主观的。此外,主观和客观的评估表明,显着性模型可以与凝视地图的一个单一的观察者。我们的方法可以扩展到大多数视频比特流格式,并可以提高视频压缩质量,而不需要切换到一个新的视频编码标准。
2019-03-19 cs.CV
UniMIC: Towards Universal Multi-modality Perceptual Image Compression
University of Science and Technology of China(中国科学技术大学)
本研究提出通用多模态图像压缩框架UniMIC,通过视觉编解码器库、多粒度文本编码和通用感知补偿器,复用stable diffusion先验,显著提升了多种编解码器在不同比特率下的率-失真-感知优化效果。
2024-12-09 cs.CV eess.IV
Compression Tells Intelligence: Visual Coding, Visual Token Technology, and the Unification
Eastern Institute of Technology, Ningbo(宁波东部技术研究院)
本文探讨了视觉编码与视觉令牌技术的统一,揭示压缩效率与模型性能的权衡,并预测了下一代视觉编解码器和令牌技术的发展。
2026-01-28 cs.CV
Rethinking Visual Token Compression for Video Large Language Models: A Simple Yet Strong Baseline
Central South University(中南大学);SenseTime Research and Tetras.AI(商汤科技研究与Tetras.AI)
本文提出SimpleCluster,一种无需训练的简单基线,通过位置感知跨帧聚类压缩视频视觉令牌,在多个基准上达到与复杂方法相当或更优的性能,并揭示特征空间保留是关键。
2026-09-29 cs.CV
Compressible and Searchable: AI-native Multi-Modal Retrieval System with Learned Image Compression
Sensetime Research(商汤科技研究院)
本文提出融合 LIC 与 CLIP 的 AI 原生多模态检索框架,通过简单适配器兼顾图像压缩效率与语义搜索准确性,并在 Kodak 数据集上验证其优势。
2024-04-16 cs.AI cs.CV cs.IR
Multi-Modality Deep Network for Extreme Learned Image Compression
针对极低码率图像压缩中的模糊与语义丢失问题,提出文本引导的多模态压缩框架,通过图文融合模块和语义一致性损失实现优于高码率SOTA的重建效果。
2023-04-26 cs.CV eess.IV
CMCGAN: A Uniform Framework for Cross-Modal Visual-Audio Mutual Generation
视频和音频是视频的两种共生形式,包含共同和互补的信息。如果它们能够被充分挖掘和融合,相关视频任务的性能可以显着提高。然而,由于环境干扰或传感器故障,有时只有一个模态存在,而另一个模态被放弃或丢失。通过利用它们之间共享的共同信息和特定模态的先验信息,从现有的模态中恢复丢失的模态,将为各种视觉任务带来很大的好处。在本文中,我们提出了一个跨模态循环生成对抗网络(CMCGAN)来处理跨模态的视听交互生成。具体来说,CMCGAN由四种子网组成:音频到视频、视频到音频、音频到音频和视频到视频子网,它们以循环结构组织。CMCGAN有几个显著的优点。首先,CMCGAN通过联合对应的对抗损失将视听交互生成统一到一个公共框架中。其次,通过引入高斯分布的特征向量,CMCGAN可以有效地处理视觉和听觉模态的维数和结构不对称性。第三,CMCGAN可以端到端训练,实现更好的便利性。借鉴CMCGAN,我们开发了一个动态的多模态分类网络来处理模态缺失问题。大量的实验结果表明,CMCGAN获得了最先进的跨模态视听生成结果。实验结果表明,所生成的模态与原始模态具有可比性,证明了该方法的有效性和优越性。
2017-12-09 cs.CV
OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models
School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences(中国科学院大学先进交叉科学学院);Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所中文信息处理实验室);University of Limerick(利默里克大学);CUHK, Shenzhen(香港中文大学(深圳))
研究全模态大语言模型推理成本高的问题,提出无训练的查询引导令牌压缩方法OmniFocus,独立评估音视频重要性,实现模态对称压缩,提升性能。
2026-07-07 cs.AI cs.CV cs.LG
Aggregating Visual Information with Optimal Transport for VideoLM Token Compression
该研究针对视频语言模型的视觉令牌冗余问题,提出AVIOT方法,将视频令牌压缩转化为最优传输问题,沿任务和空间轴调整表示构造,在多基准上实现了与未压缩基线相当或更优的性能,且高压缩率下表现稳定。
2026-08-26 cs.CV