Beyond Anonymous Captions: Grounding Character Identity in Video Captioning and Question Answering
Télécom SudParis, Institut Polytechnique de Paris(巴黎电信学院,巴黎综合理工学院);Moments Lab Research(Moments Lab 研究院)
本文提出身份感知视频字幕与问答框架,通过自动角色识别与空间锚定,结合LoRA微调,显著提升身份理解,BAC-8B达93.20%准确率。
2026-10-08 cs.CV
Putting Humans in the Image Captioning Loop
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Oldenburg University(奥尔登堡大学)
本文提出在MS COCO预训练图像描述模型中引入用户反馈,通过数据增强、逐步更新与稀疏记忆回放实现个性化适配并缓解灾难性遗忘。
2023-06-06 cs.CL cs.CV
Personalizing Multimodal Large Language Models for Image Captioning: An Experimental Analysis
University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学);IIT-CNR(意大利国家研究委员会信息科学与技术研究所)
本文实验评估GPT-4V、Gemini等多模态LLM在图像描述基准上的零样本与提示学习、前缀微调、LoRA微调表现,发现其零样本能力强但领域适配与泛化难以兼顾。
2024-12-04 cs.AI cs.CL cs.CV
Comparative study of adapting pre-trained models for driving behavior video captioning
University of Tübingen(蒂宾根大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
本研究比较了多种微调和提示方法在自动驾驶视频数据集上适配LLM的效果,全微调在BDD-X上表现良好,部分指标超越基线,并探讨了LoRA和提示工程的局限性。
2026-10-01 cs.CV cs.LG
COPRA: Conditional Parameter Adaptation with Reinforcement Learning for Video Anomaly Detection
Auburn University(奥本大学);Tencent Hunyuan(腾讯文元)
COPRA通过生成输入特定的参数更新,动态适应冻结的VLM,提升视频异常检测的适应性和泛化能力,同时拓展到多选视频问答和密集标注等任务。
2026-05-14 cs.CV
MoColl: Agent-Based Specific and General Model Collaboration for Image Captioning
New Cornerstone Science Laboratory(新基石科学实验室)
本文提出智能体增强的模型协作框架MoColl,通过将图像描述任务分解为问答子任务,结合可训练VQA模型与基于LLM的智能体,有效整合特定领域与通用知识,显著提升了放射学报告生成质量。
2025-01-27 cs.AI cs.CV
Mitigating Image Captioning Hallucinations in Vision-Language Models
Department of Computer Science, The University of Alabama at Birmingham(亚拉巴马大学伯明翰分校计算机科学系);Department of Computer Science, University of Waterloo(滑铁卢大学计算机科学系)
针对 VLM 图像描述幻觉,本文提出仅更新语言模型层归一化少量参数的强化学习测试时适应框架,并用 CLIP 评估模型提供双重奖励,在 LLaVA 与 InstructBLIP 上显著降低幻觉率。
2025-05-11 cs.CV cs.MM
MonoIR-RS: Infrared Remote Sensing Vision-Language Learning with CLIP and VLM Adaptation
China University of Petroleum-Beijing at Karamay(中国石油大学(北京)克拉玛依校区);Guizhou University(贵州大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);Shanghai Jiao Tong University(上海交通大学)
研究针对红外视觉语言理解未充分探索的问题,提出MonoIR-RS数据集及基准,结合多种方法构建并微调模型,提升红外遥感视觉语言学习性能,为红外与语言对齐提供可控测试平台。
2026-07-08 cs.CV
Lightweight Adaptation of General-Purpose VLMs for Multispectral and SAR Image Understanding
Zhejiang University(浙江大学);Zhejiang Lab(之江实验室)
本文提出通过渲染多光谱与SAR输入视图并采用LoRA轻量适配,将通用VLMs迁移至多光谱和SAR图像理解任务,在土地覆盖识别等任务上取得良好效果,且可跨架构与数据集迁移。
2026-09-03 cs.CV
p-Laplacian Adaptation for Generative Pre-trained Vision-Language Models
The Chinese University of Hong Kong(香港中文大学)
该研究将VLM注意力后适配器调优重构为图消息传递过程,针对异配图问题提出基于p-Laplacian的p-adapter架构,在多类VLM和多模态任务上验证了其优于其他参数高效迁移学习方法的性能。
2023-12-17 cs.CV
An Open-Source Software Toolkit & Benchmark Suite for the Evaluation and Adaptation of Multimodal Action Models
Metarch;Manifold Research;Georgia Institute of Technology(佐治亚理工学院)
针对多模态动作模型评估适配需求,研究推出开源的MultiNet基准与软件生态,含标准化评估协议、超1.3万亿token复合数据集,已用于VLA泛化局限性研究。
2025-06-17 cs.CV cs.LG
MAPL: Parameter-Efficient Adaptation of Unimodal Pre-Trained Models for Vision-Language Few-Shot Prompting
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);ServiceNow Research(ServiceNow研究院);DeepMind(深度思维);Samsung - SAIT AI Lab(三星-三星先进技术研究院人工智能实验室)
大型预训练模型已被证明是显着的零和(基于阈值的)Few-Shot学习者在单峰视觉和语言任务。我们提出了MAPL,这是一种简单且参数高效的方法,可以重用冻结的预训练单峰模型,并在多模态视觉语言(VL)设置中利用其强大的泛化能力。MAPL使用对齐的图像-文本数据学习单峰模型的表示空间之间的轻量级映射,并且可以从几个上下文示例中概括到看不见的VL任务。少量的可训练参数使MAPL在低数据和域内学习中有效。此外,MAPL的模块化可以轻松扩展到其他预训练模型。在几个视觉问答和图像描述基准上的大量实验表明,与类似方法相比,MAPL在训练数量级更少的参数时实现了更好的或有竞争力的性能。MAPL可以在几个小时内使用适度的计算资源和公共数据集进行训练。我们在https://github.com/mair-lab/mapl上发布了我们的代码和预训练的模型权重。
2023-03-15 cs.AI cs.CL cs.CV
Diversified in-domain synthesis with efficient fine-tuning for few-shot classification
University of Trento(特伦托大学);University of Pisa(比萨大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
本文提出DISEF,通过语义引导的多样化域内文本到图像合成,并用LoRA联合微调视觉语言模型的图文编码器,在十个少样本分类基准上达到新SOTA。
2023-12-07 cs.CV
CoCa: Contrastive Captioners are Image-Text Foundation Models
Google Research(谷歌研究院)
探索大规模预训练的基础模型在计算机视觉中具有重要意义,因为这些模型可以快速转移到许多下游任务中。本文介绍了对比字幕(CoCa),一个极简的设计,预训练图像-文本编码器-解码器基础模型联合对比损失和字幕损失,从而包含模型功能的对比方法,如CLIP和生成方法,如SimVLM。与标准的编码器-解码器Transformers(其中所有解码器层都参与编码器输出)相比,CoCa省略了解码器层的前半部分中的交叉关注以编码单峰文本表示,并级联了交叉关注图像编码器的剩余解码器层以用于多模态图像-文本表示。我们应用单峰图像和文本嵌入之间的对比损失,除了多模态解码器输出的字幕损失,预测文本令牌自回归。通过共享相同的计算图,这两个训练目标以最小的开销有效地计算。CoCa通过将所有标签简单地视为文本,对网络规模的替代文本数据和注释图像进行端到端的预训练,无缝统一自然语言监督以进行表示学习。从经验上讲,CoCa通过zero-shot传输或对广泛的下游任务的最小任务特定适应实现了最先进的性能,包括视觉识别(ImageNet,Kinetics-400/600/700,Moments-in-Time),跨模态检索(MSCOCO,Flickr 30 K,MSR-VTT),多模态理解(VQA,SNLI-VE,NLVR 2)和图像描述(MSCOCO,NoCaps)。值得注意的是,在ImageNet分类上,CoCa获得了8…
2022-06-14 cs.CV cs.LG cs.MM
Test-Time Adaptation with CLIP Reward for Zero-Shot Generalization in Vision-Language Models
University of Technology Sydney(悉尼科技大学);Zhejiang University(浙江大学);Stanford University(斯坦福大学);Baidu Inc.(百度公司)
本文提出基于CLIP反馈的强化学习框架RLCF,在测试时利用CLIP奖励纠正视觉-语言模型输出,提升其在分类、检索和图像描述等任务上的零样本泛化能力。
2024-02-21 cs.CV cs.MM
Frames2LoRA: Parametric Video Internalization for Vision-Language Models
University of Maryland, College Park(马里兰大学学院公园分校)
提出Video2LoRA方法,通过感知器超网络从视频编码中直接生成LoRA适配器,实现零视觉令牌的视频查询,在保持性能的同时大幅降低计算成本。
2026-06-11 cs.CL cs.CV
Efficient Few-Shot Continual Learning in Vision-Language Models
University of Cambridge(剑桥大学)
本文提出 LoRSU 方法,通过结构化低秩更新选择性调整视觉-语言模型中的图像编码器,在少样本持续学习场景下将计算开销降低超 25 倍且保持性能。
2025-02-07 cs.AI cs.CV
Zero-Shot Captioning for Cultural Heritage: Automated Image Analysis of Traditional Indonesian Clothing
University of Technology, Sydney(悉尼大学)
提出Custom ZeroCLIP框架,利用检索增强的视觉-语言模型,在零样本设置下为印度尼西亚传统服装生成描述,在8个未见省份上取得优于基线的性能。
2026-06-12 cs.CV
OLIVE: Object Level In-Context Visual Embeddings
University of Wisconsin, Madison(威斯康星大学麦迪逊分校)
提出OLIVE方法,用上下文视觉对象向量提示大模型实现可控对象级推理,加速训练并支持区域级检索的零样本泛化。
2024-06-02 cs.AI cs.CV
Script-a-Video: Deep Structured Audio-visual Captions via Factorized Streams and Relational Grounding
Tencent Hunyuan Team(腾讯文言团队)
本文提出MTSS框架,通过因子化流和关系 grounding 解决视频描述中信息耦合问题,提升视频理解与生成性能,实验显示在多个基准测试中均取得显著改进。
2026-04-15 cs.CV
Unifying Vision-Language Latents for Zero-label Image Caption Enhancement
LG Electronics USA(LG电子美国公司)
提出ViZer框架,通过主动对齐视觉与语言表示特征,实现无需标签的图像描述增强,在SmolVLM-Base和Qwen2-VL上生成更准确、更丰富的描述。
2025-10-14 cs.CL cs.CV
PixFoundation 2.0: Do Video Multi-Modal LLMs Use Motion in Visual Grounding?
本研究针对现有视频视觉定位基准依赖静态线索的问题,提出四种运动探测技术与MoCentric-Bench基准,验证视频MLLMs的运动推理能力,同时建立强单图像基线并提出适配技术实现该基准的SOTA性能。
2026-10-27 cs.CV
UGC-VideoCaptioner: An Omni UGC Video Detail Caption Model and New Benchmarks
University of Bristol(布里斯托大学);Memories.ai Research(Memories.ai研究)
针对现有视频描述基准和模型重视觉轻音频、缺乏全模态数据与高效模型的问题,提出UGC-VideoCap全模态UGC视频描述基准及3B参数的UGC-VideoCaptioner模型,通过两阶段训练实现有限数据下的高效适配与高性能表现。
2025-10-05 cs.CV
DeCap: Decoding CLIP Latents for Zero-Shot Captioning via Text-Only Training
Zhejiang University(浙江大学);ByteDance Inc.(字节跳动公司)
大规模预训练的多模态模型(例如,CLIP)在许多辨别性任务中表现出很强的zero-shot传递能力。它们对zero-shot图像条件文本生成任务的适应性引起了越来越多的兴趣。现有技术通过利用现有的大语言模型(例如,GPT-2)或以端到端的方式预训练编码器-解码器网络。在这项工作中,我们提出了一个简单的框架,名为DeCap,为zero-shot字幕。我们介绍了一个轻量级的视觉感知语言解码器。该解码器具有数据效率和计算效率:1)它只需要文本数据进行训练,减轻了配对数据收集的负担。2)它不需要端到端的培训。当使用纯文本数据进行训练时,解码器将从现成的CLIP编码器中提取的文本嵌入作为前缀嵌入。挑战在于解码器是在文本语料库上训练的,但在推理阶段,它需要基于视觉输入生成标题。多模态对比模型中普遍存在的模态间隙问题使得我们不能直接将视觉嵌入作为前缀嵌入。我们提出了一种免训练的机制来减少模态差距。我们将视觉嵌入投影到CLIP文本嵌入空间中,而投影嵌入保留了视觉输入的信息。将投影嵌入作为前缀嵌入,解码器生成与视觉输入匹配的高质量描述。实验结果表明,在典型的图像描述字幕基准上,DeCap的字幕效果优于其他zero-shot字幕方法和非配对字幕方法,MSCOCO和NoCaps。
2023-03-06 cs.AI cs.CL cs.CV
Pretrained Image-Text Models are Secretly Video Captioners
Dartmouth College(达特茅斯学院)
本文提出仅用6,000个视频-文本对后训练 BLIP2 并简单拼接帧,将图像字幕模型转化为高性能视频字幕器,在多个基准上达到顶级排名。
2025-02-19 cs.CV cs.LG
Enhancing Multimodal LLM for Detailed and Accurate Video Captioning using Multi-Round Preference Optimization
Tsinghua University(清华大学);University of Cambridge(剑桥大学);ByteDance(字节跳动)
本文提出 video-SALMONN 2 视听大模型,通过多轮 DPO(mrDPO)与重生微调技术显著提升视频字幕准确性与完整性,仅 70 亿参数即超越 GPT-4o 等模型,并保持问答能力。
2024-10-11 cs.CL cs.CV eess.IV
Actively Seeking and Learning from Live Data
Australian Institute for Machine Learning(澳大利亚机器学习研究所);The University of Adelaide(阿德莱德大学)
传统机器学习方法的一个关键限制是它们需要训练数据来概括所有要学习的信息。这对于视觉问答方法是一个特殊的问题,视觉问答方法可以被问到几乎任何问题。我们提出的方法是一个步骤,通过搜索测试时所需的信息来克服这一限制。所得到的方法动态地利用来自外部源的数据,例如大量的问题/答案或图像/标题。具体地说,我们为一个简单的VQA模型学习了一组基本权重,这些权重专门适用于给定的问题,并专门为该问题检索到信息。适应过程利用了基于梯度的Meta学习的最新进展以及对高效检索和跨领域自适应的贡献。我们超越了VQA-CP v2基准测试的最新技术水平,并证明了我们的方法在本质上对分布外的测试数据更强大。我们演示了使用MS COCO字幕数据集来支持回答过程的外部非VQA数据的使用。这种方法为与不同数据源接口的开放域VQA系统开辟了一条新途径。
2019-04-05 cs.CV
Prompt Switch: Efficient CLIP Adaptation for Text-Video Retrieval
University of Adelaide(阿德莱德大学);Alibaba Group(阿里巴巴集团);University of Bath(巴斯大学)
本文提出Prompt Switch,通过可在CLIP图像编码器层间切换的时空Prompt Cube和辅助视频字幕目标,离线学习语义增强的视频表示,在MSR-VTT、MSVD和LSMDC上达到SOTA。
2023-08-15 cs.CV
Text-driven Adaptation of Foundation Models for Few-shot Surgical Workflow Analysis
ICube, University of Strasbourg, CNRS(斯特拉斯堡大学ICube实验室、法国国家科学研究中心);IHU Strasbourg(斯特拉斯堡大学医院研究所);CAMP, Technische Universität München(慕尼黑工业大学CAMP实验室)
本文提出 Surg-FTDA 框架,通过少样本模态对齐与纯文本驱动解码器训练,在极少配对数据下有效解决手术工作流分析的多下游任务,并显著缓解模态鸿沟。
2025-03-03 cs.AI cs.CV
Tell me what you see: A zero-shot action recognition method based on natural language descriptions
Federal Institute of Paraná(巴拉那联邦理工学院);Federal University of Paraná(巴拉那联邦大学);University of Campinas(坎皮纳斯大学)
本文提出一种基于自然语言描述的零样本动作识别方法,通过视频描述生成和搜索引擎文档提取构建视频与标签的句子表示,并利用预训练BERT嵌入器构建共享语义空间进行最近邻分类,在UCF101和HMDB51数据集上取得优异结果。
2023-09-11 cs.CV
Adapting Multimodal Foundation Models for Few-Shot Learning: A Comprehensive Study on Contrastive Captioners
Department of Computer Science and Engineering, University of Moratuwa, Sri Lanka(计算机科学与工程系,穆塔瓦大学,斯里兰卡)
本文研究了如何通过对比captioners适应少样本学习,探讨了参数高效微调策略及生成-对比基础模型的高效适应方法。
2025-12-14 cs.AI cs.CV
RadTex: Learning Efficient Radiograph Representations from Text Reports
MIT Lincoln Laboratory(麻省理工学院林肯实验室);Massachusetts Institute of Technology(麻省理工学院);Beth Israel Deaconess Medical Center(贝斯以色列女执事医疗中心);Harvard Medical School(哈佛医学院)
本文提出RadTex框架,利用放射学报告进行图像描述预训练,在有限标注数据下提升胸部X光片分类性能,较ImageNet和域内监督预训练表现更优。
2023-04-07 cs.CV
Test-Time Zero-Shot Temporal Action Localization
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
针对现有零样本时序动作定位方法依赖标注训练数据、存在域偏差的问题,提出T3AL测试时自适应方法,通过三步流程适配预训练VLM,在两个基准数据集上性能显著优于现有零样本基线。
2024-04-11 cs.CV
SolarWM: Open Data and Scalable Training for Long-Horizon Video World Models
CUHK-SZ(香港中文大学(深圳));SLAI(深圳先进人工智能研究院);NUS(新加坡国立大学);CUHK(香港中文大学);HKUST(香港科技大学);HKUST-GZ(香港科技大学(广州));NVIDIA(英伟达公司);UCLA(加利福尼亚大学洛杉矶分校);MSRA(微软亚洲研究院)
SolarWM是面向长时序视频世界模型的开放基础框架,通过多源数据引擎与适配框架实现异构数据训练,实例化多款5B至33B模型,仅用5秒序列训练即可支持长时序实时交互,为相关研究提供可复扩展的基础。
2026-09-03 cs.CV
Frozen in Time: A Joint Video and Image Encoder for End-to-End Retrieval
University of Oxford(牛津大学);Google Research(谷歌研究院);École des Ponts(巴黎桥路学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心)
我们在这项工作中的目标是视频文本检索-特别是联合嵌入,使有效的文本到视频检索。该领域的挑战包括视觉架构的设计和训练数据的性质,因为可用的大规模视频-文本训练数据集(例如HowTo 100 M)是嘈杂的,因此只有通过大量计算才能在规模上实现有竞争力的性能。我们在本文中解决这两个挑战。我们提出了一个端到端的可训练模型,该模型旨在利用大规模图像和视频描述数据集。我们的模型是最近的ViT和Timesformer架构的适应和扩展,包括在空间和时间的注意。该模型是灵活的,可以在图像和视频文本数据集上单独或联合训练。它使用课程学习时间表进行训练,该时间表首先将图像视为视频的“冻结”快照,然后在视频数据集上进行训练时逐渐学会关注增加的时间上下文。我们还提供了一个新的视频-文本预训练数据集WebVid-2 M,由从互联网上抓取的200多万个带有弱字幕的视频组成。尽管在小一个数量级的数据集上进行了训练,但我们表明,这种方法在标准的下游视频检索基准测试(包括MSR-VTT,MSVD,DiDeMo和LSMDC)上产生了最先进的结果。
2022-05-13 cs.CV
LLaMo: Scaling Pretrained Language Models for Unified Motion Understanding and Generation with Continuous Autoregressive Tokens
Brown University(布朗大学);Meta
LLaMo通过模态特定的Transformer混合架构扩展预训练语言模型,解决运动-语言生成和理解的统一问题,实现高保真文本到运动生成和运动到文本描述。
2026-04-16 cs.CV
Training-Free Synthetic Data Generation with Dual IP-Adapter Guidance
LIX, École Polytechnique, IP Paris, CNRS(LIX,巴黎高等师范学院,IP巴黎,法国国家科学研究中心);LIGM École des Ponts, IP Paris, CNRS, UGE DIPSY(LIGM 巴黎综合理工学院,IP巴黎,法国国家科学研究中心,UGE DIPSY)
本文提出DIPSY,一种利用双重IP-Adapter引导的免训练合成数据生成方法,通过正负图像条件独立控制与类别相似性采样,在少样本图像分类中达到最先进性能。
2025-09-26 cs.CV cs.LG
MaMMUT: A Simple Architecture for Joint Learning for MultiModal Tasks
Google Research(谷歌研究院)
本文提出MaMMUT,一种基于仅解码器架构的简单多模态模型,通过文本解码器上的双遍方法联合学习对比式与生成式任务,在图像-文本检索、视频问答、开放词汇检测等任务上以适中容量达到最先进水平。
2023-08-09 cs.CL cs.CV cs.LG