calibDB: enabling web based computer vision through on-the-fly camera calibration
Fraunhofer IGD(弗劳恩霍夫计算机图形学研究所)
对于许多计算机视觉应用,摄像机校准数据的可用性至关重要,因为整体质量在很大程度上取决于它。虽然通过增强现实(AR)框架(如ARCore和ARKit)在某些设备上可以获得校准数据,但对于大多数摄像机,此信息不可用。因此,我们提出了一个基于Web的校准服务,不仅聚集校准数据,而且还允许校准新的相机上的飞行。我们建立在一个新的相机校准框架,使即使是新手用户可以在大约2分钟内执行精确的相机校准。这使得计算机视觉算法在网络上的一般部署成为可能,而这在以前是不可能的,因为缺乏校准数据。
2019-08-15 cs.CV cs.NI eess.IV
VISION Datasets: A Benchmark for Vision-based InduStrial InspectiON
Apple(苹果公司);Georgia Institute of Technology(佐治亚理工学院);Middle East Technical University(中东技术大学)
针对工业视觉检测中数据不足与复杂生产需求问题,提出含14个数据集、18k图像和44种缺陷类型的VISION基准,提供全分割标注掩码及实例分割,并支持两项挑战赛以推动检测算法发展。
2023-06-18 cs.CV cs.LG
Enabling Pedestrian Safety using Computer Vision Techniques: A Case Study of the 2018 Uber Inc. Self-driving Car Crash
Texas A&M University(德克萨斯农工大学);College Station, TX USA(美国德克萨斯州大学城)
人的生命很重要允许自动驾驶汽车在我们的道路上行驶的决定具有重大意义。这一直是政策制定者、技术专家和公共安全机构之间辩论的热门话题。最近Uber Inc.自动驾驶汽车相撞,导致一名行人死亡,加强了自动驾驶汽车技术尚未准备好在公共道路上部署的论点。在这项工作中,我们分析了优步车祸,并阐明了这个问题,“优步车祸可以避免吗?".我们将最先进的计算机视觉模型应用于这一高度实用的场景。更一般地说,我们的实验结果是各种图像增强和对象识别技术的评估,使行人安全在低照明条件下使用的优步碰撞作为案例研究。
2018-05-30 cs.AI cs.CV
EasyARC: Evaluating Vision Language Models on True Visual Reasoning
ETH Zurich(苏黎世联邦理工学院)
针对现有多模态基准缺乏真实视觉推理的问题,本文提出程序化生成的EasyARC视觉语言基准,支持多步推理与渐进难度,测试前沿模型并分析失效模式,为视觉语言推理评估设立新标准。
2025-06-13 cs.CV cs.LG
OneFocus: Enabling Real-World X-ray Security Screening with a Unified Vision-Language Model
针对X光违禁品检测中新型违禁品适应难和视觉理解不足的问题,提出MMXray数据集和统一视觉语言模型OneFocus,支持问答、定位、分类和图像理解四项核心任务,达到最先进性能。
2026-06-16 cs.CV
Rotational Rectification Network: Enabling Pedestrian Detection for Mobile Vision
Carnegie Mellon University(卡内基梅隆大学);Volvo Construction Equipment(沃尔沃建筑设备)
在大多数行人检测数据集中,通常假设行人将相对于图像坐标系直立。然而,这一假设并不总是适用于许多配备视觉的移动平台,如移动电话、无人机或崎岖地形上的工程车辆。在这些情况下,摄像机的运动可能导致以极端角度捕获行人的图像。当使用标准行人检测器时,这可能导致非常差的行人检测性能。为了解决这个问题,我们提出了一个旋转校正网络(R2 N),可以插入到任何基于CNN的行人(或物体)检测器中,以适应相机旋转的显著变化。旋转校正网络使用2D旋转估计模块,该2D旋转估计模块将旋转信息传递到空间Transformer网络以使图像特征不失真。为了实现鲁棒的旋转估计,我们提出了一个全局极坐标池(GP-Pooling)算子来捕获卷积特征中的旋转移位。通过我们的实验,我们展示了我们的旋转校正网络如何可以用来提高最先进的行人检测器的性能下沉重的图像旋转高达45%
2020-11-03 cs.CV
Enabling Multimodal Generation on CLIP via Vision-Language Knowledge Distillation
Hong Kong University of Science and Technology(香港科技大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
最近的双流架构的大规模视觉语言预训练(VLP)(例如,CLIP)在大量的图像-文本对数据的情况下,在各种多模态对齐任务中显示出了其优越性。尽管取得了成功,但由于文本编码器较弱,所产生的模型无法执行多模态生成任务。为了解决这个问题,我们建议通过视觉语言知识蒸馏(VLKD)用文本预训练语言模型(PLM)来增强双流VLP模型,从而实现多模态生成的能力。与从头开始的预训练相比,VLKD的数据和计算效率非常高。实验结果表明,该模型在开放式视觉问答和图像描述等多模态生成任务上具有较强的zero-shot性能.例如,它在VQAv 2数据集上实现了44.5%的zero-shot精度,超过了之前最先进的zero-shot模型,$7\times$参数更少。此外,原始的文本语言理解和生成能力的PLM保持VLKD后,这使得我们的模型通用的多模态和单峰的任务。
2022-03-30 cs.AI cs.CL cs.CV
MHA2MLA-VLM: Enabling DeepSeek's Economical Multi-Head Latent Attention across Vision-Language Models
DeepSeek
MHA2MLA-VLM通过参数高效的方法将现有视觉-语言模型转换为多头潜在注意力架构,减少缓存足迹并提升推理效率。
2026-01-16 cs.AI cs.CL cs.CV
Enabling Computer Vision Driven Assistive Devices for the Visually Impaired via Micro-architecture Design Exploration
University of Waterloo(滑铁卢大学);Waterloo AI Institute, University of Waterloo(滑铁卢大学滑铁卢人工智能研究所)
最近在目标检测方面的改进已经显示出在以前的解决方案不能实现的任务中提供帮助的潜力。一个特殊领域是为视力障碍者提供的辅助设备。虽然最先进的深度神经网络已被证明可以实现卓越的目标检测性能,但其高计算和内存要求使其成本过高,无法在设备上运行。或者,基于云的操作会导致隐私问题,这两者对潜在用户都没有吸引力。为了解决这些挑战,本研究通过微架构设计探索,研究专门为OLIV创建一个高效的目标检测网络,OLIV是一种用于视障人士对象定位的AI辅助工具。特别是,我们将寻找最佳网络微架构的问题表述为数值优化问题,在该问题中,我们找到了控制MobileNetV 2-SSD网络微架构的超参数集,该超参数集最大化了室内对象的MSCOCO-OLIV数据集的修改后的NetScore目标函数。实验结果表明,这样的微架构设计探索策略导致了一个紧凑的深度神经网络,在准确性、大小和速度之间取得了平衡,使其非常适合于为视障人士实现设备上计算机视觉驱动的辅助设备。
2019-05-20 cs.CV cs.NE
A Survey on Semantic Communication for Vision: Categories, Frameworks, Enabling Techniques, and Applications
James Watt School of Engineering, University of Glasgow(格拉斯哥大学詹姆斯·瓦特工程学院)
本文系统综述了面向视觉数据语义通信(SemCom-Vision)的方法,基于语义量化方案将现有方法分为语义保持、语义扩展和语义精炼三类,并总结了基于机器学习的编解码模型、训练算法及知识利用策略。
2026-05-29 cs.CV eess.IV
Enabling Robust, Real-Time Verification of Vision-Based Navigation through View Synthesis
European Space Agency, ESTEC, The Netherlands(欧洲航天局,ESTEC,荷兰);RWTH Aachen University, Aachen, Germany(亚琛工业大学,德国);École Centrale de Lille, Lille, France(里尔中央理工大学,法国)
本文提出VISY-REVE流程,通过实时视图合成增强稀疏图像数据集以验证视觉导航算法,并引入更适合视图合成的视轴偏差距离度量来提升数据集密度。
2025-07-01 cs.CV cs.RO eess.IV
Enabling Collaborative Video Sensing at the Edge through Convolutional Sharing
Singapore Management University(新加坡管理大学)
虽然深度神经网络(DNN)模型在机器视觉功能方面取得了显着进步,但其高计算复杂性和模型大小对基于AIoT的传感应用的部署构成了巨大的障碍。在本文中,我们提出了一种新的范例,通过该范例,网络中的对等节点可以进行协作,以提高其在人员检测(一个典型的机器视觉任务)上的准确性。所提出的方法不需要对DNN进行重新训练,并且在从协作者提取场景摘要并实时注入参考相机的DNN时,处理延迟最小。早期的结果显示,在基准数据集上,单个合作者的召回率提高了10%。
2020-12-03 cs.CV
Uniform Masking: Enabling MAE Pre-training for Pyramid-based Vision Transformers with Locality
Nanjing University of Science and Technology(南京理工大学);Shanghai AI Laboratory(上海人工智能实验室)
掩码自编码器(MAE)通过优雅的非对称编码器-解码器设计,显著优化了预训练效率和微调精度,引领了视觉自我监督领域的发展趋势。值得注意的是,非对称结构的成功依赖于Vanilla视觉Transformer(ViT)的“全局”性质,其自我注意力机制对离散图像块的任意子集进行推理。然而,目前还不清楚高级的基于金字塔的ViT(例如,PVT,Swin)可以在MAE预训练中采用,因为它们通常在“局部”窗口内引入运算符,使得难以处理部分视觉令牌的随机序列。在本文中,我们提出了统一掩蔽(UM),成功地使MAE预训练基于金字塔的ViT与局部性(简称为“UM-MAE”)。具体地,UM包括从每个$2 \times 2$网格中严格采样$1$随机补丁的均匀采样(US),以及随机地将已经采样的区域的一部分(通常为$25\%$)掩蔽为可学习令牌的二次掩蔽(SM)。US在多个非重叠的局部窗口中保留了等效元素,从而平滑地支持流行的基于金字塔的ViT;而SM则旨在实现更好的可转移视觉表示,因为US降低了阻碍语义学习的像素恢复预任务的难度。我们证明了UM-MAE显著提高了预训练效率(例如,它通过基于Pyramid的ViT的$\sim 2\times$来加速和减少GPU内存,但在下游任务中保持有竞争力的微调性能。例如,使用HTC++检测器,仅在ImageNet-1 K中在UM-MAE下自监督的预训练Swin-Large骨干…
2022-05-20 cs.CV
CAPT: Class-Aware Prompt Tuning for Federated Long-Tailed Learning with Vision-Language Model
Xiamen University(厦门大学);University College London(伦敦大学学院);University of Nottingham(诺丁汉大学);Zhejiang University(浙江大学)
针对联邦学习中非IID数据与长尾分布并存导致尾部类别性能严重退化的问题,本文提出类感知提示学习框架CAPT,通过双提示机制与异构性感知客户端聚类策略,在保持整体准确率的同时显著提升尾部类别性能。
2026-11-03 cs.CV cs.LG
Q-attention: Enabling Efficient Learning for Vision-based Robotic Manipulation
Dyson Robotics Lab, Imperial College London(戴森机器人实验室,帝国理工学院)
尽管强化学习方法取得了成功,但在应用于广泛的机器人操作任务时,它们还没有突破性的时刻。这在一定程度上是由于强化学习算法是众所周知的困难和耗时的训练,当从图像而不是全状态输入进行训练时,这种情况会加剧。当人类执行操作任务时,我们的眼睛会密切监视该过程的每一步,我们的目光依次聚焦在被操作的对象上。考虑到这一点,我们提出了我们的注意力驱动的机器人操作(ARM)算法,这是一个通用的操作算法,可以应用于一系列稀疏奖励的任务,只有少量的演示。ARM将复杂的操作任务分为3个阶段的流水线:(1)Q-attention代理从RGB和点云输入中提取相关像素位置,(2)下一个最佳姿势代理从Q-attention代理接受裁剪并输出姿势,以及(3)控制代理采取目标姿势并输出联合动作。我们表明,目前的学习算法失败的RLBench任务的范围,而ARM是成功的。
2022-02-04 cs.AI cs.CV cs.LG
NewtonianVAE: Proportional Control and Goal Identification from Pixels via Physical Latent Spaces
University of Edinburgh(爱丁堡大学);Monash University(莫纳什大学)
学习低维潜在状态空间动力学模型已经成为一个强大的范例,使基于视觉的规划和学习控制。我们引入了一个潜在的动态学习框架,该框架被独特地设计成在潜在空间中诱导成比例的可控性,从而使使用比以前的工作简单得多的控制器。我们表明,我们学习的动态模型,使比例控制从像素,大大简化和加速基于视觉的控制器的行为克隆,并提供可解释的目标发现时,应用到模仿学习的切换控制器从演示。
2021-04-26 cs.CV cs.LG stat.ML
SPViT: Enabling Faster Vision Transformers via Soft Token Pruning
Northeastern University(东北大学);Clemson University(克莱姆森大学);Peking University(北京大学);College of William and Mary(威廉与玛丽学院);ETH Zürich(苏黎世联邦理工学院)
最近,视觉Transformer(ViT)在计算机视觉领域不断树立新的里程碑,而高昂的计算和内存成本使其在工业生产中的传播困难重重。剪枝是一种用于硬件效率的传统模型压缩范例,已广泛应用于各种DNN结构中。然而,它仍然模糊不清如何执行排他性修剪的ViT结构。考虑三个关键点:ViT的结构特征、内部数据模式以及相关的边缘设备部署,我们利用输入令牌稀疏性并提出了一种计算感知的软修剪框架,该框架可以建立在平坦和CNN类型结构的普通Transformers上,例如基于池的ViT(PiT)。更具体地说,我们设计了一个动态的注意力为基础的多头令牌选择器,这是一个轻量级的模块,自适应的实例明智的令牌选择。我们进一步引入了一种软修剪技术,它将选择器模块生成的信息量较少的令牌集成到一个包令牌中,该包令牌将参与后续的计算,而不是被完全丢弃。通过我们提出的计算感知训练策略,我们的框架必然会在特定边缘设备的准确性和计算约束之间进行权衡。实验结果表明,我们的框架显着降低了计算成本的ViTs,同时保持相当的性能图像分类。此外,我们的框架可以保证识别的模型,以满足移动设备和FPGA的资源规格,甚至实现DeiT-T在移动平台上的实时执行。例如,我们的方法将DeiT-T在移动终端上的延迟降低到26 ms(比现有作品高出26% $\sim $ 41%),在ImageNet上的前1名准确率高出0.25% $\sim $ 4…
2022-09-20 cs.AI cs.AR cs.CV
ImageRef-VL: Enabling Contextual Image Referencing in Vision-Language Models
University of Science and Technology of China(中国科学技术大学);ByteDance(字节跳动);Peking University(北京大学);University of Oxford(牛津大学);Tsinghua University(清华大学)
本文提出ImageRef-VL,通过指令微调增强开源视觉语言模型在对话中根据上下文引用相关图像的能力,实验显示性能提升88%。
2025-01-20 cs.AI cs.CV
LVM4CSI: Enabling Direct Application of Pre-Trained Large Vision Models for Wireless Channel Tasks
nsysu.edu.tw(国立交通大学);seu.edu.cn(南京师范大学)
本文提出LVM4CSI框架,利用CSI与视觉数据的结构相似性,将预训练大型视觉模型直接用于信道估计、活动识别和用户定位等无线任务,无需微调,在降低参数量的同时取得优于任务特定神经网络的性能。
2025-07-07 cs.AI cs.CV cs.IT
PestVL-Net: Enabling Multimodal Pest Learning via Fine-grained Vision-Language Interaction
Institute of Intelligent Machines, Hefei Institutes of Physical Science, Chinese Academy of Sciences(智能机器研究所,合肥物理科学研究院,中国科学院);University of Science and Technology of China(中国科学技术大学);Zhongke Hefei Institute of Technology Innovation Engineering(中科合肥技术创新工程研究院)
本文提出PestVL-Net框架,结合视觉与语言模型,解决细粒度害虫识别难题,通过RWKV架构和多模态大语言模型实现高效害虫学习。
2026-04-19 cs.CV
Toward Universal and Transferable Jailbreak Attacks on Vision-Language Models
School of Computing and Information Systems, The University of Melbourne, Australia(墨尔本大学计算机与信息系);School of Computing and Information Systems, Singapore Management University, Singapore(新加坡管理大学计算机与信息系);School of Information Technology, Deakin University, Australia(德肯大学信息科技系);Institute of Trustworthy Embodied AI, Fudan University, China(复旦大学可信具身人工智能研究所)
本文提出UltraBreak,一种通用且可迁移的视觉-语言模型劫持攻击框架,通过视觉正则化和语义引导的文本监督,有效提升攻击的泛化能力和转移性能。
2026-02-01 cs.AI cs.CV cs.LG
UVLM: A Universal Vision-Language Model Loader for Reproducible Multimodal Benchmarking
UVLM提供统一接口加载和基准测试多种视觉-语言模型架构,支持LLaVA-NeXT和Qwen2.5-VL,通过抽象差异实现一致评估,具备多任务提示构建、共识验证和灵活token预算等功能。
2026-03-14 cs.AI cs.CV cs.LG
Yanyun-3: Enabling Cross-Platform Strategy Game Operation with Vision-Language Models
Nanjing University of Science and Technology(南京理工大学);Nanjing University(南京大学)
Yanyun-3通过整合视觉-语言模型和结构化多模态数据组织,实现了跨平台战略游戏操作的自动化,提升了任务执行效率和泛化能力。
2025-11-24 cs.AI cs.CV
TinyVLM: Zero-Shot Object Detection on Microcontrollers via Vision-Language Distillation with Matryoshka Embeddings
Independent Researcher(独立研究者)
TinyVLM通过Matryoshka嵌入和视觉-语言蒸馏,在微控制器上实现低内存的零样本目标检测
2026-02-24 cs.AI cs.CV
Enabling Collaborative Parametric Knowledge Calibration for Retrieval-Augmented Vision Question Answering
University of Technology Sydney(悉尼大学);East China Normal University(华东师范大学);The Education University of Hong Kong(香港教育大学)
本文提出了一种统一的检索增强视觉问答框架,通过协作参数知识校准来充分利用KB-VQA中的跨任务协同效应,从而提升问答准确性。
2025-07-01 cs.CV cs.IR cs.MM
Skeleton-to-Image Encoding: Enabling Skeleton Representation Learning via Vision-Pretrained Models
KTH Royal Institute of Technology(皇家理工学院);Lancaster University(兰卡斯特大学);Hebei University of Technology(河北工业大学);Nanyang Technological University(南洋理工大学);Shenzhen MSU-BIT University(深圳MSU-BIT大学);VinUniversity(文大学)
提出S2I编码,将骨架序列转换为图像状数据,首次利用视觉预训练模型进行自监督骨架表示学习,统一异构骨架格式,在多个数据集上验证了有效性。
2026-06-23 cs.AI cs.CV
DepthVision: Enabling Robust Vision-Language Models with GAN-Based LiDAR-to-RGB Synthesis for Autonomous Driving
Chair of Robotics, Artificial Intelligence and Real-time Systems, Technical University of Munich(机器人学、人工智能与实时系统教授会,慕尼黑技术大学);Computer Science and Engineering Department, University of California Merced(计算机科学与工程系,加州大学默塞德分校)
本文提出DepthVision框架,通过带精修模块的条件GAN将激光雷达点云合成类RGB图像,结合LAMA模块融合真实图像适配光照变化,无需改动或重训练即可提升现有VLM在自动驾驶低光照等退化场景下的鲁棒性。
2025-11-18 cs.AI cs.CV cs.RO
LANTERN-RD: Enabling Deep Learning for Mitigation of the Invasive Spotted Lanternfly
The Academy for Mathematics, Science, and Engineering(数学科学与工程学院)
斑点灯笼蝇(SLF)是一种入侵性稻飞虱,威胁着美国东北部和日本等地区的当地生物多样性和农业经济。随着研究人员争相研究这种昆虫,计算机视觉任务(如检测、姿态估计和准确识别)在遏制SLF方面具有重要的下游影响。然而,目前还没有公开的数据集来训练这种AI模型。为了使计算机视觉应用和激励进步,以挑战侵入性SLF问题,我们提出了LANTERN-RD,第一个策划的图像数据集的斑点灯笼苍蝇及其外观相似,具有不同的照明条件,不同的背景,并在各种姿势的主题的图像。基于VGG 16的基线CNN验证了该数据集在刺激新的计算机视觉应用以加速侵入性SLF研究方面的潜力。此外,我们在一个简单的移动分类应用程序中实现了训练模型,以便直接授权负责任的公共减灾工作。这项工作的首要任务是引入一个新的SLF图像数据集,并发布一个分类框架,使计算机视觉应用成为可能,促进围绕侵入性SLF的研究,并帮助最大限度地减少其农业和经济损失。
2022-05-12 cs.AI cs.CV
XStreamVGGT: Extremely Memory-Efficient Streaming Vision Geometry Grounded Transformer with KV Cache Compression
Shenzhen International Graduate School Tsinghua University(清华大学深圳国际研究生院);Institute of Artificial Intelligence Xiamen University(厦门大学人工智能研究院);China Star Optoelectronics Technology(中国星电科技);TCL Corporate Research (HK) Co Ltd.(TCL香港企业研发中心);Department of Electrical and Electronic Engineering The University of Hong Kong(香港大学电子与电气工程系)
XStreamVGGT通过剪枝和量化技术,实现了内存高效的流式3D视觉几何推断,显著降低内存消耗并提升推断速度。
2026-01-03 cs.CV
Exploiting GPT-4 Vision for Zero-shot Point Cloud Understanding
University of Science and Technology of China(中国科学技术大学)
本文提出利用GPT-4V的生成能力并结合系统化点云可视化策略,在不修改模型架构的情况下实现零样本点云分类,并在多种场景中验证了其优越性。
2024-01-15 cs.CL cs.CV
Simulation-Driven Training of Vision Transformers Enabling Metal Segmentation in X-Ray Images
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Siemens Healthcare GmbH(西门子医疗有限公司)
在X射线摄影的几个图像采集和处理步骤中,了解金属植入物的存在及其确切位置非常有益(例如剂量调节、图像对比度调整)。将受益于准确的金属分割的另一应用是基于2D X射线投影的锥形束计算机断层扫描(CBCT)。由于金属的高衰减,在3D X射线采集中会出现严重的伪影。CBCT投影中的金属分割通常是避免和减少金属伪影算法的先决条件。由于生成高质量的临床训练是一个持续的挑战,本研究提出了基于CT数据集结合自行设计的计算机辅助设计(CAD)植入物生成模拟X射线图像,并利用卷积神经网络(CNN)和Vision Transformer(ViT)进行金属分割。模型测试进行准确标记的X射线测试数据集从标本扫描。基于CNN编码器的网络(如U-Net)在尸体测试数据上的性能有限,平均骰子得分低于0.30,而具有双解码器的金属分割Transformer(MST-DD)在分割任务上显示出高鲁棒性和泛化性,平均骰子得分为0.90。我们的研究表明,基于CAD模型的数据生成具有很高的灵活性,可以克服临床数据采样和标记不足的问题。此外,MST-DD方法在对模拟数据进行训练的情况下生成更可靠的神经网络。
2022-03-17 cs.CV eess.IV
Enabling ISP-less Low-Power Computer Vision
为了在资源受限的低功率设备上部署当前的计算机视觉(CV)模型,最近的工作已经提出了传感器内和像素内计算方法,其试图部分/完全绕过图像信号处理器(ISP),并且通过对初始卷积神经网络(CNN)层中的激活图进行下采样来在图像传感器和CV处理单元之间产生显著的带宽减少。然而,由于与用于训练的ISP处理图像相比,由图像传感器捕获的原始图像的协方差的差异,对原始图像的直接推断降低了测试精度。此外,很难在原始图像上训练深度CV模型,因为大多数(如果不是全部)大型开源数据集由RGB图像组成。为了减轻这种担忧,我们建议反转ISP管道,它可以将任何数据集的RGB图像转换为原始图像,并在原始图像上进行模型训练。我们发布了COCO数据集的原始版本,这是通用高级视觉任务的大规模基准。对于无ISP的CV系统,与依赖传统ISP处理的RGB数据集的训练相比,对这些原始图像进行训练可使视觉唤醒作品(VWW)数据集的测试准确度提高7.1%。为了进一步提高无ISP CV模型的准确性并增加通过传感器内/像素内计算获得的能量和带宽益处,我们提出了一种节能形式的模拟像素内去马赛克,其可以与像素内CNN计算相结合。当对PASCALRAW数据集的真实传感器捕获的原始图像进行评估时,我们的方法导致mAP增加了8.1%。最后,我们证明了进一步增加20.5%的mAP通过使用一种新的应用程序的少样本学习与30杆,每个新的PASCALR…
2022-10-11 cs.CV eess.IV
Enabling Vision and Cross-Modal Learning for Multimodal Stroke Recurrence Prediction: An Interpretable Two-Step Framework
UMIT TIROL – Private University for Health Sciences and Health Technology(UMIT TIROL – 健康科学与健康技术私立大学);VASCage – Centre on Clinical Stroke Research(VASCage – 临床卒中研究中心);Medical University of Innsbruck(因斯布鲁克医科大学)
本研究提出一种可解释的两步框架,通过自监督预训练和策略性微调,实现多模态卒中复发预测中视觉与跨模态学习的有效整合,克服模态不平衡并提升预测性能。
2026-09-22 cs.AI cs.CV
LongWriter-V: Enabling Ultra-Long and High-Fidelity Generation in Vision-Language Models
Tsinghua University(清华大学);Singapore University of Technology and Design(新加坡科技设计大学)
针对现有大型视觉语言模型长输出生成能力弱的问题,研究构建长输出微调数据集与IterDPO迭代偏好优化方法,并推出评测基准,7B参数模型性能超越GPT-4o等大模型。
2025-02-20 cs.AI cs.CL cs.CV
Hierarchical Cross-modal Prompt Learning for Vision-Language Models
South China Normal University(华南师范大学);Shenzhen Polytechnic University(深圳职业技术大学)
针对预训练视觉-语言模型在下游任务适配中存在的模态孤立与层次语义衰退问题,提出层次化跨模态提示学习框架HiCroPL,通过双向知识流和层次知识映射器融合多尺度表示,在11个基准上取得最优结果。
2025-08-14 cs.CV
CyCLeGen: Cycle-Consistent Layout Prediction and Image Generation in Vision Foundation Models
UC San Diego(加州大学圣迭戈分校)
CyCLeGen是一种统一的视觉-语言基础模型,通过单一自回归框架实现图像理解和生成,采用循环一致学习确保生成与布局之间的双向一致性,提升模型的自我反思能力和数据效率。
2026-03-16 cs.CV
Optimizing Knowledge Distillation in Transformers: Enabling Multi-Head Attention without Alignment Barriers
针对Transformer知识蒸馏中师生注意力头数量不对齐的问题,提出无需额外参数或架构修改的Squeezing-Heads Distillation方法,通过线性近似压缩多头注意力图实现不同头数模型间的无缝知识迁移,在多任务上优于基线并取得最先进结果。
2025-02-11 cs.CV
Anomaly Object Segmentation with Vision-Language Models for Steel Scrap Recycling
Institute Science of Tokyo(东京科学研究所)
针对废钢回收中杂质检测的难题,提出基于视觉-语言模型的有监督微调异常检测方法,结合多尺度图像编码器与对齐文本提示,实现细粒度废钢异常自动检测。
2025-06-16 cs.CV
Diversifying Joint Vision-Language Tokenization Learning
The Ohio State University(俄亥俄州立大学);Google DeepMind(谷歌DeepMind)
针对视觉问答等任务的联合视觉-语言表示需兼具跨模态特征捕捉能力与多样性的问题,提出多样化分词学习的方法,学习解耦的跨模态token,在多数设置下优于基线且比肩SOTA。
2023-06-15 cs.CV
Enabling Training-Free Text-Based Remote Sensing Segmentation
SnT, University of Luxembourg(SnT,卢森堡大学)
本研究提出无需额外训练的遥感分割方法,结合对比和生成型VLMs与SAM,实现零样本开放词汇语义分割。
2026-02-19 cs.CV
Hybrid Training for Vision-Language-Action Models
Qualcomm AI Research(高通AI研究)
本文提出混合训练框架,旨在使视觉-语言-动作模型在推理时能够根据需要生成思考过程或直接预测动作,从而在保持性能提升的同时提高推理效率。
2026-05-19 cs.AI cs.CV cs.LG
A Survey on Efficient Vision-Language Models
University of Maryland Baltimore County (UMBC)(马里兰大学巴尔的摩县分校)
本文综述了在边缘和资源受限设备上优化视觉-语言模型的关键技术、紧凑架构及性能与内存权衡,并建立持续更新的GitHub仓库以推动高效VLM研究。
2025-07-01 cs.CV
Fine-Tuning Large Vision-Language Models as Decision-Making Agents via Reinforcement Learning
UC Berkeley(加州大学伯克利分校);UIUC(伊利诺伊大学厄巴纳-香槟分校);NYU(纽约大学)
本研究提出用强化学习微调大型视觉语言模型的决策框架,结合思维链推理探索中间步骤,通过环境奖励优化模型,使7B模型性能超越GPT4-V等商用模型,验证了思维链的关键作用。
2024-10-07 cs.AI cs.CL cs.CV
MMRPT: MultiModal Reinforcement Pre-Training via Masked Vision-Dependent Reasoning
SenseTime(秒速科技)
MMRPT通过强化学习提升多模态预训练效果,利用视觉基础推理增强模型对视觉内容的理解能力。
2025-12-08 cs.CV
VLCache: Computing 2% Vision Tokens and Reusing 98% for Vision-Language Inference
Qwen Team, Alibaba Inc.(通义实验室,阿里巴巴集团)
VLCache通过重用98%的缓存减少计算量,实现高效视觉-语言推理,精度与全重新计算相当,加速1.2x至16倍。
2025-12-18 cs.CV
T-CLIP: Enabling Thermal Perception for Contrastive Language-Image Pretraining
Indian Institute of Technology Delhi, India(印度理工学院德里分校);NVIDIA AI Technology Center, India(NVIDIA AI技术中心);Jawaharlal Nehru University, India(贾瓦哈拉尔·尼赫鲁大学)
针对CLIP无法对齐热图像与文本描述的问题,提出物理感知的热描述数据集IR-Cap和解耦双LoRA框架T-CLIP,实现场景级和对象级热理解,在跨模态检索任务上超越所有基线。
2026-05-30 cs.CV
MoE-GRPO: Optimizing Mixture-of-Experts via Reinforcement Learning in Vision-Language Models
Korea University(高丽大学);KAIST(韩国科学技术院)
本文提出MoE-GRPO,通过强化学习优化视觉-语言模型中的专家路由,提升专家选择多样性,缓解专家过拟合问题。
2026-03-29 cs.CV
Fashion Meets Computer Vision: A Survey
National Chiao Tung University(国立交通大学);National Chung Hsing University(国立中兴大学);Peking University(北京大学);Institut Teknologi Sepuluh Nopember(泗水理工学院)
时尚是我们向世界展示自己的方式,已经成为世界上最大的产业之一。近年来,以视觉为主要载体的时尚图像引起了计算机视觉研究者的广泛关注。鉴于智能时尚的快速发展,本文对200多个主要的时尚相关作品进行了全面的调查,涵盖了实现智能时尚的四个主要方面:(1)时尚检测包括地标检测、时尚解析和物品检索,(2)时尚分析包括属性识别、风格学习和流行度预测,(3)时尚合成包括风格转移、姿势变换、(4)服装推荐包括服装搭配、服装搭配和发型建议。对于每个任务,基准数据集和评估协议进行了总结。此外,我们强调了未来研究的有前途的方向。
2021-01-28 cs.CV
InPK: Infusing Prior Knowledge into Prompt for Vision-Language Models
University of Electronic Science and Technology of China(电子科技大学);Hainan University(海南大学);Institute of Electronic and Information Engineering, University of Electronic Science and Technology of China(电子科技大学电子与信息工程学院)
提出InPK模型,通过在初始化时注入类特定先验知识并在多层特征上持续强化交互,显著提升了VLMs在zero/few-shot图像分类任务中的泛化与判别能力。
2025-03-31 cs.CV
Gym-V: A Unified Vision Environment System for Agentic Vision Research
ModalMinds
Gym-V通过统一的179个程序生成视觉环境,解决了视觉代理研究中缺乏标准化基础设施的问题,发现观察支架比RL算法选择更关键,且跨领域迁移实验显示多样化训练能广泛泛化。
2026-04-08 cs.CV
Empowering Visual Creativity: A Vision-Language Assistant to Image Editing Recommendations
CUHK(香港中文大学);ByteDance Inc.(字节跳动公司);University of California, Merced(加州大学默塞德分校)
本文提出图像编辑推荐(IER)任务,并构建Creativity-VLA多模态框架,通过专用数据集训练及'token-for-localization'机制支持全局与局部编辑,自动生成与输入图像和用户提示高度相关的创意编辑指令。
2024-05-31 cs.CV
Question Aware Vision Transformer for Multimodal Reasoning
Technion(以色列理工学院);AWS AI Labs(亚马逊云科技人工智能实验室)
提出QA-ViT,一种将问题感知嵌入视觉编码器的模型无关方法,动态聚焦图像相关区域,在多种多模态架构上实现一致性能提升。
2024-02-08 cs.CV
UniRS: Unifying Multi-temporal Remote Sensing Tasks through Vision Language Models
State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications(北京邮电大学);Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院);School of Geographic Sciences, Hunan Normal University(湖南师范大学);City University of Hong Kong(香港城市大学)
UniRS是首个统一多时相遥感任务的视觉语言模型,支持单图、双时相图像对和视频输入,通过统一视觉表示、变化提取模块和提示增强机制,在视觉问答、变化描述和视频场景分类等任务上取得最优性能。
2024-12-30 cs.CV
Enhancing Temporal Understanding in Video-LLMs through Stacked Temporal Attention in Vision Encoders
Leibniz University Hannover(莱比锡大学汉诺威分校);L3S Research Center(L3S研究中心);Microsoft(微软公司)
尽管多模态大语言模型(MLLM)取得了重大进展,但理解视频中复杂的时间动态仍然是一个重大挑战。我们的实验表明,目前的视频大语言模型(Video-LLM)架构在时间理解方面存在严重的局限性,需要详细理解动作序列和时间进程的任务。在这项工作中,我们提出了一个视频LLM架构,直接在视觉编码器中引入堆叠的时间注意力模块。这种设计在视觉编码器中引入了时间注意力,使模型能够在将视觉令牌传递给LLM之前更好地捕获动作的进展和帧之间的关系。我们的研究结果表明,这种方法显着提高了时间推理,并优于现有的模型在视频问答任务,特别是在动作识别。我们在基准测试方面的改进,包括VITATECS、MVBench和Video-MME,最高可达+5.5%。通过增强具有时间结构的视觉编码器,我们解决了Video-LLM的视频理解中的关键差距。项目页面和代码可在:www.example.com。
2025-10-29 cs.CV