DETR-ViP: Detection Transformer with Robust Discriminative Visual Prompts
School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件工程学院);State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Xi’an Jiaotong University(西安交通大学人机混合增强智能国家重点实验室);CCAI, Zhejiang University(浙江大学计算机辅助设计与智能交互研究院);Hikrobot Co., Ltd.(海康威视有限公司)
提出DETR-ViP框架,通过全局提示集成和视觉-文本提示关系蒸馏学习可区分视觉提示,并采用选择性融合策略实现鲁棒检测,在多个数据集上显著提升视觉提示检测性能。
2026-05-26 cs.CV
Self-Prompting Large Vision Models for Few-Shot Medical Image Segmentation
The Hong Kong University of Science and Technology(香港科技大学);University of Girona(赫罗纳大学);Computer Vision and Robotics Institute(计算机视觉与机器人研究所)
针对少样本医学图像分割,本文利用 SAM 嵌入空间和线性逐像素分类器实现自提示,在多数据集上较少量图像微调 mask decoder 提升超15%。
2023-08-15 cs.CV
Intelligent Control of Robotic X-ray Devices using a Language-promptable Digital Twin
Johns Hopkins University(约翰斯·霍普金斯大学);Department of Interventional Radiology, Johns Hopkins University(约翰斯·霍普金斯大学介入放射学系)
该研究提出基于语言可提示数字孪生的机器人X射线智能控制系统,通过语言对齐的X射线分割基础模型更新患者数字孪生,实现多自主功能,尸体实验验证了其高成功率与精准定位能力。
2024-12-11 cs.AI cs.CV cs.HC
PromptGAR: Flexible Promptive Group Activity Recognition
University of Southern California, Institute for Creative Technologies(美国南加州大学,创意技术研究所);Army Research Laboratory(军队研究实验室)
针对现有群体活动识别方法依赖完整提示标注、固定帧和实例数量且缺乏演员一致性的问题,提出首个无需重新训练即可在提示、帧和实例间提供输入灵活性的PromptGAR框架,通过统一多视觉提示为点提示、交叉更新类别与提示令牌及引入相对实例注意力机制,提升识别精度与实际泛化能力。
2025-08-25 cs.CV
Prompt Group-Aware Training for Robust Text-Guided Nuclei Segmentation
Fudan University, Shanghai, China(复旦大学,上海,中国)
本文提出基于提示组的鲁棒文本引导核分割训练方法,通过组内一致性约束和质量引导正则化提升分割鲁棒性和泛化能力。
2026-03-06 cs.AI cs.CV
Visual Prompt Flexible-Modal Face Anti-Spoofing
Great Bay University(大湾区大学);Nanyang Technological University(南洋理工大学);University of Oulu(奥卢大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Shenzhen University(深圳大学)
针对现实场景中训练或测试时模态缺失的灵活模态人脸反欺骗问题,提出VP-FAS方法,利用视觉提示和残差上下文提示适配冻结预训练模型,仅需少于4%可学习参数,并引入缺失模态正则化,在两个基准数据集上有效提升性能。
2023-07-26 cs.CV
PFPs: Prompt-guided Flexible Pathological Segmentation for Diverse Potential Outcomes Using Large Vision and Language Models
Vanderbilt University(范德堡大学)
针对病理图像分割目标灵活性不足的问题,研究提出结合大语言模型任务提示与传统任务标记的柔性分割方法,构建了高效流水线与专用数据集,验证了其应对新病例的多类别分割能力。
2024-07-13 cs.CV
MedSyn2: Flexible Control of 3D CT Generation via Text and Semantically-Defined Segmentation Prompts
Boston University School of Engineering(波士顿大学工程学院);Stanford University(斯坦福大学);University of Pittsburgh Medical Center(匹兹堡大学医学中心);Boston University School of Medicine(波士顿大学医学院)
提出一种灵活的多模态框架,通过文本和可选分割提示控制3D CT生成,实现高分辨率、解剖一致且可控的体数据生成。
2026-06-07 cs.CV
How Well Does GPT-4o Understand Vision? Evaluating Multimodal Foundation Models on Standard Computer Vision Tasks
Swiss Federal Institute of Technology(瑞士联邦理工学院)
本文评估了GPT-4o等多模态基础模型在标准计算机视觉任务上的表现,发现其在语义任务上优于几何任务,GPT-4o在非推理模型中表现最佳,推理模型在几何任务中有所提升。
2026-05-01 cs.AI cs.CV cs.LG
Towards Training-free Open-world Segmentation via Image Prompt Foundation Models
vivo Mobile Communication Co., Ltd(维沃移动通信有限公司)
本文提出IPSeg,一种利用图像提示和视觉基础模型(如DINOv2、Stable Diffusion和SAM)的无训练开放世界分割方法,通过特征匹配生成点提示引导分割,在COCO等数据集上验证了其高效性和灵活性。
2024-06-26 cs.CV
Towards Flexible Visual Relationship Segmentation
Northeastern University(东北大学);Microsoft Research(微软研究院)
针对视觉关系理解相关任务分散研究的问题,提出整合HOI检测、SGG、RR任务且支持开放词汇的FleVRS模型,利用多模态协同实现关系定位,在多数据集上性能优于现有模型。
2024-08-15 cs.CV
XCoOp: Explainable Prompt Learning for Computer-Aided Diagnosis via Concept-guided Context Optimization
Hong Kong University of Science and Technology(香港科技大学)
提出XCoOp框架,通过概念引导的上下文优化,将图像、可学习提示与临床概念对齐,实现可解释的提示学习,在提升诊断性能的同时提供视觉和文本解释,满足医疗XAI需求。
2024-03-14 cs.AI cs.CV
Albumentations: fast and flexible image augmentations
MapBox;Level5 Engineering, Lyft Inc(Lyft公司Level5工程部门);University of Michigan(密歇根大学)
数据增强是一种常用的技术,用于通过利用保留输出标签的输入转换来增加标记训练集的大小和多样性。在计算机视觉领域,图像增强已经成为一种常见的隐式正则化技术,用于对抗深度卷积神经网络中的过拟合,并且被普遍用于提高性能。虽然大多数深度学习框架都实现了基本的图像变换,但该列表通常限于翻转、旋转、缩放和裁剪的一些变化和组合。此外,在现有的图像增强工具中,图像处理速度不同。我们提出了Albumentations,一个快速灵活的图像增强库,具有许多不同的图像变换操作,这也是一个易于使用的包装器周围的其他增强库。我们为不同的计算机视觉任务提供了图像增强的例子,并表明Albumentations在大多数常用的图像变换上比其他常用的图像增强工具更快。Albumentations的源代码可在https://github.com/albu/albumentations上在线公开获取
2018-09-18 cs.CV
Beyond General Prompts: Automated Prompt Refinement using Contrastive Class Alignment Scores for Disambiguating Objects in Vision-Language Models
University of California, Merced(加州大学默塞德分校)
本文提出 CCAS 指标,利用大型语言模型生成候选提示并依据目标与混淆类别的语义对齐进行筛选,从而在无需训练或标注数据的情况下提升 VLM 物体检测准确率。
2025-05-14 cs.CV
Coffee: Controllable Diffusion Fine-tuning
Yale University(耶鲁大学);Brown University(布朗大学)
针对文本到图像扩散模型可控微调的挑战,提出Coffee方法,通过语言指定不良概念并防止用户提示嵌入与之对齐,无需额外训练且可灵活调整,实验证明其能有效避免模型学习不良概念且性能优于现有方法。
2025-11-18 cs.CV
ChangeDiff: A Multi-Temporal Change Detection Data Generator with Flexible Text Prompts via Diffusion Model
Xidian University(西安电子科技大学);Hefei University of Technology(合肥工业大学)
本文提出多时相语义变化检测数据生成器ChangeDiff,通过文本到布局和布局到图像两步生成变化数据,并设计多类分布引导的文本提示及类分布细化损失,提升了变化检测器的准确性与可迁移性。
2024-12-20 cs.AI cs.CV
Language Prompt for Autonomous Driving
MEGVII(旷视科技)
针对驾驶场景中语言提示数据稀缺的问题,提出NuPrompt数据集和PromptTrack模型,实现基于语言提示的跨视角、跨帧对象轨迹预测,为自动驾驶社区提供新思路。
2025-03-30 cs.CV
Enhancing LLM-Based Neural Network Generation: Few-Shot Prompting and Efficient Validation for Automated Architecture Design
Computer Vision Lab, CAIDAS & IFI, University of Würzburg, Germany(计算机视觉实验室,CAIDAS与IFI,乌尔姆大学,德国)
本文提出少样本架构提示(FSAP)和空白归一化哈希验证方法,以提升基于LLM的计算机视觉架构自动生成效率,并通过大规模实验验证其有效性。
2026-04-16 cs.AI cs.CV
Elastic Neural Networks: A Scalable Framework for Embedded Computer Vision
Tampere Univ. of Tech.(坦佩雷理工大学);University of Maryland(马里兰大学)
我们提出了一个新的框架,图像分类与深度神经网络。该框架将中间输出引入网络的计算图。这使得能够灵活地控制计算负载,并平衡精度和执行时间之间的权衡。此外,我们提出了一个有趣的发现,即中间输出可以在训练时充当正则化器,提高预测精度。在实验部分,我们展示了我们提出的框架在表观年龄估计用例中使用各种常用的预训练深度网络的性能。
2018-10-02 cs.CV
Focus, Distinguish, and Prompt: Unleashing CLIP for Efficient and Flexible Scene Text Retrieval
School of Cyber Science and Engineering, Nanjing University of Science and Technology(南京理工大学网络空间安全学院);State Key Laboratory of Media Convergence and Communication, Communication University of China(中国传媒大学媒体融合与传播国家重点实验室);Lenovo Research(联想研究院);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Laboratory for Advanced Computing and Intelligence Engineering(先进计算与智能工程实验室);College of Computer Science, Nankai University(南开大学计算机学院)
本文提出FDP模型,通过聚焦文本区域、区分实词与功能词并引入语义提示和干扰查询辅助,释放CLIP在无OCR场景文本检索中的潜力,实现高效且灵活的检索。
2024-08-01 cs.AI cs.CV
VolumeDiffusion: Flexible Text-to-3D Generation with Efficient Volumetric Encoder
Tsinghua University(清华大学);Microsoft Research(微软研究院)
本研究提出VolumeDiffusion文本到3D生成方法,通过轻量级网络从多视图图像获取特征体,结合3D U-Net扩散模型训练,在Objaverse数据集上实现了多样可控的3D生成效果。
2024-08-13 cs.CV
Patch-enhanced Mask Encoder Prompt Image Generation
针对广告应用中产品描述失真问题,提出一种包含三个组件的 Patch-enhanced mask encoder 方法,在保留多样化背景的同时确保产品描述准确,实验证明其视觉效果和 FID 分数优于其他方法。
2024-05-29 cs.AI cs.CV
Attack for Defense: Adversarial Agents for Point Prompt Optimization Empowering Segment Anything Model
College of Artificial Intelligence, Taiyuan University of Technology(人工智能学院,太原科技大学);School of Data Science, Nanjing University Of Aeronautics And Astronautics(数据科学学院,南京航空航天大学)
针对SAM依赖手动/启发式提示导致泛化性受限的问题,提出基于对抗强化学习的Point Prompt Defender框架,通过攻防智能体优化点提示,无需重新训练即可提升SAM在多任务中的分割鲁棒性与泛化性。
2025-09-23 cs.CV
Image Super-Resolution with Text Prompt Diffusion
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);The University of Sydney(悉尼大学);Westlake University(西湖大学)
本文提出PromptSR方法,通过引入文本提示为图像超分辨率提供退化先验,利用多模态大语言模型和预训练语言模型增强文本理解,在合成与真实图像上取得显著效果。
2025-03-11 cs.CV
Vehicle Attribute Recognition by Appearance: Computer Vision Methods for Vehicle Type, Make and Model Classification
Tampere University(坦佩雷大学)
本文研究了基于外观的车辆属性识别。在文献中,基于图像的目标识别已经在许多用例中得到了广泛的研究,例如面部识别,但在车辆属性识别领域却很少。我们调查了一些算法,确定车辆属性,从粗粒度的水平(车辆类型)到细粒度的水平(车辆制造和模型)。此外,我们讨论了这些任务的两种替代方法,包括直接分类和更灵活的度量学习方法。此外,我们设计了一个模拟现实世界的情况下,车辆属性识别,并提出了两种方法的实验比较。
2020-06-29 cs.CV
Prompt-In-Prompt Learning for Universal Image Restoration
Fudan University(复旦大学);Shanghai Center for Brain Science and Brain-inspired Technology(上海脑科学与类脑研究中心)
本文提出即插即用的 PIP 框架,通过退化感知提示、基础复原提示及其提示间与提示-特征交互,增强单一模型在多类图像复原任务上的通用性与性能。
2023-12-08 cs.CV
PromptForSegCXR: Prompt-Driven Multi-Organ and Multi-Disease Segmentation in Chest X-rays using a Multi-stage Fusion Mechanism
1 ,5Department of Computer Science \& Engineering,\ University of Engineering \& Technology, Rajshahi-6204, Bangladesh;2 Department of Electrical;Electronic Engineering,\ University of Engineering;Bachelor of Surgery,\ Suhrawardy Medical College , Sher-E-Bangla Nagar, Dhaka-1207;6 Department of Biomedical Engineering,\ University of Engineering
本研究提出轻量型双输入分割框架PromptForSegCXR,结合胸部X线与用户涂鸦提示实现多器官多疾病分割,构建含23类的专家设计涂鸦提示数据集,其Dice分数达81.62%,优于同类模型且保持轻量。
2026-08-07 cs.CV eess.IV
Learning to Decompose Visual Features with Latent Textual Prompts
Tsinghua University(清华大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Columbia University(哥伦比亚大学)
最近在预训练视觉语言模型(如CLIP)方面的进展显示出在学习可转移视觉表示方面的巨大潜力。尽管如此,对于下游推理,CLIP类模型遭受1)在基于检索的推理期间不准确的文本描述的情况下降低的准确性和鲁棒性(zero-shot协议的挑战);或2)破坏良好建立的视觉语言对齐(线性探测的挑战)。为了解决这些问题,我们提出了分解特征提取(DeFo)。DeFo利用灵活数量的可学习嵌入作为文本输入,同时保持视觉语言双模型架构,使模型能够在特征级文本提示的帮助下学习分解的视觉特征。我们进一步使用一个额外的线性层来执行分类,允许语言输入的可扩展大小。我们的实证研究表明,DeFo在改进视觉语言模型方面具有重要意义。例如,DeFo在ResNet-50主干上的ImageNet上获得了73.2%的测试准确率,而无需调整视觉和语言编码器的任何预训练权重,比zero-shot CLIP的性能高出15.0%,比最先进的视觉语言提示微调方法高出7.6%。
2022-10-09 cs.CV
What Makes Good Examples for Visual In-Context Learning?
Nanyang Technological University(南洋理工大学)
在广泛数据上训练的大规模模型由于其强大的泛化性能,近年来已成为计算机视觉的主流体系结构。在本文中,主要关注的是大型视觉模型中的一种新兴能力,称为上下文学习,它允许通过对上下文示例进行条件化来推断看不见的任务(也称为~提示),而不更新模型参数。这个概念在自然语言处理中是众所周知的,但直到最近才针对大型视觉模型进行了研究。我们首次对计算机视觉中上下文样例的影响进行了全面的研究,发现上下文样例的选择对性能具有高度的敏感性。为了克服这个问题,我们提出了一个提示检索框架,自动选择的上下文中的例子。具体来说,我们提出了(1)一个无监督的提示检索方法的基础上最近的例子搜索使用现成的模型,和(2)监督提示检索方法,训练神经网络选择的例子,直接最大限度地提高上下文学习性能。实验结果表明,与常用的随机选择方法相比,我们的方法可以为视觉上下文学习带来显著的改进。
2023-02-01 cs.CV
FlexGen: Flexible Multi-View Generation from Text and Image Inputs
HKUST(GZ)(香港科技大学(广州));HKUST(香港科技大学)
本文提出FlexGen框架,利用GPT-4V生成3D感知文本注释,并通过自适应双重控制模块实现可控且一致的多视图图像生成,支持文本提示修改及外观和材质属性调整,显著提升了多视图扩散模型的可控性。
2024-10-14 cs.AI cs.CV
Autonomous Computer Vision Development with Agentic AI
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本研究利用智能体AI和大型语言模型,从自然语言提示自主构建计算机视觉系统,通过扩展SimpleMind并集成OpenManus智能体,自动规划工具配置、训练和推理,在胸部X光分割任务上验证了可行性。
2025-06-19 cs.AI cs.CV cs.MA
Zero-Shot Industrial Anomaly Segmentation with Image-Aware Prompt Generation
Department of Computer Science and Engineering, Chungnam National University(Chungnam国立大学计算机科学与工程系);Nota Inc.(Nota公司)
针对现有文本引导零样本工业异常分割模型依赖固定提示适应性不足的问题,提出IAP-AS方法,利用图像标记模型和LLM生成动态上下文感知提示,提升F1-max指标达10%,增强工业场景适应性与泛化性。
2025-04-18 cs.AI cs.CV
DeltaSpace: A Semantic-aligned Feature Space for Flexible Text-guided Image Editing
DeltaSpace通过语义对齐的特征空间实现文本引导图像编辑的灵活训练和推理,支持零样本推理和无需文本的训练。
2026-02-08 cs.AI cs.CV
Flexible ViG: Learning the Self-Saliency for Flexible Object Recognition
University of Electronic Science and Technology of China(电子科技大学)
针对柔性物体识别的挑战,提出FViG模型通过优化通道和空间感知的自显著性来提升表征判别力,并构建了首个柔性物体数据集FDA验证其有效性。
2024-06-06 cs.AI cs.CV
Joint Extraction Matters: Prompt-Based Visual Question Answering for Multi-Field Document Information Extraction
Sansan, Inc.(Sansan公司)
针对现有文档信息提取VQA方法孤立查询字段忽略依赖的问题,本文探究多字段联合提取的优势,通过多模型与数据集实验验证其准确率提升效果,还分析了性能与字段数的关系并量化字段关联,为鲁棒VQA系统设计提供实用方法。
2025-03-21 cs.CL cs.CV
Domain-Invariant Prompt Learning for Vision-Language Models
本文提出DiCoOp,通过对抗训练方法提升视觉-语言模型在不同领域中的泛化能力,有效解决领域偏移问题。
2026-03-30 cs.AI cs.CV
Flexible Motion Generation from Language and Style References
Brown University(布朗大学);Epic Games(Epic Games公司);University of California, Davis(加州大学戴维斯分校);University of Utah(犹他大学)
FlexMoGen是一个结合文本提示和风格示例片段进行灵活人体运动合成的框架,通过变分风格编码器和潜在扩散模型实现长序列、多风格生成,无需风格监督,在内容保真与风格反映间达到最佳平衡。
2026-09-09 cs.CV cs.GR cs.LG
Unifying Image Processing as Visual Prompting Question Answering
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Macau(澳门大学);ARC Lab, Tencent PCG(腾讯平台与内容事业群ARC实验室)
本文提出通用图像处理框架PromptGIP,将图像复原、增强和特征提取等任务统一为视觉提示问答问题,无需任务专用微调即可处理多种跨域任务。
2024-02-21 cs.CV eess.IV
Prompt Backdoors in Visual Prompt Learning
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Xi’an Jiaotong University(西安交通大学);NetApp(网存公司)
本文首次提出针对视觉提示学习(VPL)的后门攻击方法BadVisualPrompt,仅污染5%训练数据即可实现高攻击成功率,并揭示现有防御措施的不足,凸显VPL的安全脆弱性。
2023-10-11 cs.CR cs.CV cs.LG
Flexible Techniques for Differentiable Rendering with 3D Gaussians
Carnegie Mellon University(卡内基梅隆大学)
针对神经辐射场在真实场景快速重建上的性能局限,研究对3D高斯可微渲染器进行扩展,实现可测光流集成、水密网格导出等功能,并验证两种近期方法的互操作性,重建快速鲁棒且支持GPU/CPU运行。
2023-08-28 cs.AI cs.CV cs.GR
NULLBUS: Multimodal Mixed-Supervision for Breast Ultrasound Segmentation via Nullable Global-Local Prompts
Department of Computer Science, University of Nevada, Las Vegas, NV 89154, USA(计算机科学系,内华达大学拉斯维加斯分校)
NULLBUS通过可空全局-局部提示实现乳腺超声分割的多模态混合监督,取得高分割精度和鲁棒性。
2025-12-23 cs.AI cs.CV cs.LG