Learning Probabilistic Prompt for Continual Learning
Yonsei University(延世大学);Samsung Electronics(三星电子)
研究持续学习中从序列任务渐进学习并保留旧知识的问题,提出基于概率分布建模提示并构建混合分布采样多样提示的框架,还设正则化损失,实验验证框架有效性。
2026-07-07 cs.CV
HPR-SAM: Hierarchical Probabilistic Representation Learning for Prompt-free SAM-based Medical Image Segmentation
Yale University(耶鲁大学);Xi’an Jiaotong-Liverpool University(西安交通大学利物浦大学)
研究针对无提示SAM医学图像分割中现有方法局限,提出HPR框架,通过DAR、MAR、LRR学习互补解剖学表示,经HPF整合预测并兼容原始SAM解码器,实验验证该框架在多数据集上有效,达最优性能。
2026-07-09 cs.CV
ProCAP: Probabilistic Cross-Attentive Prompt Learning for Vision-Language Models
University of Kurdistan(库尔德斯坦大学);The University of Queensland(昆士兰大学)
提出ProCAP,一种概率交叉注意力提示学习框架,通过双向交叉注意力连接视觉与文本提示令牌,并用高斯参数化及KL/L2正则化减少过拟合,在不更新CLIP权重下提升少样本泛化与迁移性能。
2026-09-28 cs.CV
Char-SAM: Turning Segment Anything Model into Scene Text Segmentation Annotator with Character-level Visual Prompts
School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
本文提出 Char-SAM 自动标注流程,通过字符级边界框细化和字符字形细化两个模块改进 SAM 的提示方式,解决场景文本分割中的过分割与欠分割问题,实现免训练的高质量文本分割标注生成。
2024-12-27 cs.CV
ProSAM: Enhancing the Robustness of SAM-based Visual Reference Segmentation with Probabilistic Prompts
Bosch Research North America(博世北美研究院);Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心)
ProSAM通过变分提示编码器预测多元提示分布,避免生成不稳定区域提示,从而增强基于SAM的视觉参考分割的鲁棒性,并在Pascal-5$^i$和COCO-20$^i$数据集上超越现有方法。
2025-08-03 cs.CV
BREPS: Bounding-Box Robustness Evaluation of Promptable Segmentation
Emb-ai
本文研究可提示分割模型对自然边界框提示变化的鲁棒性,通过用户研究和优化方法生成对抗性边界框,评估模型在不同数据集上的表现。
2026-01-21 cs.AI cs.CV cs.HC
Leveraging Segment Anything Model for Source-Free Domain Adaptation via Dual Feature Guided Auto-Prompting
Department of Electronic and Computer Engineering, The Hong Kong University of Science and Technology(电子与计算机工程系,香港科学与技术大学)
本文首次探索利用 Segment Anything Model 进行无源域自适应,提出双特征引导自动提示方法,通过特征聚合与连通性分析优化边界框提示并消除假阳性区域,在 3D 和 2D 数据集上取得优越性能。
2025-07-12 cs.CV
A Probabilistic Segment Anything Model for Ambiguity-Aware Medical Image Segmentation
Department of Computer Science University of Kentucky(计算机科学系 哥伦比亚大学)
针对医学图像分割中标注模糊性问题,提出概率SAM模型,通过潜在变量和变分训练生成多样分割,在LIDC-IDRI数据集上优于基线。
2025-09-06 cs.CV
Robust Box Prompt based SAM for Medical Image Segmentation
National-Regional Key Technology Engineering Laboratory for Medical Ultrasound, School of Biomedical Engineering, Medical School, Shenzhen University(深圳大学医学院生物医学工程学院国家区域医学超声关键技术工程实验室);Shenzhen University(深圳大学);Shenzhen RayShape Medical Technology Co., Ltd(深圳睿形医疗科技有限公司);First Affiliated Hospital, Southern University of Science and Technology, Shenzhen People’s Hospital(南方科技大学第一附属医院(深圳市人民医院))
本文提出RoBox-SAM,通过提示精炼、提示增强和自信息提取三个模块提升SAM在低质量框提示下的医学图像分割鲁棒性,并在大规模多模态数据集上验证其有效性。
2024-07-31 cs.AI cs.CV cs.LG
Prompting the Unseen: Detecting Hidden Backdoors in Black-Box Models
本研究提出了一种基于视觉提示的黑盒模型级后门检测方法BProm,通过利用类子空间不一致性和存在后门时提示模型低分类准确率的现象,有效识别可疑模型中的隐藏后门。
2025-04-07 cs.AI cs.CV cs.LG
AngelFingerprint: A Traceable, Explainable, and White-Box Stealthy Watermark for Text-Guided Image Editing
National Taiwan University(台湾大学);National Institute of Informatics(信息学研究所)
针对文本引导图像编辑的虚假信息问题,提出AngelFingerprint水印框架,通过集成LoRA嵌入CLIP文本嵌入,结合速度对齐锚点和频率滤波器,在MagicBrush数据集上200路提示检索top-1准确率达86%,优于提示反转的20%。
2026-09-07 cs.CV
Erased but Exploitable: Black-box Embedding-Aware Prompting Against Unlearned Text-to-Image Diffusion Models
Department of Computer Engineering(计算机工程系)
提出一种黑盒嵌入感知对抗提示攻击BEAP,利用大语言模型迭代生成有效对抗提示,以恢复被遗忘概念,并在攻击成功率上提升超过60%。
2026-10-06 cs.AI cs.CV
Black-Box Visual Prompt Engineering for Mitigating Object Hallucination in Large Vision Language Models
Amazon AWS AI(亚马逊云科技人工智能部门);KAIST(韩国科学技术院)
针对大型视觉语言模型的物体幻觉问题,提出黑盒视觉提示工程框架,通过训练路由器模型动态选择最优视觉提示,无需访问模型内部即可有效缓解幻觉。
2025-04-30 cs.AI cs.CL cs.CV
ZIP: An Efficient Zeroth-order Prompt Tuning for Black-box Vision-Language Models
POSTECH(浦项科技大学);Yonsei University(延世大学)
ZIP通过低秩重参数化和本征维度梯度裁剪,在黑盒视觉-语言模型提示微调中大幅减少查询次数,少样本准确率平均提升约6%、查询效率提升48%,达到新最优水平。
2025-04-09 cs.CV cs.LG
Black-Box Tuning of Vision-Language Models with Effective Gradient Approximation
Harbin Institute of Technology(哈尔滨工业大学);Tomorrow Advancing Life(好未来);Pazhou Lab, Guangzhou(广州琶洲实验室)
针对黑盒视觉-语言模型难以微调的问题,提出协作式黑盒调优(CBBT),通过扰动提示近似梯度并添加轻量适配器,在十一个基准上显著提升适配性能。
2023-12-26 cs.CV
UI-Styler: Ultrasound Image Style Transfer with Class-Aware Prompts for Cross-Device Diagnosis Using a Frozen Black-Box Inference Network
National Yang Ming Chiao Tung University(阳明交通大学)
UI-Styler通过类感知提示策略和模式匹配机制,提升超声图像跨设备诊断的准确性和性能。
2025-11-21 cs.CV
TIP-Editor: An Accurate 3D Editor Following Both Text-Prompts And Image-Prompts
Sun Yat-sen University(中山大学);Tencent AI Lab(腾讯AI实验室);Peng Cheng Laboratory(鹏城实验室)
提出3D场景编辑框架TIP-Editor,结合文本与图像提示及3D边界框,利用逐步2D个性化策略与3D高斯泼溅实现精准局部编辑,在质量和提示对齐上优于基线。
2024-04-25 cs.CV
Probabilistic Prompt Learning for Dense Prediction
Yonsei University(延世大学);Hyundai Motor Company R&D Division(现代汽车公司研发部门);NAVER LABS(NAVER实验室);Korea Institute of Science and Technology (KIST)(韩国科学技术研究院)
提出概率提示学习方法,通过引入可学习的类无关属性提示并结合类信息与视觉上下文知识定义类特定文本分布,利用概率像素-文本匹配损失指导密集预测任务,显著提升了模型的稳定性和泛化能力。
2023-04-03 cs.AI cs.CV
Optimization of MedSAM model based on bounding box adaptive perturbation algorithm
School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院)
针对MedSAM在扰动窗口约束和缩小边界框提示下分割小目标及复杂结构时的不足,提出边界框自适应扰动算法优化训练,以减少分割错误并提升鲁棒性。
2025-03-25 cs.CV
BSPA: Exploring Black-box Stealthy Prompt Attacks against Image Generators
Tsinghua University(清华大学);RealAI;University of Chinese Academy of Sciences(中国科学院大学)
本文提出黑盒隐蔽提示攻击方法 BSPA,利用检索器模拟 API 用户并借助过滤器分数调整敏感词检索空间,无需访问模型内部即可生成隐蔽攻击提示,并构建 NSFWeval 数据集验证其对主流图像生成器的攻击效果与防御建议。
2024-02-23 cs.CL cs.CR cs.CV
PVPUFormer: Probabilistic Visual Prompt Unified Transformer for Interactive Image Segmentation
College of Computer Science and Electronic Engineering, Hunan University(湖南大学计算机与通信工程学院)
针对交互式图像分割现有方法提示反馈不足的问题,提出PVPUFormer模型,通过概率提示统一编码器、P²C损失和双交叉融合注意力模块挖掘鲁棒提示特征,实现了当前最优的交互式分割性能。
2024-11-03 cs.CV cs.RO eess.IV
Automated Black-box Prompt Engineering for Personalized Text-to-Image Generation
Carnegie Mellon University(卡内基梅隆大学);University of Pennsylvania(宾夕法尼亚大学);Sony AI(索尼人工智能);Sony Group Corporation(索尼集团);Bosch Center for AI(博世人工智能中心)
本文提出PRISM算法,利用大语言模型的上下文学习能力,在仅黑盒访问条件下自动生成可解释、可迁移的文本到图像提示,并在多个主流T2I模型上验证了其有效性。
2025-08-16 cs.AI cs.CL cs.CV
A Fixed-Point Approach to Unified Prompt-Based Counting
City University of Hong Kong(香港城市大学)
提出统一提示计数框架,将框、点、文本等提示转换为掩码并集成到类无关计数中,通过定点推理和对比训练提升精度与跨数据集适应性。
2024-03-15 cs.CV
Probabilistic Anchor Assignment with IoU Prediction for Object Detection
XL8 Inc.(XL8 公司);Qualcomm Korea YH(高通韩国 YH)
在目标检测中,确定将哪些锚点分配为阳性或阴性样本,称为锚点分配,已被揭示为可以显著影响模型性能的核心过程。在本文中,我们提出了一种新的锚分配策略,自适应地将锚分为正样本和负样本的地面实况限界框根据模型的学习状态,使它能够以概率的方式分离的原因。为此,我们首先计算以模型为条件的锚点的得分,并将概率分布拟合到这些得分。然后,根据概率将锚点分为阳性和阴性样本来训练模型。此外,我们调查了训练和测试目标之间的差距,并提出预测检测到的盒子的Intersection-over-Unions作为本地化质量的衡量标准,以减少差异。分类和定位质量的组合得分作为非最大抑制中的框选择度量与所提出的锚分配策略一致,并导致显着的性能改进。所提出的方法仅向RetinaNet基线添加单个卷积层,并且每个位置不需要多个锚点,因此是有效的。实验结果验证了所提方法的有效性。特别是,我们的模型在具有各种主干的MS COCO测试开发数据集上为单级检测器创造了新的记录。代码可在https://github.com/kkhoot/PAA上获得。
2020-09-05 cs.CV
VirPro: Visual-referred Probabilistic Prompt Learning for Weakly-Supervised Monocular 3D Detection
The University of Sydney(悉尼大学);Tongji University(同济大学);Nanyang Technological University(南洋理工大学)
本文提出VirPro,通过生成场景条件化提示并结合多高斯提示建模,提升单目3D检测的弱监督性能,实验表明在KITTI基准上平均精度提升4.8%。
2026-03-20 cs.AI cs.CV
Language Models as Black-Box Optimizers for Vision-Language Models
Carnegie Mellon University(卡内基梅隆大学)
针对闭源VLM无法白盒微调的问题,提出用聊天式LLM通过自动爬山流程、结合正负文本反馈搜索最优提示的黑盒优化方法,在1样本分类任务上优于CoOp等方法,且提示可解释性、迁移性强,还可应用于DALL-E 3的生成等任务。
2024-05-14 cs.CL cs.CV cs.LG
CARPRT: Class-Aware Zero-Shot Prompt Reweighting for Black-Box Vision-Language Models
University of Melbourne(墨尔本大学);Southeast University(东南大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);The University of Tokyo(东京大学)
研究针对预训练视觉语言模型零样本图像分类中提示与类独立性假设不成立的问题,提出类感知零样本提示重加权方法CARPRT,通过无训练方式量化提示与类的相关性并调整权重,实验表明该方法优于现有方法。
2026-07-17 cs.CV cs.LG
VerifyPrompt: Towards Text-to-Image Models Verification Behind Black-Box APIs
Laboratory of Intelligent Collaborative Computing, University of Electronic Science and Technology of China(电子科技大学智能协同计算实验室,电子科技大学);School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院,电子科技大学)
针对第三方服务是否提供真实 T2I 模型的安全问题,本文提出 VerifyPrompt 方法,利用 NSGA-II 算法生成不可迁移的对抗验证提示词,通过计算 CLIP-text 相似度实现黑盒模型验证,准确率超 90%。
2026-11-19 cs.CR cs.CV
Robust Adaptation of Foundation Models with Black-Box Visual Prompting
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Seoul(首尔市立大学);Yonsei University(延世大学);University of Washington(华盛顿大学)
本文提出BlackVIP方法,通过协调器和SPSA-GC组件实现无需模型参数的PTM适应,通过实验展示其在不同领域和任务中的鲁棒性,同时提供理论分析支持视觉提示方法的鲁棒性。
2026-04-03 cs.CV cs.LG
PLA: Prompt Learning Attack against Text-to-Image Generative Models
The Hong Kong Polytechnic University(香港理工大学)
本文提出PLA框架,利用多模态相似性设计梯度训练,在黑盒设置下高效生成对抗性提示,以高成功率绕过T2I模型的安全机制,揭示其生成NSFW内容的漏洞。
2025-07-14 cs.AI cs.CR cs.CV
Analogist: Out-of-the-box Visual In-Context Learning with Image Diffusion Model
City University of Hong Kong(香港城市大学);State Key Lab for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Tianjin University(天津大学)
针对现有视觉ICL泛化性差、依赖文本提示效率低等问题,提出开箱即用的Analogist方法,结合视觉与文本提示技术,无需微调即可高效完成多类视觉任务,性能优于现有方法。
2024-05-16 cs.CV cs.GR
GASP: Efficient Black-Box Generation of Adversarial Suffixes for Jailbreaking LLMs
Birla Institute of Technology and Science(比拉理工学院);CISPA Helmholtz Center for Information Security(信息安全赫尔姆霍茨中心)
本文提出黑盒框架GASP,利用潜在贝叶斯优化在连续嵌入空间中生成自然对抗后缀,以高效实现大语言模型越狱攻击并提升红队测试效率。
2025-11-06 cs.AI cs.CR cs.CV
PromptLA: Towards Integrity Verification of Black-box Text-to-Image Diffusion Models
Shanghai Jiao Tong University(上海交通大学);Qilu University of Technology(齐鲁工业大学)
本文提出PromptLA,一种基于学习自动机的提示选择算法,通过KL散度检测黑盒T2I扩散模型篡改,在四个模型上平均AUC超0.96,实现高效、低成本且鲁棒的完整性验证。
2025-03-28 cs.AI cs.CR cs.CV
Labels Are Not Perfect: Improving Probabilistic Object Detection via Label Uncertainty
Corporate Research, Robert Bosch GmbH(罗伯特·博世公司企业研究部);Institute of Measurement, Control and Microtechnology, Ulm University(乌尔姆大学测量、控制与微技术研究所)
可靠的不确定性估计对于自主驾驶中的鲁棒目标检测至关重要。然而,以前的工作概率目标检测要么学习预测概率限界框回归在无监督的方式,或使用简单的算法来做不确定性正则化。这导致不稳定的训练或次优的检测性能。在这项工作中,我们利用我们以前提出的方法估计固有的不确定性地面真理限界框参数(我们称之为标签的不确定性),以提高检测精度的概率激光雷达为基础的对象检测器。在KITTI数据集上的实验结果表明,我们的方法在平均精度方面超过了基线模型和基于简单几何学的模型,最高可达3.6%。
2020-08-10 cs.CV cs.LG
BlackVIP: Black-Box Visual Prompting for Robust Transfer Learning
University of Seoul(首尔大学);Sungkyunkwan University(成均馆大学);Yonsei University(延世大学)
BlackVIP提出黑盒视觉提示方法,通过协调器和SPSA-GC在不访问预训练模型参数的情况下实现高效鲁棒迁移学习。
2023-07-08 cs.AI cs.CV cs.LG
Interpretable Affordance Detection on 3D Point Clouds with Probabilistic Prototypes
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文首次将原型学习应用于三维点云可供性检测,在3D-AffordanceNet上达到与黑盒模型相当的竞争力,同时提供固有可解释性,适用于需要信任与安全的人机交互场景。
2025-04-25 cs.CV cs.RO
Learning Domain Adaptive Object Detection with Probabilistic Teacher
Zhejiang University(浙江大学);Hikvision Research Institute(海康威视研究院);National University of Singapore(新加坡国立大学);Chongqing University(重庆大学);Hainan Institute of Zhejiang University(浙江大学海南研究院)
无监督域自适应目标检测的自训练是一项具有挑战性的任务,其性能在很大程度上取决于伪盒的质量。尽管取得了令人鼓舞的结果,但之前的工作在很大程度上忽视了自我训练过程中伪框的不确定性。在本文中,我们提出了一个简单而有效的框架,称为Probably Teacher(PT),其目的是从逐渐发展的教师中捕获未标记目标数据的不确定性,并以互利的方式指导学生的学习。具体来说,我们建议利用不确定性指导的一致性训练来促进分类适应和本地化适应,而不是通过精心设计的置信度阈值来过滤伪框。此外,我们进行锚适应与本地化适应并行,因为锚可以被视为一个可学习的参数。与此框架一起,我们还提出了一种新的熵焦点损失(EFL),以进一步促进不确定性引导的自我训练。配备EFL后,PT的性能大大优于所有以前的基准,并达到了新的最先进水平。
2022-06-13 cs.AI cs.CV
CREPE: Learnable Prompting With CLIP Improves Visual Relationship Prediction
Arizona State University(亚利桑那州立大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本研究针对视觉关系预测任务,基于UVTransE框架结合CLIP设计表示方案,提出带对比训练策略的CREPE方法,在Visual Genome基准上取得了性能提升,验证了视觉语言模型在该任务的有效性。
2023-07-19 cs.CV cs.LG
Robotic State Recognition with Image-to-Text Retrieval Task of Pre-Trained Vision-Language Model and Black-Box Optimization
The University of Tokyo(东京大学)
该研究提出利用预训练视觉语言模型的图像-文本检索能力结合黑盒优化的机器人状态识别方法,无需重训练模型或手动编程,仅通过提示词及权重优化即可高精度识别多种此前难识别的环境与物体状态,便于资源管理。
2024-10-30 cs.AI cs.CV cs.RO
PopSkipJump: Decision-Based Attack for Probabilistic Classifiers
ETH Zürich(苏黎世联邦理工学院)
大多数当前的分类器容易受到对抗性样本的影响,这些样本是改变分类输出的小输入扰动。许多现有的攻击算法涵盖了从白盒到黑盒分类器的各种设置,但通常假设答案是确定性的,并且通常在答案不确定时失败。因此,我们提出了一种新的基于对抗性决策的攻击,专门为具有概率输出的分类器设计。它基于Chen等人的HopSkipJump攻击(2019,arXiv:1904.02144v5),这是一种最初为确定性分类器设计的强大且查询高效的基于决策的攻击。我们的P(robabilisticH)opSkipJump攻击适应其查询量,以保持HopSkipJump的原始输出质量在各种噪声水平,同时收敛到其查询效率的噪声水平降低。我们测试了我们对各种噪声模型的攻击,包括最先进的现成的随机防御,并表明它们对基于决策的攻击几乎没有额外的鲁棒性。代码可在https://github.com/cjsg/PopSkipJump上获得。
2021-06-14 cs.CR cs.CV cs.LG