SAM-IQA: Can Segment Anything Boost Image Quality Assessment?
Megvii Technology(旷视科技);University of Electronic Science and Technology of China(电子科技大学)
本文提出 SAM-IQA,利用 Segment Anything 编码器提取高层语义特征,并结合空间域与频域特征,在四个代表性数据集上超越现有最先进方法,验证了该思路对图像质量评估任务的有效性。
2023-07-10 cs.CV eess.IV
Boosting Segment Anything Model to Generalize Visually Non-Salient Scenarios
Unmanned System Research Institute at Northwestern Polytechnical University(西北工业大学无人系统研究院);School of Electronic, Electrical, and Communication Engineering, University of Chinese Academic of Sciences(中国科学院大学电子电气与通信工程学院);Max Planck Institute for Informatics (MPI-INF)(马克斯·普朗克研究所(信息研究所));University of Science and Technology of China(中国科学技术大学)
本文提出VNS-SAM,通过改进Segment Anything模型以提升对视觉非显著场景的分割性能和泛化能力。
2026-01-02 cs.CV
GEM: Boost Simple Network for Glass Surface Segmentation via Vision Foundation Models
School of Mechanical Science and Engineering, Huazhong University of Science and Technology(华中科技大学机械科学与工程学院);University of Hongkong(香港大学)
针对玻璃表面检测现有方案数据集构建成本高、模型复杂的问题,研究借助Stable Diffusion构建零成本合成数据集S-GSD,基于SAM设计简单分割器GEM,在GSD-S数据集上取得新SOTA,且合成数据集在零样本和迁移学习中表现优异。
2024-05-21 cs.CV
Boosting Few-shot Semantic Segmentation with Transformers
ETH Zurich(苏黎世联邦理工学院)
由于全监督语义分割方法需要足够的全标记数据才能很好地工作,并且不能推广到不可见的类别,因此Few-Shot分割引起了大量的研究关注。现有技术从支持图像和查询图像中提取特征,在对查询图像进行预测之前对其进行联合处理。整个过程基于卷积神经网络(CNN),导致仅使用局部信息的问题。本文提出了一种基于变换器的Few-Shot语义分割方法。具体来说,我们的模型包括两个模块:全球增强模块(GEM)和本地增强模块(LEM)。GEM采用Transformer块来利用全局信息,而LEM利用传统的卷积来利用跨查询和支持特征的局部信息。GEM和LEM是互补的,有助于学习更好的特征表示来分割查询图像。在PASCAL-5i和COCO数据集上的大量实验表明,我们的方法实现了新的最先进的性能,证明了其有效性。
2021-08-04 cs.CV
BiSeg-SAM: Weakly-Supervised Post-Processing Framework for Boosting Binary Segmentation in Segment Anything Models
Technische Universität München(慕尼黑工业大学)
提出弱监督框架BiSeg-SAM,结合CNN、WeakBox、MM2B转换、SC损失与DetailRefine模块,提升息肉与皮肤病变分割精度,在六个数据集上显著优于SOTA方法。
2025-04-02 cs.AI cs.CV cs.LG
Segment Any-Quality Images with Generative Latent Space Enhancement
Northwestern Polytechnical University(西北工业大学);Huawei(华为);University of Chinese Academy of Sciences(中国科学院大学);Huawei Noah’s Ark Lab(华为诺亚实验室)
本文提出GleSAM,通过生成潜在空间增强提升低质量图像分割鲁棒性,采用潜在扩散方法改进SAM框架,构建LQSeg数据集,实验证明在复杂退化下表现优异。
2026-04-24 cs.CV
SlimSAM: 0.1% Data Makes Segment Anything Slim
National University of Singapore(新加坡国立大学)
提出SlimSAM,一种数据高效的SAM压缩方法,通过交替轻量化框架和Disturbed Taylor剪枝技术,在仅用0.1%训练数据下实现接近原始SAM性能,同时大幅减少参数量和计算量。
2024-09-26 cs.CV
SAMRefiner: Taming Segment Anything Model for Universal Mask Refinement
Zhejiang University(浙江大学);Shanghai AI Laboratory(上海人工智能实验室);FABU Inc.(FABU公司);The University of Hong Kong(香港大学)
本文提出通用掩码优化方法 SAMRefiner,通过抗噪声多提示与 STM 流程改造 SAM,并以无标注 IoU 自增强得到 SAMRefiner++,在多类基准上提升准确性与效率。
2025-03-16 cs.CV
Deep Instruction Tuning for Segment Anything Model
Xiamen University(厦门大学);The Hong Kong University of Science and Technology(香港科技大学)
本文提出两种深度指令微调方法(端到端和逐层),将SAM的图像编码器转变为独立视觉语言学习器,大幅提升了其在指代图像分割任务上的性能并达到SOTA。
2024-04-27 cs.CV
PosSAM: Panoptic Open-vocabulary Segment Anything
Qualcomm AI Research(高通人工智能研究中心);Johns Hopkins University(约翰斯·霍普金斯大学)
PosSAM是一个端到端开放词汇全景分割模型,融合SAM与CLIP,通过LDP模块和MASE算法实现无偏分类与掩码增强,在COCO和ADE20K数据集上分别超越SOTA 2.4和4.6 PQ。
2024-03-14 cs.CV
PP-SAM: Perturbed Prompts for Robust Adaptation of Segment Anything Model for Polyp Segmentation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Northwestern University(西北大学)
针对SAM在息肉分割中微调数据有限和提示变异的问题,提出PP-SAM,通过可变扰动边界框提示增强鲁棒性,在Kvasir等基准上显著提升DICE分数,并优于SOTA方法。
2024-05-27 cs.CV
SAQ-SAM: Semantically-Aligned Quantization for Segment Anything Model
针对SAM现有训练后量化方法存在激活离群值处理不佳、语义错位的问题,提出SAQ-SAM语义对齐量化方法,通过三类优化策略实现高效压缩,在多任务上取得更优的4比特量化性能。
2025-11-15 cs.CV
S^4M: Boosting Semi-Supervised Instance Segmentation with SAM
KAIST AI(韩国科学技术院人工智能学院);Korea University(高丽大学);Samsung Electro-Mechanics(三星电机)
本文提出S^4M方法,通过将SAM蒸馏集成到半监督实例分割框架并结合伪标签细化与专用数据增强,在有限标注数据下实现了最先进性能。
2025-04-07 cs.CV
Segment and Matte Anything in a Unified Model
本文提出SAMA,一种基于SAM的轻量级模型,实现高质量的交互式图像分割与遮罩,通过多视图定位编码器和定位适配器提升精度,展现广泛的应用能力。
2026-01-17 cs.AI cs.CV
SAM 3: Segment Anything with Concepts
Meta Superintelligence Labs(Meta超级智能实验室)
SAM 3通过概念提示实现图像和视频中的目标检测、分割与跟踪,提升分割准确率并引入新的SA-Co基准。
2026-03-28 cs.AI cs.CV
Segment Anything Model-guided Collaborative Learning Network for Scribble-supervised Polyp Segmentation
Nanjing University of Science and Technology(南京理工大学);Southeast University(东南大学);Institute of High Performance Computing, A*STAR(新加坡科技研究局高性能计算研究所)
本文提出 SAM-CLNet,通过 CEA-Net 与 SAM 协同学习,结合框增强策略和图像级过滤机制,利用 SAM 生成的掩码为涂鸦监督息肉分割提供额外监督,显著提升弱监督分割性能。
2023-12-01 cs.CV
Code2World: A GUI World Model via Renderable Code Generation
University of Science(科学大学);AMAP, Alibaba Group(AMAP,阿里巴巴集团);University of Oxford(牛津大学);Sun Yat-sen University(中山大学)
Code2World通过可渲染代码生成实现高保真UI预测,提升Android导航性能
2026-02-10 cs.AI cs.CL cs.CV
SAMAug: Point Prompt Augmentation for Segment Anything Model
School of Computing, University of Georgia(佐治亚大学计算机学院);School of Automation, Northwestern Polytechnical University(西北工业大学自动化学院);Department of Computer Science and Engineering, Lehigh University(里海大学计算机科学与工程系);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);Department of Computer Science and Engineering, University of Texas at Arlington(德克萨斯大学阿灵顿分校计算机科学与工程系);Department of Radiation Oncology, Mayo Clinic(梅奥诊所放射肿瘤科);School of Computer Science, Northwestern Polytechnical University(西北工业大学计算机学院)
SAMAug通过生成增强点提示提升SAM交互式分割性能,在多个数据集上验证了有效性,展示了视觉提示增强的潜力。
2024-03-19 cs.AI cs.CV
RMP-SAM: Towards Real-Time Multi-Purpose Segment Anything
Peking University(北京大学);Nanyang Technology University(南洋理工大学);UC, Merced(加州大学默塞德分校);Shanghai AI Laboratory(上海人工智能实验室);KAUST(阿卜杜拉国王科技大学);Google Research(谷歌研究院)
本工作提出实时多用途分割设置,并设计基于动态卷积的RMP-SAM模型,以单一端到端架构同时完成交互式、全景和视频实例分割,在准确性和速度上达到最优平衡。
2025-02-28 cs.CV
MobileSAMv2: Faster Segment Anything to Everything
Kyung Hee University(庆熙大学);Nota Inc.(Nota公司)
针对SAM的SegEvery任务掩码解码器效率瓶颈,MobileSAMv2通过目标发现获取有效提示直接生成最终掩码,掩码解码器提速超16倍,LVIS零样本目标提议性能提升3.6%,还兼容MobileSAM的蒸馏图像编码器,实现统一高效分割框架。
2023-12-15 cs.AI cs.CV
Boosting Medical Image Classification with Segmentation Foundation Model
University of Notre Dame(圣母大学);Nanjing University of Science and Technology(南京理工大学);Tianjin University(天津大学)
针对SAM尚未用于医学图像分类的问题,本文提出基于SAM的增强方法SAMAug-C及融合原始与增强图像的框架,在三个公开数据集上提升了分类性能。
2024-06-16 cs.AI cs.CV
ALPS: An Auto-Labeling and Pre-training Scheme for Remote Sensing Segmentation With Segment Anything Model
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院);Baidu Inc.(百度公司)
本文提出 ALPS 自动标注框架,利用 SAM 与聚类、伪标签对齐生成遥感伪标签并构建预训练数据集,提升 iSAID、ISPRS Potsdam 等下游分割性能。
2024-06-16 cs.AI cs.CV
SAM2-Aug: Prior knowledge-based Augmentation for Target Volume Auto-Segmentation in Adaptive Radiation Therapy Using Segment Anything Model 2
University of Texas Southwestern Medical Center(德克萨斯大学西南医学中心)
本文提出 SAM2-Aug,通过既往影像上下文输入和随机边界框、掩码形变增强提示,提升 SAM2 在多部位肿瘤 MRI 分割中的精度与跨序列泛化能力。
2025-07-25 cs.CV eess.IV physics.med-ph
Can SAM Boost Video Super-Resolution?
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学)
本文提出利用分割一切模型(SAM)作为语义感知先验,通过轻量级模块SEEM增强视频超分辨率中的对齐与融合,在EDVR和BasicVSR上于三个数据集上持续提升性能。
2023-05-12 cs.CV
SAM-I-Am: Semantic Boosting for Zero-shot Atomic-Scale Electron Micrograph Segmentation
Pacific Northwest National Laboratory(西北太平洋国家实验室);Iowa State University(爱荷华州立大学);University of Oregon(俄勒冈大学)
本文提出语义增强方法及 SAM-I-Am 增强器,通过中间掩码的几何与纹理特征进行移除和合并,使 SAM 在零样本原子尺度 TEM 显微分割上显著提升 IoU 并减少假阳性掩码。
2024-05-10 cond-mat.mtrl-sci cs.CV
Efficient MedSAMs: Segment Anything in Medical Images on Laptop
本文组织了首个可提示医学图像分割国际竞赛,基于涵盖9种成像模态的大规模数据集,推动了在保持分割精度的同时大幅降低计算需求的高效轻量级模型的发展,并将最佳算法集成至开源软件以促进临床应用。
2024-12-20 cs.CV eess.IV
Input Augmentation with SAM: Boosting Medical Image Segmentation with Segmentation Foundation Model
Nanjing University of Science and Technology(南京理工大学);Fudan University(复旦大学);University of Notre Dame(圣母大学)
本文提出SAMAug方法,利用SAM生成的掩码、特征和稳定性分数增强医学图像输入,以提升U-Net等分割模型的性能,在三个任务上验证了有效性。
2023-06-21 cs.AI cs.CV cs.LG
Fine-tuning CNN Image Retrieval with No Human Annotation
Czech Technical University in Prague(布拉格捷克理工大学)
基于卷积神经网络(CNN)的图像描述符由于其区分能力、表示的紧凑性和搜索效率而在图像检索中占据主导地位。CNN的训练,无论是从头开始还是微调,都需要大量的注释数据,其中高质量的注释通常至关重要。在这项工作中,我们建议以完全自动化的方式对大量无序图像进行图像检索。通过最先进的检索和运动恢复结构方法获得的重建3D模型指导训练数据的选择。我们表明,硬正面和硬负面的例子,通过利用几何形状和摄像机的位置从3D模型中选择,提高特定对象检索的性能。从相同的训练数据区别性地学习的CNN描述符白化优于常用的PCA白化。我们提出了一种新的可训练的广义均值(GeM)池化层,它概括了最大和平均池化,并表明它提高了检索性能。将所提出的方法应用于VGG网络,在标准基准测试(牛津建筑,巴黎和假日数据集)上实现了最先进的性能。
2018-07-10 cs.CV
Automated Re-Identification of Holstein-Friesian Cattle in Dense Crowds
School of Computer Science(计算机科学学院);Bristol Veterinary School, University of Bristol(布里斯托大学兽医学院)
本文提出了一种新的检测-分割-识别流程,利用Open-Vocabulary Weight-free Localisation和Segment Anything模型,提升了密集人群中的荷斯坦-弗里西牛重识别的准确率和实用性。
2026-02-17 cs.CV
Stronger, Steadier & Superior: Geometric Consistency in Depth VFM Forges Domain Generalized Semantic Segmentation
Jimei University(集美大学);Sun Yat-sen University(中山大学);University of Glasgow(格拉斯哥大学);Xidian University(西安电子科技大学)
本文提出DGSS微调框架DepthForge,通过结合冻结VFM的视觉特征与Depth Anything V2的深度线索,引入深度感知令牌和深度优化解码器,显著提升了模型在极端条件下的几何一致性与跨域泛化分割性能。
2025-07-15 cs.CV
SAM-guided Pseudo Label Enhancement for Multi-modal 3D Semantic Segmentation
University of Michigan(密歇根大学)
提出一种利用SAM的2D先验知识增强多模态3D语义分割伪标签的方法,通过多数投票和几何感知渐进传播(GAPP)提升伪标签质量与数量,显著增强跨域自适应性能。
2025-02-02 cs.CV
BALR-SAM: Boundary-Aware Low-Rank Adaptation of SAM for Resource-Efficient Medical Image Segmentation
Shanghai Jiao Tong University(上海交通大学)
本文提出BALR-SAM框架,通过引入互补细节增强网络、低秩适配器和低秩张量注意力机制,在仅更新1.8%参数且无需提示的条件下,有效提升了SAM在医学图像分割中的性能与资源效率。
2025-10-31 cs.AI cs.CV
Multi-modal Preference Alignment Remedies Degradation of Visual Instruction Tuning on Language Models
TIFIN Inc(TIFIN公司);KAUST(阿卜杜拉国王科技大学);University of Massachusetts Boston(马萨诸塞大学波士顿分校)
针对VQA数据导致MLLM语言能力退化的问题,提出用细粒度标注的小型偏好数据集结合DPO进行多模态对齐,在MT-Bench、MM-Vet等基准上显著提升指令跟随与视觉性能。
2024-11-05 cs.AI cs.CL cs.CV
Scientific Graphics Program Synthesis via Dual Self-Consistency Reinforcement Learning
Zhejiang University(浙江大学);Shanghai Artificial Intelligence Laboratory, OpenDataLab(上海人工智能实验室,OpenDataLab);Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学)
本文提出双自一致性强化学习框架,结合高质量数据集和多维基准,提升科学图形到可编辑TikZ代码的转换能力,实现视觉与结构的高精度优化。
2026-08-31 cs.AI cs.CV
ConformalSAM: Unlocking the Potential of Foundational Segmentation Models in Semi-Supervised Semantic Segmentation with Conformal Prediction
Dalian University of Technology(大连理工大学);Queen Mary University of London(伦敦玛丽女王大学);Washington State University(华盛顿州立大学);Tsinghua University(清华大学)
本文提出ConformalSAM框架,利用共形预测校准SEEM基础分割模型生成的高置信度伪标签,并结合自依赖训练策略,在半监督语义分割中缓解标签稀缺问题并提升性能。
2025-07-21 cs.AI cs.CV cs.LG