Clustering Propagation for Universal Medical Image Segmentation
University of Technology Sydney（悉尼科技大学）；Zhejiang University（浙江大学）
提出S2VNet通用框架，利用Slice-to-Volume传播在单模型和一次训练中统一自动与交互式医学图像分割，凭借2D网络实现切片间知识传递，在三个基准上超越特定任务方案且推理快、内存低。
2024-03-25 cs.CV
Multiscale Vision Transformer With Deep Clustering-Guided Refinement for Weakly Supervised Object Localization
Hanyang University（汉阳大学）；Seoul National University of Science and Technology（首尔国立科技大学）
针对弱监督目标定位精度有限的问题，提出多尺度目标定位Transformer及深度聚类引导优化方法，在ILSVRC-2012数据集上验证了有效性。
2023-12-15 cs.AI cs.CV
Content-based Propagation of User Markings for Interactive Segmentation of Patterned Images
Technical University of Denmark（丹麦技术大学）
有效和容易的分割图像和体积是非常重要的实际意义。分割的问题，激励我们的方法起源于材料科学，医学和生物学中常用的显微成像。我们制定图像分割作为一个概率像素分类问题，我们应用分割作为表征图像内容的一步。我们的方法允许用户通过交互式标记像素的子集来定义感兴趣的结构。由于实时反馈，用户可以根据当前结果有策略地放置新标记。最终的像素分类可以从非常适度的用户输入获得。我们的方法的一个重要组成部分是编码图像内容的图。该图在初始化期间以无监督的方式构建，并且基于图像特征的聚类。由于我们将有限数量的用户标记数据与从图像的未标记部分获得的聚类信息相结合，因此我们的方法适合半监督学习的一般框架。我们演示了如何这可以是一个非常有效的方法，通过像素分类分割。
2020-09-28 cs.CV
PhotoBot: Reference-Guided Interactive Photography via Natural Language
Samsung AI Centre（三星人工智能中心）；University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）；McGill University（麦吉尔大学）
PhotoBot通过自然语言查询和参考图像引导机器人自动摄影，利用VLM、LLM与视觉Transformer特征匹配场景并求解PnP问题调整相机姿态，用户研究表明其拍摄效果优于用户自拍且可泛化至绘画等参考来源。
2024-12-26 cs.AI cs.CV cs.RO
Few-Shot Segmentation Propagation with Guided Networks
UC Berkeley（加州大学伯克利分校）
基于学习的视觉分割方法在特定类型的分割任务上取得了进展，但受到必要的监督，固定任务的狭窄定义以及在推理过程中缺乏控制以纠正错误的限制。为了弥补标准方法的刚性和注释负担，我们解决了Few-Shot分割的问题：给定很少的图像和很少的像素监督，相应地分割任何图像。我们提出了引导网络，它从任何数量的监督中提取潜在的任务表示，并优化我们的架构端到端，以实现快速，准确的Few-Shot分割。我们的方法可以在没有进一步优化的情况下切换任务，并在获得更多指导时快速更新。我们报告的第一个结果，从一个像素每个概念的分割，并显示实时交互式视频分割。我们的统一方法传播像素注释跨空间的交互式分割，跨时间的视频分割，跨场景的语义分割。我们的引导分割器在注释量和时间方面的准确性是最先进的。请访问http://github.com/shelhamer/revolver获取代码、模型和更多详细信息。
2018-05-25 cs.CV cs.LG stat.ML
Uncertainty-Guided Efficient Interactive Refinement of Fetal Brain Segmentation from Stacks of MRI Slices
University of Electronic Science and Technology of China（电子科技大学）；King’s College London（伦敦国王学院）；University Hospitals KU Leuven（鲁汶大学附属医院）；University College London（伦敦大学学院）；SenseTime Research（商汤科技研究院）
从运动受损的胎儿MRI切片中分割胎儿大脑对于运动校正和高分辨率体积重建是重要的。虽然卷积神经网络（CNN）已被广泛用于胎儿大脑的自动分割，但其结果仍可能受益于具有挑战性的切片的交互式细化。为了提高交互式精化过程的效率，我们提出了一个不确定性指导的交互式精化（UGIR）框架。我们首先提出了一个基于分组卷积的CNN，以获得多个自动分割预测与不确定性估计在一个单一的前向通过，然后引导用户提供交互只在一个子集的切片具有最高的不确定性。提出了一种新的交互式水平集方法，以获得一个细化的结果给定的初始分割和用户交互。实验结果表明：（1）我们提出的CNN实时获得不确定性估计，其与误分割良好相关，（2）所提出的交互式水平集对于细化是有效的和高效的，（3）UGIR通过使用不确定性来指导用户交互，获得准确的细化结果，效率提高约30%。我们的代码可在线获取。
2020-07-02 cs.CV eess.IV
Guided Interactive Video Object Segmentation Using Reliability-Based Attention Maps
Korea University（高丽大学）；Chungnam National University（忠南大学）
提出了一种新的视频对象引导交互式分割（GIS）算法，以提高分割精度和减少交互时间。首先，我们设计了基于可靠性的注意力模块来分析多个注释帧的可靠性。其次，我们开发了交叉感知传播模块，将分割结果传播到相邻帧。第三，我们引入了GIS机制，用户可以快速选择不满意的帧，更少的努力。实验结果表明，该算法比传统算法具有更快的分割速度和更准确的分割结果。代码可在https://github.com/yuk6heo/GIS-RAmap上获得。
2021-04-21 cs.CV
ContactGen: Contact-Guided Interactive 3D Human Generation for Partners
UNIST（蔚山科学技术院）
针对给定伙伴人体，提出基于引导扩散和接触预测模块的ContactGen方法，在CHI3D数据集上生成物理合理且多样的交互3D人体姿态。
2024-02-03 cs.CV
MST: Adaptive Multi-Scale Tokens Guided Interactive Segmentation
Shenzhen Institute of Artificial Intelligence and Robotics for Society, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳） 深圳市人工智能与机器人研究院）；School of Information Science and Engineering, Northeastern University, Shenyang（东北大学 信息科学与工程学院）；Maxvision Technology Corp., Shenzhen（万Vision科技公司（深圳））
提出一种自适应多尺度令牌引导的交互式分割方法，通过top-k操作和对比学习优化令牌选择，在基准测试中达到最先进性能。
2024-02-03 cs.CV
Interpretable Text-Guided Image Clustering via Iterative Search
University of Edinburgh（爱丁堡大学）
提出ITGC方法，通过迭代搜索和无监督聚类目标生成可解释视觉概念，解决文本引导图像聚类中的模糊性，在多个基准上优于现有方法。
2025-09-09 cs.CV
Speak, Segment, Track, Navigate: An Interactive System for Video-Guided Skull-Base Surgery
IEEE
本文提出一种基于语音引导的嵌入式代理框架，用于视频引导的颅底手术，通过实时视觉感知和图像引导任务响应外科医生的查询，提高手术流程整合性和部署速度。
2026-04-16 cs.CV
Oracle-guided Contrastive Clustering
深度聚类旨在通过深度架构学习聚类表示。现有的聚类方法大多以聚类性能最大化为唯一目标进行聚类，忽略了聚类任务的个性化需求。并导致无指导的聚类解决方案。然而，在实际场景中，预言机可能倾向于通过利用不同的标准（诸如不同的语义（背景、颜色、对象等））来对未标记的数据进行聚类，然后提出个性化的聚类任务。为了实现任务感知的聚类结果，在这项研究中，甲骨文引导的对比聚类（OCC），然后提出了集群交互式成对的“同类”查询的甲骨文具有独特的需求。具体地说，受主动学习的启发，查询一些信息实例对，并根据它们所期望的方向由预言机评估这些实例对是否在同一簇中。然后，这些查询的同类对扩展的对比学习的积极的实例对的集合，引导OCC提取的方向感知的特征表示。因此，由具有不同需求的预言机引导的查询结果可以在期望的方向上驱动OCC的聚类结果。理论上，给出了主动学习方式下的聚类风险的上界，保证了对oracle的主动查询确实降低了聚类风险。大量的实验结果表明，OCC可以准确地沿着特定的方向聚类，它大大优于SOTA聚类方法。据我们所知，它是第一个执行个性化聚类的深度框架。
2022-11-01 cs.CV
Guided Co-training for Large-Scale Multi-View Spectral Clustering
Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
在许多现实世界的应用程序中，我们可以访问数据的多个视图，每个视图都从不同的方面表征数据。几个以前的算法已经证明，一个可以实现更好的聚类准确性，适当地整合信息，从所有的意见，而不是只使用一个单独的视图。由于谱聚类的有效性，许多多视图聚类方法都是基于谱聚类的，但由于谱聚类的高计算复杂性，这些方法对大规模数据的适用性有限。在这项工作中，我们提出了一种新的大规模数据的多视图谱聚类方法。我们的方法是在指导共同训练计划下构建的，以融合不同的视图，并使用采样技术来加速谱聚类。更具体地，我们首先选择$p$（$\ll n$）标志点，然后相应地近似特征分解。增强视图，这是必不可少的指导共同训练过程，然后可以快速确定我们的方法。所提出的算法与给定数据的数量呈线性关系。大量的实验已经进行，结果支持我们的方法处理大规模的多视图的情况下的优势。
2017-07-18 cs.CV
Language Guided Local Infiltration for Interactive Image Retrieval
Chongqing University（重庆大学）
针对交互式图像检索中文本难以精确修改图像局部语义的问题，提出语言引导的局部渗透系统，通过语言提示视觉定位和局部感知文本渗透模块实现精确修改，并在多个基准上取得领先性能。
2023-04-16 cs.CV
ClickAttention: Click Region Similarity Guided Interactive Segmentation
针对现有点击式交互式分割算法聚焦全局目标能力弱、点击次数多且难兼顾性能与效率的问题，提出ClickAttention算法，通过点击区域相似性扩大正点击影响范围，结合判别性亲和损失降低正负点击干扰，以更少参数实现更优的前沿分割性能。
2024-08-13 cs.CV
IntentVizor: Towards Generic Query Guided Interactive Video Summarization
New York University（纽约大学）
自动视频摘要的目标是在保留主要内容/事件的同时创建原始长视频的简短略读。将用户查询集成到视频摘要或查询驱动的视频摘要中的兴趣越来越大。这种视频摘要方法基于用户查询来预测原始视频的简明概要，该查询通常由输入文本表示。然而，这种查询驱动的方式存在两个固有的问题。首先，文本查询可能不足以描述用户的准确和多样化的需求。第二，一旦摘要生成，用户就不能编辑，而我们假设用户的需求应该是微妙的，需要交互式地进行调整。为了解决这两个问题，我们提出了IntentVizor，一个交互式的视频摘要框架指导下的通用多模态查询。描述用户需求的输入查询不仅限于文本，还包括视频片段。我们进一步表示这些多模态细粒度的查询作为用户的“意图”，这是可解释的，可交互的，可编辑的，可以更好地量化用户的需求。在本文中，我们使用一组建议的意图来表示用户查询和设计一个新的交互式可视化分析界面。用户可以通过界面交互控制和调整这些混合主动意图，以获得更满意的摘要。为了通过视频理解提高摘要质量，提出了一种新的粒度可伸缩的自我-图卷积网络（GSE-GCN）。我们在两个基准数据集上进行了实验。与最先进的方法的比较验证了所提出的框架的有效性。代码和数据集可在https://github.com/jnzs1836/intent-vizor上获得。
2022-03-29 cs.CV
Interactive and Explainable Region-guided Radiology Report Generation
Technical University of Munich（慕尼黑工业大学）；Helmholtz Zentrum Munich（慕尼黑亥姆霍兹中心）；Imperial College London（伦敦帝国理工学院）
提出区域引导的放射学报告生成模型，通过检测并描述解剖区域，实现交互式且可解释的报告生成，优于现有最先进方法。
2023-04-17 cs.CL cs.CV cs.LG
ISRS-DETR: Detection-Guided Click Propagation for Remote Sensing Interactive Segmentation
该研究针对遥感交互式分割需大量点击的问题，提出ISRS-DETR框架，结合RF-DETR解码器与动态Top-K点击选择策略，实现一次点击跨同类目标传播，在三个基准上达到最优精度且大幅降低点击数。
2026-08-04 cs.CV
IT-map: an Effective Nonlinear Dimensionality Reduction Method for Interactive Clustering
University of Electronic Science and Technology of China（电子科技大学）
降维是许多领域科学家的共同需求和基本需求：在低维空间中可视化海量多元数据的底层结构。然而，许多降维方法面临所谓的“拥挤问题”，即聚类在嵌入时往往相互重叠。以前，研究人员希望避免这个问题，并寻求在嵌入中最大限度地分离集群。然而，所提出的基于入树（IT）的方法，称为IT映射，允许嵌入中的聚类局部重叠，同时寻求通过一些小而关键的部分使它们可区分。IT-map为聚类保持映射提供了一种简单、有效、新颖的解决方案，使得对原始数据点进行交互式聚类成为可能，在科学和工程中具有普遍意义。
2015-03-18 cs.CV cs.LG stat.ML
Towards Language-guided Interactive 3D Generation: LLMs as Layout Interpreter with Generative Feedback
HKUST(Guangzhou)（香港科技大学（广州））；OPPO（OPPO公司）；Rutgers University（罗格斯大学）；HKUST（香港科技大学）
本文提出LI3D系统，将LLM作为3D布局解释器并结合LLaVA视觉反馈，实现语言引导的交互式3D生成与编辑，并验证了其在空间布局推理中的潜力。
2023-05-25 cs.CV
Real-time interactive magnetic resonance (MR) temperature imaging in both aqueous and adipose tissues using cascaded deep neural networks for MR-guided focused ultrasound surgery (MRgFUS)
Korea University（高丽大学）；Korea Basic Science Institute（韩国基础科学研究院）；Korea Artificial Organ Center（韩国人工器官中心）；ICT Convergence Technology for Health and Safety（健康安全信息通信融合技术）；Department of Electronics and Information Engineering（电子与信息工程系）；Bioimaging Research Team（生物成像研究团队）
目的：为了获得实时交互式的水和脂肪组织的温度图，必须解决长的采集和处理时间的问题。为了克服这些主要挑战，本文提出了一种级联卷积神经网络（CNN）框架和具有单个参考变量翻转角（srVFA）的多回波梯度回波（meGRE）。研究方法：为了优化每种方法的回波时间，使用meGRE序列采集MR图像;分别在预处理和治疗阶段采集具有两个翻转角（FA）的meGRE图像和具有单个FA的meGRE图像。然后，这些图像由级联的CNN处理和重建，该CNN由两个CNN组成。第一个CNN（称为DeepACCnet）根据在治疗阶段期间采集的LR MR图像执行HR复合MR图像重建，其通过在预处理阶段期间采集的HR幅度MR图像得到改进。第二个CNN（称为DeepPennet）处理T1映射。结果如下：在琼脂糖凝胶体模、离体猪肌肉和具有脂肪层的离体猪肌肉（加热测试）以及体内人前列腺和大脑（非加热测试）中，测量了通过meGRE结合srVFA和级联CNN获得的温度和T1变化。在加热测试中，光纤传感器与样品之间的最大差异小于1摄氏度。在所有情况下，使用级联CNN的温度映射在所有情况下都获得了最佳结果。所提出的方法的采集和处理时间分别为0.8 s和32 ms。结论：通过将级联CNN与meGRE和srVFA相结合，实时交互式HR MR温度映射用于同时测量水和脂肪组织是可行的。
2019-08-29 cs.CV eess.IV
Prompt-Guided Interactive Segmentation of Interstitial Lung Disease in Thoracic CT
University of Bern（伯尔尼大学）；Graduate School for Cellular and Biomedical Sciences（细胞与生物医学科学研究生院）；Bern University Hospital（伯尔尼大学医院）；Lucern Cantonal Hospital（卢塞恩州立医院）；Lausanne University Hospital (CHUV) and University of Lausanne（洛桑大学医院（CHUV）与洛桑大学）
本研究首次将MedSAM2适配到胸部CT的3D ILD交互式分割任务，经实验验证全模型微调结合BBox等提示可提升分割性能，还提出了基于自动分割先验与放射科医生提示的端到端工作流程。
2026-08-31 cs.CV
ChatENV: An Interactive Vision-Language Model for Sensor-Guided Environmental Monitoring and Scenario Simulation
Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·扎耶德人工智能大学）
ChatENV通过整合卫星图像与真实传感器数据，实现环境变化的时序推理与假设验证，提升了环境监测的交互性和准确性。
2026-04-17 cs.CV
BadAction: Backdoor Attacks on Interactive Video Generation via Action-Guided Triggers
University of Chinese Academy of Sciences（中国科学院大学）
本文首次系统研究交互式视频生成模型的后门攻击，提出BadAction方法，通过动作引导触发器植入恶意行为，使模型在触发时生成冻结帧，平均攻击成功率高达91.0%，并成功绕过现有防御。
2026-10-01 cs.CV cs.LG
MorphoSim: An Interactive, Controllable, and Editable Language-guided 4D World Simulator
University of California, Santa Cruz（加州大学圣克ruz分校）；University of California, Los Angeles（加州大学洛杉矶分校）；IIT Bombay（印度理工学院班加罗尔）；Microsoft（微软公司）
针对现有文本生成视频模型受限于2D视角、交互能力不足的问题，研究提出语言引导的4D世界模拟器MorphoSim，结合轨迹引导生成与特征场蒸馏实现多视角一致的对象级可控编辑，兼顾场景保真度与交互性。
2025-10-05 cs.AI cs.CL cs.CV
MitoVis: A Visually-guided Interactive Intelligent System for Neuronal Mitochondria Analysis
神经元具有极化结构，包括树突和轴突，并且隔室特异性功能可以受到居住线粒体的影响。线粒体的形态与神经元的功能和神经退行性疾病密切相关。尽管已经开发了几种深度学习方法来自动分析线粒体的形态，但将现有方法应用于实际分析仍然遇到几个困难。由于预训练的深度学习模型的性能可能会因目标数据而异，因此通常需要重新训练模型。此外，尽管深度学习在受限设置下表现出了卓越的性能，但在实际分析中总是存在需要人工纠正的错误。为了解决这些问题，我们介绍了MitoVis，一种新型的可视化系统，用于端到端的数据处理和神经元线粒体形态的交互式分析。MitoVis能够在没有机器学习领域知识的情况下对预先训练的神经网络模型进行交互式微调，这使得神经科学家能够在他们的研究中轻松利用深度学习。MitoVis还提供了新颖的视觉指南和交互式校对功能，以便用户可以快速识别和纠正结果中的错误，并以最小的努力。我们通过一个神经科学家在一个真实的分析场景进行的案例研究证明了该系统的实用性和有效性。结果表明，与完全手动分析方法相比，MitoVis的分析速度快15倍，准确度相似。
2021-09-03 cs.CV
AugDMC: Data Augmentation Guided Deep Multiple Clustering
University of Washington（华盛顿大学）
提出AugDMC方法，利用数据增强和自监督原型学习提取多视角特征，并采用稳定优化策略，实现深度多聚类，在三个数据集上验证有效性。
2023-06-22 cs.CV
EvRWKV: A Continuous Interactive RWKV Framework for Effective Event-Guided Low-Light Image Enhancement
Anhui Provincial International Joint Research center for Advanced technology in Medical imaging（安徽省国际联合先进医学影像技术研究中心）；School of Artificial Intelligence（人工智能学院）；Anhui University（安徽大学）；State Key Laboratory of Opto-Electronic Information Acquisition and Protection Technology（光电信息采集与防护技术国家重点实验室）；Anhui Provincial Key Laboratory of Secure Artificial Intelligence（安徽省安全人工智能重点实验室）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（粤港澳大湾区人工智能与数字经济实验室（深圳））
针对事件相机辅助低光图像增强中融合方法的模态异质性与特征关联断裂问题，提出EvRWKV框架，通过Cross-RWKV模块和EISFE模块实现连续跨模态交互，在SDE、SDSD数据集上PSNR提升1.79dB、1.85dB，且增强图像使语义分割mIoU提高35.44%。
2025-11-12 cs.CV eess.IV
Fast User-Guided Video Object Segmentation by Interaction-and-Propagation Networks
Yonsei University（延世大学）；Adobe Research（奥多比研究院）
我们提出了一种用于交互式视频对象分割的深度学习方法。我们的方法是建立在两个核心操作，互动和传播，每个操作是由卷积神经网络进行。这两个网络在内部和外部都是连接的，这样网络就可以联合训练并相互交互，以解决复杂的视频对象分割问题。我们提出了一种新的多轮训练方案，用于交互式视频对象分割，以便网络可以学习如何理解用户的意图并在训练过程中更新不正确的估计。在测试时，我们的方法产生高质量的结果，并且运行速度足够快，可以与用户交互工作。我们在2018年DAVIS挑战赛的交互式赛道基准上对所提出的方法进行了定量评估。我们在速度和准确性上都明显优于其他竞争方法。我们还证明了我们的方法可以很好地与真实的用户交互。
2019-05-02 cs.CV
Text-Guided Alternative Image Clustering
Faculty of Computer Science, University of Vienna（维也纳大学计算机科学学院）；UniVie Doctoral School Computer Science, University of Vienna（维也纳大学UniVie计算机科学博士学院）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Faculty of Philological and Cultural Studies, University of Vienna（维也纳大学语言与文化学院）
本文提出文本引导的替代图像共识聚类方法TGAICC，利用大型视觉-语言模型和用户提示发现多样化图像聚类，并在基准数据集上优于基线方法，同时提供文本解释。
2024-06-07 cs.CV cs.LG
Structure-guided Deep Multi-View Clustering
针对多视图结构与数据分布挖掘不足的问题，提出结构引导深度聚类模型，通过邻域正样本选择和高斯分布建模提升视图一致性与簇内紧凑性，并在多个基准上显著优于现有方法。
2025-03-14 cs.CV
Graph Cut-guided Maximal Coding Rate Reduction for Learning Image Embedding and Clustering
Beijing University of Posts and Telecommunications（北京邮电大学）；International Digital Economy Academy (IDEA)（国际数字经济学院（IDEA））；Intellifusion（云天励飞）
针对预训练特征提取与聚类分离导致性能次优的问题，提出统一框架 CgMCR$^2$，通过高效聚类模块与结构化表示学习相互引导，实现图像嵌入和聚类的联合优化。
2025-01-08 cs.CV
DeltaVLM: Interactive Remote Sensing Image Change Analysis via Instruction-guided Difference Perception
School of Information Science and Technology, Beijing Foreign Studies University（信息科学与技术学院，北京外国语大学）
本研究提出遥感影像变化分析新范式，构建ChangeChat-105k数据集，推出DeltaVLM架构，通过差异感知与指令对齐实现交互式变化分析，性能达当前最优。
2025-07-30 cs.CV
Sims: An Interactive Tool for Geospatial Matching and Clustering
Microsoft（微软公司）
本文提出无代码Web工具Sims，基于Google Earth Engine实现地理空间数据的聚类与相似性搜索，通过Rwanda玉米产量案例验证其特征探索能力，助力推进地理空间建模。
2024-12-20 cs.CV cs.LG physics.geo-ph
Text-Guided Image Clustering
Faculty of Computer Science, University of Vienna（维也纳大学计算机学院）；UniVie Doctoral School Computer Science, University of Vienna（维也纳大学UniVie计算机博士学院）；Georg-August-Universität Göttingen（哥廷根大学）；Faculty of Philological and Cultural Studies, University of Vienna（维也纳大学语言与文化学院）
提出文本引导的图像聚类方法，利用图像描述和VQA模型生成文本进行聚类，并引入基于计数的可解释性方法，在多个数据集上表现优于传统图像特征。
2024-02-19 cs.CV cs.LG
Closely Interactive Human Reconstruction with Proxemics and Physics-Guided Adaption
National University of Singapore（新加坡国立大学）；Southeast University（东南大学）；Sichuan University（四川大学）
针对单目视频近距离交互人体重建中遮挡与深度模糊导致视觉信息不足的问题，提出结合近体学与物理约束的VQ-VAE隐表示和双分支扩散模型，实现更准确合理的重建，性能优于现有方法。
2024-04-17 cs.CV
Clustering-Guided Spatial-Spectral Mamba for Hyperspectral Image Classification
Department of Geomatics Engineering, University of Calgary（测绘工程系，卡尔加里大学）
CSSMamba通过整合聚类机制和注意力驱动的token选择，提升超光谱图像分类的准确率和边界保持能力。
2026-01-22 cs.CV cs.LG
Beyond Visual Similarity: Rule-Guided Multimodal Clustering with explicit domain rules
Clark Atlanta University（克拉克阿特兰大学）；BRAC University（布拉克大学）；United International University（国际联合大学）
针对传统聚类忽视领域约束的问题，提出规则引导多模态聚类框架DARTVAE，将LLM生成的显式规则嵌入VAE潜在空间并施加惩罚，在飞机和汽车数据集上生成更可解释且有意义的聚类。
2025-09-24 cs.CV cs.LG
Coin3D: Controllable and Interactive 3D Assets Generation with Proxy-Guided Conditioning
Zhejiang University（浙江大学）；ByteDance（字节跳动）
针对3D生成可控性与效率不足的问题，提出Coin3D框架，通过粗略几何代理控制生成，结合多项技术实现秒级响应的交互式局部编辑，提升3D资产生成的可控性与灵活性。
2024-05-13 cs.CV cs.GR
FIA-Edit: Frequency-Interactive Attention for Efficient and High-Fidelity Inversion-Free Text-Guided Image Editing
针对基于流的无反转文本引导图像编辑方法存在的源信息整合不足问题，提出FIA-Edit框架，通过频率交互注意力的两个关键模块提升跨域对齐与结构语义保留，实现低计算成本下的高保真编辑，还首次拓展至临床应用并带来医学数据增强收益。
2025-11-15 cs.CV
Semantics-Guided Clustering with Deep Progressive Learning for Semi-Supervised Person Re-identification
National Taiwan University（台湾大学）；Carnegie Mellon University（卡内基梅隆大学）
人员重新识别（re-ID）需要在摄像机视图中匹配同一个人的图像。作为一个更具挑战性的任务，半监督重新ID解决的问题，只有一些身份在训练数据是完全标记，而其余的是未标记的。假设这种标记和未标记的训练数据共享不相交的身份标签，我们提出了一种新的语义引导聚类与深度渐进学习（SGC-DPL）框架，以联合利用上述数据。通过提出语义引导的相似性传播（SG-AP），我们能够在标记数据的语义指导下，以渐进的方式为选定的未标记数据分配伪标签。因此，我们的方法能够在半监督设置中增加标记的训练数据。我们对两个大规模的人重新ID基准测试的实验表明，我们的SGC-DPL在不同程度的监督下优于最先进的方法。在扩展中，我们的SGC-DPL的泛化能力也在其他任务中得到了验证，如车辆重新识别或半监督设置的图像检索。
2020-10-02 cs.CV
Refinement-Cut: User-Guided Segmentation Algorithm for Translational Science
Graz University of Technology（格拉茨技术大学）
在这方面的贡献，（医学）图像分析的半自动分割算法。更准确地说，该方法属于交互式轮廓绘制算法的类别，其提供分割结果的实时反馈。然而，即使使用交互式实时轮廓绘制方法，也总是存在用户无法找到令人满意的分割的情况，例如，由于对象和背景之间的均匀外观，或者对象内部的噪声。对于这些困难的情况下，算法仍然需要额外的用户支持。然而，这种额外的用户支持应该是直观和快速集成到分割过程中，而不破坏交互式实时分割反馈。我提出了一个解决方案，用户可以通过一个简单和快速的放置一个或多个种子点来支持算法，以指导算法在困难的情况下也能得到令人满意的分割结果。这些额外的种子限制了算法的分割计算，但同时，仍然能够继续进行交互式实时反馈分割。对于转化科学中的实际和真正的应用，该方法已在2D和3D临床常规的医学数据上进行了测试。
2014-06-07 cs.CV
Unsupervised Person Re-Identification with Multi-Label Learning Guided Self-Paced Clustering
School of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程学院）；College of Big Data and Internet, Shenzhen Technology University（深圳技术大学大数据与互联网学院）
虽然无监督的人重新识别（Re-ID）最近引起了越来越多的研究关注，但在不相交的摄像机视图中学习没有注释的区分特征仍然具有挑战性。在本文中，我们解决了无监督的人的Re-ID的概念新颖而简单的框架，称为多标签学习引导的自步调聚类（MLC）。MLC主要通过三个关键模块来学习区分性特征，即多尺度网络、多标签学习模块和自定进度聚类模块。具体地，多尺度网络在全局和局部视图中生成多粒度的人特征。多标签学习模块利用记忆特征库，并基于图像和特征库之间的相似性为每个图像分配多标签向量。在多个时期的多标签训练之后，自定步调的聚类加入训练并为每个图像分配伪标签。我们的MLC的好处来自三个方面：i）多尺度的人的特征，以更好的相似性测量，ii）基于整个数据集的多标签分配，确保每个图像都可以训练，iii）自定进度的聚类去除一些噪声样本，以更好地进行特征学习。在三个流行的大规模Re-ID基准测试上的大量实验表明，我们的MLC优于以前的最先进的方法，并显着提高了无监督的人Re-ID的性能。
2021-03-08 cs.CV
`Attention-Guided Cross-Temporal Clustering for Self-Supervised Video Object Segmentation
Griffith University（格里菲斯大学）
针对视频对象分割任务，现有自监督方法存在问题。本文提出跨时间一致性和聚类框架，结合注意力引导令牌选择与轻量级时间聚类，通过显著性加权目标对齐软部分分配，利用冻结变压器主干实现有效扩展，提升自监督视频对象分割性能。
2026-07-09 cs.CV
Text-guided Controllable Mesh Refinement for Interactive 3D Modeling
University of Toronto（多伦多大学）；Adobe Research（奥多比研究院）
本研究提出一种文本引导的可控3D网格细化技术，通过单视角图像预生成、多视角法向图联合生成与多视角网格优化三阶段，实现数秒内输出带细节的3D网格并支持用户对结构、姿态和细节的显式控制。
2024-09-11 cs.AI cs.CL cs.CV
Adversarial Unsupervised Domain Adaptation Guided with Deep Clustering for Face Presentation Attack Detection
Ain Shams University（艾因夏姆斯大学）；The American University in Cairo（开罗美国大学）
人脸呈现攻击检测（PAD）是人脸识别系统安全的重要手段。已经提出了传统的面部反欺骗方法，假设测试来自用于训练的相同域，因此不能很好地概括看不见的攻击场景。经过训练的模型往往过拟合到训练数据中可用的捕获传感器和攻击类型。鉴于此，我们提出了一个基于领域自适应（DA）的端到端学习框架，以提高PAD的泛化能力。标记的源域样本用于通过交叉熵损失训练特征提取器和分类器，而来自目标域的无监督数据用于对抗DA方法，使模型学习域不变特征。在面对PAD中单独使用DA不能很好地适应目标域，目标域是在与源域不同的设备和攻击类型的不同条件下获得的。因此，为了保持目标域的固有属性，执行目标样本的深度聚类。训练和深度聚类是端到端进行的，在几个公共基准数据集上进行的实验验证了我们提出的深度聚类引导的无监督领域自适应（DCDA）与目标领域的最新分类错误相比，可以学习更多的广义信息。
2021-02-13 cs.CV
InstructVTON: Optimal Auto-Masking and Natural-Language-Guided Interactive Style Control for Inpainting-Based Virtual Try-On
Amazon（亚马逊公司）；University of California, Los Angeles (UCLA)（加州大学洛杉矶分校）；Duke University（杜克大学）
InstructVTON利用视觉语言模型自动生成掩码，结合自然语言指令实现细粒度风格控制的交互式虚拟试穿，简化用户操作并提升效果。
2025-09-24 cs.AI cs.CV
S3PT: Scene Semantics and Structure Guided Clustering to Boost Self-Supervised Pre-Training for Autonomous Driving
Qualcomm Technologies International GmbH（高通技术国际有限公司）；Arriver Software AB（Arriver软件公司）；Linköping University（林雪平大学）；Qualcomm SARL（高通法国公司）；Qualcomm Technologies, Inc（高通技术公司）；KTH Royal Institute of Technology（皇家理工学院（瑞典））
针对自动驾驶中类别和尺寸不平衡及复杂场景几何问题，提出S3PT聚类方法，通过语义、空间和深度引导聚类增强自监督预训练，提升下游分割与3D检测性能。
2025-01-24 cs.AI cs.CV cs.RO
Deep Attention-guided Graph Clustering with Dual Self-supervision
City University of Hong Kong（香港城市大学）；Caritas Institute of Higher Education（明爱专上学院）；Southeast University（东南大学）
现有的深度嵌入聚类工作仅考虑最深层来学习特征嵌入，因此无法很好地利用来自聚类分配的可用区分信息，导致性能限制。为此，我们提出了一种新的方法，即具有双重自监督的深度注意力引导图聚类（DAGC）。具体地说，DAGC首先利用异质性融合模块来自适应地整合每层中的自动编码器和图卷积网络的特征，然后使用尺度融合模块来动态地连接不同层中的多尺度特征。这样的模块能够通过基于注意力的机制来学习区分性特征嵌入。此外，我们设计了一个分布式融合模块，利用聚类分配直接获得聚类结果。为了更好地探索从集群分配的判别信息，我们开发了一个双重的自我监督解决方案，包括一个软自我监督策略与三重Kullback-Leibler发散损失和一个硬自我监督策略与伪监督损失。大量的实验验证了我们的方法在六个基准数据集上的性能始终优于最先进的方法。特别是，我们的方法提高了ARI超过18.14%的最佳基线。
2022-12-26 cs.AI cs.CV
mHC-HSI: Clustering-Guided Hyper-Connection Mamba for Hyperspectral Image Classification
Department of Geomatics Engineering, University of Calgary（测绘工程系，卡尔加里大学）
本文提出mHC-HSI模型，通过聚类引导的Mamba模块提升超光谱图像分类的准确性和可解释性。
2026-03-03 cs.CV
pSTarC: Pseudo Source Guided Target Clustering for Fully Test-Time Adaptation
IISc Bangalore（印度科学学院班加罗尔分校）；IISER Pune（印度浦那科学教育与研究学院）
本文提出pSTarC方法，通过源分类器生成伪源样本并引导测试样本聚类对齐，在完全测试时适应协议下无需源数据即可有效应对真实世界域偏移，显著提升预测准确率并具备高效计算需求和通用性。
2023-11-22 cs.CV cs.LG
NegROI: Click-Centric Uncertainty-Guided Refinement with Scene-Conditioned Negative Prompts for Robust Interactive 3D Segmentation
School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）
研究针对交互式3D分割中粗体素分辨率及背景误报问题，提出NegROI框架，结合点击中心多分辨率细化与场景条件负提示，通过不确定性驱动选择性细化、负提示建模及边界感知硬负挖掘，提升点击效率、减少误报并增强跨数据集鲁棒性。
2026-07-08 cs.AI cs.CV
Optimization-Guided Diffusion for Interactive Scene Generation
Beijing Institute of Technology（北京理工大学）；OpenDriveLab at The University of Hong Kong（香港大学OpenDriveLab）；Nanyang Technological University（南洋理工大学）；NVIDIA Research（英伟达研究院）；Yinwang Intelligent Tech. Co. Ltd.（银网智能科技有限公司）
本文提出OMEGA框架，通过优化引导扩散过程生成符合物理和行为约束的多智能体驾驶场景，提升生成场景的真实性和可控性。
2026-08-13 cs.CV
I2E: From Image Pixels to Actionable Interactive Environments for Text-Guided Image Editing
Huazhong University of Science and Technology（华中科技大学）；Kuaishou Technology（快手科技）；Central China Normal University（华中师范大学）；Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）
I2E提出一种'分解-然后-行动'范式，通过分解器将无结构图像转换为可操作的对象层，并利用物理感知的视觉-语言-行动代理进行复杂指令解析，同时构建I2E-Bench基准测试集，实验表明其在处理复杂组合指令和保持物理合理性方面优于现有方法。
2026-04-07 cs.CV
