Fusion is all you need: Face Fusion for Customized Identity-Preserving Image Synthesis
Saarland University（萨尔大学）；Huawei Munich Research Center（华为慕尼黑研究中心）；Friedrich Schiller University Jena（耶拿弗里德里希·席勒大学）
针对T2I模型难以准确保持参考人物身份的问题，本文改造Stable Diffusion UNet的交叉注意力层，在多尺度上融合人脸特征，实现高一致性、多参考与多身份生成，并取得SOTA相似性与提示对齐表现。
2024-10-02 cs.CV
Incremental Transformer Structure Enhanced Image Inpainting with Masking Positional Encoding
Fudan University（复旦大学）
图像修补在近年来取得了显著的进展。然而，如何恢复出纹理逼真、结构合理的图像仍然是一个挑战。由于卷积神经网络（CNN）的有限感受野，一些特定的方法只能处理规则的纹理，而失去整体结构。另一方面，基于注意力的模型可以学习更好的长距离依赖性，用于结构恢复，但它们受到大图像尺寸的推理的繁重计算的限制。为了解决这些问题，我们建议利用一个额外的结构恢复，以促进图像修补增量。该模型在固定的低分辨率草图空间中使用基于注意力的Transformer模型恢复整体图像结构。这样的灰度空间很容易被上采样到更大的尺度，以传达正确的结构信息。我们的结构恢复器可以有效地与其他预训练的修复模型集成，并具有零初始化的残差加法。此外，掩蔽位置编码策略被用来提高性能与大的不规则的面具。在各种数据集上的大量实验验证了我们的模型与其他竞争对手相比的有效性。我们的代码发布在https://github.com/DQiaole/ZITS_inpainting。
2022-03-16 cs.CV
MixNMatch: Multifactor Disentanglement and Encoding for Conditional Image Generation
University of California, Davis（加州大学戴维斯分校）
我们提出了MixNMatch，一个有条件的生成模型，它可以学习以最小的监督从真实图像中分离和编码背景，对象姿势，形状和纹理，用于混合和匹配图像生成。我们建立在FineGAN（一种无条件生成模型）的基础上，学习所需的解纠缠和图像生成器，并利用对抗性联合图像代码分布匹配来学习潜在因子编码器。MixNMatch在训练过程中需要边界框来建模背景，但不需要其他监督。通过大量的实验，我们证明了MixNMatch的能力，准确地解开，编码，并结合多种因素的混合和匹配图像生成，包括sketch 2color，cartoon 2 img和img 2gif应用程序。我们的代码/模型/演示可以在https://github.com/Yuheng-Li/MixNMatch上找到
2020-04-13 cs.CV cs.GR cs.LG
Equipping Sketch Patches with Context-Aware Positional Encoding for Graphic Sketch Representation
Donghua University（东华大学）
针对绘制顺序构建图边不可靠的问题，本文提出将绝对与相对上下文感知位置编码注入图节点，结合语义邻近图和图卷积聚合，显著提升草图修复与可控草图合成性能。
2025-05-13 cs.AI cs.CV
Cross-Modal Fusion Distillation for Fine-Grained Sketch-Based Image Retrieval
University of Exeter（埃克塞特大学）；University of Tübingen（图宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Surrey（萨里大学）
基于草图的图像检索的表示学习主要是通过学习丢弃模态特定信息的嵌入来解决的。由于来自不同模态的实例通常可以提供描述底层概念的互补信息，因此我们提出了一个用于视觉Transformer（XModalViT）的交叉注意框架，该框架融合了模态特定的信息，而不是丢弃它们。我们的框架首先将来自单个照片和草图模态的成对数据点映射到融合表示，从而统一来自两种模态的信息。然后，我们通过对比和关系跨模态知识蒸馏将上述模态融合网络的输入空间解耦为各个模态的独立编码器。这样的编码器可以应用于下游任务，如跨模态检索。我们通过进行广泛的实验，并在三个基于细粒度草图的图像检索基准测试（Shoe-V2，Chair-V2和Sketchy）上实现最先进的结果，展示了学习到的表示的表达能力。可在www.example.com上获得实现。
2022-10-19 cs.CV cs.LG
Sketchformer: Transformer-based Representation for Sketched Structure
Universidade de São Paulo（圣保罗大学）；University of Surrey（萨里大学）；Adobe Research（奥多比研究院）
Sketchformer是一种新的基于变换的表示，用于编码矢量形式的手绘草图输入，即作为一个笔划序列。Sketchformer有效地解决了多个任务：草图分类，基于草图的图像检索（SBIR），以及草图的重建和插值。我们报告了几种探索连续和标记化输入表示的变体，并对比了它们的性能。我们学习的嵌入，由字典学习标记化方案驱动，在分类和图像检索任务中产生最先进的性能，与LSTM序列到序列架构驱动的基线表示相比：SketchRNN和衍生物。我们表明，草图重建和插值显着改善Sketchformer嵌入复杂的草图与较长的笔划序列。
2020-02-24 cs.CV
Few-shot Semantic Encoding and Decoding for Video Surveillance
Department of Electronic Engineering, Tsinghua University（电子工程系，清华大学）；China Mobile (Hangzhou) Information Technology Co., Ltd（中国移动（杭州）信息技术有限公司）
针对监控视频语义通信中场景适配需大量训练样本的问题，提出以素描为语义信息并结合压缩、参考帧图像转换和少样本素描解码的方法，显著提升重建性能并降低传输存储开销。
2025-05-12 cs.AI cs.CV
Compositional Sketch Search
University of Surrey（萨里大学）；Adobe Research（Adobe研究院）
我们提出了一种算法，用于搜索图像集，使用手绘草图，描述多个对象的外观和相对位置。基于草图的图像检索（SBIR）方法主要匹配查询包含一个单一的，占主导地位的对象不变，其在图像中的位置。我们的工作利用图纸作为一个简洁和直观的表示指定整个场景组成。我们训练一个卷积神经网络（CNN）来编码草图对象中被掩盖的视觉特征，将这些特征汇集到一个空间描述符中，对构图中对象的空间关系和外观进行编码。将CNN骨干训练为在三元组损失下的连体网络产生用于测量组成相似性的度量搜索嵌入，其可以通过应用乘积量化来有效地用于视觉搜索。
2021-06-15 cs.CV
MMFT-BERT: Multimodal Fusion Transformer with BERT Encodings for Visual Question Answering
University of Central Florida（中佛罗里达大学）
我们提出了MMFT-BERT（多模态融合Transformer with BERT encodings），以解决视觉问答（Visual Question Questioning，VQA）问题，确保对多个输入模态的单独和组合处理。我们的方法受益于处理多模态数据（视频和文本），分别采用BERT编码，并使用一种新的基于变换的融合方法将它们融合在一起。我们的方法分解不同来源的模态，到不同的BERT实例具有相似的架构，但可变的权重。这在TVQA数据集上实现了SOTA结果。此外，我们提供TVQA视觉，TVQA的一个孤立的诊断子集，它严格要求基于人类注释者的判断的视觉（V）模态的知识。这组问题有助于我们研究模型的行为以及TVQA为防止实现超人类性能而提出的挑战。大量的实验表明了该方法的有效性和优越性。
2020-10-27 cs.CV
Latent graph encoding of multimodal neuroimaging features with generative AI architectures
Center for Translational Research in Neuroimaging and Data Science (TReNDS)（转化神经影像与数据科学研究中心）
研究旨在设计多模态生成框架用于神经影像特征分析，通过评估多种策略和模型，利用GMV和sFNC特征分析多个生成框架，提出的gMMVAE在多指标上超替代变体，有潜力用于稳健的多模态神经影像分析。
2026-07-09 cs.AI cs.CV cs.LG
SketchTriplet: Self-Supervised Scenarized Sketch-Text-Image Triplet Generation
Beijing University of Posts and Telecommunications（北京邮电大学）；Alibaba Group（阿里巴巴集团）
本文提出自监督场景草图生成方法，无需现有场景草图，将单对象草图转为场景草图，并构建大规模“文本-草图-图像”三元组数据集，提升下游任务性能。
2024-05-29 cs.CV
Modality-Aware Representation Learning for Zero-shot Sketch-based Image Retrieval
Seoul National University（首尔大学）；Google Research（谷歌研究院）
针对零样本基于草图的图像检索中成对样本收集困难的问题，提出通过文本对比间接对齐草图与照片的模态感知框架，解耦语义信息并实现高效跨模态检索。
2024-01-10 cs.CV
One Sketch for All: One-Shot Personalized Sketch Segmentation
University of Surrey（萨里大学）
提出了第一种一次性的个性化草图分割方法。我们的目标是分割属于同一类别的所有草图，提供一个单一的草图与给定的部分注释，同时（i）保留嵌入在样本中的部分语义，（ii）是强大的输入风格和抽象。我们将这种情况称为个性化。这样，我们就可以为下游的细粒度草图分析任务提供非常理想的个性化功能。为了训练一个健壮的分割模块，我们将样本草图变形为同一类别的每个可用草图。我们的方法推广到训练过程中没有观察到的草图。我们的主要贡献是一个草图特定的层次变形网络。给定通过图卷积网络获得的多级草图笔划编码，我们的方法在上层估计从目标到样本的刚体变换。从样本到全局扭曲的目标草图的更精细变形进一步通过在较低级别上的逐笔变形来获得。这两个级别的变形都是由在没有监督的情况下学习的关键点之间的均方距离引导的，以确保保留笔划语义。我们评估我们的方法对国家的最先进的分割和感知分组基线重新用于单镜头设置和对两个Few-Shot三维形状分割方法。我们表明，我们的方法优于所有的替代品超过$10\%$平均。消融研究进一步表明，我们的方法是强大的个性化：输入部分的语义和风格差异的变化。
2022-03-24 cs.CV
Joint Fusion and Encoding: Advancing Multimodal Retrieval from the Ground Up
The University of Tokyo（东京大学）
本文提出从底层融合视觉与文本的联合融合编码检索框架，采用单塔架构和两阶段训练，在复杂多模态检索中优于传统方法，尤其提升需模态融合的任务。
2025-02-27 cs.CV
SketchYourSeg: Mask-Free Subjective Image Segmentation via Freehand Sketches
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（科大讯飞-萨里人工智能联合研究中心）
提出 SketchYourSeg 框架，以单张手绘草图跨图库查询主观分割目标，融合 SBIR 训练信号与 CLIP/DINOv2 掩码生成，实现无掩码、多粒度且高效精确的用户引导分割。
2025-03-17 cs.CV
WAD-CMSN: Wasserstein Distance based Cross-Modal Semantic Network for Zero-Shot Sketch-Based Image Retrieval
South China University of Technology（华南理工大学）；Sun Yat-Sen University（中山大学）
基于Zero-shot草图的图像检索（ZSSBIR）作为计算机视觉的一个研究热点，近年来受到了广泛的关注。与基于草图的图像检索（SBIR）不同，ZSSBIR的主要目的是检索在训练期间可能不会出现的自由手绘草图的自然图像。以前的方法使用语义对齐的草图-图像对或利用内存昂贵的融合层将视觉信息投影到低维子空间，这忽略了高度抽象的草图和相关图像之间的显着异构跨域差异。这可能会导致训练阶段的表现不佳。为了解决这个问题，克服这个缺点，我们提出了一个基于Wasserstein距离的跨模态语义网络（WAD-CMSN）的ZSSBIR。具体来说，它首先通过Wasserstein距离以对抗训练的方式将每个分支（草图，图像）的视觉信息投影到一个公共的低维语义子空间。此外，身份匹配损失被用来选择有用的功能，这不仅可以捕获完整的语义知识，但也减轻了过度拟合现象所造成的WAD-CMSN模型。在具有挑战性的Sketchy（扩展）和TU-Berlin（扩展）数据集上的实验结果表明，所提出的WAD-CMSN模型优于几个竞争对手。
2022-02-11 cs.CV
PanoSAMic: Panoramic Image Segmentation from SAM Feature Encoding and Dual View Fusion
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；RPTU Kaiserslautern-Landau（科斯拉特-兰道大学）
PanoSAMic通过整合预训练的Segment Anything模型编码器和双视角融合模块，解决全景图像分割中的失真和边缘不连续问题，实现多模态下的高精度分割。
2026-04-24 cs.CV
Semantically Tied Paired Cycle Consistency for Zero-Shot Sketch-based Image Retrieval
Computer Vision Center（计算机视觉中心）；Autonomous University of Barcelona（巴塞罗那自治大学）；Amsterdam Machine Learning Lab（阿姆斯特丹机器学习实验室）；University of Amsterdam（阿姆斯特丹大学）
基于Zero-shot草图的图像检索（SBIR）是计算机视觉中的一项新兴任务，它可以检索与草图查询相关的自然图像，这些图像可能在训练阶段看不到。现有的工作要么需要对齐的草图图像对或低效的内存融合层的视觉信息映射到一个语义空间。在这项工作中，我们提出了一个语义对齐的配对循环一致性生成（SEM-PCYC）模型的zero-shot SBIR，其中每个分支映射的视觉信息到一个共同的语义空间通过对抗训练。这些分支中的每一个都保持了周期的一致性，只需要在类别级别进行监督，并避免了对高价对齐的草图图像对的需要。对生成器输出的分类标准确保视觉到语义空间的映射是有区别的。此外，我们建议通过一个特征选择自动编码器，选择在同一个端到端模型的歧视边信息结合文本和层次边信息。我们的研究结果表明，在具有挑战性的Sketchy和TU-Berlin数据集上，zero-shot SBIR性能比最先进的SBIR性能有显著提高。
2019-03-08 cs.CV
Stacked Semantic-Guided Network for Zero-Shot Sketch-Based Image Retrieval
基于零镜头草图的图像检索（Zero-Shot Sketch-based Image Retrieval，简称ZSBIR）是在zero-shot场景下，从自然图像库中进行跨域的手绘草图图像检索的任务。以往的工作主要集中在一个生成的方法，采取高度抽象和稀疏的草图作为输入，然后合成相应的自然图像。然而，固有的视觉稀疏性和大的类内方差的草图，使学习的条件解码器更困难，从而实现不理想的检索性能。在本文中，我们提出了一种新的堆叠语义引导网络，以解决独特的特点，草图在EST-SBIR。具体来说，我们设计了多层特征融合网络，将不同的中间特征表示信息在一个深神经网络，以减轻内在的稀疏性的草图。为了提高视觉知识从可见到不可见的类的转移，我们阐述了一个粗到细的条件解码器，首先生成粗粒度的特定于类别的对应特征（以辅助语义信息作为条件输入），然后生成细粒度的特定于实例的对应特征（以草图表示作为条件输入）。此外，回归损失和分类损失分别用于保持合成特征的语义和区分信息。在大规模Sketchy数据集和TU-Berlin数据集上的实验表明，该方法的检索性能比现有方法提高了20%以上.
2019-10-18 cs.CV
Make Your Brief Stroke Real and Stereoscopic: 3D-Aware Simplified Sketch to Portrait Generation
Tokyo Institute of Technology（东京工业大学）；Monash University（莫纳什大学）；Baidu Inc.（百度公司）；The University of Sydney（悉尼大学）；Baidu（百度）；Nanyang Technological University（南洋理工大学）
针对固定视角2D草图转肖像不生动的问题，提出SSP框架，利用三平面3D生成先验、区域感知体绘制与轮廓转草图模块，生成与草图匹配的立体3D人像。
2023-10-01 cs.CV
Query-guided Attention in Vision Transformers for Localizing Objects Using a Single Sketch
Indian Institute of Science（印度科学学院）；Indian Institute of Technology, Jodhpur（印度理工学院焦特布尔分校）
在这项工作中，我们研究了自然图像上基于草图的对象定位问题，其中给定一个对象的粗糙手绘草图，目标是定位目标图像上同一对象的所有实例。由于手绘草图的抽象性，草图的风格和质量的变化，以及草图和自然图像之间存在的巨大领域差距，这个问题被证明是困难的。为了缓解这些挑战，现有的作品提出了基于注意力的框架，将查询信息的图像特征。然而，在这些作品中，查询功能被纳入后，图像特征已经被独立学习，导致不充分的对齐。相比之下，我们提出了一个草图引导的视觉Transformer编码器，使用交叉关注后，每个块的基于变压器的图像编码器，以学习查询条件的图像功能，导致更强的对齐与查询草图。此外，在解码器的输出处，对象和草图特征被细化，以使相关对象的表示更接近草图查询，从而改善定位。该模型还可以推广到训练过程中看不到的对象类别，因为我们的方法学习的目标图像特征是查询感知的。我们的本地化框架还可以通过可训练的新草图融合策略来利用多个草图查询。该模型是评估的图像从公共目标检测基准，即MS-COCO，使用草图查询从QuickDraw! Sketchy数据集与现有的定位方法相比，所提出的方法给出了一个$6.6\%$和$8.0\%$的改进mAP看到的对象使用草图查询QuickDraw!和草图数据集，以及AP@50中的$12.2\%$改进，用于训练期间"看不见"的大型对象。
2023-03-15 cs.CV
DenseFuse: A Fusion Approach to Infrared and Visible Images
Jiangnan University（江南大学）
在本文中，我们提出了一种新的深度学习架构的红外和可见光图像融合问题。与传统的卷积网络相比，我们的编码网络由卷积层、融合层和密集块组合而成，其中每层的输出都连接到其他每一层。我们尝试在编码过程中使用这种架构来从源图像中获得更多有用的特征。并设计了两个融合层（融合策略）来融合这些特征。最后，解码器对融合后的图像进行重构。与现有的融合方法相比，所提出的融合方法实现了最先进的性能，在客观和主观评价。代码和预训练模型可在https://github.com/hli1221/imagefusion_densefuse上获得
2019-01-20 cs.CV
RCGDet3D: Rethinking 4D Radar-Camera Fusion-based 3D Object Detection with Enhanced Radar Feature Encoding
School of Automation Science and Electrical Engineering, Beihang University（北京航空航天大学自动化科学与电气工程学院）
本文提出RCGDet3D，通过增强雷达特征编码而非复杂的多模态融合策略，实现了在3D目标检测中更高的准确性和实时性，为实时部署设定了新标准。
2026-05-20 cs.CV
SketchFaceGS: Real-Time Sketch-Driven Face Editing and Generation with Gaussian Splatting
Shandong Technology and Business University（山东科技与商务大学）；Nanchang Hangkong University（南昌航空大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；University of New South Wales（新南威尔士大学）
本文提出SketchFaceGS，通过高斯点散布实现基于2D草图的实时人脸生成与编辑，采用粗到细架构和UV特征预测模块，提升生成和编辑的精度与灵活性。
2026-04-21 cs.CV cs.GR
Sequential Dual Deep Learning with Shape and Texture Features for Sketch Recognition
DUT-RU International School of Information and Software Engineering, Dalian University of Technology（大连理工大学 DUT-RU 国际信息与软件学院）；Key Laboratory for Ubiquitous Network and Service Software of Liaoning Province（辽宁省泛在网络与服务软件重点实验室）；School of Software, Dalian University of Technology（大连理工大学软件学院）
任意性很强的手绘草图的识别具有很大的挑战性。现有的方法要么忽略了草图的几何特征，要么将草图视为具有固定结构顺序的手写体字符。因此，即使采用复杂的学习技术，它们也很难产生高的识别性能。在本文中，我们提出了一种结合形状和纹理特征的顺序深度学习策略。该方法采用编码的形状描述子来描述草图笔划的几何形状，具有很高的灵活性，而构造神经网络（CNN）的输出作为抽象的纹理特征。我们开发了具有难忘的门控递归单元（GRU）的双重深度网络，并将这两种类型的特征依次分别输入到双重网络中。这些双网络使另一个门控循环单元（GRU）能够进行特征融合，从而准确地识别不受笔画顺序影响的草图。TU-Berlin数据集上的实验表明，即使在出现显著的形状和外观变化时，我们的方法也优于人类和最先进算法的平均值。
2017-08-09 cs.CV
Open Vocabulary Semantic Scene Sketch Understanding
Surrey Institute for People-Centered AI（萨里以人为本人工智能研究所）；University of Surrey（萨里大学）；Stanford University（斯坦福大学）
本文提出基于CLIP视觉Transformer的开放词汇场景草图语义分割方法，通过两级层次网络、v-v自注意力及文本-视觉交叉注意力实现语义解耦，在FS-COCO上达到85.5%准确率，比零样本CLIP提高37个百分点。
2024-03-30 cs.CV
A Sketch Is Worth a Thousand Words: Image Retrieval with Text and Sketch
Georgia Institute of Technology（佐治亚理工学院）；Phranakhon Rajabhat University（帕纳空皇家大学）；Google Research（谷歌研究院）
我们解决的问题，检索图像与草图和文本查询。我们提出了任务前（文本和SKetch Transformer），一个端到端的可训练的图像检索模型，使用文本描述和草图作为输入。我们认为，这两种输入方式相辅相成的方式，不能单独实现。TASK-former遵循后期融合双编码器方法，类似于CLIP，它允许高效和可扩展的检索，因为检索集可以独立于查询进行索引。我们的经验表明，使用输入草图（即使是一个很差的绘制），除了文本大大增加检索召回相比，传统的基于文本的图像检索。为了评估我们的方法，我们在COCO数据集的测试集中收集了5,000张手绘草图。收集的草图可在https://janesjanes.github.io/tsbir/上找到。
2022-08-05 cs.CV cs.LG
SketchGraphNet: A Memory-Efficient Hybrid Graph Transformer for Large-Scale Sketch Corpora Recognition
College of Computer, Qinghai Normal University（青海师范大学计算机学院）；College of Computer, Nanjing University（南京大学计算机学院）；College of Computer, Qinghai Minzu University（青海民族大学计算机学院）
SketchGraphNet通过混合图神经网络实现大规模草图识别，采用内存高效的全局注意力机制，提升训练效率与识别准确率。
2026-03-08 cs.AI cs.CV
On the Temporality for Sketch Representation Learning
Institute of Mathematical and Computer Sciences, University of São Paulo（数学与计算机科学研究所，圣保罗大学）
本文研究了草图表示学习中时序性的重要性，发现绝对坐标优于相对坐标，非自回归解码器表现更优，且时序性影响取决于顺序和任务。
2025-12-09 cs.AI cs.CV
Probing Multimodal Fusion in the Brain: The Dominance of Audiovisual Streams in Naturalistic Encoding
Distributed and Intelligent Optimization Research Laboratory（分布式智能优化研究实验室）；Electrical Engineering Department（电气工程系）；Amirkabir University of Technology（阿米尔卡比尔技术大学）
该研究利用 X-CLIP 与 Whisper 构建大脑编码模型，通过 ID/OOD 严格测试揭示简单线性模型泛化更优，并表明视听连续流在自然多模态神经编码中占主导。
2025-07-25 cs.CV
Zero-Shot Sketch-Image Hashing
University of East Anglia（东安格利亚大学）；Inception Institute of Artificial Intelligence (IIAI)（人工智能初创研究院）；University of Electronic Science and Technology of China（电子科技大学）
最近的研究表明，跨模态二值表示学习方法可以有效地解决大规模草图图像检索问题，其中汉明距离匹配显著加快了相似性搜索的过程。提供训练和测试数据受到一组固定的预定义的类别，尖端SBIR和跨模态哈希作品获得可接受的检索性能。然而，大多数现有的方法失败时，查询草图的类别在训练过程中从未见过。在本文中，上述问题被简要介绍为一个新的，但现实的zero-shot SBIR哈希任务。我们阐述了这个特殊的任务的挑战，并相应地提出了一个zero-shot草图图像哈希（ZSIH）模型。构建了端到端的三网结构，其中两个网络作为二进制编码器。第三个网络分别利用Kronecker融合层和图卷积来减轻草图图像的异构性并增强数据之间的语义关系。作为ZSIH的一个重要组成部分，我们制定了一个产生式哈希方案重建语义知识表示的zero-shot检索。据我们所知，ZSIH是第一个适用于SBIR和交叉模式搜索的zero-shot哈希工作。在两个扩展数据集上进行了综合实验，草图和TU柏林与一个新的zero-shot列车测试分裂。所提出的模型显着优于相关工作。
2018-03-06 cs.CV
3D Shape Reconstruction from Sketches via Multi-view Convolutional Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们提出了一种方法，用于重建三维形状从二维草图的线条画的形式。我们的方法需要作为输入一个单一的草图，或多个草图，并输出一个密集的点云表示输入草图的3D重建（ES）。然后将点云转换为多边形网格。我们方法的核心是一个深度的编码器-解码器网络。编码器将草图转换为编码形状信息的紧凑表示。解码器将该表示转换为从多个输出视点捕获底层表面的深度和法线图。然后，通过解决一个优化问题，融合所有视点的深度和法线，将多视图地图合并为3D点云。基于我们的实验，与其他方法相比，如体积网络，我们的架构提供了几个优点，包括更忠实的重建，更高的输出表面分辨率，更好地保持拓扑结构和形状结构。
2017-09-29 cs.CV cs.GR
Sketch-Guided Object Localization in Natural Images
Indian Institute of Science, Bengaluru（印度科学理工学院）；Indian Institute of Technology, Jodhpur（印度理工学院焦特布尔分校）
我们引入了一个新的问题，即通过草图查询在自然图像中定位一个对象的所有实例（在训练过程中看到或看不到）。我们把这个问题称为草图引导的对象定位。这个问题是明显不同于传统的基于草图的图像检索任务，画廊集往往包含只有一个对象的图像。当我们考虑以下因素时，草图引导的对象定位被证明更具挑战性：（i）用作查询的草图是具有关于对象的形状和显著属性的很少信息的抽象表示，（ii）草图具有显著的可变性，因为它们是由各种各样的未经训练的人类主体手绘的，以及（iii）由于草图查询和目标自然图像是从非常不同的数据分布中采样的，因此在草图查询和目标自然图像之间存在域间隙。为了解决草图引导的对象定位问题，我们提出了一种新的跨模态注意力方案，指导区域建议网络（RPN）生成与草图查询相关的对象建议。这些对象建议稍后针对查询进行评分以获得最终定位。我们的方法是有效的，只要一个单一的草图查询。此外，它还可以很好地推广到训练期间未看到的对象类别，并且可以有效地定位图像中存在的多个对象实例。此外，我们将我们的框架扩展到多查询设置使用新的特征融合和注意力融合策略，本文介绍。本地化性能在公开可用的目标检测基准上进行评估，即MS-COCO和PASCAL-VOC，草图查询从“Quick，Draw！'.所提出的方法显着优于相关基线单查询和多查询本地化任务。
2020-08-14 cs.CV cs.IT cs.LG
SketchINR: A First Look into Sketches as Implicit Neural Representations
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（科大讯飞-萨里人工智能联合研究中心）；University of Edinburgh（爱丁堡大学）
SketchINR 首次将矢量草图表示为隐式神经模型，通过固定维度潜在空间编码可变长度草图，在压缩率、保真度、并行解码速度和抽象重现能力上均显著优于现有方法。
2024-03-14 cs.AI cs.CV
DepthFusion: Depth-Aware Hybrid Feature Fusion for LiDAR-Camera 3D Object Detection
针对激光雷达-相机3D检测忽略深度影响的问题，提出DepthFusion，从全局和局部依据深度自适应加权多模态特征，并在nuScenes、KITTI及nuScenes-C上取得更优精度与鲁棒性。
2025-05-12 cs.CV
GMF: General Multimodal Fusion Framework for Correspondence Outlier Rejection
Jiangxi University of Finance and Economics（江西财经大学）；Sany（三一集团）；Shanghai AI Laboratory（上海人工智能实验室）
拒绝对应异常值能够提高对应质量，这是实现高点云配准精度的关键步骤。现有的孤立点剔除方法只利用了对应关系的结构特征。然而，纹理信息是至关重要的拒绝在我们的人类视觉系统的对应离群值。在本文中，我们提出了通用多模态融合（GMF）学习拒绝对应离群值利用结构和纹理信息。具体地说，提出了两个基于交叉注意的融合层来融合成对图像的纹理信息和点对应的结构信息。此外，我们提出了一个卷积位置编码层，以增强令牌之间的差异，使编码功能关注邻居信息。我们的位置编码层将使交叉注意操作整合局部和全局信息。在多个数据集（3DMatch，3DLoMatch，KITTI）和最新的最先进的模型（3DRegNet，DGR，PointDSC）上的实验证明，我们的GMF具有广泛的泛化能力，并不断提高点云配准精度。此外，一些烧蚀研究证明了所提出的GMF对不同损失函数、照明条件和噪声的鲁棒性。https://github.com/XiaoshuiHuang/GMF
2022-11-01 cs.CV
Cross-Modal Hierarchical Modelling for Fine-Grained Sketch Based Image Retrieval
University of Surrey（萨里大学）
草图作为图像搜索查询是捕获细粒度视觉细节的文本的理想替代。先前在基于细粒度草图的图像检索（FG-SBIR）上的成功已经证明了处理草图而不是照片的独特特征的重要性，例如，时间与静态、笔划与像素以及抽象与像素完美。在本文中，我们研究了迄今为止被忽视的草图的另一个特点，即它们在细节层次方面是分层的-一个人通常会绘制各种程度的细节来描绘一个对象。这种层次结构通常在视觉上是不同的。在本文中，我们设计了一种新的网络，能够培养草图特定的层次结构，并利用它们来匹配草图与相应层次的照片。特别是，从草图和照片的特征是丰富使用跨模态的共同注意，再加上层次节点融合在每一个层次，形成一个更好的嵌入空间进行检索。常见的基准测试实验表明，我们的方法优于国家的最先进的显着保证金。
2020-08-11 cs.CV cs.IR
Content-Adaptive Sketch Portrait Generation by Decompositional Representation Learning
Sun Yat-sen University（中山大学）；Hisilicon Technologies Co., Ltd.（海思技术有限公司）；Queen Mary University of London（伦敦玛丽女王大学）
素描肖像生成有利于广泛的应用，如数字娱乐和执法。虽然大量的努力已经致力于这项任务，一些问题仍然没有得到解决，以产生生动和细节保留的个人素描肖像。例如，在合成发夹和眼镜时可能存在相当多的伪像，并且在头发或胡子的区域中可能丢失纹理细节。此外，目前的系统的泛化能力是有限的，因为它们通常需要精心收集的例子或仔细调整功能/组件的字典。在本文中，我们提出了一种新的表示学习框架，通过结构和纹理分解生成端到端的照片草图映射。在训练阶段，我们首先将输入的人脸照片根据其代表性内容分解为不同的分量（即，结构和纹理部分）。然后，我们利用分支全卷积神经网络（BFCN）的学习结构和纹理表示，分别。此外，我们设计了一个排序匹配均方误差（SM-MSE）度量来衡量纹理模式的损失函数。在草图绘制阶段，我们的方法自动生成输入照片的结构和纹理表示，并通过概率融合方案产生最终结果。在几个具有挑战性的基准上进行的大量实验表明，我们的方法在感知和客观指标方面都优于基于示例的合成算法。此外，该方法还具有更好的泛化能力，无需额外的训练。
2017-10-04 cs.CV
Uni-Animator: Towards Unified Visual Colorization
Mississippi State University（密苏里州立大学）；UIUC（伊利诺伊大学香槟分校）；Hunan University（湖南大学）；HKUST（香港科技大学）
Uni-Animator通过视觉参考增强、物理细节强化和动态RoPE编码，实现了统一的图像和视频草图着色，兼顾高细节保真度和时间一致性。
2026-03-03 cs.CV
LUT-Fuse: Towards Extremely Fast Infrared and Visible Image Fusion via Distillation to Learnable Look-Up Tables
Electronic Information School, Wuhan University（武汉大学电子信息学院）；School of Automation, Southeast University（东南大学自动化学院）
针对现有红外与可见光图像融合研究重性能、轻实时设备适配的问题，提出LUT-Fuse方法，通过适配多模态融合的可学习查找表及蒸馏策略，在保持性能的同时将速度提升至轻量级SOTA算法的十倍以上，适配低功耗移动设备。
2025-08-30 cs.CV
M$^3$Net: Multi-view Encoding, Matching, and Fusion for Few-shot Fine-grained Action Recognition
Nanjing University of Science and Technology（南京理工大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Nanjing University（南京大学）
本文提出M$^3$Net框架，通过多视图编码、匹配与融合解决小样本细粒度动作识别中细节捕捉不足和有限数据学习困难的问题，并在多个基准上取得最优性能。
2023-08-06 cs.CV cs.MM
SENS: Part-Aware Sketch-based Implicit Neural Shape Modeling
ETH Zurich（苏黎世联邦理工学院）；Tel Aviv University（特拉维夫大学）
SENS提出一种从手绘草图生成和编辑3D模型的方法，通过将草图部件编码为ViT补丁并利用transformer解码器映射到部件感知神经隐式形状的潜在空间，支持抽象草图、部件重建与多草图特征组合，实验和用户研究表明其在中等抽象草图上性能优越。
2024-02-21 cs.CV cs.GR cs.LG
Semantically Tied Paired Cycle Consistency for Any-Shot Sketch-based Image Retrieval
University of Exeter（埃克塞特大学）；University of Tübingen（图宾根大学）
基于低拍摄草图的图像检索是计算机视觉中的一项新兴任务，它允许检索与手绘草图查询相关的自然图像，这些图像在训练阶段很少见到。相关的现有工作要么需要昂贵的获得对齐的草图-图像对，要么需要低效的存储器融合层来将视觉信息映射到语义空间。在本文中，我们解决任何镜头，即zero-shot和Few-Shot，基于草图的图像检索（SBIR）的任务，我们介绍了Few-Shot设置SBIR。为了解决这些任务，我们提出了一个语义对齐的配对循环一致的生成对抗网络（SEM-PCYC）的任意镜头SBIR，其中每个分支的生成对抗网络映射的视觉信息从草图和图像到一个共同的语义空间通过对抗训练。这些分支中的每一个都保持了周期的一致性，只需要在类别级别进行监督，并避免了对齐草图-图像对的需要。生成器输出的分类标准确保视觉到语义空间的映射是类特定的。此外，我们建议通过自动编码器将文本和分层边信息结合起来，该自动编码器在同一个端到端模型中选择有区别的边信息。我们的研究结果表明，在具有挑战性的Sketchy，TU-Berlin和QuickDraw数据集的扩展版本上，任何镜头SBIR性能都有显着提高。
2020-06-20 cs.CV cs.LG
Beyond Domain Gap: Exploiting Subjectivity in Sketch-Based Person Retrieval
Wuhan University（武汉大学）；The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）
本文研究基于草图的人物检索中的主观性问题，提出包含多目击者描述的大规模数据集，并设计NL融合模块和AttrAlign模块以融合主观性与引入客观性，在三个基准上取得领先性能。
2023-09-15 cs.CV cs.MM
VaLiD: Mitigating the Hallucination of Large Vision Language Models by Visual Layer Fusion Contrastive Decoding
Beijing Jiaotong University（北京交通大学）
针对大型视觉语言模型因视觉编码扭曲导致的幻觉问题，提出无需训练的 VaLiD，利用不确定性选择并融合视觉层进行对比解码，在多个基准上达到最先进性能。
2025-03-15 cs.CV
Multimodal Fusion for Fine-Grained Classification of Breast Fibroadenoma and Phyllodes Tumors
School of Integrated Circuits, Wuxi Vocational College of Science and Technology（集成电路学院，无锡科学技术职业技术学院）；School of Advanced Technology, Xi’an Jiaotong-Liverpool University（先进科技学院，西安交通大学利物浦大学）；Shanghai Gem Science and Technology Co., Ltd.（上海 gems 科技有限公司）；Department of Oncology, Shanghai Medical College, Fudan University（肿瘤科，复旦大学上海医学院）；Department of Medical Ultrasound, Fudan University Shanghai Cancer Center（医学超声科，复旦大学上海癌症中心）
针对B超下乳腺纤维腺瘤和叶状肿瘤高度重叠导致误诊的问题，构建FAPT-M多模态数据集，提出临床引导的多模态框架，集成视觉、文本和临床特征，通过自适应调制、跨模态Transformer和双路径表示学习，实现细粒度分类，准确率77.64%，AUC 89.74%。
2026-10-12 cs.CV
Sensor Fusion by Spatial Encoding for Autonomous Driving
Cho Chun Shik Graduate School of Mobility（赵春植 mobility 研究生院（注：该学院为KAIST下属学院，常见译法为赵春植移动研究生院））；Division of Future Vehicle（未来车辆学部）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
本研究针对自动驾驶感知需求，提出多分辨率Transformer融合相机与LiDAR数据的方法，在长路线高密度交通的挑战性基准上性能优于现有方案，驾驶分数较TransFuser最高提升19%。
2023-08-17 cs.AI cs.CV cs.LG
R2-Talker: Realistic Real-Time Talking Head Synthesis with Hash Grid Landmarks Encoding and Progressive Multilayer Conditioning
Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司）
本文提出 R2-Talker，利用多分辨率哈希网格无损编码面部关键点并在 NeRF 各 MLP 层渐进融合条件特征，实现高真实感、实时且泛化性更好的说话头部合成。
2023-12-09 cs.CV
MD-RWKV-UNet: Scale-Aware Anatomical Encoding with Cross-Stage Fusion for Multi-Organ Segmentation
本文提出MD-RWKV-UNet，通过动态编码网络实现尺度感知表示和空间自适应上下文建模，结合选择性核注意力和跨阶段双注意力融合策略，提升多器官分割的精度与鲁棒性。
2026-03-28 cs.CV eess.IV
SECAD-Net: Self-Supervised CAD Reconstruction by Learning Sketch-Extrude Operations
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
从原始几何图形进行逆向工程是一个经典而艰巨的研究问题。以前的基于学习的方法严重依赖于标签，由于监督的设计模式或重建CAD形状，不容易编辑。在这项工作中，我们介绍SECAD-Net，一个端到端的神经网络，旨在重建紧凑，易于编辑的CAD模型，在自我监督的方式。从现代CAD软件中最常用的建模语言中汲取灵感，我们建议从原始形状中学习2D草图和3D挤出参数，从中可以通过将每个草图从2D平面挤出到3D体中来生成一组挤出圆柱体。通过结合布尔运算（即，union），这些圆柱体可以被组合以紧密地近似目标几何形状。我们提倡使用隐式字段的草图表示，它允许通过在草图潜在空间中插入潜在代码来创建CAD变体。在ABC和Fusion 360数据集上的大量实验证明了我们方法的有效性，并显示出优于最先进的替代方案，包括密切相关的监督CAD重建方法。我们进一步将我们的方法应用于CAD编辑和单视图CAD重建。该代码在https://github.com/BunnySoCrazy/SECAD-Net上发布。
2023-03-19 cs.CV cs.GR cs.LG
Unleashing Vision Foundation Models for Coronary Artery Segmentation: Parallel ViT-CNN Encoding and Variational Fusion
National-Local Joint Engineering Research Center of Biodiagnosis \& Biotherapy, the Second Affiliated Hospital of Xi’an Jiaotong University, Xi’an, 710004, China Institute of Medical Artificial Intelligence, the Second Affiliated Hospital of Xi’an Jiaotong University, Xi'an, 710004, China Viadrina European University, Frankfurt (Oder), 15230, Germany
本文提出一种并行 ViT-CNN 编码与跨分支变分融合的冠状动脉分割框架，并引入证据学习不确定性细化模块，在多个数据集上显著优于现有方法。
2025-07-17 cs.CV eess.IV
Fuse and Attend: Generalized Embedding Learning for Art and Sketches
Myntra（Myntra公司）
虽然深度嵌入学习方法在多个计算机视觉任务中取得了广泛的成功，但用于表示自然图像的最先进方法不一定在其他领域的图像上表现良好，例如绘画，卡通和素描。这是因为与自然图像相比，这些领域的数据分布发生了巨大的变化。像sketch这样的域通常包含稀疏的信息像素。然而，识别这些领域中的对象是至关重要的，因为多个相关应用程序利用这些数据，例如，草图到图像检索。因此，实现一个可以在多个领域表现良好的嵌入式学习模型不仅具有挑战性，而且在计算机视觉中发挥着关键作用。为此，在本文中，我们提出了一种新的嵌入式学习方法，其目标是在不同的领域进行推广。在训练过程中，给定来自某个领域的查询图像，我们采用门控融合和注意力来生成一个正面示例，该示例包含查询对象类别（来自多个领域）的语义的广泛概念。通过对比学习，我们提取查询和正的嵌入，以便学习跨域鲁棒的表示。与此同时，为了让模型能够区分来自不同语义类别（跨领域）的示例，我们还维护了一个负嵌入池（来自不同类别）。我们使用DomainBed框架展示了我们的方法在流行的PACS（照片，艺术绘画，卡通和素描）数据集上的强大功能。
2022-08-20 cs.AI cs.CV cs.LG
Complementary Roles of Radiomics and Foundation Representations in Renal Cell Carcinoma Classification: A Comparative Study of 2D and 3D CT Encodings
Research Ireland Centre for Research Training in Machine Learning（爱尔兰研究机器学习研究中心）；University College Dublin（都柏林大学学院）
本研究比较放射组学与2D/3D MedVAE基础表示及其融合方法，用于肾细胞癌CT亚型分类，发现3D门控融合（AUC 82.7%）最佳，证明放射组学与基础表示互补有效。
2026-09-23 cs.AI cs.CV
Enhancing Multimodal Emotion Recognition via Multi-Feature Encoding and Attention-Based Fusion
College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University（吉林大学符号计算与知识工程教育部重点实验室）
本文提出结合多特征编码与注意力融合的多模态情感识别框架，在MELD、IEMOCAP数据集上性能优于基线，可有效捕捉语音与面部情感线索，实用且可泛化。
2026-09-07 cs.AI cs.CV cs.LG
