Guiding Diffusion Models with Semantically Degraded Conditions
College of Science, National University of Defense Technology(国防科技大学理学院)
通过语义退化条件引导扩散模型,提升文本图像对齐与组合准确性。
2026-03-11 cs.CV
3D-Consistent Image Inpainting with Diffusion Models
NAVER LABS Europe(NAVER欧洲实验室)
针对扩散模型图像修复的3D不一致问题,提出融入场景另一视角信息的改进扩散模型,无需显式3D监督即可实现3D一致且语义连贯的修复,在多数据集上表现优于现有最优方法。
2024-12-08 cs.AI cs.CV
CRCE: Coreference-Retention Concept Erasure in Text-to-Image Diffusion Models
School of Engineering University of Edinburgh(工程学院 苏格兰爱丁堡大学)
针对文本到图像扩散模型概念擦除的过/欠擦除问题,提出CRCE框架,借助大语言模型区分需共擦除的相关概念与需保留的概念,实现精准擦除,在多类任务上性能优于现有方法,并将发布相关数据集与代码。
2025-05-20 cs.AI cs.CL cs.CV
SARA: Semantically Adaptive Relational Alignment for Video Diffusion Models
Tencent Hunyuan(腾讯文英)
提出SARA方法,通过文本条件显著性引导令牌对监督,提升视频扩散模型的文本对齐和运动质量。
2026-06-09 cs.CV
Scaling Robot Learning with Semantically Imagined Experience
Robotics at Google(谷歌机器人学部门);Google Research(谷歌研究院)
机器人学习的最新进展已经显示出使机器人能够执行各种操作任务并推广到新场景的希望。这一进展的关键因素之一是用于训练模型的机器人数据的规模。为了获得大规模的数据集,先前的方法依赖于需要高度人工参与的演示或工程繁重的自主数据汇集方案,这两者都具有规模化的挑战。为了缓解这个问题,我们提出了一种替代路线,并利用广泛用于计算机视觉和自然语言处理的文本到图像基础模型,以获得有意义的数据,用于机器人学习,而不需要额外的机器人数据。我们称我们的方法机器人学习与语义想象的经验(ROSIE)。具体来说,我们利用最先进的文本到图像扩散模型,并通过修复各种看不见的对象进行操作,背景和干扰物与文本指导,在我们现有的机器人操作数据集之上执行积极的数据增强。通过广泛的现实世界的实验,我们表明,在这种方式增强的数据上训练的操纵策略能够用新对象解决完全看不见的任务,并且可以在w.r.t.新奇的干扰物此外,我们发现,我们可以通过基于扩散的数据增强训练来提高高级机器人学习任务(如成功检测)的鲁棒性和泛化能力。该项目的网站和视频可以在diffusion-rosie.github.io上找到
2023-02-22 cs.AI cs.CL cs.CV
Deep Compositional Phase Diffusion for Long Motion Sequence Generation
Hong Kong Baptist University(香港 Baptist 大学)
针对多语义运动片段组合生成中的过渡不连续问题,提出组合相位扩散框架,利用SPDM和TPDM在潜在频域整合语义与相位信息,实现语义对齐且过渡连续的长运动序列生成,并支持运动插值。
2025-10-16 cs.CV cs.MM
Can we Constrain Concept Bottleneck Models to Learn Semantically Meaningful Input Features?
Cardiff University(卡迪夫大学);Imperial College London(伦敦帝国学院);IBM Research Europe(IBM欧洲研究院)
本文探讨了概念瓶颈模型(CBMs)中概念预测依赖无关输入特征的问题,提出通过使用输入特征与概念预测之间具有明确联系的数据集,确保概念不总是同时出现,从而约束CBMs学习语义上有意义的输入特征,并在合成和真实数据集上验证了该方法的有效性。
2024-07-30 cs.AI cs.CV cs.LG
SGDFuse: SAM-Guided Diffusion Model for High-Fidelity Infrared and Visible Image Fusion
School of Computer Science(计算机科学学院);Business University, Yantai, China(烟台商学院);College of Computer and Data Science(计算机与数据科学学院);Fuzhou University, Fuzhou, China(福州大学);School of Computing and Mathematical Sciences(计算与数学科学学院);University of Leicester, Leicester, United Kingdom(莱斯特大学);School of Computing and Artificial Intelligence(计算与人工智能学院);Director of the Rapid-Rich Object Search Laboratory(快速丰富对象搜索实验室主任);NTU-PKU Joint Research Institute, Nanyang Technological University, Singapore(NTU-PKU联合研究机构,新加坡国立大学)
本文提出SGDFuse,通过结合SAM的高阶语义先验与扩散模型的高保真生成能力,解决红外与可见图像融合中的语义盲问题,提升图像质量和下游任务性能。
2026-03-21 cs.AI cs.CV
CoCoDiff: Correspondence-Consistent Diffusion Model for Fine-grained Style Transfer
Institute of Information Science, Beijing Jiaotong University(北京交通大学信息科学研究所);Visual Intelligence + X International Joint Laboratory of the Ministry of Education(视觉智能+X教育部国际联合实验室)
CoCoDiff提出一种无需训练的低成本风格迁移框架,利用预训练的潜在扩散模型实现细粒度语义一致的风格化,通过像素级语义对应模块和循环一致性模块实现对象和区域级别的风格迁移。
2026-04-01 cs.AI cs.CV
Efficient bias mitigation in T2I diffusion models using Concept Graphs
Department of Computing Imperial College London(伦敦帝国理工学院计算系)
研究文本到图像扩散模型偏差问题,提出基于概念图对齐的CO-ALIGN方法,在模型内部概念本体上操作,能有效减轻偏差并保留生成完整性,性能优于现有技术。
2026-07-07 cs.AI cs.CV
ChangeAnywhere: Sample Generation for Remote Sensing Change Detection via Semantic Latent Diffusion Model
State Key Laboratory of Remote Sensing Science, Beijing Normal Unieversity
针对遥感变化检测样本标注耗时的问题,提出基于语义潜扩散模型的ChangeAnywhere方法,利用单时相数据生成10万对带标注的合成样本,显著提升了模型在基准数据集上的零样本和少样本性能。
2024-04-13 cs.AI cs.CV cs.LG
Representation Learning with Diffusion Models
Heidelberg University(海德堡大学);Ludwig Maximilian University of Munich(慕尼黑大学)
扩散模型(DM)在图像合成任务和密度估计方面取得了最新的成果。应用于功能强大的预训练自动编码器(LDM)的潜在空间中,可以在不牺牲采样质量的情况下显着降低其巨大的计算需求。然而,DM和LDM缺乏语义上有意义的表示空间,因为扩散过程逐渐破坏潜变量中的信息。我们介绍了一个框架,学习这样的表示与扩散模型(LRDM)。为此,LDM以通过单独的编码器从干净图像中提取的表示为条件。特别地,DM和表示编码器被联合训练,以便学习特定于生成去噪过程的丰富表示。通过引入一个易于处理的表示先验,我们可以有效地从表示分布中进行无条件图像合成,而无需训练任何额外的模型。我们证明,i)有竞争力的图像生成结果可以实现与图像参数化的LDM,ii)LRDM能够学习语义有意义的表示,允许忠实的图像重建和语义插值。我们的实现可以在https://github.com/jeremiastraub/diffusion上获得。
2022-10-20 cs.CV
Mass Concept Erasure in Diffusion Models with Concept Hierarchy
本文提出了一种基于概念层次的扩散模型擦除方法,通过群体擦除和超类型保留低秩适应技术,提高擦除效率并减少生成质量退化。
2026-01-06 cs.AI cs.CV cs.CY
MoMaps: Semantics-Aware Scene Motion Generation with Motion Maps
Google DeepMind(谷歌DeepMind);University of Pennsylvania(宾夕法尼亚大学);Google(谷歌)
本文提出像素对齐的运动图(MoMap)表示,通过在超过5万个真实视频上训练扩散模型,实现了从单张图像预测合理且语义一致的3D场景运动,并为2D视频合成提供了新流程。
2025-10-13 cs.CV
DIAGen: Semantically Diverse Image Augmentation with Generative Models for Few-Shot Learning
Department of Computer Science, Technical University of Darmstadt(计算机科学系,达姆施塔特技术大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心)
DIAGen在DA-Fusion基础上,通过高斯噪声扰动嵌入和文本引导生成,结合加权机制,增强少样本学习的语义多样性并提升分类性能。
2025-05-25 cs.AI cs.CV
SceneAdapt: Scene-aware Adaptation of Human Motion Diffusion
Yonsei University(延世大学);Carnegie Mellon University(卡内基梅隆大学);UC Merced(加州大学默塞德分校);Google DeepMind(谷歌DeepMind);Seoul National University(首尔国立大学)
本文提出SceneAdapt框架,通过运动插值和场景感知插值生成语义丰富的场景感知人类运动,无需大规模配对文本-场景-运动数据。
2026-03-30 cs.AI cs.CV
Multi-Level Variational Autoencoder: Learning Disentangled Representations from Grouped Observations
University of Oxford(牛津大学);Microsoft Research(微软研究院)
我们想学习一种数据的表示方法,它将观察结果分解为我们可以独立控制的变化因素。具体来说,我们希望使用最少的监督来学习一种潜在的表示,它反映了特定数据分组背后的语义,其中在一个组中,样本共享一个共同的变化因素。例如,考虑按身份分组的面部图像的集合。我们希望将分组的语义锚定到一个我们可以轻松利用的相关和分离的表示中。然而,现有的深度概率模型通常假设观测值是独立同分布的。我们提出了多级变分自编码器(ML-VAE),这是一种新的深度概率模型,用于学习一组分组观测的解纠缠表示。ML-VAE通过在组水平和观察水平上工作将潜在表征分离成语义上有意义的部分,同时保留有效的测试时推理。定量和定性评估表明,ML-VAE模型(i)学习分组数据的语义上有意义的解纠缠,(ii)能够操纵潜在表示,以及(iii)推广到看不见的组。
2017-05-24 cs.LG stat.ML
On the notion of missingness for path attribution explainability methods in medical settings: Guiding the selection of medically meaningful baselines
Research Group MITI, Technical University of Munich(慕尼黑技术大学MITI研究组);Chair for AI in Healthcare and Medicine, Technical University of Munich (TUM) and TUM University Hospital(慕尼黑技术大学人工智能在医疗健康中的chair及慕尼黑技术大学医院);Department of Computing, Imperial College London(伦敦帝国理工学院计算机系);Department of Surgery, Technical University of Munich(慕尼黑技术大学外科系)
本文探讨医疗场景中路径归因解释方法中缺失性的概念,提出更严格的语义缺失性定义,通过合成反事实生成模型验证了反事实基线在提高归因准确性方面的有效性。
2026-05-07 cs.LG
Semantic-Guided Diffusion Model for Single-Step Image Super-Resolution
Beijing Institute of Technology(北京理工大学);Nanjing University(南京大学);School of Computer Science, Peking University(北京大学计算机学院)
针对单步扩散超分在复杂语义区域恢复不足的问题,提出SAMSR框架,通过语义掩码引导噪声、逐像素采样和语义一致性损失提升细节与感知质量。
2025-05-11 cs.CV
Denoising Diffusion Implicit Models
Stanford University(斯坦福大学)
去噪扩散概率模型(DDPM)在没有对抗训练的情况下实现了高质量的图像生成,但是它们需要模拟马尔可夫链的许多步骤来产生样本。为了加速采样,我们提出了去噪扩散隐式模型(DDIM),这是一类更有效的迭代隐式概率模型,具有与DDPM相同的训练过程。在DDPM中,生成过程被定义为马尔可夫扩散过程的逆过程。我们构造了一类非马尔可夫扩散过程,导致相同的训练目标,但其逆过程可以更快地采样。我们的经验表明,DDIM可以产生高质量的样本$10 \times$到$50 \times$更快的挂钟时间相比,DDPM,让我们权衡计算样本质量,并可以执行语义有意义的图像插值直接在潜在的空间。
2022-10-05 cs.CV cs.LG
PDT: Point Distribution Transformation with Diffusion Models
Texas A\&M University(德克萨斯A&M大学);The University of Hong Kong(香港大学);The Hong Kong University of Science and Technology(香港科学与理工大学);Nanjing University(南京大学);Skywork AI, Kunlun Inc.(Skywork AI, kunlun公司)
本文提出 PDT 框架,利用新型扩散架构与去噪学习策略,将非结构化输入点云变换为关键点、关节和特征线等语义结构化点分布。
2025-07-25 cs.CV
Not all tokens contribute equally to diffusion learning
School of Mechanical Engineering, Guizhou University, Guizhou, China(贵州大学机械工程学院);School of Information Science and Technology, Hangzhou Normal University, Zhejiang, China(杭州师范大学信息科学与技术学院)
本文提出DARE框架,通过分布偏见缓解和空间一致性提升扩散模型的语义引导,解决训练数据长尾分布和交叉注意力空间对齐问题,提升文本到视频生成的准确性和语义对齐性。
2026-04-08 cs.CV
TerraDiT: Point-Conditioned Diffusion Transformer for Satellite Image Synthesis
TerraDiT通过点条件控制实现文本到卫星图像生成,提供语义丰富的控制信号,具有灵活、标注友好和计算简单的推理特性。
2026-06-26 cs.CV
Directional diffusion models for graph representation learning
Baidu(百度);Shanghai University of Finance and Economics(上海财经大学);University of Toronto(多伦多大学)
针对扩散模型在图学习中的空白,提出定向扩散模型,通过在前向过程引入数据依赖的各向异性定向噪声,在12个数据集上优于基线,有效捕获图表示。
2023-06-22 cs.CV cs.LG
SemDiff: Generating Natural Unrestricted Adversarial Examples via Semantic Attributes Optimization in Diffusion Models
Southern University of Science and Technology(南方科技大学);The Hong Kong Polytechnic University(香港理工大学)
针对现有扩散模型生成无限制对抗样本(UAEs)缺乏自然性和不可感知性的问题,提出SemDiff方法,通过探索扩散模型语义潜在空间并优化多属性,在确保攻击成功率的同时提升UAEs的自然性与不可感知性,实验验证其性能优于现有方法且能规避多种防御。
2025-04-16 cs.CV cs.LG
Generate and Verify: Semantically Meaningful Formal Analysis of Neural Network Perception Systems
HRL Laboratories LLC(HRL实验室有限责任公司)
测试仍然是评估神经网络感知系统准确性的主要方法。神经网络感知模型的形式化验证的先前工作已被限制到相对于个体图像输入的分类的局部对抗鲁棒性的概念。在这项工作中,我们提出了一个概念的全局正确性的神经网络感知模型进行回归生成神经网络与语义有意义的潜在空间。也就是说,针对生成模型在其潜在空间的间隔上产生的无限图像集,我们采用神经网络验证来证明该模型将始终在地面真实的某些误差范围内产生估计。在感知模型失败的地方,我们获得语义上有意义的反例,这些反例携带感兴趣的系统的具体状态的信息,这些信息可以在没有人类检查相应生成的图像的情况下以编程方式使用。我们的方法,生成和验证,提供了一种新的技术来收集洞察神经网络感知系统的故障情况,并提供有意义的保证,在安全关键应用程序的正确行为。
2020-12-16 cs.LG cs.LO
Unsupervised Discovery of 3D Hierarchical Structure with Generative Diffusion Features
University of North Carolina(北卡罗来纳大学)
利用生成扩散模型的多阶段特征,通过三种损失训练无监督分割网络,将三维生物医学图像分解为嵌套层次结构,在合成及真实脑肿瘤MRI数据上优于现有方法。
2023-10-10 cs.CV
Semantically Aligned Gradient-Driven Context-Preserving Image Editing
Indian Institute of Technology Jodhpur(印度理工学院焦特布尔分校)
提出IABEdit,通过可微语义验证训练实现上下文保持的图像编辑,在多个基准上提升结构保真度和指令遵循,尤其改善遮挡下的身份保持。
2026-09-14 cs.CV
AlignTok: Aligning Visual Foundation Encoders to Tokenizers for Diffusion Models
University of Washington(华盛顿大学);Adobe Research(Adobe研究)
AlignTok通过将预训练视觉编码器对齐为分词器,提升扩散模型的生成质量和收敛速度,适用于图像生成任务。
2026-02-21 cs.CV
Adaptive Auxiliary Prompt Blending for Target-Faithful Diffusion Generation
Hanyang University(翰阳大学)
本文提出自适应辅助提示融合框架,通过辅助锚点提示在低密度区域稳定扩散过程,提升目标提示的忠实性与生成质量。
2026-03-19 cs.CV
Guiding Registration with Emergent Similarity from Pre-Trained Diffusion Models
UNC Chapel Hill(北卡罗来纳大学教堂山分校);UCSD(加州大学圣地亚哥分校)
本文提出利用预训练扩散模型的特征作为语义相似性度量来引导可变形图像配准,解决了基于强度的损失在解剖结构缺失场景下失效的问题,并在多模态2D和单模态3D配准任务上验证了优越性能。
2025-06-03 cs.CV
LGTM: Local-to-Global Text-Driven Human Motion Diffusion Model
Shenzhen University(深圳大学);Kuaishou Technology(快手科技);ByteDance Inc.(字节跳动公司)
LGTM提出局部到全局的文本驱动人体运动扩散模型,通过LLM分解描述、分部位编码和注意力全身优化,显著提升文本到运动生成的局部准确性与语义对齐。
2024-05-06 cs.CV cs.GR
MONet: Unsupervised Scene Decomposition and Representation
DeepMind(深度思维)
将场景分解为抽象的积木的能力对于一般智能来说至关重要。当这些基本构建块在场景中共享有意义的属性、交互和其他特性时,这种分解可以简化推理并促进对新场景的想象。特别是,以实体表示感知观察应该提高数据效率和广泛任务的传输性能。因此,我们需要的模型能够发现有用的分解场景识别单位与这样的矩阵,并表示它们在一个共同的格式。为了解决这个问题,我们开发了多对象网络(MONet)。在这个模型中,VAE与循环注意力网络一起进行端到端的训练-以完全无监督的方式-提供图像区域周围的注意力掩码和图像区域的重建。我们表明,该模型能够学习分解和表示具有挑战性的3D场景到语义有意义的组件,如对象和背景元素。
2019-01-22 cs.CV cs.LG stat.ML
ShapeShift: Text-to-Mosaic Synthesis via Semantic Phase-Field Guidance
Carnegie Mellon University USA(卡内基梅隆大学)
ShapeShift通过语义相场指导实现文本到马赛克合成,结合语义指导与可行性约束解决,提升排列的语义清晰性和有效性。
2026-02-23 cs.CV
Compositional Text-to-Image Synthesis with Attention Map Control of Diffusion Models
OPPO Research Institute(OPPO研究院)
针对文本到图像扩散模型组合能力不足导致的生成图像与提示语义不对齐问题,提出基于BoxNet预测目标框的注意力掩码控制策略,约束提示词元注意力区域,可即插即用提升合成语义准确性。
2023-12-13 cs.CV
Particle-Guided Diffusion for Gas-Phase Reaction Kinetics
Department of Computer and Information Science(计算机与信息科学系);Linköping University(林雪平大学);Department of Physics, Chemistry and Biology(物理、化学和生物系)
本文提出利用扩散模型进行物理引导采样,用于解决气相化学反应动力学问题,通过训练求解对流-反应-扩散方程的解,生成物理一致的浓度场并准确预测出口浓度。
2026-03-05 cs.AI cs.LG physics.chem-ph
Text-Driven Diffusion Model for Sign Language Production
School of Computer Science and Information Engineering, Hefei University of Technology(合肥工业大学计算机与信息工程学院)
针对文本生成语义对齐手语姿态序列的挑战,提出文本驱动扩散模型TDM框架,结合关节与骨骼朝向损失训练,推理时在文本约束下从噪声生成姿态,获SLRTP挑战赛第二,BLEU-1达20.17。
2025-03-20 cs.CV
Tertiary Lymphoid Structures Generation through Graph-based Diffusion
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL))
本研究利用基于图的扩散模型生成具有生物学意义的细胞图,准确学习细胞在第三级淋巴结构(TLS)含量上的分布,并展示了其在TLS分类任务中的数据增强效用,是该领域的首创工作。
2023-10-10 cs.LG
Importance-Aware OBS Pruning for Diffusion Models
针对扩散模型提出重要性感知剪枝框架,通过纳入空间重要性映射到剪枝目标,在MS-COCO数据集上高压缩率下保持主题保真度和结构正确性,证明内容感知目标对生成模型感知忠实压缩很关键。
2026-09-30 cs.CV
pOps: Photo-Inspired Diffusion Operators
Tel Aviv University(特拉维夫大学);Simon Fraser University(西蒙菲莎大学)
本文提出 pOps 框架,直接在 CLIP image embedding 上训练基于预训练 Diffusion Prior 模型的语义算子,利用文本 CLIP loss 作为额外监督,学习具有独特语义含义的图像启发算子,展现了方法的语义多样性和潜力。
2024-06-03 cs.CV
IM-ENGINE: Image Editing for Embodied Data Generation
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Genesis AI
IM-ENGINE利用图像编辑作为中间表示,结合仿真器根基,为机器人学习生成兼具语义意义和物理可执行性的操控监督数据,应用于灵巧抓取与目标状态生成。
2026-09-09 cs.CV cs.RO
CoEmoGen: Towards Semantically-Coherent and Scalable Emotional Image Content Generation
CoEmoGen提出一种利用多模态大语言模型和层次化低秩适应模块的流水线,解决情感图像生成中语义不连贯和可扩展性差的问题,实验证明其优越性并发布EmoArt数据集。
2025-08-05 cs.CV
Guided and Unguided Conditional Diffusion Mechanisms for Structured and Semantically-Aware 3D Point Cloud Generation
Department of Computer Science;Engineering, University of Nevada, Reno, USA
本文提出一种将逐点语义条件直接嵌入扩散过程的框架,实现三维点云几何与语义的联合生成,并通过对比有引导与无引导扩散机制验证了条件变量对生成质量的显著提升。
2025-09-21 cs.AI cs.CV cs.LG
AnCoder: Anchored Code Generation via Discrete Diffusion Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
AnCoder通过结构化锚定扩散模型实现高质量代码生成,解决了传统方法无法尊重编程语言结构的问题。
2026-02-05 cs.LG cs.PL
MIND: Multi-Scale Intent Diffusion for Text-Driven Physics-Based Humanoid Control
ShanghaiTech University(上海科技大学);University of Pennsylvania(宾夕法尼亚大学);Bytedance Seed(字节跳动种子);Stanford University(斯坦福大学);InstAdapt
提出MIND框架,通过多尺度意图扩散机制将文本命令与低级动作语义对齐,实现基于物理的人形机器人行为生成。
2026-06-02 cs.CV cs.GR cs.RO
Semantically-Guided Inference for Conditional Diffusion Models: Enhancing Covariate Consistency in Time Series Forecasting
针对条件扩散模型在时间序列预测中协变量不一致的问题,提出即插即用的推理时方法SemGuide,通过评分网络和重要性重加权增强语义对齐,提升预测准确性与协变量一致性。
2025-08-03 cs.AI cs.LG
StructFormer: Learning Spatial Structure for Language-Guided Semantic Rearrangement of Novel Objects
Georgia Tech(佐治亚理工学院);NVIDIA(英伟达);Univ. of Utah(犹他大学);Univ. of Washington(华盛顿大学)
将物体几何组织成语义上有意义的排列遍布于建筑世界。因此,在仓库、办公室和家庭中工作的辅助机器人将大大受益于识别和重新排列物体到这些语义上有意义的结构中的能力。为了发挥作用,这些机器人必须与以前看不见的物体竞争,并在没有大量编程的情况下接收指令。虽然以前的作品已经研究了识别成对的语义关系和顺序操作来改变这些简单的关系,但没有一个显示出将对象排列成复杂结构的能力,如圆圈或表格设置。为了解决这个问题,我们提出了一种新的基于变换的神经网络,StructFormer,它作为输入的当前对象的安排和结构化的语言命令编码所需的对象配置的部分视点云。我们通过严格的实验表明,StructFormer使一个物理机器人重新安排新的对象到语义有意义的结构与多对象关系的约束推断的语言命令。
2021-10-19 cs.AI cs.CL cs.CV
DreamPartGen: Semantically Grounded Part-Level 3D Generation via Collaborative Latent Denoising
University of Illinois Urbana - Champaign(伊利诺伊大学厄巴纳-香槟分校)
DreamPartGen通过协作潜在去噪实现语义引导的部件级3D生成,引入双部件潜在和关系语义潜在,提升几何和语义一致性,实现高质量文本对齐的3D合成。
2026-07-08 cs.AI cs.CV cs.LG
Scalable Self-Supervised Representation Learning from Spatiotemporal Motion Trajectories for Multimodal Computer Vision
Apple(苹果公司)
自监督表示学习技术利用没有语义注释的大型数据集来学习有意义的通用特征,这些特征可以方便地转移以解决各种各样的下游监督任务。在这项工作中,我们提出了一个自我监督的方法来学习表示的地理位置从未标记的GPS轨迹,以解决下游的地理空间计算机视觉任务。由地球表面的光栅表示产生的瓦片被建模为图形上的节点或图像的像素。GPS轨迹被建模为允许马尔可夫路径在这些节点上。一个可扩展的和分布式的算法来计算图像般的表示,称为可达性摘要,瓷砖和他们的邻居之间的空间连接模式所隐含的观察到的马尔可夫路径。训练卷积压缩自动编码器来学习每个图块的可达性摘要的压缩表示,称为可达性嵌入。可达性嵌入作为任务不可知的地理位置的特征表示。使用可达性嵌入作为五个不同的下游地理空间任务的像素表示,作为监督语义分割问题,我们定量地证明了可达性嵌入是语义上有意义的表示,并导致4-23%的性能增益,使用精确-召回曲线下的面积(AUPRC)度量,当与使用不考虑图块之间的空间连接性的像素表示的基线模型相比时。可达性嵌入将连续的时空移动数据转换为语义上有意义的张量表示,这些张量表示可以与其他图像源相结合,旨在促进地理空间计算机视觉中的多模态学习。
2022-10-07 cs.AI cs.CV cs.LG
Greedy Coordinate Diffusion: Effective and Semantically Coherent Adversarial Attacks via Diffusion Guidance
University of Maryland(马里兰大学);University of California, Berkeley(加州大学伯克利分校)
提出贪婪坐标扩散方法,利用扩散模型引导生成语义连贯的对抗样本,在保持自然性的同时实现高攻击成功率。
2026-06-17 cs.CR cs.LG
Video-Robin: Autoregressive Diffusion Planning for Intent-Grounded Video-to-Music Generation
University of Maryland College Park(马里兰大学College Park分校);Dolby Laboratories(杜比实验室);NVIDIA(英伟达)
Video-Robin通过结合自回归规划与扩散合成,实现高质量的语义对齐音乐生成,相比传统方法在速度和质量上均有显著提升。
2026-04-22 cs.AI cs.CL cs.CV
LiFT: Unsupervised Reinforcement Learning with Foundation Models as Teachers
KAIST(韩国科学技术院);University of Southern California(南加州大学);University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
本研究提出LiFT框架,以大语言模型提供环境任务指令、视觉-语言模型提供奖励反馈,实现无人类反馈的无监督强化学习,在MineDojo环境中表现优于现有无监督技能发现方法。
2023-12-14 cs.AI cs.LG cs.RO
Reachability Embeddings: Scalable Self-Supervised Representation Learning from Mobility Trajectories for Multimodal Geospatial Computer Vision
Apple(苹果公司)
自监督表示学习技术利用没有语义注释的大型数据集来学习有意义的通用特征,这些特征可以方便地转移以解决各种各样的下游监督任务。在本文中,我们提出了一种自监督的方法来学习表示的地理位置从未标记的GPS轨迹,以解决下游的地理空间计算机视觉任务。由地球表面的光栅表示产生的瓦片被建模为图形上的节点或图像的像素。GPS轨迹被建模为允许马尔可夫路径在这些节点上。一个可扩展的和分布式的算法来计算图像一样的张量,称为可达性摘要,瓷砖和他们的邻居之间的空间连接模式所观察到的马尔可夫路径暗示。训练卷积压缩自动编码器来学习每个图块的可达性摘要的压缩表示,称为可达性嵌入。可达性嵌入作为任务不可知的地理位置的特征表示。使用可达性嵌入作为五个不同的下游地理空间任务的像素表示,作为监督语义分割问题,我们定量地证明了可达性嵌入是语义上有意义的表示,并导致4-23%的性能增益,同时使用高达67%的轨迹数据,如使用精确度-召回曲线下的面积(AUPRC)度量所测量的,当与使用不考虑图块之间的空间连接性的像素表示的基线模型相比时。可达性嵌入将连续的时空移动数据转换为语义上有意义的图像状张量表示,这些张量表示可以与其他图像源相结合,并且旨在促进地理空间计算机视觉中的多模态学习。
2022-07-15 cs.AI cs.CV cs.LG
Graph Representation Learning with Diffusion Generative Models
针对扩散模型因图的离散性难以应用于图结构数据的问题,提出在自编码器框架内训练离散扩散模型,结合编码器输出与解码器首步隐藏嵌入提取图表征,验证了离散扩散模型用于图表示学习的可行性。
2025-10-22 cs.AI cs.LG