Toward Guidance-Free AR Visual Generation via Condition Contrastive Alignment
Tsinghua University（清华大学）；The University of Hong Kong（香港大学）
提出 Condition Contrastive Alignment (CCA) 方法，通过直接微调预训练模型拟合目标分布，在仅需1%预训练时间下实现高性能的无引导 AR 视觉生成，将采样成本减半，并统一了语言对齐与视觉引导方法。
2024-10-12 cs.CV cs.LG eess.IV
Virtual Guidance as a Mid-level Representation for Navigation with Augmented Reality
National Tsing Hua University（国立清华大学）；National Taiwan University（国立台湾大学）
针对视觉与语言等多模态导航指令难以传达的问题，本文提出 Virtual Guidance 中层视觉表征及 sim-to-real 迁移框架，实验证明其在多场景自主导航中优于非视觉引导基线。
2025-03-14 cs.AI cs.CV cs.LG
Learning Aesthetic Layouts via Visual Guidance
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；ProjectHAT
我们探索视觉指导的计算方法，以帮助创造美观的艺术和平面设计。我们的工作补充并建立在以前的工作上，这些工作开发了人类如何看待图像的模型。我们的方法包括三个步骤。首先，我们收集了一个艺术杰作的数据集，并用最先进的视觉模型标记视觉注视。其次，我们用无监督学习对艺术杰作的视觉引导模板进行聚类。第三，我们开发了一个管道，使用生成对抗网络来学习视觉指导的原理，并可以产生美观的布局。我们表明，审美的视觉指导原则可以学习和集成到一个高维模型，可以查询的图形元素的功能。我们通过在各种图纸和平面设计上生成布局来评估我们的方法。此外，我们的模型在生成布局时考虑了图形元素的颜色和结构。因此，我们相信我们的工具，它可以在几秒钟内生成多种美学布局选项，可以帮助艺术家创建美丽的艺术和平面设计。
2021-07-13 cs.CV cs.GR cs.MM
FairGen: Controlling Sensitive Attributes for Fair Generations in Diffusion Models via Adaptive Latent Guidance
UIUC（伊利诺伊大学）；AWS AI Labs（亚马逊AI实验室）
针对文本到图像扩散模型的人口群体偏见问题，提出自适应潜变量引导机制FairGen，结合记忆模块实现公平生成，并构建HBE基准，实验证明其偏见缓解效果优于现有方法。
2025-10-22 cs.AI cs.CV cs.LG
Compensating Visual Insufficiency with Stratified Language Guidance for Long-Tail Class Incremental Learning
School of Electronic Engineering, Xidian University（西安电子科技大学电子工程学院）
本文提出分层语言指导方法，通过构建语义层次结构缓解长尾类增量学习中的样本稀缺和灾难性遗忘问题，实验表明方法在多个基准上取得最优性能。
2026-03-23 cs.AI cs.CV
GalaxyDiT: Efficient Video Generation with Guidance Alignment and Adaptive Proxy in Diffusion Transformers
Massachusetts Institute of Technology（麻省理工学院）；NVIDIA（英伟达）
GalaxyDiT通过引导对齐和自适应代理选择，提升视频生成效率，实现高达2.37倍的速度提升并保持高质量输出
2025-12-03 cs.AI cs.CV cs.LG
MUTATT: Visual-Textual Mutual Guidance for Referring Expression Comprehension
Tianjin University（天津大学）；University of South Carolina（南卡罗来纳大学）
指称表达理解（REC）的目的是通过自然语言中的指称表达定位给定图像中的文本相关区域。现有的方法集中在如何建立令人信服的视觉和语言表示独立，这可能会显着分离的视觉和语言信息。本文认为，在REC中，指称表达和目标区域之间存在语义相关性，视觉和语言之间存在主体、位置和关系的一致性，在此基础上，提出了一种新的视觉和语言之间的相互引导方法MutAtt，该方法平等地对待视觉和语言，从而产生紧凑的信息匹配。具体而言，MutAtt针对主体、位置和关系三个模块分别构建了两种基于注意力的相互引导策略。一种策略是生成视觉引导的语言嵌入，以匹配相关的视觉特征。另一种是生成语言引导的视觉特征，以匹配相关的语言嵌入。这种相互指导的策略可以有效地保证三个模块中视觉语言的一致性。在三个流行的REC数据集上的实验表明，该方法优于当前最先进的方法。
2020-03-20 cs.CV
Safety-Guided Flow (SGF): A Unified Framework for Negative Guidance in Safe Generation
Kookmin University（韩国庆南大学）；University of British Columbia（不列颠哥伦比亚大学）
本文提出一种统一的概率框架，通过最大均值差异（MMD）势函数将屏蔽扩散和安全去噪器纳入能量基负引导中，论证了负引导在关键时间窗口内必须强，以确保安全高质量生成。
2026-03-02 cs.AI cs.CV
Advanced Image Generation: Negative Prompt Optimization and Latent Classifier Guidance
该研究提出新系统，通过微调序列到序列语言模型集成负提示优化与潜在空间分类器引导，自动生成优化负提示，用混合分类器评估引导扩散步骤，减少伪影并提高语义保真度，提升Stable Diffusion图像生成质量。
2026-07-17 cs.CV cs.LG
Text-to-Image Generation via Implicit Visual Guidance and Hypernetwork
University of Chicago（芝加哥大学）；Adobe Research（奥多比研究院）；University of Surrey（萨里大学）
我们开发了一种方法，文本到图像的生成，包括额外的检索图像，隐含的视觉指导损失和生成目标的组合驱动。与大多数现有的文本到图像的生成方法，仅仅把文本作为输入，我们的方法动态饲料的跨模态搜索结果到一个统一的训练阶段，从而提高质量，可控性和多样性的生成结果。我们提出了一种新的超网络调制的视觉-文本编码方案来预测编码层的权重更新，使视觉信息（例如布局，内容）有效地转移到相应的潜在域。实验结果表明，我们的模型指导额外的检索视觉数据优于现有的基于GAN的模型。在COCO数据集上，与最先进的方法相比，我们用最多$3.5 \times$更少的生成器参数实现了$9.13$的更好的FID。
2022-08-17 cs.CV
Brain-Streams: fMRI-to-Image Reconstruction with Multi-modal Guidance
Yonsei University（延世大学）
Brain-Streams利用双流假说，从大脑不同区域提取文本和视觉引导，为潜在扩散模型提供多模态引导，实现fMRI到图像的准确重建。
2024-09-18 cs.CV
Accurate Word Representations with Universal Visual Guidance
Shanghai Jiao Tong University（上海交通大学）；National Institute of Information（国立信息研究所）
词汇表征是神经语言理解模型的一个基本组成部分。最近，预训练的语言模型（PrLM）提供了一种新的高性能的上下文化的单词表示方法，利用序列级的上下文建模。虽然PrLM一般给出更准确的语境化的词表示比非语境化的模型做，他们仍然受到一系列的文本上下文没有不同的提示，从多模态的词表示。因此，本文提出了一种视觉表示方法，显式地增强传统的词嵌入与多方面的意义，从视觉指导。详细地说，我们从多模态种子数据集构建了一个小规模的单词图像字典，其中每个单词对应于不同的相关图像。文本和成对的图像被并行编码，然后是一个注意层来整合多模态表示。我们表明，该方法大大提高了消歧的准确性。在12个自然语言理解和机器翻译任务上的实验进一步验证了该方法的有效性和泛化能力。
2020-12-30 cs.AI cs.CL cs.CV
SoftCFG: Uncertainty-guided Stable Guidance for Visual Autoregressive Model
Processing Speech and Images, ESAT KU Leuven（KU莱顿大学ESAT研究所）；HST Research Unit, Faculty of Medicine University of Oulu（奥卢大学医学学院HST研究单位）
针对自回归图像生成模型中无分类器引导存在的引导衰减和过度引导问题，提出无需训练、模型无关的不确定性引导推理方法SoftCFG及步骤归一化策略，显著提升图像质量，在ImageNet 256*256上取得自回归模型中最优FID。
2025-10-02 cs.CV
ViGG: Robust RGB-D Point Cloud Registration using Visual-Geometric Mutual Guidance
Beihang University（北航大学）；China Agricultural University（中国农业大学）
ViGG通过视觉-几何互指导策略提升RGB-D点云配准的鲁棒性，优于现有方法。
2025-11-28 cs.CV
DuetSVG: Unified Multimodal SVG Generation with Internal Visual Guidance
City University of Hong Kong（香港城市大学）；Adobe Research（Adobe研究院）
DuetSVG通过端到端生成图像和SVG标记，结合内部视觉引导提升SVG生成质量，实现视觉忠实与语义一致的统一多模态生成。
2025-12-11 cs.CV
Visual-CoG: Stage-Aware Reinforcement Learning with Chain of Guidance for Text-to-Image Generation
针对自回归文本到图像生成模型处理多属性和模糊提示的局限，提出包含语义推理、过程细化和结果评估三阶段的Visual-CoG范式，通过阶段感知奖励提供即时引导，在三个基准上取得显著提升并构建VisCog-Bench基准。
2025-08-26 cs.CV
Boost-and-Skip: A Simple Guidance-Free Diffusion for Minority Generation
提出无引导的Boost-and-Skip扩散方法，仅通过方差增强初始化和时间步跳跃两处微小改动，即可高效生成少数样本，性能媲美基于引导的最先进方法且计算成本显著降低。
2025-05-30 cs.AI cs.CV cs.LG
Guidance Matters: Rethinking the Evaluation Pitfall for Text-to-Image Generation
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Cogniser Information Technology（Cogniser信息科技）
本文重新审视文本到图像生成中的评估误区，提出引导感知评估框架，并设计超越扩散引导方法以提升人类偏好评分。
2026-02-26 cs.AI cs.CV
UltraDub: Towards Authentic Dubbing by Unifying Visually-Steered Flow Learning and Trajectory Guidance
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Hangzhou Dianzi University（杭州电子科技大学）；ByteDance（字节跳动）；University of Science and Technology of China（中国科学技术大学）
UltraDub提出统一视觉引导流学习与轨迹指导的配音框架，通过MDR模块和RTG机制提升唇形同步与语言准确性，在四个数据集上达到最先进性能。
2026-10-06 cs.AI cs.CV cs.MM
Negative Token Merging: Image-based Adversarial Feature Guidance
University of Washington（华盛顿大学）；Australian National University（澳大利亚国立大学）；Allen Institute for AI（艾伦人工智能研究所）
本文提出无需训练的 NegToMe，利用参考或同批图像特征在反向扩散中推离匹配视觉特征，从而增强生成多样性并降低版权内容相似度。
2024-12-05 cs.AI cs.CV cs.GR
EchoWorld: Learning Motion-Aware World Models for Echocardiography Probe Guidance
Tsinghua University（清华大学）；PLA General Hospital（中国人民解放军总医院）
针对超声心动图探头引导需掌握心脏解剖与探头-视觉复杂作用的挑战，提出EchoWorld运动感知世界建模框架，通过预训练预测掩蔽解剖区域和模拟探头视觉结果、微调引入运动感知注意力整合历史数据，提升引导精度并显著降低误差。
2025-04-17 cs.CV
BGM: Building a Dynamic Guidance Map without Visual Images for Trajectory Prediction
Huazhong University of Science and Technology（华中科技大学）
视觉图像通常包含环境的信息上下文，从而帮助预测代理的行为。然而，由于它们各自固定的语义，很难对Agent的实际行为施加动态的影响。针对这一问题，本文提出了一种确定性模型BGM来构造一个指导图来表示动态语义，避免了用视觉图像来反映不同时期Agent活动的差异。我们首先记录所有代理人的活动在场景中的一段时间内接近当前构建一个指导地图，然后将其馈送到一个上下文CNN，以获得他们的上下文特征。我们采用历史轨迹编码器提取轨迹特征，然后将其与上下文特征相结合，作为基于社会能量的轨迹解码器的输入，从而获得符合社会规则的预测。实验表明，BGM在两个广泛使用的ETH和UCY数据集上实现了最先进的预测精度，并处理更复杂的场景。
2020-10-08 cs.CV
Diffusion Model Based Visual Compensation Guidance and Visual Difference Analysis for No-Reference Image Quality Assessment
Xidian University（西安电子科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
本文首次将扩散模型引入无参考图像质量评估，提出扩散恢复网络提取高层视觉特征，并通过视觉补偿引导与视觉差异分析两个分支实现全面质量评估，在七个公开数据集上取得优于现有SOTA方法的性能。
2024-12-26 cs.CV cs.LG eess.IV
S$^2$-MLLM: Boosting Spatial Reasoning Capability of MLLMs for 3D Visual Grounding with Structural Guidance
Shanghai Jiao Tong University（上海交通大学）；Nanyang Technological University（南洋理工大学）
S$^2$-MLLM通过隐式空间推理提升多模态大语言模型在3D视觉定位中的空间推理能力，实现高效且准确的3D场景理解。
2025-12-01 cs.AI cs.CV
NeuralDiffuser: Neuroscience-inspired Diffusion Guidance for fMRI Visual Reconstruction
Institute of Artificial Intelligence and Robotics（人工智能与机器人研究所）；Xi’an Jiaotong University（西安交通大学）；School of Electrical Engineering（电气工程学院）；Xi’an University of Technology（西安理工大学）
本文提出NeuralDiffuser，通过初级视觉特征的梯度引导弥补稳定扩散自下而上细节感知的不足，并设计一致性引导策略，在NSD上显著提升fMRI视觉重建的细节保真度与可重复性。
2025-01-08 cs.AI cs.CV cs.NE
Factored Classifier-Free Guidance
Department of Computing, Imperial College London, UK（伦敦帝国理工学院计算系）
本文提出因子分类器无关引导方法，通过因果图实现属性级控制，提升反事实推理的严谨性和可逆性。
2026-05-07 cs.AI cs.CV
StyleKeeper: Prevent Content Leakage using Negative Visual Query Guidance
Yonsei University（延世大学）；NAVER AI Lab（NAVER AI实验室）
本文提出StyleKeeper，通过扩展无分类器引导并引入负视觉查询引导（NVQG），在文本到图像生成中有效减少视觉提示的内容泄漏，确保风格迁移同时保持文本一致性。
2025-10-08 cs.CV
PartiCam: Camera Controlled Video Generation with Reward Guidance
INRIA, Univ. Rennes, CNRS, IRISA（法国国家信息与自动化研究所，雷恩大学，法国国家科学研究中心，IRISA）；University of Oxford（牛津大学）；Meta
PartiCam提出一种基于粒子滤波的无训练方法，通过全局-局部细化框架改进相机控制视频生成，无需重新训练模型，显著提升轨迹遵循性和视觉质量。
2026-10-01 cs.AI cs.CV
Exploring Compositional Visual Generation with Latent Classifier Guidance
University of California, San Diego（加州大学圣地亚哥分校）；The Pennsylvania State University（宾夕法尼亚州立大学）；NEC Laboratories America（NEC美国实验室）；Northwestern University（西北大学）
本文提出在潜在语义空间中使用扩散模型和潜在分类器引导进行组合视觉生成，通过训练辅助分类器实现非线性导航并最大化条件对数概率下界，同时引入新引导项保持语义，在图像生成和操纵任务中取得有竞争力的结果。
2023-05-24 cs.CV
When Vision Becomes Text: Visual Token Pruning via Cross-Modal Residual Guidance in VLMs
该研究针对视觉语言模型（VLM）海量视觉令牌导致推理成本高的问题，提出基于跨模态残差（CMR）的无训练压缩方法SIEVE，在LLaVA-NeXT-7B上仅保留11.1%视觉令牌，实现显著加速与缓存缩减且性能损失极小。
2026-08-12 cs.CV
Context-Aware Multi-Turn Visual-Textual Reasoning in LVLMs via Dynamic Memory and Adaptive Visual Guidance
Beihua University（白华大学）；Kasem Bundit University（Kasem Bundit大学）
针对LVLM多轮交互中推理碎片化与上下文丢失问题，提出CAMVR框架，通过动态记忆单元和自适应视觉引导机制，实现连贯多轮视觉-文本推理，在多个数据集上达到最先进性能。
2025-09-06 cs.CV
FoMoVLA: Bridging Visual Foresight and Motion Guidance for Vision-Language-Action Models
研究针对视觉-语言-动作模型缺乏对世界动态向前预测及运动引导不足问题，提出FoMoVLA框架，联合学习未来特征预见与稀疏点跟踪增强VLA表示，经实验验证其性能先进且泛化能力强。
2026-07-17 cs.AI cs.CV
ConVQG: Contrastive Visual Question Generation with Multimodal Guidance
EPFL（洛桑联邦理工学院）
针对视觉问题生成中图像与文本约束难以同时有效利用的问题，本文提出ConVQG方法，通过双重对比目标生成图像扎根、文本引导且知识丰富的问题，并在多个基准上取得领先效果。
2024-02-20 cs.AI cs.CV
Training-free Uncertainty Guidance for Complex Visual Tasks with MLLMs
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Helmholtz Munich（海德堡-慕尼黑亥姆霍兹研究中心）；Google（谷歌）；LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工大学 LTCI 实验室）
提出无需训练的框架，利用MLLM内在不确定性主动引导，通过响应不确定性评分候选视觉输入，使模型自主聚焦关键信息，在视觉搜索、长视频理解等任务中达到与微调系统相当的性能。
2026-06-29 cs.CV
VPG: Visual Prefix Guidance for Autoregressive Image and Video Generation
National University of Singapore（新加坡国立大学）；Huazhong University of Science & Technology（华中科技大学）
提出VPG，一种无需训练、推理时引导的方法，通过对比生成前缀与损坏前缀下的模型输出来改进自回归图像和视频生成的下一步预测，提升生成质量。
2026-05-28 cs.CV
VIDES: Virtual Interior Design via Natural Language and Visual Guidance
University of Science VNU-HCM（越南国家大学胡志明市分校科学大学）；University of Dayton（代顿大学）
本研究提出VIDES虚拟室内设计系统，以文本和视觉引导为条件输入，结合生成式AI快速生成编辑室内场景，降低设计门槛，提升设计效率与表达效果。
2023-08-26 cs.CV
Learn-Explain-Reinforce: Counterfactual Reasoning and Its Guidance to Reinforce an Alzheimer's Disease Diagnosis Model
Korea University（高丽大学）
现有的疾病诊断模型的研究集中在诊断模型学习的性能改善或训练的诊断模型的视觉解释。我们提出了一种新的学习-解释-强化（LEAR）框架，该框架将诊断模型学习、视觉解释生成（解释单元）和由视觉解释指导的训练诊断模型强化（强化单元）统一起来。对于视觉解释，我们生成一个反事实映射，将输入样本转换为预期的目标标签。例如，反事实映射可以定位正常大脑图像中的假设异常，这可能导致其被诊断患有阿尔茨海默病（AD）。我们认为，生成的反事实地图代表了关于目标任务的数据驱动和模型诱导的知识，即，使用结构MRI进行AD诊断，这可以是加强训练诊断模型泛化的重要信息来源。为此，我们设计了一个基于注意力的功能细化模块的指导下的反事实地图。解释和强化单元是相互的，并且可以迭代地操作。通过对ADNI数据集的定性和定量分析，我们所提出的方法得到了验证。通过消融研究和与现有方法的比较，证明了其可理解性和保真度。
2021-08-21 cs.AI cs.CV
Training-Free Representation Guidance for Diffusion Models with a Representation Alignment Projector
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Peking University（北京大学）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文提出无需训练的表示引导方法，通过引入表示对齐投影器提升扩散模型的语义对齐与图像一致性。
2026-01-30 cs.AI cs.CV
TagFog: Textual Anchor Guidance and Fake Outlier Generation for Visual Out-of-Distribution Detection
Sun Yat-sen University（中山大学）；Peng Cheng Laboratory（鹏城实验室）
针对视觉模型仅用分布内数据训练易对分布外样本过度自信的问题，提出TagFog框架，结合拼图伪造OOD样本与ChatGPT生成的ID知识文本锚点引导图像编码器训练，可适配现有后处理方法，在多个基准上取得SOTA性能。
2024-11-22 cs.CV cs.LG
Understanding Pure CLIP Guidance for Voxel Grid NeRF Models
Simon Fraser University（西蒙弗雷泽大学）；Amii（阿尔伯塔机器智能研究所）
我们探讨的任务，文本到3D对象生成使用CLIP。具体来说，我们使用CLIP进行指导，而不访问任何数据集，我们称之为纯CLIP指导。虽然先前的工作已经采用了这种设置，但没有系统的研究CLIP中防止对抗性世代的机制。我们说明了不同的基于图像的增强如何防止对抗性生成问题，以及生成的结果如何受到影响。我们测试了不同的CLIP模型架构，并表明将不同的模型组合起来进行指导可以防止更大模型中的对抗性生成，并生成更清晰的结果。此外，我们实现了一个隐式体素网格模型，以显示神经网络如何提供额外的正则化层，从而产生更好的几何结构和生成的对象的一致性。与以前的工作相比，我们实现了更连贯的结果，具有更高的内存效率和更快的训练速度。
2022-09-30 cs.CV cs.GR cs.LG
VAGS: Velocity Adaptive Guidance Scale for Image Editing and Generation
Harvard AI and Robotics Lab（哈佛人工智能与机器人实验室）；Harvard University（哈佛大学）；School of Computing and Data Science（计算与数据科学学院）；The University of Hong Kong（香港大学）；Kempner Institute for the Study of Natural and Artificial Intelligence（自然与人工智能研究学院）
VAGS通过自适应引导尺度提升图像编辑和生成的结构保真度和生成质量，无需微调或额外计算。
2026-05-15 cs.AI cs.CV
Unlocking Textual and Visual Wisdom: Open-Vocabulary 3D Object Detection Enhanced by Comprehensive Guidance from Text and Image
Fudan University（复旦大学）；Singapore University of Technology and Design（新加坡科技设计大学）
本文利用语言和视觉基础模型，通过图像级零样本发现和层次化特征对齐，提升开放词汇3D目标检测的准确性与泛化能力。
2024-07-17 cs.AI cs.CV
Image is All You Need to Empower Large-scale Diffusion Models for In-Domain Generation
Beijing University of Posts and Telecommunications（北京邮电大学）
针对域内生成微调扩散模型易破坏原有生成能力的问题，提出引导解耦先验保持机制与无文本UNet领域知识学习技术，仅用图像数据即可实现高质量可控域内生成，兼容多种扩散控制方法。
2025-03-20 cs.AI cs.CV cs.MM
A probabilistic tour of visual attention and gaze shift computational models
University of Milan（米兰大学）
在本文中，一些问题被认为是与建模的眼睛指导下的视觉注意在自然环境中。从一个粗略的讨论各种可用的模型拼写在概率方面，它似乎是目前的方法在计算视觉是迄今为止远远没有实现的目标，一个积极的观察者依赖于眼睛的指导，以完成现实世界的任务。我们认为，这个具有挑战性的目标不仅需要体现，在一个原则性的方式，在行动/感知回路的眼睛指导的问题，但要面对不可分割的联系捆绑视觉注意，情绪和执行控制，在最近的神经生物学研究结果权衡了。
2016-07-05 cs.CV
ReaDiT Guidance: Control for Image and Video Generation using Diffusion Transformer Features
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究提出ReaDiT Guidance轻量框架，利用DiT块特征控制图像/视频生成，可实现空间目标及相机运动控制，参数更少且效果优于同类方法。
2026-09-15 cs.CV
LayoutLLM-T2I: Eliciting Layout Guidance from LLM for Text-to-Image Generation
National University of Singapore（新加坡国立大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
针对文本到图像生成中的空间与数量错位问题，本文提出 LayoutLLM-T2I，利用 LLM 上下文学习自动规划布局，并通过细粒度对象交互扩散生成高保真对齐图像。
2023-08-12 cs.AI cs.CV
VALLR-Pin: Uncertainty-Factorized Visual Speech Recognition for Mandarin with Pinyin Guidance
State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications（网络与交换技术国家重点实验室，北京邮电大学）；First Research Institute of the Ministry of Public Security of the People’s Republic of China（中华人民共和国公安部第一研究所）
VALLR-Pin通过引入拼音作为中间表示，结合轻量LLM细化模块，提升了中文视觉语音识别的转录准确性，尤其在多说话人条件下表现优异。
2025-12-29 cs.CV
Focal Guidance: Unlocking Controllability from Semantic-Weak Layers in Video Diffusion Models
MoE Key Lab of BIPC, USTC（BIPC联合实验室，中国科学技术大学）；Shanghai Innovation Institute（上海创新研究院）；ByteDance China（字节跳动中国）
本文提出Focal Guidance方法，通过细粒度语义引导和注意力缓存增强视频扩散模型中语义弱层的可控性，提升对文本提示的遵循能力。
2026-01-12 cs.CV
ASGDiffusion: Parallel High-Resolution Generation with Asynchronous Structure Guidance
Peking University（北京大学）；ByteDance Inc.（字节跳动公司）；Tencent Robotics X（腾讯Robotics X实验室）；Intel Labs China（英特尔中国实验室）
针对扩散模型高分辨率图像生成存在的图案重复、计算成本高的问题，提出带异步结构引导的ASGDiffusion方法，结合注意力掩码加权的低分辨率噪声引导与异步并行策略，在多GPU加速下缓解重复问题并提升生成效率，达到SOTA效果。
2024-12-09 cs.CV
CACE-Net: Co-guidance Attention and Contrastive Enhancement for Effective Audio-Visual Event Localization
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Center for Long-term Artificial Intelligence（长期人工智能中心）
针对视听事件定位中的跨模态融合与细粒度判别难题，本文提出 CACE-Net，通过双向协同引导注意力、背景-事件对比增强及预训练模型微调，在 AVE 数据集上取得新基准。
2024-08-04 cs.CV
StructInbet: Integrating Explicit Structural Guidance into Inbetween Frame Generation
Japan Advanced Institute of Science and Technology（日本科学技术先进研究院）
StructInbet 通过引入显式结构引导和时间注意力机制，在中间帧生成中实现可控过渡并保持角色外观一致性。
2025-07-15 cs.CV cs.GR
SSG: Scaled Spatial Guidance for Multi-Scale Visual Autoregressive Generation
Korea Advanced Institute of Science and Technology（韩国科学技术院）
SSG通过缩放空间引导方法，在无需训练的情况下提升多尺度视觉自回归生成的保真度和多样性，同时保持低延迟。
2026-02-05 cs.CV
How Much To Guide: Revisiting Adaptive Guidance in Classifier-Free Guidance Text-to-Vision Diffusion Models
Wangxuan Institute of Computer Technology, Peking University（北京大学王玄计算技术研究所）
针对无分类器引导推理成本高的问题，本文提出通用自适应策略 Step AG，仅在前若干去噪步执行引导，即可保持图像质量与图文对齐并平均加速20%至30%。
2025-06-10 cs.AI cs.CL cs.CV
Enhancing Speech-Driven 3D Facial Animation with Audio-Visual Guidance from Lip Reading Expert
Grad. School of Artificial Intelligence（人工智能研究生院）；POSTECH（浦项科技大学）；ENSC, Bordeaux INP, France（法国波尔多国立高等工程学院）；KRAFTON, Korea（韩国KRAFTON公司）；Inst. for Convergence Research and Education in Advanced Technology, Yonsei University, Korea（延世大学先进技术融合研究与教育学院）
本文提出利用音视频唇读专家的先验知识构建多模态感知损失，引导语音驱动3D面部动画生成与文本对齐的准确唇部运动，显著提升唇音同步与唇读可懂度。
2024-07-01 cs.CV cs.GR
