No Caption, No Problem: Caption-Free Membership Inference via Model-Fitted Embeddings
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
本文提出MoFit框架,通过模型拟合嵌入实现无标题成员推断,克服了传统方法对真实标题的依赖,提升了在无标注场景下的成员推断性能。
2026-02-26 cs.CR cs.CV
UniBrain: Unify Image Reconstruction and Captioning All in One Diffusion Model from Human Brain Activity
South China University of Technology(华南理工大学)
本文提出 UniBrain,利用 Versatile Diffusion 将 fMRI 体素映射为文本与图像潜变量并结合 CLIP 条件引导扩散,首次统一实现脑活动图像重建与描述,且在 NSD 上取得最优表现。
2023-08-14 cs.AI cs.CV
M3: High-fidelity Text-to-Image Generation via Multi-Modal, Multi-Agent and Multi-Round Visual Reasoning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
M3通过多智能体和多轮视觉推理提升开源模型的文本到图像生成能力,超越商业系统并实现最先进的性能。
2026-02-05 cs.CV
Dense-Face: Personalized Face Generation Model via Dense Annotation Prediction
Michigan State University(密歇根州立大学);University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
本文提出Dense-Face模型,通过引入姿势可控适配器并利用SD UNet内部特征预测密集人脸标注,在保持文本编辑能力的同时实现高保真且身份一致的人脸生成。
2024-12-24 cs.CV
Entity-Faithful Repair of Synthetic Supervision for Zero-Shot Image Captioning
Guangxi University(广西大学);School of Computer, Electronics and Information(计算机与电子信息学院)
针对零样本图像描述中合成监督的实体级错位问题,提出即插即用框架ReCap,通过实体级重对齐与自适应加权策略优化合成数据,在两类基准上实现最优性能。
2026-08-04 cs.CL cs.CV
VAR-CLIP: Text-to-Image Generator with Visual Auto-Regressive Modeling
Institute of Applied Physics and Computational Mathematics(应用物理与计算数学研究所);DeepGlint(深格灵科技);Shanghai Jiao Tong University(上海交通大学)
本文提出VAR-CLIP,将视觉自回归建模与CLIP文本嵌入相结合,实现高质量文本到图像生成,并通过BLIP2构建大规模图文数据集进行训练验证。
2024-08-02 cs.CV
Towards Faithful Sentimental Image Captioning via Evidence-Aware Multi-Agent Reasoning
研究情感图像字幕生成中平衡情感表达与视觉保真度的问题,提出SEA-Cap系统,通过情感证据挖掘器提取线索,利用多智能体协作工作流程,依视觉证据审核完善字幕,有效减轻幻觉并达最优性能。
2026-07-29 cs.CV
Egoshots, an ego-vision life-logging dataset and semantic fidelity metric to evaluate diversity in image captioning models
INRIA RITS(法国国家信息与自动化研究所RITS);LANDING AI(澜舟科技);Signal Ocean(信号海洋);Philips Research(飞利浦研究院);Eindhoven University of Technology(埃因霍温理工大学);U2IS ENSTA Institut Polytechnique Paris(巴黎综合理工学院ENSTA U2IS实验室);INRIA Flowers(法国国家信息与自动化研究所Flowers实验室)
图像描述模型已经能够生成语法正确且人类可理解的句子。然而,大多数标题传达的信息有限,因为所使用的模型是在数据集上训练的,这些数据集并没有对日常生活中存在的所有可能的对象进行说明。由于缺乏先验信息,大多数字幕都偏向于场景中存在的少数对象,因此限制了它们在日常生活中的使用。在本文中,我们试图显示当前现有的图像描述模型的偏见的性质,并提出了一个新的图像描述数据集,Egoshots,由978个现实生活中的图像没有字幕。我们进一步利用最先进的预先训练的图像描述和对象识别网络来注释我们的图像,并显示现有作品的局限性。此外,为了评估生成的字幕的质量,我们提出了一个新的图像描述度量,基于对象的语义保真度(SF)。现有的图像描述度量可以仅在存在其对应注释的情况下评估字幕;然而,SF允许评估针对没有注释的图像生成的字幕,使得其对于现实生活中生成的字幕非常有用。
2020-03-27 cs.CV cs.LG
Geodiffussr: Generative Terrain Texturing with Elevation Fidelity
Waseda University(早稻田大学);Rikka Inc.(瑞卡公司)
Geodiffussr通过多尺度内容聚合提升地形纹理生成的高程保真度,实现可控的2.5D景观生成。
2025-11-28 cs.CV cs.GR
BBQ-to-Image: Numeric Bounding Box and Qolor Control in Large-Scale Text-to-Image Models
BRIA AI(BRIA人工智能)
BBQ-to-Image通过引入数字边界框和RGB三元组的直接条件生成,实现了对文本到图像模型中物体位置、大小和颜色的精确控制,提升了生成图像的准确性和可控性。
2026-02-24 cs.CV
VectorFusion: Text-to-SVG by Abstracting Pixel-Based Diffusion Models
UC Berkeley(加州大学伯克利分校)
扩散模型在文本到图像的合成中已经显示出令人印象深刻的结果。使用大量的字幕图像数据集,扩散模型学习生成高度多样化的对象和场景的光栅图像。然而,设计师经常使用矢量表示的图像,如可缩放矢量图形(SVG)的数字图标或艺术。矢量图形可以缩放到任何大小,是紧凑的。我们表明,一个文本条件下的扩散模型训练图像的像素表示,可以用来生成SVG可导出的矢量图形。我们这样做没有访问标题SVG的大型数据集。通过优化可微分矢量图形光栅化器,我们的方法,VectorFusion,提取抽象的语义知识的预训练的扩散模型。受最近文本到3D工作的启发,我们使用Score Distillation Sampling学习与标题一致的SVG。为了加快生成速度并提高保真度,VectorFusion还从图像样本中进行了重新排序。实验表明比以前的工作更高的质量,并展示了一系列的风格,包括像素艺术和草图。请参阅我们的项目网页https://ajayj.com/vectorfusion。
2022-11-21 cs.AI cs.CV cs.GR
UIP2P: Unsupervised Instruction-based Image Editing via Edit Reversibility Constraint
ETH Zürich - DALAB(苏黎世联邦理工学院- DALAB);Technical University of Munich(慕尼黑技术大学);Google Switzerland(瑞士谷歌)
本文提出UIP2P,一种无需真实编辑图像的无监督指令图像编辑方法,通过编辑可逆性约束(ERC)实现前向与反向编辑对齐,在真实数据上训练,提升编辑保真度与泛化能力。
2025-09-26 cs.CV
ConsistDreamer: 3D-Consistent 2D Diffusion for High-Fidelity Scene Editing
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Meta
本文提出 ConsistDreamer 框架,通过环绕视角输入、3D一致结构化噪声与自监督一致性训练,使2D扩散模型实现高保真3D一致的指令引导场景编辑。
2024-06-13 cs.AI cs.CV cs.LG
A Benchmarking Methodology to Assess Open-Source Video Large Language Models in Automatic Captioning of News Videos
Universidad de los Andes, Chile(智利洛斯安第斯大学)
本文提出评估开源视频大语言模型在自动新闻视频字幕生成中的方法,使用两个基准数据集评估八种最新模型,发现传统指标在新闻视频字幕生成中表现有限,提出新的主题和实体忠实度指标,结果显示Gemma~3在两个数据集和多数评估维度上表现最佳。
2026-03-29 cs.CV
Decoupled Self-Forcing Distillation for Streaming Talking Head Generation
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
提出解耦自强制蒸馏,在身份解耦运动空间融合条件,用小型因果自回归变换器生成运动并由扩散渲染器转视频,实现流式说话头生成,达15.4 FPS、1.3秒延迟且保真度不降。
2026-09-10 cs.CV
TypeScore: A Text Fidelity Metric for Text-to-Image Generative Models
提出TypeScore,一种基于文本渲染保真度的新度量,用于灵敏评估文本到图像生成模型的指令遵循能力,并通过集成不相似度度量实现比CLIPScore更高的区分度。
2024-11-02 cs.AI cs.CV
OpenSubject: Leveraging Video-Derived Identity and Diversity Priors for Subject-driven Image Generation and Manipulation
HKUST(香港科技大学);Meituan(美团);HKUST(GZ)(香港科技大学(广州))
OpenSubject通过视频衍生的大规模数据集提升主体驱动图像生成与操纵的性能,尤其在复杂场景中表现更优。
2025-12-10 cs.CV
Safe Image Generation via Reinforcement Learning
Yonsei University(延世大学)
针对文本到图像模型生成NSFW内容的问题,提出一种生成过程中检测NSFW信号并结合强化学习引导的安全生成框架,在标准和对抗性评估中优于现有方法。
2026-10-06 cs.CV
RoMo: A Large-Scale, Richly Organized Dataset and Semantic Taxonomy for Human Motion Generation
Australian National University(澳大利亚国立大学);Roblox;Stanford University(斯坦福大学);Rutgers University(罗格斯大学)
提出RoMo数据集,通过分类感知过滤流水线确保质量,并采用三级语义分类体系组织数据,使训练模型在保真度和多样性上达到最优,同时提升对复杂文本提示的理解。
2026-05-25 cs.CV
PoseAdapter: Dual-Stream 2.5D Controllable Image Generation for Complex Multi-Object Scenes
Tsinghua University(清华大学);National University of Defense Technology(国防科技大学)
PoseAdapter是一种轻量2.5D可控图像生成框架,通过双流表示解决多目标场景属性泄漏问题,构建OrientLayout数据集,在空间精度等指标上优于现有最优方法。
2026-08-18 cs.CV
CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer
Tsinghua University(清华大学);Zhipu AI(智谱AI)
CogVideoX是基于扩散Transformer的大规模文本到视频生成模型,通过3D VAE、专家Transformer和渐进式训练等技术,生成10秒连贯视频,性能领先。
2025-03-26 cs.CV
Putting Captions to the Test: Evaluating Video Caption Quality through Multiple-Choice Question Answering
Apple(苹果公司)
针对现有视频字幕评估指标的局限,提出无参考基准CapQuiz,通过人工验证的多项选择问答衡量信息保真度,实验证明其与人类判断相关性更高。
2026-09-10 cs.CV
iEdit: Localised Text-guided Image Editing with Weak Supervision
Imperial College London(帝国理工学院);Amazon(亚马逊);University of Aberdeen(阿伯丁大学);KAIST(韩国科学技术院)
提出iEdit,一种基于弱监督的局部文本引导图像编辑方法,利用自动构建的LAION-5B数据集和分割掩码损失,在保持源图像保真度的同时实现高质量编辑。
2023-05-10 cs.CV
xGen-VideoSyn-1: High-fidelity Text-to-Video Synthesis with Compressed Representations
Salesforce AI Research(Salesforce AI研究院)
本文提出xGen-VideoSyn-1文本到视频生成模型,通过VidVAE时空压缩、分治合并策略和扩散Transformer,结合超1300万高质量视频-文本对训练,实现端到端生成超过14秒720p视频。
2024-08-31 cs.AI cs.CV
UltraHR-100K: Enhancing UHR Image Synthesis with A Large-Scale High-Quality Dataset
State Key Laboratory of Novel Software Technology, Nanjing University, China(南京大学新型软件技术国家重点实验室);vivo Mobile Communication Co., Ltd., China(vivo移动通信有限公司)
针对超高分辨率文本到图像生成中数据集缺失和细节训练不足的问题,提出UltraHR-100K数据集和频率感知后训练方法,显著提升细节质量。
2025-10-23 cs.CV
Apollo: Unified Multi-Task Audio-Video Joint Generation
Kuaishou Technology(快手科技)
Apollo通过统一多任务架构、渐进训练策略和大规模数据集,实现音频视频联合生成的高保真度与强泛化能力。
2026-01-13 cs.AI cs.CV cs.MM
VideoAuteur: Towards Long Narrative Video Generation
Johns Hopkins University(约翰霍普金斯大学);ByteDance Project(字节跳动项目)
针对长视频叙事连贯性不足的问题,本文构建大规模烹饪视频数据集,并提出长篇叙事视频导演与视觉嵌入对齐方法,显著提升关键帧的视觉细节与语义一致性。
2025-06-07 cs.CV
Video Diffusion Transformers are In-Context Learners
Kunlun Inc.(昆仑公司)
本研究提出仅需少量微调的简单流程,通过视频拼接、联合配字幕、小数据集任务微调,让现有视频扩散Transformer无需修改原模型即可实现上下文生成,产出超30秒高保真连贯多场景视频,为可控视频生成提供工具与洞见。
2025-03-22 cs.CV
ID-Animator: Zero-Shot Identity-Preserving Human Video Generation
University of Science and Technology of China(中国科学技术大学);Hefei Institute of Physical Science, Chinese Academy of Sciences(中国科学院合肥物质科学研究院);LightSpeed Studios, Tencent(腾讯天美工作室)
提出零样本方法ID-Animator,通过面部适配器与面向身份的数据集构建流水线及随机参考训练策略,仅需单张参考图像即可生成高保真且保持身份的个性化人体视频,并具备高度兼容性与可扩展性。
2024-06-25 cs.CV
RubiCap: Rubric-Guided Reinforcement Learning for Dense Image Captioning
Apple(苹果公司);University of Wisconsin—Madison(威斯康星大学麦迪逊分校)
RubiCap通过基于评分标准的强化学习方法,在密集图像描述任务中实现了更高的胜率和词效,优于监督蒸馏和传统RL方法。
2026-09-29 cs.AI cs.CV cs.LG
Disciplined Diffusion: Text-to-Image Diffusion Model against NSFW Generation
Bellini College of Artificial Intelligence, Cybersecurity(人工智能与网络安全学院);Department of Electrical and Computer Engineering, College of Engineering(电气与计算机工程系);University of South Florida(佛罗里达州立大学)
本文提出Disciplined Diffusion,通过语义检索和局部编辑技术,有效识别并抑制生成图像中的恶意内容,提升文本到图像扩散模型的安全性与生成质量。
2026-05-01 cs.CV
IF-VidCap: Can Video Caption Models Follow Instructions?
Nanjing University(南京大学);Kuaishou Technology(快手科技);Shanghai University(上海大学);CASIA(中国科学院自动化研究所);M-A-P
针对现有视频字幕基准忽略指令遵循能力的问题,提出含1400个样本的IF-VidCap基准,从格式与内容两维度评估,发现专有模型仍领先但开源模型逼近,密集字幕专用模型复杂指令表现弱于通用MLLMs。
2025-10-21 cs.CV
AnyCap Project: A Unified Framework, Dataset, and Benchmark for Controllable Omni-modal Captioning
Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室);Fudan University(复旦大学);The Chinese University of Hong Kong(香港中文大学)
针对可控字幕生成模型缺细粒度控制、缺可靠评估与数据的问题,提出AnyCap Project,含即插即用可控框架ACM、30万条多模态数据集ACD及解耦评估的AnyCapEval基准,显著提升多基准上的字幕质量。
2025-10-28 cs.CV
Advancing Video-Text Pretraining with Multi-View Captions
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);University of Liège(列日大学)
本文提出一种基于多模态大语言模型的多视角字幕生成框架,通过互补摘要与详细字幕、推理细化及语义正样本生成,提升视频-文本预训练中语言监督的质量,并在多个检索基准上以更小语料实现更优性能。
2026-09-29 cs.CV
DiMo: Discrete Diffusion Modeling for Motion Generation and Understanding
Huawei Central Media Technology Institute(华为中央媒体技术研究所);Huawei Technologies Co., Ltd.(华为技术有限公司)
DiMo提出了一种离散扩散式框架,实现双向文本-运动理解和生成,通过迭代掩码标记细化提升运动质量和可控性。
2026-02-06 cs.CV
Future Optical Flow Prediction Improves Robot Control & Video Generation
Salesforce AI Research(Salesforce AI研究院);Stony Brook University(石溪大学)
FOFPred通过统一的视觉-语言模型和扩散架构,实现高效的未来光流预测,提升机器人控制与视频生成的性能。
2026-01-15 cs.CV
CapHDR2IR: Caption-Driven Transfer from Visible Light to Infrared Domain
WMG, University of Warwick(华威大学制造工程学院);School of Information Science and Technology, East China University of Science and Technology(华东理工大学信息科学与工程学院);School of Engineering, Newcastle University(纽卡斯尔大学工程学院)
本文提出CapHDR2IR框架,利用HDR图像和视觉-语言模型中的密集标题分支增强语义理解,以解决可见光到红外图像转换中的保真度损失和伪热交叉伪影问题,并在HDRT数据集上取得最优性能。
2024-11-25 cs.CV
Identity as Presence: Towards Appearance and Voice Personalized Joint Audio-Video Generation
Tencent Inc.(腾讯公司);Peking University(北京大学)
本文提出一个统一的框架,实现身份感知的音频视频生成,通过数据整理管道和灵活的身份注入机制,提升生成内容的高保真度和一致性。
2026-08-10 cs.CV
InterPose: Learning to Generate Human-Object Interactions from Large-Scale Web Videos
Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学)
InterPose通过大规模网络视频自动提取人-物体交互动作数据,提升人类动作生成的精度和多样性,同时开发LLM代理实现零样本动画生成。
2025-12-22 cs.CV
Clinically Structured Surrogate Rewards for Post-SFT Medical Image Captioning
该研究针对SFT后医学图像字幕生成,提出临床结构化替代奖励框架,结合生物医学语义等,在ImageCLEFmedical Caption测试集及三个主干上,提升了整体、相关性与事实性指标。
2026-08-20 cs.CV
VCapsBench: A Large-scale Fine-grained Benchmark for Video Caption Quality Evaluation
University of Science and Technology Beijing(北京科技大学);Tencent(腾讯);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
针对现有视频字幕基准在细粒度评估上的不足,本文提出首个大规模细粒度基准VCapsBench,包含5K+视频和100K+问答对,覆盖21个关键维度,并引入三个指标及LLM自动化评估流程,为字幕优化提供指导。
2025-05-29 cs.CV
MATRIX: Mask Track Alignment for Interaction-aware Video Generation
KAIST AI(韩国科学技术院人工智能系)
MATRIX通过引入遮罩跟踪对齐方法,提升视频生成中交互感知能力,增强语义对齐与传播,减少漂移和幻觉。
2026-04-07 cs.CV
GarmentAligner: Text-to-Garment Generation via Retrieval-augmented Multi-level Corrections
Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);Peng Cheng Laboratory(鹏城实验室);Lenovo Research(联想研究院)
提出 GarmentAligner,通过自动组件提取、基于检索增强的对比学习和多级校正损失,解决文本到服装生成中的细粒度语义不对齐问题,实现更高保真度和组件级语义对齐。
2024-08-23 cs.CV
RAVEL: Rare Concept Generation and Editing via Graph-driven Relational Guidance
Virginia Tech(弗吉尼亚理工大学);UIUC(伊利诺伊大学香槟分校)
RAVEL通过图驱动的关系引导方法,提升罕见概念生成与编辑的可控性和可解释性,适用于长尾领域。
2025-12-26 cs.CL cs.CV
UPainting: Unified Text-to-Image Diffusion Generation with Cross-modal Guidance
Baidu Inc.(百度公司)
扩散生成模型最近大大提高了文本条件图像生成的能力。现有的图像生成模型主要包括文本条件扩散模型和跨模态引导扩散模型,分别适用于小场景图像生成和复杂场景图像生成。在这项工作中,我们提出了一种简单而有效的方法,即UPainting,以统一简单和复杂的场景图像生成,如图1所示。基于架构改进和多样化的指导计划,UPainting有效地将跨模态指导从预训练的图像-文本匹配模型集成到文本条件扩散模型中,该模型利用预训练的Transformer语言模型作为文本编码器。我们的主要发现是,结合大规模Transformer语言模型在理解语言和图像-文本匹配模型在捕获跨模态语义和风格的能力,是有效的,以提高样本保真度和图像生成的图文对齐。这样,UPainting就具备了更通用的图像生成能力,可以更有效地生成简单和复杂场景的图像。为了全面比较文本到图像模型,我们进一步创建了一个更通用的基准测试,UniBench,在简单和复杂的场景中都有良好的中英文提示。我们将UPainting与最近的模型进行比较,发现UPainting在简单和复杂场景中的标题相似性和图像保真度方面大大优于其他模型。UPainting项目页\url{https://upainting.github.io/}。
2022-11-03 cs.CL cs.CV
Reconstruction Alignment Improves Unified Multimodal Models
UC Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学);Duke University(杜克大学)
提出重建对齐(RECA),一种资源高效的后训练方法,利用视觉理解编码器嵌入作为密集文本提示,通过自监督重建损失对齐理解与生成,显著提升多种统一多模态模型的生成和编辑性能。
2026-06-26 cs.AI cs.CV cs.LG
ProductConsistency: Improving Product Identity Preservation in Instruction-Based Image Editing via SFT and RL
Fractal Analytics
针对基于指令的图像编辑中产品特征保持不足的问题,提出ProductConsistency数据集和循环一致性奖励,结合监督微调与强化学习,显著提升产品一致性、文本渲染和视觉质量。
2026-06-18 cs.AI cs.CV
T2VTextBench: A Human Evaluation Benchmark for Textual Control in Video Generation Models
Guilin University of Electronic Technology(桂林电子科技大学);University of Arizona(亚利桑那大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, Berkeley(加州大学伯克利分校);Arizona State University(亚利桑那州立大学)
本文提出首个面向文本到视频模型的屏幕文本保真度与时间一致性人类评估基准T2VTextBench,评估十个主流系统后发现大多数难以生成清晰一致的屏幕文本,揭示了当前视频生成中的关键不足。
2025-05-08 cs.AI cs.CL cs.CV
CapRL++: Unified Reinforcement Learning with Verifiable Rewards for Dense Image and Video Captioning
Tsinghua University(清华大学);University of Science and Technology of China(中国科学技术大学);Microsoft(微软);Shanghai AI Laboratory(上海人工智能实验室);Shanghai Innovation Institute(上海创新研究院);Alibaba Cloud(阿里云);The Chinese University of Hong Kong(香港中文大学)
提出CapRL++框架,利用可验证奖励的强化学习(RLVR)优化多模态描述生成,通过非视觉语言模型回答问题的准确性作为奖励,提升密集描述质量,在20多个基准上超越传统监督微调。
2026-06-08 cs.CV
GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models
OpenAI(开放人工智能研究中心)
扩散模型最近已被证明可以生成高质量的合成图像,特别是当与指导技术配对以权衡多样性和保真度时。我们探讨了文本条件图像合成问题的扩散模型,并比较了两种不同的指导策略:CLIP指导和无分类器引导。我们发现,后者是首选的人类评价的真实感和标题相似性,并经常产生真实感的样本。使用无分类器引导的35亿参数文本条件扩散模型的样本比DALL-E的样本更受人类评估者的青睐,即使后者使用昂贵的CLIP重新排序。此外,我们发现,我们的模型可以进行微调,以执行图像修补,使强大的文本驱动的图像编辑。我们在过滤后的数据集上训练一个较小的模型,并在https://github.com/openai/glide-text2im上发布代码和权重。
2022-03-08 cs.CV cs.GR cs.LG
Paraphrasing Is All You Need for Novel Object Captioning
UCLA(加州大学洛杉矶分校);Carnegie Mellon University(卡内基梅隆大学);National Taiwan University(国立台湾大学);NVIDIA(英伟达)
新对象字幕(NOC)旨在描述包含对象的图像,而无需在训练期间观察其地面真实字幕。由于没有字幕注释,字幕模型不能通过序列到序列训练或CIDER优化直接优化。因此,我们提出了一个两阶段的学习框架,即释义到字幕(P2C),它将通过释义来优化输出字幕。通过P2C,字幕模型首先从在纯文本语料库上预训练的语言模型中学习释义,从而允许扩展词库以提高语言流畅性。为了进一步加强输出字幕充分描述输入图像的视觉内容,我们进行自我释义的字幕模型与保真度和充分性的目标。由于在训练过程中,新对象图像没有地面实况字幕,因此我们的P2C利用跨模态(图像-文本)关联模块来确保上述字幕特征可以正确保留。在实验中,我们不仅证明了我们的P2C在nocaps和COCO Caption数据集上实现了最先进的性能,还通过替换NOC的语言和跨模态关联模型验证了我们的学习框架的有效性和灵活性。实施细节和代码可在补充材料中获得。
2022-09-25 cs.CV cs.LG
TAPS3D: Text-Guided 3D Textured Shape Generation from Pseudo Supervision
ByteDance(字节跳动);Nanyang Technological University(南洋理工大学)
在本文中,我们研究了一个开放的研究任务,从给定的文本描述生成可控的3D纹理形状。以前的作品要么需要地面实况字幕标记,要么需要大量的优化时间。为了解决这些问题,我们提出了一个新的框架,TAPS3D,训练一个文本引导的三维形状生成器与伪字幕。具体来说,基于渲染的2D图像,我们检索相关的词从CLIP词汇和使用模板构建伪标题。我们构造的标题为生成的3D形状提供高级语义监督。此外,为了产生细粒度的纹理和增加几何多样性,我们建议采用低级别的图像正则化,使假渲染的图像与真实的对齐。在推理阶段,我们提出的模型可以从给定的文本生成3D纹理形状,而无需任何额外的优化。我们进行了广泛的实验,分析我们提出的每个组件,并显示我们的框架在生成高保真3D纹理和文本相关的形状的功效。
2023-03-23 cs.CV
Towards Fine-Grained Human Motion Video Captioning
Tsinghua University(清华大学);City University of Hong Kong(香港城市大学)
针对现有视频字幕模型难以捕捉细粒度人体运动细节的问题,提出运动增强字幕模型M-ACM,同时构建HMI数据集与HMI-Bench基准,实验证明该模型在运动描述上显著优于已有方法。
2025-10-24 cs.AI cs.CV
Neural Image Compression with Text-guided Encoding for both Pixel-level and Perceptual Fidelity
POSTECH(浦项科技大学);Samsung Advanced Institute of Technology(三星先进技术研究院)
针对文本引导图像压缩中像素保真度下降的问题,提出文本自适应编码与联合图像-文本损失训练的框架,在保持高感知质量的同时实现高像素级保真度,并在LPIPS指标上优于所有基线。
2024-05-22 cs.CV cs.LG