Animate-A-Story: Storytelling with Retrieval-Augmented Video Generation
Hong Kong University of Science and Technology(香港科技大学);Tencent AI Lab(腾讯人工智能实验室);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);The Chinese University of Hong Kong(香港中文大学)
本文提出Animate-A-Story框架,通过运动结构检索与结构引导的文本到视频合成,并结合概念个性化,生成连贯且角色一致的故事视频。
2023-07-13 cs.CV
Synopses of Movie Narratives: a Video-Language Dataset for Story Understanding
Nanyang Technological University(南洋理工大学);University of Virginia(弗吉尼亚大学)
针对故事理解研究不足的问题,作者构建并发布了包含5,193个视频摘要、总时长869小时的视频-语言数据集SyMoN,并建立视频-文本检索与零样本对齐基准,揭示了领域内数据与长期记忆的重要性。
2023-04-05 cs.CL cs.CV cs.LG
A Memory Network Approach for Story-based Temporal Summarization of 360° Videos
Seoul National University(首尔国立大学)
我们解决了基于故事的360°长视频的时间摘要问题。我们提出了一种新的记忆网络模型,称为过去-未来记忆网络(PFMN),在该模型中,我们首先计算从输入的360°视频中裁剪的81个正常视场(NFOV)区域建议的分数,然后使用具有两个外部存储器的网络恢复潜在的集体摘要,该外部存储器存储先前选择的子镜头和未来候选子镜头的嵌入。我们的主要贡献有两方面。首先,我们的工作是第一个解决基于故事的360°视频的时间摘要。其次,我们的模型是第一次尝试利用记忆网络进行视频摘要任务。为了评估,我们进行了三组实验。首先,我们研究了我们的模型在Pano 2 Vid数据集上的视图选择能力。其次,我们评估了时间摘要与新收集的360°视频数据集。最后,我们实验我们的模型在另一个领域的性能,与基于图像的讲故事的VIST数据集。我们验证了我们的模型在所有任务上都达到了最先进的性能。
2018-06-18 cs.CV
DreamShot: Personalized Storyboard Synthesis with Video Diffusion Prior
Sun Yat-sen University(中山大学);Peng Cheng Laboratory(鹏城实验室);ByteDance Intelligent Creation(字节跳动智能创作);Guangdong Key Laboratory of Big Data Analysis and Processing(广东省大数据分析与处理重点实验室)
DreamShot通过视频扩散先验实现可控的多镜头合成,支持文本到镜头和参考到镜头生成,提升叙事连贯性和角色一致性。
2026-07-07 cs.CV
Video Storytelling: Textual Summaries for Events
National University of Singapore(新加坡国立大学);University of Minnesota(明尼苏达大学)
在计算机视觉和多媒体研究中,将视觉和自然语言连接起来是一个长期的目标。虽然早期的作品专注于生成一个单一的句子描述的视觉内容,最近的作品研究段落生成。在这项工作中,我们介绍了视频讲故事的问题,其目的是为长视频生成连贯和简洁的故事。视频叙事带来了新的挑战,主要是由于故事的多样性以及视频的长度和复杂性。我们提出了新的方法来应对这些挑战。首先,我们提出了一个用于多模态嵌入学习的上下文感知框架,在这个框架中,我们设计了一个残差双向递归神经网络来利用来自过去和未来的上下文信息。其次,我们提出了一个叙事者模型来发现潜在的故事情节。叙述者被制定为一个强化学习代理,它是通过直接优化生成的故事的文本度量来训练的。我们在视频故事数据集上评估了我们的方法,这是我们为进行研究而收集的一个新数据集。我们将我们的方法与多个最先进的基线进行比较,并表明我们的方法在定量测量和用户研究方面具有更好的性能。
2020-05-14 cs.CV cs.MM
DramaQA: Character-Centered Video Story Understanding with Hierarchical QA
Seoul National University(首尔大学);AI Institute (AIIS)(人工智能研究所)
尽管最近在计算机视觉和自然语言处理方面取得了进展,但由于视频故事的内在困难,开发能够理解视频故事的机器仍然很难实现。此外,如何基于人类认知过程来评价视频理解程度的研究还没有进展。在本文中,我们提出了一种新的视频问答(视频QA)任务,DramaQA,全面了解的视频故事。DramaQA侧重于两个方面:1)基于人类智力认知发展阶段的分层QA作为评估指标。2)以用户为中心的视频注释,以模拟故事的局部连贯性。我们的数据集是建立在电视剧“另一个吴小姐”,它包含17,983问答对从23,928个不同长度的视频剪辑,每个问答对属于四个难度级别之一。我们提供了217,308个注释图像,其中包含丰富的以字符为中心的注释,包括视觉边界框,主要角色的行为和情感以及共指解决脚本。此外,我们提出了多层次上下文匹配模型,该模型分层理解以字符为中心的视频表示来回答问题。我们公开发布我们的数据集和模型用于研究目的,我们希望我们的工作能够为视频故事理解研究提供新的视角。
2020-12-17 cs.AI cs.CL cs.CV
Story Understanding in Video Advertisements
University of Pittsburgh(匹兹堡大学)
为了引起观众的共鸣,许多视频广告探索了创造性的叙事技巧,如“弗赖塔格金字塔”,故事从阐述开始,然后是上升的行动,然后是高潮,最后是结局。特别是在广告的戏剧性结构中,高潮取决于情绪的变化。我们的研究致力于自动理解视频广告的动态结构。为了实现这一目标,我们首先从视频广告数据集中的1,149个视频中众包高潮注释,该数据集已经提供了情感注释。然后,我们使用无监督和监督的方法来预测高潮。基于预测的峰值,低级别的视觉和音频线索,以及语义上有意义的上下文特征,我们建立了一个情感预测模型,该模型比当前最先进的视频广告情感预测模型的性能高出25%。在我们的消融研究中,我们表明使用我们的上下文特征和使用LSTM建模动态都是提高性能的关键因素。
2018-07-29 cs.CV
"Previously on ..." From Recaps to Story Summarization
CVIT, IIIT Hyderabad(印度海得拉巴国际信息技术学院CVIT)
该研究提出基于电视剧前情回顾构建多模态故事摘要数据集 PlotSnap,并设计分层模型 TaleSumm 从长剧集中提取多个情节点,展现跨剧集泛化及经典视频摘要性能。
2024-05-19 cs.CV
Co-attentional Transformers for Story-Based Video Understanding
Seoul National University(首尔大学);Artificial Intelligence Institute (AIIS)(人工智能研究所(AIIS))
受视觉和语言学习的最新趋势的启发,我们探讨了在基于故事的视频理解的应用程序中的注意力机制的应用程序,以语言融合。与其他基于视频的QA任务一样,视频故事理解需要智能体掌握复杂的时间依赖性。然而,由于它侧重于视频的叙事方面,因此还需要了解不同角色之间的互动,以及他们的行为和动机。我们提出了一种新的共同注意Transformer模型,以更好地捕捉长期的依赖关系,如戏剧的视觉故事,并衡量其性能的视频问答任务。我们在最近推出的DramaQA数据集上评估了我们的方法,该数据集的特点是以角色为中心的视频故事理解问题。我们的模型总体上比基线模型高出8个百分点,在所有难度级别上至少高出4.95个百分点,最高可达12.8个百分点,并成功击败了DramaQA挑战赛的获胜者。
2020-10-27 cs.AI cs.CL cs.CV
Towards Long Video Understanding via Fine-detailed Video Story Generation
South China University of Technology(华南理工大学);Peng Cheng Laboratory(鹏城实验室);Shenzhen MSU-BIT University(深圳北理莫斯科大学);Shenzhen University(深圳大学)
针对长视频理解中长上下文建模难、冗余干扰大的问题,提出FDVS方法,通过自底向上解读机制和语义冗余消减机制生成层级化文本表示,无需微调即可适配多任务,在8个数据集上验证了有效性与通用性。
2024-12-11 cs.CV
Is Your World Simulator a Good Story Presenter? A Consecutive Events-Based Benchmark for Future Long Video Generation
University of Washington(华盛顿大学);Georgia Institute of Technology(佐治亚理工学院);University of California, San Diego(加利福尼亚大学圣地亚哥分校);Microsoft(微软公司)
引入StoryEval基准,通过423个连续事件提示评估T2V模型的故事完成能力,揭示现有模型在连贯故事呈现上的不足。
2024-12-17 cs.CL cs.CV cs.GR
StoryTeller: Improving Long Video Description through Global Audio-Visual Character Identification
针对现有大视觉语言模型难以生成连贯长视频描述的问题,本研究提出融合音视频角色识别的StoryTeller系统,搭配新建的MovieStory101数据集与StoryQA评估方式,实验证明其显著优于各类基线模型,且可提升其他视频描述模型的性能。
2025-07-30 cs.AI cs.CV
Video Timeline Modeling For News Story Understanding
Texas A&M University(德克萨斯A&M大学);Google(谷歌)
本文提出视频时间线建模新问题,构建包含超1.2万条时间线和30万个新闻视频的YouTube-News-Timeline基准,并提出评估指标与多个深度学习方法,以推动新闻故事内容与结构理解研究。
2023-10-27 cs.CV
DeepStory: Video Story QA by Deep Embedded Memory Networks
School of Computer Science and Engineering, Seoul National University(首尔大学计算机科学与工程学院);Surromind Robotics
视频内容的问答(QA)是实现人类智能的一个重大挑战,因为它涉及现实世界中的视觉和语言。在这里,我们展示了人工智能智能体通过从大量卡通视频中学习来执行视频故事QA的可能性。我们开发了一个视频故事学习模型,即深度嵌入式记忆网络(DEMN),使用观察数据的潜在嵌入空间从联合场景对话视频流中重建故事。视频故事存储在长期记忆组件中。对于一个给定的问题,基于LSTM的注意力模型使用长期记忆通过关注包含关键信息的特定单词来回忆最佳的问题-故事-答案三元组。我们在儿童卡通视频系列Pororo的新颖QA数据集上训练了DEMN。该数据集包含16,066个20.5小时视频的场景对话对,27,328个用于场景描述的细粒度句子,以及8,913个故事相关的QA对。我们的实验结果表明,DEMN优于其他QA模型。这主要是由于1)利用潜在嵌入和2)注意力以场景-对话组合的形式重构视频故事。DEMN还在MovieQA基准测试中取得了最先进的结果。
2017-07-04 cs.AI cs.CL cs.CV
Constructing Hierarchical Q&A Datasets for Video Story Understanding
Seoul National University(首尔国立大学);Korea Institute of Ocean Science & Technology(KIOST)(韩国海洋科学技术院);Hongik University(弘益大学)
视频理解正在成为研究类人AI的新范式。问答(Q&A)被用作衡量视频理解智能水平的通用基准。虽然之前的几项研究已经提出了视频问答任务的数据集,但它们并没有真正纳入故事层面的理解,导致问题难度的高度偏差和缺乏差异。在本文中,我们提出了一个层次化的方法来构建Q&A数据集,即层次难度水平。我们介绍了视频故事理解的三个标准,即记忆容量,逻辑复杂性和DIKW(数据-信息-知识-智慧)金字塔。我们讨论了如何从这些标准构建的三维地图可以被用来作为一个衡量标准,用于评估有关的视频故事理解的智能水平。
2019-04-01 cs.AI cs.CV cs.LG
Facilitating Video Story Interaction with Multi-Agent Collaborative System
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州))
本文提出一种基于用户意图的视频故事交互系统,结合VLM、RAG和MAS实现角色成长与场景定制,并在《哈利·波特》上验证其增强交互体验的效果。
2025-05-02 cs.AI cs.CV cs.HC
Long Story Short: a Summarize-then-Search Method for Long Video Question Answering
Yonsei University(延世大学)
针对长视频叙事问答,提出Long Story Short框架,先总结情节再检索相关片段,并用CLIPCheck增强视觉匹配,在零样本设定下大幅超越监督模型。
2023-11-02 cs.AI cs.CV
DramaAgent: Agentic Storytelling Video Generation
UOL(利物浦大学);UTHealth Houston(德克萨斯大学健康科学中心休斯顿分校);UCAS(中国科学院大学);Peking University(北京大学);UTS AAII(悉尼科技大学澳大利亚人工智能研究所)
DramaAgent提出分层智能体控制框架,通过故事规划、角色条件、场景合成与反思修复,提升长篇视频生成的连贯性与一致性。
2026-10-02 cs.CL cs.CV
Long Story Short: Story-level Video Understanding from 20K Short Films
Ecole Polytechnique(巴黎综合理工学院);IP Paris(巴黎理工学院);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
针对现有视频理解数据集的局限,本文构建了2万部业余电影组成的SF20K数据集及配套问答基准,验证其数据泄露有限,证明指令微调可提升VLMs在长期视频理解上的性能。
2026-08-31 cs.AI cs.CL cs.CV
Making a long story short: A Multi-Importance fast-forwarding egocentric videos with the emphasis on relevant objects
低成本高质量个人可穿戴摄像机的出现,加上视频共享网站存储容量的增加,引起了人们对第一人称视频越来越大的兴趣,因为大多数视频都是由长时间运行的未经编辑的流组成的,这些流通常是乏味的,看起来不舒服。最先进的语义快进方法目前面临的挑战是,在视觉流的平滑度和对相关部分的强调之间提供足够的平衡。在这项工作中,我们提出了多重要性快进(MIFF),一个全自动的方法来快进自我中心的视频面临这些挑战。定义什么是视频的语义信息的困境通过基于用户的偏好的学习过程来解决。实验结果表明,该方法保持了$3$倍以上的语义内容比国家的最先进的快进。最后,我们讨论了需要一个特定的视频稳定技术快进自我为中心的视频。
2018-03-07 cs.CV
StoryGAN: A Sequential Conditional GAN for Story Visualization
Duke University(杜克大学);Microsoft Dynamics 365 AI Research(微软 Dynamics 365 AI 研究院);Microsoft Research(微软研究院);Tencent AI Research(腾讯人工智能研究室);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个新的任务,称为故事可视化。给定一个多句段落,故事通过生成一系列图像来可视化,每个图像对应一个句子。与视频生成相比,故事可视化较少关注生成图像(帧)的连续性,而是更多地关注动态场景和角色的全局一致性-这是任何单一图像或视频生成方法都没有解决的挑战。因此,我们提出了一个新的故事到图像序列生成模型,故事GAN,基于顺序条件GAN框架。我们的模型是独特的,因为它包括一个深度上下文编码器,动态跟踪的故事流,和两个判别器在故事和图像的水平,以提高图像质量和生成的序列的一致性。为了评估该模型,我们修改了现有的数据集,以创建CLEVR-SV和Pororo-SV数据集。从经验上看,StoryGAN在图像质量、上下文一致性指标和人类评估方面优于最先进的模型。
2019-04-18 cs.CV
DreamingComics: A Story Visualization Pipeline via Subject and Layout Customized Generation using Video Models
Center for Research in Computer Vision, University of Central Florida(计算机视觉研究中心,中央佛罗里达大学)
DreamingComics通过结合视频模型和布局生成技术,实现了基于主体和布局定制的高效故事可视化方法,提升了角色一致性和风格相似性。
2025-12-01 cs.CV
StoryTeller: Training-Free Narrative Grounding for Long-Form Audio Description
Dartmouth College(达特茅斯学院)
研究针对长格式音频描述问题,提出免训练的StoryTeller框架。它通过维护叙事记忆跨场景传递信息,仅用原始视频和标题,经语义过滤等确保信息准确。引入StoryAD-QA基准测试,实验证明该框架显著提升了叙事相关能力。
2026-07-14 cs.AI cs.CV
A Survey on Long-Video Storytelling Generation: Architectures, Consistency, and Cinematic Quality
本文综述了长视频叙事生成领域的研究进展,分析了32篇论文的架构与训练策略,并构建了现有方法的分类法与性能对比表。
2025-07-09 cs.CV
DreamRunner: Fine-Grained Compositional Story-to-Video Generation with Retrieval-Augmented Motion Adaptation
针对现有叙事视频生成方法难以对齐复杂单场景描述的问题,本文提出DreamRunner方法,结合脚本结构化规划、检索增强运动自适应与SR3AI模块,实现细粒度故事转视频生成,性能优于现有基线。
2025-11-14 cs.AI cs.CL cs.CV
Multimodal Dual Attention Memory for Video Story Question Answering
Clova AI Research, NAVER Corp(NAVER公司Clova AI研究中心);Seoul National University(首尔大学);SK T-brain;Surromind Robotics
我们提出了一个视频故事问答(QA)架构,多模态双注意力记忆(MDAM)。其关键思想是使用具有后期融合的双重注意力机制。MDAM使用自我注意来学习场景帧和字幕中的潜在概念。给定一个问题,MDAM对这些潜在概念使用第二注意力。在双注意过程之后执行多模态融合(后期融合)。使用这种处理管道,MDAM学习从完整视频内容的抽象中推断高级视觉语言联合表示。我们在PororoQA和MovieQA数据集上评估MDAM,这些数据集分别对卡通视频和电影进行了大规模的QA注释。对于这两个数据集,MDAM实现了新的最先进的结果,与亚军模型相比具有显着的利润率。我们通过消融研究证实了双重注意力机制结合晚期融合的最佳性能。我们还进行定性分析,通过可视化的推理机制MDAM。
2018-09-21 cs.AI cs.CL cs.CV
Making Your Dreams A Reality: Decoding the Dreams into a Coherent Video Story from fMRI Signals
本研究提出一种结合fMRI分析与语言模型的新框架,通过视觉感知重建、梦境意象解码、故事整合三步,将fMRI信号中的梦境转化为连贯视频叙事,并构建梦境数据集验证框架有效性,为梦境视觉研究提供新路径。
2025-01-16 cs.CV
AesopAgent: Agent-driven Evolutionary System on Story-to-Video Production
DAMO Academy, Alibaba Group(阿里巴巴达摩院)
AesopAgent提出智能体驱动的进化系统,通过水平层RAG优化工作流和工具层保证一致性,将故事自动生成连贯视频,达到先进水平。
2024-03-12 cs.AI cs.CV cs.MM
SubjectAnchor: Subject-Aware Memory-to-Video for Multi-Shot Storytelling
Kling AI Research(可灵AI研究院)
SubjectAnchor提出一种基于显式视觉记忆的主题感知记忆到视频生成范式,通过记忆构建、时间旋转位置编码和注意力分区,在多镜头叙事中保持主题身份与场景一致性,实验验证其跨镜头一致性优于基线。
2026-09-29 cs.CV
FairyGen: Storied Cartoon Video from a Single Child-Drawn Character
GVC Lab, Great Bay University(Great Bay大学GVC实验室)
FairyGen系统从单张儿童画作生成故事卡通视频,通过解耦角色与背景生成、引入电影镜头设计及两阶段运动定制适配器,实现了系统实现了风格忠实、叙事连贯且运动自然的动画生成。
2025-06-27 cs.CV cs.GR cs.MM
Condensed Movies: Story Based Retrieval with Contextual Embeddings
University of Oxford(牛津大学)
我们在这项工作中的目标是长期的了解电影的叙事结构。而不是考虑整个电影,我们建议从电影的“关键场景”中学习,提供一个浓缩的完整故事情节。为此,我们做出了以下三个贡献:(i)我们创建了由超过3 K电影的关键场景组成的浓缩电影数据集(CMD):每个关键场景都伴随着场景的高级语义描述,人物面部轨迹和关于电影的元数据。该数据集是可扩展的,可从YouTube自动获取,任何人都可以免费下载和使用。它也是一个数量级大于现有的电影数据集的电影数量;(ii)我们提供了一个深度网络基线的文本到视频检索我们的数据集,结合字符,语音和视觉线索到一个单一的视频嵌入;最后(iii)我们演示了如何从其他视频剪辑的上下文的添加提高检索性能。
2020-10-22 cs.CV
A Restricted Visual Turing Test for Deep Scene and Event Understanding
Intelligent Automation, Inc(智能自动化公司);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出了一种限制性视觉图灵测试(VTT)的故事线为基础的深入理解,在长期和多摄像机捕获的视频。给定一组场景的视频(例如多房间办公室,花园和停车场)。以及基于故事情节的查询序列,任务是简单地以二进制形式“真/假”(对极性查询)或以准确的自然语言描述(对非极性查询)提供答案。极性或非极性的查询由基于视图的查询和以场景为中心的查询组成,基于视图的查询可以从特定的相机视图和以场景为中心的查询中得到回答,以场景为中心的查询涉及跨不同相机的联合推理。故事线被收集以涵盖对输入视频的空间、时间和因果理解。这些数据和查询将我们的VTT与最近提出的图像和视频描述中的视觉问答区分开来。提出了一个视觉系统,它集成了不同的视觉模块,知识库和查询引擎,执行联合视频和查询解析。该系统为不同的模块提供了统一的接口,以便可以重新配置各个模块来测试新方法。我们提供了一个基准数据集和一个工具包,用于本体引导的故事线查询生成,其中包括在四个不同位置捕获的约93.5小时的视频和3,426个查询,分为127个故事线。我们还提供了基线实施和结果分析。
2015-12-16 cs.AI cs.CV
CineForge: Self-Improving Agents for Long-Horizon Video Generation
Tongji University(同济大学);Kuaishou Technology(快手科技);Fudan University(复旦大学)
本研究提出CineForge框架,结合CineForge-Produce与CineForge-Evolve,通过CPPE策略演进机制提升长时序故事驱动视频生成效果,在CineScope指标及基准测试中表现优于现有方法,减少了审查LLM调用量。
2026-09-01 cs.AI cs.CV
A Video Is Worth 4096 Tokens: Verbalize Videos To Understand Them In Zero Shot
Adobe Media and Data Science Research (MDSR)(Adobe媒体与数据科学研究(MDSR));IIIT-Delhi(德里印度理工学院);State University of New York at Buffalo(纽约州立大学布法罗分校)
本文提出将长视频言语化为自然语言描述,再利用大语言模型进行零样本视频理解,在十五项任务上超越监督基线,并发布了首个说服策略识别数据集。
2023-10-26 cs.CL cs.CV
Multi-modal News Understanding with Professionally Labelled Videos (ReutersViLNews)
Vector Institute(向量研究所);University of British Columbia(不列颠哥伦比亚大学);Western University(西安大略大学);York University(约克大学);Reuters News Agency(路透通讯社);CIFAR(加拿大高等研究院);Toyota Research Institute(丰田研究所)
本文提出由专业人员标注的长篇新闻视频-语言数据集 ReutersViLNews,统计分析其类别与多层标注,并在四类视频-语言任务上评测现有方法,揭示新闻视频高层语义理解仍是重大挑战。
2024-01-23 cs.CV
Make-A-Storyboard: A General Framework for Storyboard with Disentangled and Merged Control
University of Electronic Science Technology of China (UESTC)(电子科技大学)
针对现有故事可视化方法忽略场景一致性、缺乏帧间连贯的问题,提出故事板可视化形式与Make-A-Storyboard通用框架,通过解耦控制角色与场景一致性再合并生成协调图像,兼具有效性与泛化性。
2023-12-06 cs.CV
StoryWeaver: A Unified World Model for Knowledge-Enhanced Story Character Customization
Xiamen University(厦门大学);Netease Inc.(网易公司)
针对故事可视化中角色身份保持与文本语义对齐失衡的问题,提出基于角色图知识增强的StoryWeaver模型,通过C-CG和KE-SG实现一致且语义丰富的故事生成,在TBC-Bench上显著提升性能。
2025-02-25 cs.CV
Shot2Story: A New Benchmark for Comprehensive Understanding of Multi-shot Videos
Bytedance Inc.(字节跳动公司);AAII, UTS(悉尼科技大学人工智能研究院);MBZUAI(穆罕默德·本·扎耶德人工智能大学);University of Science and Technology of China(中国科学技术大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织数据61部门)
本文提出多镜头视频理解基准Shot2Story,包含镜头级字幕、视频摘要和问答对,并设计单镜头字幕、多镜头摘要与问答任务,证明不完美摘要也能提升视频问答性能。
2025-02-05 cs.CV
LogiStory: A Logic-Aware Framework for Multi-Image Story Visualization
本文提出LogiStory框架,通过显式建模视觉逻辑提升多图像故事可视化中的叙事逻辑与视觉质量,引入多智能体系统和LogicTale基准测试集进行评估。
2026-03-30 cs.CV cs.MA
TrUMAn: Trope Understanding in Movies and Animations
National Taiwan University(国立台湾大学);Microsoft(微软);Mobile Drive Technology(摩比驱动科技)
理解和理解视频内容对于许多现实世界的应用(如搜索和推荐系统)至关重要。虽然深度学习的最新进展已经提高了使用视觉线索的各种任务的性能,但对意图,动机或因果关系的深层认知仍然具有挑战性。旨在检查视频推理能力的现有数据集集中在视觉信号上,例如动作,对象,关系,或者可以利用文本偏见来回答。观察到这一点,我们提出了一个新的任务,以及一个新的数据集:Trope Understanding in Movies and Animations(Truman),其中包含与132个tropes相关的2423个视频,旨在评估和开发超越视觉信号的学习系统。比喻是创作作品中经常使用的讲故事的手段。通过处理比喻理解任务并启用机器的深层认知技能,数据采掘应用程序和算法可以进入下一个层次。为了解决具有挑战性的Truman数据集,我们提出了一个具有新的概念讲故事模块的Trope理解和讲故事(TrUSt),该模块通过在潜在空间上执行视频讲故事来指导视频编码器。实验结果表明,现有任务的最先进的学习系统仅达到12.01%的准确率与原始输入信号。此外,即使在人工注释描述的Oracle案例中,BERT上下文嵌入也最多达到28%的准确率。我们提出的TrUSt提高了模型的性能,达到13.94%的性能。我们还提供了详细的分析,为未来的研究铺平道路。Truman可在以下网址公开获取:https://www.cmlab.csie.ntu…
2021-08-21 cs.AI cs.CV
StoryGPT-V: Large Language Models as Consistent Story Visualizers
KAUST(卡塞姆大学)
StoryGPT-V结合潜在扩散模型和大型语言模型,通过角色感知LDM和LLM对齐,解决故事可视化中的指代消解和角色一致性问题,在两个基准上取得优越结果。
2025-04-25 cs.CV
Evolving Storytelling: Benchmarks and Methods for New Character Customization with Diffusion Models
Nanyang Technological University(南洋理工大学)
针对扩散模型在少样本视觉叙事中难以融入并保持新角色一致性的问题,本文构建 NewEpisode 基准并提出 EpicEvo,通过对抗性角色对齐与知识蒸馏实现单故事新角色定制。
2024-05-20 cs.CV
AnimeShooter: A Multi-Shot Animation Dataset for Reference-Guided Video Generation
The University of Hong Kong(香港大学);ARC Lab, Tencent PCG(腾讯PCG ARC实验室)
本文提出AnimeShooter多镜头动画数据集及其生成基线AnimeShooterGen,通过分层标注、角色参考图像和MLLM结合视频扩散模型,提升跨镜头视觉一致性与参考引导的视频生成效果。
2025-06-03 cs.CV
EvoTale: Continual Character Customization for Expanding Story Worlds
Xiamen University(厦门大学);The Hong Kong University of Science and Technology (Guangzhou)(香港理工大学(广州));Fuxi AI Lab, Netease Inc.(福克斯AI实验室,网易公司)
本文提出EverTale,通过统一LoRA模块实现连续角色自定义,引入质量门和区域聚焦采样策略,提升多角色视觉叙事的准确性和一致性。
2026-08-14 cs.CV
Vorch-Director: Interactive World Story Model via Noise-Aware Error Rectification
Vorch Team(Vorch团队);Zhejiang University(浙江大学)
Vorch-Director是一种噪声感知残差校正策略,基于LTX-2扩散Transformer,可提升视听长视频生成的稳定性与保真度,支持多镜头、多主体的参考引导生成。
2026-10-27 cs.CV
IdentityStory: Taming Your Identity-Preserving Generator for Human-Centric Story Generation
IdentityStory通过驯化身份保持生成器,实现了人类中心故事生成中角色身份的一致性,提升了人脸一致性和多角色组合能力。
2025-12-29 cs.CV
TaleDiffusion: Multi-Character Story Generation with Dialogue Rendering
Computer Vision Center, Universitat Autònoma de Barcelona(巴塞罗那自治大学计算机视觉中心);Indian Statistical Institute, Kolkata(加尔各答印度统计研究所);Institute for People Centred Artificial Intelligence, University of Surrey(萨里大学以人为本人工智能研究所)
TaleDiffusion通过迭代过程生成多角色故事,通过后处理保证角色一致性与对话准确性,实验表明在一致性、降噪和对话渲染方面优于现有方法。
2026-04-11 cs.CV
Video Is Worth a Thousand Images: Exploring the Latest Trends in Long Video Generation
University Of Reading(阅读大学)
本文综述长视频生成的最新趋势,指出其挑战在于规划、故事及时空一致性,提出结合分而治之策略以提升可扩展性,并系统梳理了基础技术、数据集、评估指标与未来方向。
2025-08-05 cs.AI cs.CV
Face, Body, Voice: Video Person-Clustering with Multiple Modalities
University of Oxford(牛津大学);École Polytechnique(巴黎综合理工学院);CNRS(法国国家科学研究中心);IP Paris(巴黎理工学院)
这项工作的目标是视频中的人物聚类-根据他们的身份对角色进行分组。以前的方法专注于面部聚类的较窄任务,并且在很大程度上忽略了其他线索,例如人的声音,他们的整体外观(头发,衣服,姿势)以及视频的编辑结构。类似地,大多数当前的数据集只评估人脸聚类的任务,而不是人聚类。这限制了它们对下游应用的适用性,例如需要人的层面而不仅仅是面部层面推理的故事理解。在本文中,我们作出贡献,以解决这两个不足之处:首先,我们介绍了一个多模态高精度聚类算法的视频中使用的线索,从几个模态(脸,身体和声音)的人聚类。其次,我们引入了一个视频人物聚类数据集,用于评估多模态人物聚类。它包含每个注释字符的身体轨迹,可见时的面部轨迹,以及说话时的语音轨迹及其相关特征。该数据集是迄今为止同类数据中最大的,涵盖了代表广泛人口统计的电影和电视节目。最后,我们展示了使用多种模式进行人物聚类的有效性,探索了通过人物同现来理解故事的新的广泛任务的使用,并在所有可用的人脸和人物聚类数据集上实现了新的艺术水平。
2021-05-20 cs.CV
Storynizor: Consistent Story Generation via Inter-Frame Synchronized and Shuffled ID Injection
Fuxi AI Lab, NetEase Inc.(网易伏羲人工智能实验室);Multimedia Laboratory, The Chinese University of Hong Kong(香港中文大学多媒体实验室)
本文提出 Storynizor 模型,通过 ID-Synchronizer 和 ID-Injector 两个关键模块及 StoryDB 数据集,实现高保真角色一致性、灵活姿态和生动背景的连贯故事图像生成。
2024-09-29 cs.AI cs.CV
TaleCrafter: Interactive Story Visualization with Multiple Characters
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Tencent AI Lab(腾讯人工智能实验室);Hong Kong University of Science and Technology(香港科技大学)
本文提出 TaleCrafter 交互式故事可视化系统,通过 S2P、T2L、C-T2I 和 I2V 四个组件支持多角色、布局编辑与动画生成,并验证了其有效性和灵活性。
2023-05-30 cs.CV
CogCartoon: Towards Practical Story Visualization
Zhipu AI(智谱AI);Tsinghua University(清华大学)
针对现有故事可视化方法数据存储需求高、灵活性不足的问题,提出基于预训练扩散模型的CogCartoon方法,通过角色插件生成与双引导推理策略实现实用化,性能优于现有方法且可应对复杂任务。
2023-12-17 cs.CV
Customized Visual Storytelling with Unified Multimodal LLMs
National Taiwan University(国立台湾大学);NVIDIA(英伟达)
本文提出VstoryGen框架,整合文本描述与角色背景参考,实现定制化故事生成。通过参数高效提示微调电影数据,增强电影多样性。建立两个新基准测试,评估多模态叙事的连贯性、文本-视觉对齐和镜头类型控制。
2026-03-29 cs.CV
Character-Centric Story Visualization via Visual Planning and Token Alignment
The University of Tokyo(东京大学);University of California Los Angeles(加州大学洛杉矶分校);AWS AI Labs(AWS人工智能实验室)
故事可视化通过支持基于完整故事的多个图像生成来推进传统的文本到图像生成。这个任务要求机器1)理解长文本输入,2)产生一个全局一致的图像序列来说明故事的内容。一致的故事可视化的一个关键挑战是保留故事中必不可少的角色。为了应对这一挑战,我们建议适应最近的工作,增强矢量量化变分自编码器(VQ-VAE)的文本到视觉令牌(Transformer)架构。具体来说,我们修改了文本到视觉令牌模块的两个阶段的框架:1)字符令牌规划模型,预测的视觉令牌的字符; 2)视觉令牌完成模型,生成剩余的视觉令牌序列,这是发送到VQ-VAE完成图像生成。为了鼓励字符出现在图像中,我们进一步训练两阶段的框架与字符令牌对齐的目标。大量的实验和评估表明,该方法在保持字符,可以产生更高质量的图像序列相比,强基线。代码可以在https://github.com/sairin1202/VP-CSV中找到
2022-10-22 cs.CL cs.CV