Long Story Short: a Summarize-then-Search Method for Long Video Question Answering
Yonsei University(延世大学)
针对长视频叙事问答,提出Long Story Short框架,先总结情节再检索相关片段,并用CLIPCheck增强视觉匹配,在零样本设定下大幅超越监督模型。
2023-11-02 cs.AI cs.CV
Long Story Short: Story-level Video Understanding from 20K Short Films
Ecole Polytechnique(巴黎综合理工学院);IP Paris(巴黎理工学院);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
针对现有视频理解数据集的局限,本文构建了2万部业余电影组成的SF20K数据集及配套问答基准,验证其数据泄露有限,证明指令微调可提升VLMs在长期视频理解上的性能。
2026-08-31 cs.AI cs.CL cs.CV
Knowledge-Based Video Question Answering with Unsupervised Scene Descriptions
Osaka University(大阪大学)
为了理解电影,人们不断地对特定场景中的对话和动作进行推理,并将它们与已经看到的整体故事情节联系起来。受这种行为的启发,我们设计了ROLL,一个基于知识的视频故事问答模型,它利用了电影理解的三个关键方面:对话理解,场景推理和故事情节回忆。在ROLL中,这些任务中的每一个都负责通过1)处理场景对话,2)生成无监督视频场景描述,以及3)以弱监督方式获取外部知识来提取丰富多样的信息。为了正确回答给定的问题,每个启发认知任务产生的信息通过Transformers编码,并通过模态加权机制融合,该机制平衡了来自不同来源的信息。详尽的评估证明了我们的方法的有效性,这产生了一个新的国家的最先进的两个具有挑战性的视频问答数据集:KnowIT VQA和TVQA+。
2020-07-17 cs.CL cs.CV
Shot2Story: A New Benchmark for Comprehensive Understanding of Multi-shot Videos
Bytedance Inc.(字节跳动公司);AAII, UTS(悉尼科技大学人工智能研究院);MBZUAI(穆罕默德·本·扎耶德人工智能大学);University of Science and Technology of China(中国科学技术大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织数据61部门)
本文提出多镜头视频理解基准Shot2Story,包含镜头级字幕、视频摘要和问答对,并设计单镜头字幕、多镜头摘要与问答任务,证明不完美摘要也能提升视频问答性能。
2025-02-05 cs.CV
A Video Is Worth 4096 Tokens: Verbalize Videos To Understand Them In Zero Shot
Adobe Media and Data Science Research (MDSR)(Adobe媒体与数据科学研究(MDSR));IIIT-Delhi(德里印度理工学院);State University of New York at Buffalo(纽约州立大学布法罗分校)
本文提出将长视频言语化为自然语言描述,再利用大语言模型进行零样本视频理解,在十五项任务上超越监督基线,并发布了首个说服策略识别数据集。
2023-10-26 cs.CL cs.CV
Connecting Vision and Language with Video Localized Narratives
Google Research(谷歌研究院)
我们提出了视频本地化叙事,一种新形式的多模态视频注释连接视觉和语言。在最初的本地化叙事中,注释者在图像上同时说话和移动鼠标,因此每个单词都有一个鼠标轨迹段。这在视频上是一个挑战。我们的新协议使注释者能够用本地化叙事讲述视频的故事,捕捉甚至涉及多个参与者相互交互以及与多个被动对象交互的复杂事件。我们对OVIS、UVO和Oops数据集的20k个视频进行了注释,总计170万字。基于这些数据,我们还为视频叙事接地和视频问答任务构建了新的基准,并提供了强基线模型的参考结果。我们的注释可在https://google.github.io/video-localized-narratives/上获得。
2023-03-15 cs.CV
StoryMem: Multi-shot Long Video Storytelling with Memory
S-Lab, Nanyang Technological University(南洋理工大学S实验室)
StoryMem通过基于记忆的迭代镜头合成,实现了高质量多镜头视频叙事,提升了跨镜头一致性与审美质量。
2025-12-22 cs.CV
Learning Video-Story Composition via Recurrent Neural Network
Dalian University of Technology(大连理工大学);University of California, Merced(加州大学默塞德分校);NEC Labs America(美国电气股份有限公司实验室);NVIDIA Research(英伟达研究院)
在本文中,我们提出了一种基于学习的方法来组成一个视频故事,从一组视频剪辑描述的活动或经验。我们通过循环神经网络(RNN)从真实视频中学习视频剪辑之间的一致性,该网络联合采用时空语义和运动动力学来生成平滑和相关的组合。我们进一步重新排列RNN生成的结果,通过子模块排名优化过程使整个视频故事与故事情节结构兼容。视频故事数据集上的实验结果表明,该算法优于国家的最先进的方法。
2018-01-31 cs.CV
TruNet: Short Videos Generation from Long Videos via Story-Preserving Truncation
University of California, Irvine(加州大学欧文分校);Baidu Inc.(百度公司);MIT-Watson AI Lab(麻省理工学院-沃森人工智能实验室)
在这项工作中,我们引入了一个新的问题,命名为{ \em故事保持长视频截断},这需要一个算法来自动截断一个长时间的视频到多个短的和有吸引力的子视频,每个包含一个完整的故事。这与传统的视频亮点检测或视频摘要问题不同,因为每个子视频都需要保持连贯和完整的故事,这对于Youtube,Facebook,TikTok,Kwai等资源制作视频共享平台变得尤为重要。为了解决这个问题,我们收集并注释了一个新的大型视频截断数据集,命名为TruNet,它包含1470个视频,平均每个视频有11个短篇故事。利用新的数据集,我们进一步开发和训练了一个用于视频截断的神经架构,该架构由两个组件组成:边界感知网络(BAN)和快进长短期记忆(FF-LSTM)。我们首先使用BAN生成高质量的时间建议,共同考虑帧级的吸引力和边界。然后,我们应用FF-LSTM,它倾向于捕获帧序列之间的高阶依赖关系,以确定时间提案是否是一个连贯和完整的故事。我们表明,我们提出的框架优于现有的方法的故事保持长视频截断问题的定量措施和用户研究。该数据集可在https://ai.baidu.com/broad/download上用于公共学术研究。
2019-10-14 cs.CV
The Lost Melody: Empirical Observations on Text-to-Video Generation From A Storytelling Perspective
Keio University(庆应义塾大学);The University of Tokyo(东京大学)
本文从叙事视角研究文本生成视频任务,指出现有模型仅关注单场景视觉元素、缺乏叙事能力的局限,提出了视频叙事维度的评估框架并探讨未来方向。
2024-05-13 cs.CV
Animate-A-Story: Storytelling with Retrieval-Augmented Video Generation
Hong Kong University of Science and Technology(香港科技大学);Tencent AI Lab(腾讯人工智能实验室);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);The Chinese University of Hong Kong(香港中文大学)
本文提出Animate-A-Story框架,通过运动结构检索与结构引导的文本到视频合成,并结合概念个性化,生成连贯且角色一致的故事视频。
2023-07-13 cs.CV
A Memory Network Approach for Story-based Temporal Summarization of 360° Videos
Seoul National University(首尔国立大学)
我们解决了基于故事的360°长视频的时间摘要问题。我们提出了一种新的记忆网络模型,称为过去-未来记忆网络(PFMN),在该模型中,我们首先计算从输入的360°视频中裁剪的81个正常视场(NFOV)区域建议的分数,然后使用具有两个外部存储器的网络恢复潜在的集体摘要,该外部存储器存储先前选择的子镜头和未来候选子镜头的嵌入。我们的主要贡献有两方面。首先,我们的工作是第一个解决基于故事的360°视频的时间摘要。其次,我们的模型是第一次尝试利用记忆网络进行视频摘要任务。为了评估,我们进行了三组实验。首先,我们研究了我们的模型在Pano 2 Vid数据集上的视图选择能力。其次,我们评估了时间摘要与新收集的360°视频数据集。最后,我们实验我们的模型在另一个领域的性能,与基于图像的讲故事的VIST数据集。我们验证了我们的模型在所有任务上都达到了最先进的性能。
2018-06-18 cs.CV
Caption-once, Frames-on-Demand: Visual-Need Routing for Budget-Aware Agentic Long Video Understanding
Queen Mary University of London(伦敦玛丽女王大学);Durham University(杜伦大学);Imperial College London(帝国理工学院);Huawei(华为)
针对边缘设备长视频理解,提出CFD框架,利用视觉-文本二元性,通过离线标注索引和按查询的视觉需求路由,仅对感知问题取帧,在降低计算成本的同时保持高精度。
2026-09-11 cs.CV cs.HC
StoryDiffusion: Consistent Self-Attention for Long-Range Image and Video Generation
Nankai University(南开大学);ByteDance Inc.(字节跳动公司);Nankai International Advanced Research Institute (Shenzhen Futian)(南开大学国际高级研究院(深圳福田))
本文提出StoryDiffusion框架,通过一致性自注意力与语义运动预测器实现长程图像和视频生成中的内容一致性,并以零样本方式增强现有扩散模型。
2024-05-02 cs.CV
Story Understanding in Video Advertisements
University of Pittsburgh(匹兹堡大学)
为了引起观众的共鸣,许多视频广告探索了创造性的叙事技巧,如“弗赖塔格金字塔”,故事从阐述开始,然后是上升的行动,然后是高潮,最后是结局。特别是在广告的戏剧性结构中,高潮取决于情绪的变化。我们的研究致力于自动理解视频广告的动态结构。为了实现这一目标,我们首先从视频广告数据集中的1,149个视频中众包高潮注释,该数据集已经提供了情感注释。然后,我们使用无监督和监督的方法来预测高潮。基于预测的峰值,低级别的视觉和音频线索,以及语义上有意义的上下文特征,我们建立了一个情感预测模型,该模型比当前最先进的视频广告情感预测模型的性能高出25%。在我们的消融研究中,我们表明使用我们的上下文特征和使用LSTM建模动态都是提高性能的关键因素。
2018-07-29 cs.CV
"Previously on ..." From Recaps to Story Summarization
CVIT, IIIT Hyderabad(印度海得拉巴国际信息技术学院CVIT)
该研究提出基于电视剧前情回顾构建多模态故事摘要数据集 PlotSnap,并设计分层模型 TaleSumm 从长剧集中提取多个情节点,展现跨剧集泛化及经典视频摘要性能。
2024-05-19 cs.CV
Video Timeline Modeling For News Story Understanding
Texas A&M University(德克萨斯A&M大学);Google(谷歌)
本文提出视频时间线建模新问题,构建包含超1.2万条时间线和30万个新闻视频的YouTube-News-Timeline基准,并提出评估指标与多个深度学习方法,以推动新闻故事内容与结构理解研究。
2023-10-27 cs.CV
ScaleLong: A Multi-Timescale Benchmark for Long Video Understanding
M-A-P;ByteDance Inc.(字节跳动)
本文提出 ScaleLong 基准,通过在同一视频内容中嵌入四个层次时间尺度的问题,首次解耦了多时间尺度因素,评估 23 个 MLLM 揭示了 U 型性能曲线,并发现增加视觉 token 容量能持续提升各尺度的推理能力。
2025-05-29 cs.CL cs.CV
StoryBench: A Multifaceted Benchmark for Continuous Story Visualization
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind);University of Copenhagen(哥本哈根大学)
StoryBench提出一个多任务基准,涵盖动作执行、故事续写和故事生成,用于评估文本到视频模型,并强调训练数据与人工评估指南的重要性。
2023-10-12 cs.CL cs.CV
VAST 1.0: A Unified Framework for Controllable and Consistent Video Generation
Institute of Artificial Intelligence, China Telecom (TeleAI)(中国电信人工智能研究院(TeleAI))
提出VAST两阶段框架,通过StoryForge生成结构化分镜、VisionForge合成高质量视频,解耦文本理解与视频生成,实现对主体动态和场景构成的精确控制,在VBench基准上优于现有方法。
2024-12-21 cs.CV
Toward a Human-Level Video Understanding Intelligence
Seoul National University(首尔大学);AI Institute (AIIS), Seoul National University(首尔大学人工智能研究院);Dongguk University(东国大学)
我们的目标是开发一个人工智能智能体,它可以观看视频片段,并与人类就视频故事进行对话。开发视频理解智能是一项极具挑战性的任务,并且还缺乏用于充分测量和分析人工智能智能体进展的评估方法。在本文中,我们提出了视频图灵测试提供有效和实用的评估视频理解智能以及类人评价的人工智能智能体。我们定义了一个通用的格式和程序的视频图灵测试,并提出了一个案例研究,以确认所提出的测试的有效性和实用性。
2021-10-18 cs.AI cs.CV cs.HC
StoryAgent: Customized Storytelling Video Generation via Multi-Agent Collaboration
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);United Arab Emirates University(阿拉伯联合酋长国大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
StoryAgent提出多智能体协作框架,分解定制化叙事视频生成任务,结合LoRA-BE等方法提升角色与时间一致性,优于现有技术。
2024-11-11 cs.AI cs.CV cs.MA
Synopses of Movie Narratives: a Video-Language Dataset for Story Understanding
Nanyang Technological University(南洋理工大学);University of Virginia(弗吉尼亚大学)
针对故事理解研究不足的问题,作者构建并发布了包含5,193个视频摘要、总时长869小时的视频-语言数据集SyMoN,并建立视频-文本检索与零样本对齐基准,揭示了领域内数据与长期记忆的重要性。
2023-04-05 cs.CL cs.CV cs.LG
Video Storytelling: Textual Summaries for Events
National University of Singapore(新加坡国立大学);University of Minnesota(明尼苏达大学)
在计算机视觉和多媒体研究中,将视觉和自然语言连接起来是一个长期的目标。虽然早期的作品专注于生成一个单一的句子描述的视觉内容,最近的作品研究段落生成。在这项工作中,我们介绍了视频讲故事的问题,其目的是为长视频生成连贯和简洁的故事。视频叙事带来了新的挑战,主要是由于故事的多样性以及视频的长度和复杂性。我们提出了新的方法来应对这些挑战。首先,我们提出了一个用于多模态嵌入学习的上下文感知框架,在这个框架中,我们设计了一个残差双向递归神经网络来利用来自过去和未来的上下文信息。其次,我们提出了一个叙事者模型来发现潜在的故事情节。叙述者被制定为一个强化学习代理,它是通过直接优化生成的故事的文本度量来训练的。我们在视频故事数据集上评估了我们的方法,这是我们为进行研究而收集的一个新数据集。我们将我们的方法与多个最先进的基线进行比较,并表明我们的方法在定量测量和用户研究方面具有更好的性能。
2020-05-14 cs.CV cs.MM
Making a long story short: A Multi-Importance fast-forwarding egocentric videos with the emphasis on relevant objects
低成本高质量个人可穿戴摄像机的出现,加上视频共享网站存储容量的增加,引起了人们对第一人称视频越来越大的兴趣,因为大多数视频都是由长时间运行的未经编辑的流组成的,这些流通常是乏味的,看起来不舒服。最先进的语义快进方法目前面临的挑战是,在视觉流的平滑度和对相关部分的强调之间提供足够的平衡。在这项工作中,我们提出了多重要性快进(MIFF),一个全自动的方法来快进自我中心的视频面临这些挑战。定义什么是视频的语义信息的困境通过基于用户的偏好的学习过程来解决。实验结果表明,该方法保持了$3$倍以上的语义内容比国家的最先进的快进。最后,我们讨论了需要一个特定的视频稳定技术快进自我为中心的视频。
2018-03-07 cs.CV
StoryGAN: A Sequential Conditional GAN for Story Visualization
Duke University(杜克大学);Microsoft Dynamics 365 AI Research(微软 Dynamics 365 AI 研究院);Microsoft Research(微软研究院);Tencent AI Research(腾讯人工智能研究室);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个新的任务,称为故事可视化。给定一个多句段落,故事通过生成一系列图像来可视化,每个图像对应一个句子。与视频生成相比,故事可视化较少关注生成图像(帧)的连续性,而是更多地关注动态场景和角色的全局一致性-这是任何单一图像或视频生成方法都没有解决的挑战。因此,我们提出了一个新的故事到图像序列生成模型,故事GAN,基于顺序条件GAN框架。我们的模型是独特的,因为它包括一个深度上下文编码器,动态跟踪的故事流,和两个判别器在故事和图像的水平,以提高图像质量和生成的序列的一致性。为了评估该模型,我们修改了现有的数据集,以创建CLEVR-SV和Pororo-SV数据集。从经验上看,StoryGAN在图像质量、上下文一致性指标和人类评估方面优于最先进的模型。
2019-04-18 cs.CV
DreamingComics: A Story Visualization Pipeline via Subject and Layout Customized Generation using Video Models
Center for Research in Computer Vision, University of Central Florida(计算机视觉研究中心,中央佛罗里达大学)
DreamingComics通过结合视频模型和布局生成技术,实现了基于主体和布局定制的高效故事可视化方法,提升了角色一致性和风格相似性。
2025-12-01 cs.CV
A Survey on Long-Video Storytelling Generation: Architectures, Consistency, and Cinematic Quality
本文综述了长视频叙事生成领域的研究进展,分析了32篇论文的架构与训练策略,并构建了现有方法的分类法与性能对比表。
2025-07-09 cs.CV
From Shots to Stories: LLM-Assisted Video Editing with Unified Language Representations
Shanghai University(上海大学)
该研究首次系统探索LLM在视频编辑中的应用,提出中间表示L-Storyboard实现视觉信息到结构化语言描述的转换,设计StoryFlow策略解决发散型任务输出不稳定问题,有效提升视频编辑任务的性能、可解释性与隐私保护能力。
2025-05-18 cs.CV
StoryTeller: Improving Long Video Description through Global Audio-Visual Character Identification
针对现有大视觉语言模型难以生成连贯长视频描述的问题,本研究提出融合音视频角色识别的StoryTeller系统,搭配新建的MovieStory101数据集与StoryQA评估方式,实验证明其显著优于各类基线模型,且可提升其他视频描述模型的性能。
2025-07-30 cs.AI cs.CV
ShotStream: Streaming Multi-Shot Video Generation for Interactive Storytelling
MMLab, CUHK(MMLab,香港中文大学);Kuaishou Technology(快手科技);CPII under InnoHK(香港创科旗下CPII)
本文提出ShotStream,一种新型因果多镜头架构,通过流式提示实现动态交互叙事,解决传统方法交互性差和延迟高的问题,实验表明其生成视频在亚秒延迟下达到16FPS,质量不低于传统双向模型。
2026-03-26 cs.CV
Is Your World Simulator a Good Story Presenter? A Consecutive Events-Based Benchmark for Future Long Video Generation
University of Washington(华盛顿大学);Georgia Institute of Technology(佐治亚理工学院);University of California, San Diego(加利福尼亚大学圣地亚哥分校);Microsoft(微软公司)
引入StoryEval基准,通过423个连续事件提示评估T2V模型的故事完成能力,揭示现有模型在连贯故事呈现上的不足。
2024-12-17 cs.CL cs.CV cs.GR
VIS-Ground: Video Interactive Storytelling with Contextual Grounding
Google(谷歌);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
VIS-Ground提出将异构输入转化为可执行约束模型,通过结构化抽象、约束归纳和约束生成,在多个骨干网络上平均提升10.3分,解决交互式视频生成中的上下文锚定问题。
2026-10-14 cs.CV
Making Your Dreams A Reality: Decoding the Dreams into a Coherent Video Story from fMRI Signals
本研究提出一种结合fMRI分析与语言模型的新框架,通过视觉感知重建、梦境意象解码、故事整合三步,将fMRI信号中的梦境转化为连贯视频叙事,并构建梦境数据集验证框架有效性,为梦境视觉研究提供新路径。
2025-01-16 cs.CV
DeepStory: Video Story QA by Deep Embedded Memory Networks
School of Computer Science and Engineering, Seoul National University(首尔大学计算机科学与工程学院);Surromind Robotics
视频内容的问答(QA)是实现人类智能的一个重大挑战,因为它涉及现实世界中的视觉和语言。在这里,我们展示了人工智能智能体通过从大量卡通视频中学习来执行视频故事QA的可能性。我们开发了一个视频故事学习模型,即深度嵌入式记忆网络(DEMN),使用观察数据的潜在嵌入空间从联合场景对话视频流中重建故事。视频故事存储在长期记忆组件中。对于一个给定的问题,基于LSTM的注意力模型使用长期记忆通过关注包含关键信息的特定单词来回忆最佳的问题-故事-答案三元组。我们在儿童卡通视频系列Pororo的新颖QA数据集上训练了DEMN。该数据集包含16,066个20.5小时视频的场景对话对,27,328个用于场景描述的细粒度句子,以及8,913个故事相关的QA对。我们的实验结果表明,DEMN优于其他QA模型。这主要是由于1)利用潜在嵌入和2)注意力以场景-对话组合的形式重构视频故事。DEMN还在MovieQA基准测试中取得了最先进的结果。
2017-07-04 cs.AI cs.CL cs.CV
DramaAgent: Agentic Storytelling Video Generation
UOL(利物浦大学);UTHealth Houston(德克萨斯大学健康科学中心休斯顿分校);UCAS(中国科学院大学);Peking University(北京大学);UTS AAII(悉尼科技大学澳大利亚人工智能研究所)
DramaAgent提出分层智能体控制框架,通过故事规划、角色条件、场景合成与反思修复,提升长篇视频生成的连贯性与一致性。
2026-10-02 cs.CL cs.CV
Condensed Movies: Story Based Retrieval with Contextual Embeddings
University of Oxford(牛津大学)
我们在这项工作中的目标是长期的了解电影的叙事结构。而不是考虑整个电影,我们建议从电影的“关键场景”中学习,提供一个浓缩的完整故事情节。为此,我们做出了以下三个贡献:(i)我们创建了由超过3 K电影的关键场景组成的浓缩电影数据集(CMD):每个关键场景都伴随着场景的高级语义描述,人物面部轨迹和关于电影的元数据。该数据集是可扩展的,可从YouTube自动获取,任何人都可以免费下载和使用。它也是一个数量级大于现有的电影数据集的电影数量;(ii)我们提供了一个深度网络基线的文本到视频检索我们的数据集,结合字符,语音和视觉线索到一个单一的视频嵌入;最后(iii)我们演示了如何从其他视频剪辑的上下文的添加提高检索性能。
2020-10-22 cs.CV
Constructing Hierarchical Q&A Datasets for Video Story Understanding
Seoul National University(首尔国立大学);Korea Institute of Ocean Science & Technology(KIOST)(韩国海洋科学技术院);Hongik University(弘益大学)
视频理解正在成为研究类人AI的新范式。问答(Q&A)被用作衡量视频理解智能水平的通用基准。虽然之前的几项研究已经提出了视频问答任务的数据集,但它们并没有真正纳入故事层面的理解,导致问题难度的高度偏差和缺乏差异。在本文中,我们提出了一个层次化的方法来构建Q&A数据集,即层次难度水平。我们介绍了视频故事理解的三个标准,即记忆容量,逻辑复杂性和DIKW(数据-信息-知识-智慧)金字塔。我们讨论了如何从这些标准构建的三维地图可以被用来作为一个衡量标准,用于评估有关的视频故事理解的智能水平。
2019-04-01 cs.AI cs.CV cs.LG
Character Matters: Video Story Understanding with Character-Aware Relations
Rutgers University(罗格斯大学);The Chinese University of Hong Kong(香港中文大学);Amazon AI(亚马逊人工智能)
与短视频和GIF不同,视频故事包含清晰的情节和主要人物列表。如果不确定出现的人物和人物名字之间的联系,模型就无法真正理解情节。视频故事问答(VSQA)提供了一种有效的方法来衡量模型的更高层次的理解能力。然而,目前的VSQA方法只是从场景中提取通用的视觉特征。通过这种方法,他们仍然倾向于学习肤浅的相关性。为了真正理解谁对谁做了什么,我们提出了一个新的模型,不断完善的字符意识的关系。该模型特别考虑了视频故事中的角色,以及连接不同角色和对象的关系。基于这些信号,我们的框架,使弱监督的人脸命名,通过多实例共现匹配,并支持高层次的推理,利用Transformer结构。我们在TVQA数据集中的六个不同的电视节目上对我们的模型进行了训练和测试,TVQA数据集是迄今为止VSQA最大的也是唯一公开可用的数据集。我们通过广泛的消融研究在TVQA数据集上验证了我们提出的方法。
2020-05-09 cs.CV eess.IV
Facilitating Video Story Interaction with Multi-Agent Collaborative System
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州))
本文提出一种基于用户意图的视频故事交互系统,结合VLM、RAG和MAS实现角色成长与场景定制,并在《哈利·波特》上验证其增强交互体验的效果。
2025-05-02 cs.AI cs.CV cs.HC
CineWeaver: Training-Free Reference-Controllable Multi-Shot Long Video Generation for Cinematic Storytelling
Shanghai Jiao Tong University(上海交通大学);China Telecom(中国电信);Institute of Artificial Intelligence (TeleAI)(人工智能研究院(电信AI))
CineWeaver是首个无训练的统一框架,通过操控位置编码、注意力模式等,实现参考可控的多镜头长视频生成,产出的电影视频时长较长且质量高。
2026-07-30 cs.CV
Multi-Grid Post-Training for Long-Form Multi-Shot Video Generation
UC Santa Cruz(加州大学圣克鲁兹分校);Google(谷歌);University of Florida(佛罗里达大学);Vanderbilt University(范德堡大学)
MovieGrid通过多网格后训练将长视频分解为空间网格块,实现高效长格式多镜头生成,在一致性和镜头数量上显著超越现有方法。
2026-09-09 cs.CV
StoryTeller: Training-Free Narrative Grounding for Long-Form Audio Description
Dartmouth College(达特茅斯学院)
研究针对长格式音频描述问题,提出免训练的StoryTeller框架。它通过维护叙事记忆跨场景传递信息,仅用原始视频和标题,经语义过滤等确保信息准确。引入StoryAD-QA基准测试,实验证明该框架显著提升了叙事相关能力。
2026-07-14 cs.AI cs.CV
Dynamic Storyboard Generation in an Engine-based Virtual Environment for Video Production
Stanford University(斯坦福大学);Shanghai AI Lab(上海人工智能实验室);CUHK(香港中文大学);CUC(中国传媒大学)
针对业余视频创作者制作分镜流程繁琐的问题,提出运行于虚拟环境的VDS系统,采用“提议-模拟-判别”模式生成并筛选最优动态分镜,经实验验证可有效辅助业余视频制作。
2023-07-21 cs.CV cs.GR cs.HC
STAGE: Storyboard-Anchored Generation for Cinematic Multi-shot Narrative
STAGE提出基于故事板的生成方法,通过结构化故事板和多镜头记忆包提升叙事控制与跨镜头一致性,引入ConStoryBoard数据集进行实验验证。
2026-03-16 cs.CV
MAViS: A Multi-Agent Framework for Long-Sequence Video Storytelling
Virginia Tech(弗吉尼亚理工大学);Nanyang Technological University(南洋理工大学);Eyeline Studios(Eyeline工作室)
MAViS通过多智能体协作框架提升长序列视频生成的辅助能力、视觉质量和表达性,支持多模态输出。
2026-01-24 cs.AI cs.CV cs.MA
Multi-modal News Understanding with Professionally Labelled Videos (ReutersViLNews)
Vector Institute(向量研究所);University of British Columbia(不列颠哥伦比亚大学);Western University(西安大略大学);York University(约克大学);Reuters News Agency(路透通讯社);CIFAR(加拿大高等研究院);Toyota Research Institute(丰田研究所)
本文提出由专业人员标注的长篇新闻视频-语言数据集 ReutersViLNews,统计分析其类别与多层标注,并在四类视频-语言任务上评测现有方法,揭示新闻视频高层语义理解仍是重大挑战。
2024-01-23 cs.CV
DreamRunner: Fine-Grained Compositional Story-to-Video Generation with Retrieval-Augmented Motion Adaptation
针对现有叙事视频生成方法难以对齐复杂单场景描述的问题,本文提出DreamRunner方法,结合脚本结构化规划、检索增强运动自适应与SR3AI模块,实现细粒度故事转视频生成,性能优于现有基线。
2025-11-14 cs.AI cs.CL cs.CV
AesopAgent: Agent-driven Evolutionary System on Story-to-Video Production
DAMO Academy, Alibaba Group(阿里巴巴达摩院)
AesopAgent提出智能体驱动的进化系统,通过水平层RAG优化工作流和工具层保证一致性,将故事自动生成连贯视频,达到先进水平。
2024-03-12 cs.AI cs.CV cs.MM
Multimodal Dual Attention Memory for Video Story Question Answering
Clova AI Research, NAVER Corp(NAVER公司Clova AI研究中心);Seoul National University(首尔大学);SK T-brain;Surromind Robotics
我们提出了一个视频故事问答(QA)架构,多模态双注意力记忆(MDAM)。其关键思想是使用具有后期融合的双重注意力机制。MDAM使用自我注意来学习场景帧和字幕中的潜在概念。给定一个问题,MDAM对这些潜在概念使用第二注意力。在双注意过程之后执行多模态融合(后期融合)。使用这种处理管道,MDAM学习从完整视频内容的抽象中推断高级视觉语言联合表示。我们在PororoQA和MovieQA数据集上评估MDAM,这些数据集分别对卡通视频和电影进行了大规模的QA注释。对于这两个数据集,MDAM实现了新的最先进的结果,与亚军模型相比具有显着的利润率。我们通过消融研究证实了双重注意力机制结合晚期融合的最佳性能。我们还进行定性分析,通过可视化的推理机制MDAM。
2018-09-21 cs.AI cs.CL cs.CV
DrawVideo: Grounded and Faithful Multi-Shot Video Generation from Storyboard Keyframe Sketches
The University of Sydney(悉尼大学);Charles Sturt University(查尔斯·斯特劳特大学)
提出 DrawVideo 框架,通过草图引导的故事板分解长视频为可控镜头,结合分层生成策略实现结构可控、外观一致的长视频生成。
2026-10-06 cs.AI cs.CV cs.GR
OneStory: Coherent Multi-Shot Video Generation with Adaptive Memory
University of Copenhagen(哥本哈根大学)
OneStory通过自适应记忆实现多镜头视频生成,提升叙事连贯性和生成质量。
2025-12-08 cs.CV
FairyGen: Storied Cartoon Video from a Single Child-Drawn Character
GVC Lab, Great Bay University(Great Bay大学GVC实验室)
FairyGen系统从单张儿童画作生成故事卡通视频,通过解耦角色与背景生成、引入电影镜头设计及两阶段运动定制适配器,实现了系统实现了风格忠实、叙事连贯且运动自然的动画生成。
2025-06-27 cs.CV cs.GR cs.MM
A Restricted Visual Turing Test for Deep Scene and Event Understanding
Intelligent Automation, Inc(智能自动化公司);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出了一种限制性视觉图灵测试(VTT)的故事线为基础的深入理解,在长期和多摄像机捕获的视频。给定一组场景的视频(例如多房间办公室,花园和停车场)。以及基于故事情节的查询序列,任务是简单地以二进制形式“真/假”(对极性查询)或以准确的自然语言描述(对非极性查询)提供答案。极性或非极性的查询由基于视图的查询和以场景为中心的查询组成,基于视图的查询可以从特定的相机视图和以场景为中心的查询中得到回答,以场景为中心的查询涉及跨不同相机的联合推理。故事线被收集以涵盖对输入视频的空间、时间和因果理解。这些数据和查询将我们的VTT与最近提出的图像和视频描述中的视觉问答区分开来。提出了一个视觉系统,它集成了不同的视觉模块,知识库和查询引擎,执行联合视频和查询解析。该系统为不同的模块提供了统一的接口,以便可以重新配置各个模块来测试新方法。我们提供了一个基准数据集和一个工具包,用于本体引导的故事线查询生成,其中包括在四个不同位置捕获的约93.5小时的视频和3,426个查询,分为127个故事线。我们还提供了基线实施和结果分析。
2015-12-16 cs.AI cs.CV