DreamStory: Open-Domain Story Visualization by LLM-Guided Multi-Subject Consistent Diffusion
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；School of Artificial Intelligence, Sun Yat-sen University（中山大学人工智能学院）
提出DreamStory框架，通过LLM生成提示词与多模态锚点，结合含掩码互注意力模块的多主体一致性扩散模型MSD，解决开放域故事可视化中多主体连贯生成的难题，并构建DS-500基准验证其有效性。
2025-08-11 cs.AI cs.CV cs.MM
GROOViST: A Metric for Grounding Objects in Visual Storytelling
University of Amsterdam（阿姆斯特丹大学）；ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）
本文提出视觉叙事评估度量 GROOViST，通过建模跨模态依赖、时间错位和人类直觉来更准确地衡量故事对图像实体的锚定程度，并支持模块化分析。
2023-10-26 cs.AI cs.CL cs.CV
Improving Visual Storytelling with Multimodal Large Language Models
Henan Polytechnic University（河南理工大学）
本文提出结合LLMs与LVLMs并通过指令微调、监督学习和强化学习改进视觉叙事生成，实验表明其在连贯性、相关性、情感深度和整体质量上显著优于现有模型。
2024-07-02 cs.CV
A Restricted Visual Turing Test for Deep Scene and Event Understanding
Intelligent Automation, Inc（智能自动化公司）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出了一种限制性视觉图灵测试（VTT）的故事线为基础的深入理解，在长期和多摄像机捕获的视频。给定一组场景的视频（例如多房间办公室，花园和停车场）。以及基于故事情节的查询序列，任务是简单地以二进制形式“真/假”（对极性查询）或以准确的自然语言描述（对非极性查询）提供答案。极性或非极性的查询由基于视图的查询和以场景为中心的查询组成，基于视图的查询可以从特定的相机视图和以场景为中心的查询中得到回答，以场景为中心的查询涉及跨不同相机的联合推理。故事线被收集以涵盖对输入视频的空间、时间和因果理解。这些数据和查询将我们的VTT与最近提出的图像和视频描述中的视觉问答区分开来。提出了一个视觉系统，它集成了不同的视觉模块，知识库和查询引擎，执行联合视频和查询解析。该系统为不同的模块提供了统一的接口，以便可以重新配置各个模块来测试新方法。我们提供了一个基准数据集和一个工具包，用于本体引导的故事线查询生成，其中包括在四个不同位置捕获的约93.5小时的视频和3，426个查询，分为127个故事线。我们还提供了基线实施和结果分析。
2015-12-16 cs.AI cs.CV
From Image Captioning to Visual Storytelling
TUDelft（代尔夫特理工大学）
本研究将视觉叙事视为图像描述的超集，先通过视觉到语言模型生成图像描述，再以语言到语言方法转化为连贯叙事，缩短训练时间且易复用，还提出ideality指标模拟与基准模型的差距及类人性。
2025-07-31 cs.CL cs.CV
Toyteller: AI-powered Visual Storytelling Through Toy-Playing with Character Symbols
Midjourney
Toyteller通过玩具式操作角色符号，实现运动引导的文本生成和视觉叙事，优于GPT-4o，并有助于表达难以言说的意图。
2025-01-23 cs.AI cs.CL cs.HC
Sequential Comics for Jailbreaking Multimodal Large Language Models via Structured Visual Storytelling
AI Security Lab（360人工智能安全实验室）；Politecnico di Milano（米兰理工大学）；Beihang University（北京航空航天大学）
本文提出利用连环漫画式视觉叙事分解恶意查询，通过扩散模型生成图像序列，以83.5%的攻击成功率越狱多模态大语言模型，并揭示安全机制漏洞。
2025-10-16 cs.AI cs.CR
Narrative Studio: Visual narrative exploration using LLMs and Monte Carlo Tree Search
针对当前 LLM 聊天界面限制交互式叙事为单一流程的问题，提出 Narrative Studio，通过树状界面、迭代 LLM 推理、MCTS 自动扩展及实体图锚定，实现分支叙事的探索与增强。
2025-04-03 cs.AI
Thinking with Comics: Enhancing Multimodal Reasoning through Structured Visual Storytelling
Harbin Institute of Technology（哈尔滨工业大学）
本文提出用漫画作为中间视觉表示，通过结构化视觉叙事提升多模态推理效率和性能。
2026-02-03 cs.AI
An Embodied Companion for Visual Storytelling
Goldsmiths, University of London（伦敦大学金史密斯学院）；DeepMind（深度Mind）
Companion通过结合绘图机器人与大语言模型，实现人机协同创作，推动视觉叙事的创新与美学探索。
2026-01-18 cs.AI cs.GR cs.HC
SARD: A Human-AI Collaborative Story Generation
ASAS AI；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）；Center for Research Excellence in AI and Data Science（人工智能与数据科学卓越研究中心）
本文提出拖放式可视化界面SARD，利用大型语言模型支持多章节人机协作故事生成，并通过可用性评估揭示节点叙事可视化的认知负担及AI文本词汇多样性不足等局限。
2024-03-03 cs.AI cs.HC
VisAgent: Narrative-Preserving Story Visualization Framework
NAVER WEBTOON AI；Seoul National University（首尔大学）
针对现有故事可视化忽视叙事本质的问题，提出无需训练的多智能体框架VisAgent，通过智能体协同细化分层提示词并整合生成元素，有效实现并验证了关键场景的可视化。
2025-03-04 cs.AI cs.CV
Hide-and-Tell: Learning to Bridge Photo Streams for Visual Storytelling
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Samsung Electronics Co., Ltd (Samsung Research)（三星电子有限公司（三星研究院））
视觉故事讲述是一项基于照片流创作短篇故事的任务。与现有的视觉字幕不同，讲故事的目的不仅是包含事实描述，而且是人性化的叙述和语义。然而，VIST数据集仅包含每个故事的少量固定数量的照片。因此，视觉故事讲述的主要挑战是用叙事和富有想象力的故事填补照片之间的视觉差距。在本文中，我们建议明确地学习想象一个故事情节，弥合视觉差距。在训练过程中，一张或多张照片从输入堆栈中随机省略，我们训练网络，即使缺少照片，也能产生一个完整的可信故事。此外，我们提出了一个隐藏和讲述模型，旨在学习照片流之间的非局部关系，并改进和改进传统的基于RNN的模型。在实验中，我们表明，我们的计划隐藏和告诉，网络设计确实是有效的讲故事，我们的模型优于以前的国家的最先进的方法在自动度量。最后，我们定性地展示了学习到的在视觉间隙上插入故事情节的能力。
2020-02-03 cs.CV
StoryGAN: A Sequential Conditional GAN for Story Visualization
Duke University（杜克大学）；Microsoft Dynamics 365 AI Research（微软 Dynamics 365 AI 研究院）；Microsoft Research（微软研究院）；Tencent AI Research（腾讯人工智能研究室）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个新的任务，称为故事可视化。给定一个多句段落，故事通过生成一系列图像来可视化，每个图像对应一个句子。与视频生成相比，故事可视化较少关注生成图像（帧）的连续性，而是更多地关注动态场景和角色的全局一致性-这是任何单一图像或视频生成方法都没有解决的挑战。因此，我们提出了一个新的故事到图像序列生成模型，故事GAN，基于顺序条件GAN框架。我们的模型是独特的，因为它包括一个深度上下文编码器，动态跟踪的故事流，和两个判别器在故事和图像的水平，以提高图像质量和生成的序列的一致性。为了评估该模型，我们修改了现有的数据集，以创建CLEVR-SV和Pororo-SV数据集。从经验上看，StoryGAN在图像质量、上下文一致性指标和人类评估方面优于最先进的模型。
2019-04-18 cs.CV
Make-A-Storyboard: A General Framework for Storyboard with Disentangled and Merged Control
University of Electronic Science Technology of China (UESTC)（电子科技大学）
针对现有故事可视化方法忽略场景一致性、缺乏帧间连贯的问题，提出故事板可视化形式与Make-A-Storyboard通用框架，通过解耦控制角色与场景一致性再合并生成协调图像，兼具有效性与泛化性。
2023-12-06 cs.CV
StoryDALL-E: Adapting Pretrained Text-to-Image Transformers for Story Continuation
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
文本到图像合成的最新进展已经导致了大型预训练的transformer具有从给定文本生成可视化的出色能力。然而，这些模型并不适合像故事可视化这样的专门任务，这需要一个智能体在给定相应的标题序列的情况下产生一系列图像，形成一个叙事。此外，我们发现，故事可视化任务未能适应泛化到新的叙事中看不见的情节和人物。因此，我们首先提出了故事延续的任务，其中生成的视觉故事是有条件的源图像，允许更好地概括与新的字符的叙述。然后，我们用特定于任务的模块增强或“改造”预训练的文本到图像合成模型，用于（a）顺序图像生成和（b）从初始帧复制相关元素。然后，我们将探索预训练模型的全模型微调以及基于参数有效自适应的调整。我们评估我们的方法StoryDALL-E在两个现有的数据集，PororoSV和FlintstonesSV，并介绍了一个新的数据集DiDeMoSV从视频字幕数据集收集。我们还开发了一个基于生成对抗网络（GAN）的故事延续模型StoryGANc，并将其与StoryDALL-E模型进行比较，以展示我们方法的优势。我们表明，我们的改造方法在故事延续方面优于基于GAN的模型，并有助于从源图像中复制视觉元素，从而提高生成的视觉故事的连续性。最后，我们的分析表明，预先训练的变形金刚很难理解包含多个字符的叙述。总的来说，我们的工作表明，预训练的文本到图像合成模型可以适用于复杂和低资源的任务，如故事延续。
2022-09-13 cs.AI cs.CL cs.CV
Story3D-Agent: Exploring 3D Storytelling Visualization with Large Language Models
The Chinese University of Hong Kong, Shenzhen (CUHK-SZ)（香港中文大学（深圳））；Kuaishou Technology（快手科技）；ARC Lab, Tencent PCG（腾讯PCG ARC实验室）
针对现有视觉故事叙述局限于2D或过度简化的问题，提出Story3D-Agent，利用大型语言模型结合程序化建模，将叙事转化为支持多角色动作控制与逻辑推理扩展的动态3D渲染可视化，为3D故事表示提供了基础框架。
2024-08-21 cs.CV
Text-Only Training for Visual Storytelling
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
本文提出仅用文本数据训练的视觉故事讲述方法，通过 CLIP 注入视觉控制并配合免训练规划器，在 VIST 的域内与跨域实验中表现更优。
2023-08-17 cs.CV
Causal-Story: Local Causal Attention Utilizing Parameter-Efficient Tuning For Visual Story Synthesis
School of Cyber Science and Engineering, Southeast University（东南大学网络空间安全学院）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Shanghai Jiao Tong University（上海交通大学）；School of Computer Science and Engineering, Sanjiang University（三江大学计算机科学与工程学院）
针对现有视觉故事合成方法同等对待所有历史条件、忽略因果关联的问题，提出融合局部因果注意力的Causal-Story模型，通过因果权重分配提升生成一致性，在两个基准数据集上取得最优FID分数与更好视觉叙事效果。
2024-03-06 cs.AI cs.CV cs.MM
Look-Before-Move: Narrative-Grounded World Visual Attention in Dynamic 3D Story Worlds
提出Look-Before-Move框架，通过语义观察合约、蒙特卡洛视点搜索和语义轨迹接地，在动态3D故事世界中实现叙事驱动的视觉注意力规划，提升主体感知、意图一致性和轨迹质量。
2026-10-06 cs.AI cs.CV
TARN-VIST: Topic Aware Reinforcement Network for Visual Storytelling
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）
针对视觉故事讲述中忽略主题信息导致故事不连贯的问题，提出TARN-VIST模型，通过预提取主题并应用两个主题一致的强化学习奖励优化生成过程，在VIST数据集上优于多数竞争模型。
2024-03-18 cs.CV
StoryImager: A Unified and Efficient Framework for Coherent Story Visualization and Completion
Nanjing University of Posts and Telecommunications（南京邮电大学）；Peng Cheng Laboratory（鹏城实验室）；Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of the Chinese Academy of Sciences（中国科学院大学人工智能学院）
StoryImager提出双向统一高效的故事可视化框架，通过目标帧掩码、帧-故事交叉注意力和上下文特征提取器，解决自回归单向生成、高计算成本和独立训练推理三大缺陷，实现连贯故事生成与补全。
2024-04-09 cs.CV
Plot'n Polish: Zero-shot Story Visualization and Disentangled Editing with Text-to-Image Diffusion Models
Virginia Tech（弗吉尼亚理工大学）；Adobe Research（Adobe研究）
针对现有故事可视化方法难以兼顾编辑灵活性与多帧一致性的问题，提出零样本框架Plot'n Polish，可实现一致的故事生成与多细节层级的细粒度可视化控制。
2025-09-04 cs.CV
Contextualize, Show and Tell: A Neural Visual Storyteller
Institute for Research in Applied Mathematics and Systems (IIMAS)（应用数学与系统研究所（IIMAS））；Universidad Nacional Autónoma de México (UNAM)（墨西哥国立自治大学（UNAM））
我们提出了一个用于从图像序列生成短篇小说的神经模型，该模型扩展了Vinyals等人的图像描述模型（Vinyals等人，2015年）。该扩展依赖于编码器LSTM来从图像序列中计算每个故事的上下文向量。该上下文向量被用作多个独立解码器LSTM的第一状态，每个独立解码器LSTM通过将图像嵌入作为第一输入来生成与序列中的每个图像相对应的故事的部分。我们的模型在2018年视觉讲故事挑战赛的内部赛道上显示了与METEOR指标和人类评分的竞争结果。
2018-06-03 cs.AI cs.CL cs.CV
Make-A-Story: Visual Memory Conditioned Consistent Story Generation
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（Vector人工智能研究所）；Snap Inc.（Snap公司）
提出一种基于自回归扩散和视觉记忆模块的故事生成框架，通过句子条件软注意力实现指代消解和角色背景一致性，在多个数据集上优于现有方法。
2023-05-06 cs.CV
StorySync: Training-Free Subject Consistency in Text-to-Image Generation via Region Harmonization
University of Freiburg（弗赖堡大学）；Zebracat AI
本文提出免训练的StorySync方法，通过掩码跨图像注意力共享和区域特征协调，在保持扩散模型创造力的同时，实现文本到图像生成中跨场景的主体一致性。
2025-07-31 cs.AI cs.CV
Learning Visual Storylines with Skipping Recurrent Neural Networks
Carnegie Mellon University（卡内基梅隆大学）
典型的巴黎之旅是什么样子的？人们是不是先拍卢浮宫，再拍埃菲尔铁塔？我们可以使用当前的框架可视化地建模一个时间事件，比如“巴黎假期”吗？在本文中，我们将探讨如何从Web数据中自动学习视觉概念的时间方面或故事情节。以前的尝试集中在连续的图像到图像的过渡，并在恢复长期的潜在故事是不成功的。我们的新型跳跃递归神经网络（S-RNN）模型并不像经典的RNN那样试图预测序列中的每个数据点。相反，S-RNN使用一个框架，跳过照片流中的图像，通过有效的采样过程探索相册的所有有序子集的空间。这种方法减少了强烈的短期相关性的负面影响，并更准确地恢复了潜在的故事。我们展示了我们学到的故事情节如何用于分析，预测和总结Flickr的相册。我们的实验结果提供了强有力的定性和定量证据，证明S-RNN在学习长期相关性和恢复潜在故事情节方面明显优于其他候选方法，如LSTM。此外，我们展示了故事情节如何通过推断每个相册的简短个性化故事来帮助机器更好地理解和总结照片流。
2016-07-26 cs.CV
ELECT: Settling Identity Before Rendering for Scalable Story Visualization
University of Dhaka（达卡大学）
ELECT通过语言引导的场景-实体映射和固定锚点，实现与故事长度无关的低成本无训练故事可视化，在Story50基准及1000场景评估中，角色一致性和效率均优于现有方法。
2026-10-14 cs.AI cs.CV cs.LG
Hierarchically Structured Reinforcement Learning for Topically Coherent Visual Story Generation
Microsoft Research（微软研究院）；University of Florida（佛罗里达大学）；JD AI Research（京东人工智能研究院）
我们提出了一个层次结构的强化学习方法来解决规划的挑战，为视觉讲故事的任务产生连贯的多句故事。在我们的框架内，给定图像序列生成故事的任务被划分为两级分层解码器。高级解码器通过生成语义概念（即，主题）中的每一个图像序列。低级解码器使用语义组成网络为每个图像生成句子，该语义组成网络有效地基于以主题为条件的句子生成。这两个解码器使用强化学习进行端到端联合训练。我们评估我们的模型上的视觉讲故事（VIST）数据集。来自自动和人工评估的实证结果表明，与强平深度强化学习基线相比，所提出的分层结构强化训练实现了显著更好的性能。
2019-01-18 cs.AI cs.CV cs.LG
Audit & Repair: An Agentic Framework for Consistent Story Visualization in Text-to-Image Diffusion Models
Virginia Tech（弗吉尼亚理工大学）
针对故事可视化中角色和物体跨面板不一致的问题，提出协作式多智能体框架，通过迭代循环自主识别、纠正和细化不一致性，实现面板级更新，无需重生成序列，且与多种扩散模型兼容，实验证明其多面板一致性优于现有方法。
2025-06-23 cs.CV
Neural Storyboard Artist: Visualizing Stories with Coherent Image Sequences
Renmin University of China（中国人民大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft XiaoIce（微软小冰）；Beijing Film Academy（北京电影学院）
故事板是一系列图像，用于说明包含多个句子的故事，这是创建不同故事产品的关键过程。在本文中，我们解决了一个新的多媒体任务的自动故事板创建，以促进这一过程，并激发人类艺术家。受我们对语言的理解是基于我们过去经验的启发，我们提出了一个新颖的灵感和创造框架，该框架具有故事到图像检索器，该检索器选择相关的电影图像以获得灵感，并且故事板创建者进一步细化和渲染图像以提高相关性和视觉一致性。该检索器动态地采用上下文信息的故事与层次的关注，并应用密集的视觉语义匹配，准确地检索和地面图像。然后，创建者采用三个渲染步骤，以增加检索图像的灵活性，这包括删除无关区域，统一的图像风格和替换一致的字符。我们在域内和域外视觉故事数据集上进行了广泛的实验。所提出的模型实现了更好的定量性能比国家的最先进的故事板创建基线。定性可视化和用户研究进一步验证了我们的方法可以创建高质量的故事板，即使是在野外的故事。
2019-11-24 cs.CL cs.CV cs.LG
LogiStory: A Logic-Aware Framework for Multi-Image Story Visualization
本文提出LogiStory框架，通过显式建模视觉逻辑提升多图像故事可视化中的叙事逻辑与视觉质量，引入多智能体系统和LogicTale基准测试集进行评估。
2026-03-30 cs.CV cs.MA
Hierarchical Knowledge Graphs for Story Understanding in Visual Narratives
Yale University（耶鲁大学）
该研究提出分层知识图谱框架，通过面板、事件、宏观事件三层符号图建模视觉叙事内容，在Manga109子集上支持四项可解释推理任务，强调建模透明度，为叙事分析及相关应用奠定基础。
2025-11-15 cs.AI cs.CV cs.MM
Integrating Visuospatial, Linguistic and Commonsense Structure into Story Visualization
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
虽然在文本到图像合成方面已经做了很多研究，但很少有工作探索输入文本的语言结构的使用。这样的信息对于故事可视化甚至更重要，因为它的输入具有明确的叙事结构，需要被翻译成图像序列（或视觉故事）。在这个领域中的先前工作已经表明，在所生成的图像序列中在视觉质量、一致性和相关性方面有足够的改进空间。在本文中，我们首先探讨使用选区解析树使用基于transformer的递归架构编码结构化输入。其次，我们增加了结构化的输入与常识信息，并研究这种外部知识的视觉故事的生成的影响。第三，我们还通过边界框和密集字幕来整合视觉结构，以在双重学习设置中提供有关生成图像中的字符/对象的反馈。我们发现，在Visual Genome上训练的现成密集字幕模型可以改善来自不同目标域的图像的空间结构，而无需进行微调。我们使用故事内对比度损失（单词和图像子区域之间）对模型进行了端到端的训练，并在多个数据集的几个指标（和人工评估）中显示出显着的改进。最后，我们提供了一个分析的语言和视觉空间信息。代码和数据：https://github.com/adymaharana/VLCStoryGan。
2021-10-21 cs.AI cs.CL cs.CV
Character-Centric Story Visualization via Visual Planning and Token Alignment
The University of Tokyo（东京大学）；University of California Los Angeles（加州大学洛杉矶分校）；AWS AI Labs（AWS人工智能实验室）
故事可视化通过支持基于完整故事的多个图像生成来推进传统的文本到图像生成。这个任务要求机器1）理解长文本输入，2）产生一个全局一致的图像序列来说明故事的内容。一致的故事可视化的一个关键挑战是保留故事中必不可少的角色。为了应对这一挑战，我们建议适应最近的工作，增强矢量量化变分自编码器（VQ-VAE）的文本到视觉令牌（Transformer）架构。具体来说，我们修改了文本到视觉令牌模块的两个阶段的框架：1）字符令牌规划模型，预测的视觉令牌的字符; 2）视觉令牌完成模型，生成剩余的视觉令牌序列，这是发送到VQ-VAE完成图像生成。为了鼓励字符出现在图像中，我们进一步训练两阶段的框架与字符令牌对齐的目标。大量的实验和评估表明，该方法在保持字符，可以产生更高质量的图像序列相比，强基线。代码可以在https://github.com/sairin1202/VP-CSV中找到
2022-10-22 cs.CL cs.CV
Customized Visual Storytelling with Unified Multimodal LLMs
National Taiwan University（国立台湾大学）；NVIDIA（英伟达）
本文提出VstoryGen框架，整合文本描述与角色背景参考，实现定制化故事生成。通过参数高效提示微调电影数据，增强电影多样性。建立两个新基准测试，评估多模态叙事的连贯性、文本-视觉对齐和镜头类型控制。
2026-03-29 cs.CV
Consistent Story Generation: Unlocking the Potential of Zigzag Sampling
KU Leuven（库勒芬大学）；Utrecht University（乌得勒支大学）
本文提出免训练的之字形采样策略，结合非对称提示与视觉共享机制，在不微调模型的情况下显著提升多图视觉故事中的主体一致性。
2025-11-10 cs.CV
A Hierarchical Approach for Visual Storytelling Using Image Description
University of Kentucky（肯塔基大学）
视觉故事的主要挑战之一是开发能够在长事件序列中保持故事背景的技术，以生成类似人类的故事。在本文中，我们提出了一种基于编码器-解码器网络的分层深度学习架构来解决这个问题。为了更好地帮助我们的网络在生成长而多样的句子的同时保持这种上下文，我们将自然语言图像描述与图像本身结合起来，以生成每个故事句子。我们在Visual Storytelling（VIST）数据集上评估了我们的系统，并表明我们的方法在一套不同的自动评估指标上优于最先进的技术。从这次评估的实证结果表明，我们提出的架构的不同组成部分的必要性，并显示了视觉讲故事的架构的有效性。
2019-09-26 cs.CL cs.CV cs.LG
MagicScroll: Nontypical Aspect-Ratio Image Generation for Visual Storytelling via Multi-Layered Semantic-Aware Denoising
HKUST(GZ)（香港科技大学（广州））；South China University of Technology（华南理工大学）；HKUST（香港科技大学）
针对视觉叙事中非典型宽高比图像生成的可控性与连贯性难题，提出多层语义感知去噪的扩散框架MagicScroll，构建首个相关基准，验证了其在文本对齐、视觉连贯等方面的优势。
2023-12-18 cs.CV
Vision Transformer Based Model for Describing a Set of Images as a Story
The University of Western Australia（西澳大学）；Umm Al-Qura University（乌姆·库拉大学）
针对图像组生成故事缺乏连贯性的问题，提出结合ViT、Bidirectional-LSTM、注意力机制与Mogrifier-LSTM的模型，并在VIST上超越现有最优方法。
2023-07-14 cs.AI cs.CL cs.CV
Adaptive Visual Conditioning for Semantic Consistency in Diffusion-Based Story Continuation
School of Computer Engineering, Iran University of Science and Technology（伊朗科学技术大学计算机工程学院）
AVC框架通过自适应控制先前视觉在扩散过程中的影响，并利用CLIP检索和重新标注数据，提升了故事续写的语义一致性与视觉保真度。
2025-10-15 cs.CV
Ordered Attention for Coherent Visual Storytelling
Reichman University（赖希曼大学）；Microsoft（微软）；Technion（以色列理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们解决了视觉叙事的问题，即，为给定的图像序列生成故事。虽然故事的每一句话都应该描述一个相应的图像，但一个连贯的故事也需要前后一致，并与未来和过去的图像相关。为了实现这一目标，我们开发了有序图像注意力（OIA）。OIA模型之间的相互作用，相应的图像和序列的其他图像中的重要区域。为了突出显示重要的对象，类似于消息传递的算法以顺序感知的方式收集这些对象的表示。为了生成故事的句子，我们使用图像-句子注意力（ISA）突出显示重要的图像注意力向量。此外，为了减轻常见的语言错误，如重复，我们引入了自适应先验。所获得的结果将VIST数据集上的METEOR评分提高了1%。此外，一项广泛的人类研究验证了一致性的改进，并表明OIA和ISA生成的故事更集中，更可共享，更形象。
2022-10-11 cs.CL cs.CV
ReCap: Lightweight Referential Grounding for Coherent Story Visualization
1 Technical University of Darmstadt \& hessian.AI, Germany -2em
ReCap 提出一种轻量级框架，通过视觉锚点提升角色稳定性与视觉一致性，无需修改基础扩散模型，在两个故事可视化基准上取得新高。
2026-04-20 cs.CV
ViStoryBench: Comprehensive Benchmark Suite for Story Visualization
ShanghaiTech University（上海科技大学）；StepFun；AIGC Research（AIGC研究院）；AGI Lab, Westlake University（西湖大学AGI实验室）
本文提出ViStoryBench，一个全面评估故事可视化模型的基准套件，通过多维度指标评估叙事结构、视觉风格和角色设定，结合人类验证确保一致性与真实性，推动视觉叙事技术发展。
2026-03-29 cs.CV
EmoStory: Emotion-Aware Story Generation
CSSE, Shenzhen University（安全科学与工程学院，深圳大学）
本文提出EmoStory，一种情感感知的故事生成方法，通过两阶段框架整合基于代理的故事规划与区域感知生成，提升情感准确性、提示对齐和主体一致性。
2026-03-17 cs.CV
StoryBench: A Multifaceted Benchmark for Continuous Story Visualization
Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）；University of Copenhagen（哥本哈根大学）
StoryBench提出一个多任务基准，涵盖动作执行、故事续写和故事生成，用于评估文本到视频模型，并强调训练数据与人工评估指南的重要性。
2023-10-12 cs.CL cs.CV
Knowledge-enriched Attention Network with Group-wise Semantic for Visual Storytelling
Tongji University（同济大学）；Shanghai Research Institute for Intelligent Autonomous System（上海智能自主系统研究院）；Hong Kong Polytechnic University（香港理工大学）
视觉叙事是一个技术上具有挑战性的课题，其目的是从一组相关的图像中生成一个想象的、连贯的故事。现有的方法往往产生直接和刚性的描述明显的图像为基础的内容，因为他们不能够探索隐含的信息以外的图像。因此，这些计划不能捕捉一致的依赖关系，从整体表示，削弱了合理和流畅的故事的生成。为了解决这些问题，提出了一种新的知识丰富的注意力网络与组明智的语义模型。设计了三个主要的新组件，并通过大量的实验来证明其实用优势。首先，设计了一个知识丰富的注意网络，从外部知识系统中提取隐含的概念，然后通过级联的跨模态注意力机制对概念进行表征。其次，开发了一个具有二阶池的组语义模块，以探索全局一致的指导。第三，提出了一种具有编码器-解码器结构的统一的一阶段故事生成模型，以端到端的方式同时训练和推断知识丰富的注意力网络、组语义模块和多模态故事生成解码器。大量的实验上流行的视觉讲故事的数据集与客观和主观的评价指标表明，所提出的计划相比，其他国家的最先进的方法的优越性能。
2022-03-10 cs.CL cs.CV
DreamingComics: A Story Visualization Pipeline via Subject and Layout Customized Generation using Video Models
Center for Research in Computer Vision, University of Central Florida（计算机视觉研究中心，中央佛罗里达大学）
DreamingComics通过结合视频模型和布局生成技术，实现了基于主体和布局定制的高效故事可视化方法，提升了角色一致性和风格相似性。
2025-12-01 cs.CV
StoryReasoning Dataset: Using Chain-of-Thought for Scene Understanding and Grounded Story Generation
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学技术学院）；INESC-ID Lisboa（里斯本INESC-ID）
针对视觉叙事系统的指称幻觉等问题，研究者提出包含4178个电影图像衍生故事的StoryReasoning数据集，结合跨帧重识别、思维链推理等方法，微调得到的Qwen Storyteller模型有效减少幻觉并提升创造力。
2025-08-30 cs.CL cs.CV
Commonsense Knowledge Aware Concept Selection For Diverse and Informative Visual Storytelling
The University of Tokyo（东京大学）；Tokyo Institute of Technology（东京工业大学）；National Institute of Advanced Industrial Science and Technology（国立产业技术综合研究所）
视觉故事讲述是针对给定的图像序列生成相关且有趣的故事的任务。在这项工作中，我们的目标是增加所生成的故事的多样性，同时保留图像中的信息内容。我们建议通过使用一个概念选择模块，建议一组概念候选人，以促进所生成的故事的多样性和信息量。然后，我们利用大规模的预训练模型将概念和图像转换为完整的故事。为了丰富候选概念，为从其提出概念候选的每个图像序列创建常识知识图谱。为了从图中获得适当的概念，我们提出了两个新的模块，考虑候选概念之间的相关性和图像概念的相关性。广泛的自动和人工评估结果表明，我们的模型可以产生合理的概念。这使得我们的模型能够在故事的多样性和信息量方面大大优于以前的模型，同时保留故事与图像序列的相关性。
2021-02-05 cs.CL cs.CV
Keep it Consistent: Topic-Aware Storytelling from an Image Stream via Iterative Multi-agent Communication
Fudan University（复旦大学）；Tencent AI Lab（腾讯人工智能实验室）；Zhejiang Lab（之江实验室）
视觉叙事的目的是从一系列图像自动生成一个叙事段落。现有的方法为每个图像独立地构建文本描述，并粗略地将它们连接为一个故事，这导致生成语义不连贯的内容的问题。在本文中，我们通过引入主题描述任务来检测图像流的全局语义上下文，提出了一种新的视觉讲故事方式。然后在主题描述的指导下构建故事。为了将这两个生成任务结合起来，我们提出了一个多智能体通信框架，将主题描述生成器和故事生成器看作两个Agent，通过迭代更新机制同时学习它们。我们验证了我们的方法在VIST数据集上，定量结果，消融和人类评价证明了我们的方法在生成更高质量的故事方面的良好能力，与最先进的方法相比。
2020-10-30 cs.AI cs.CL cs.CV
Visual Writing Prompts: Character-Grounded Story Generation with Curated Image Sequences
University of Gothenburg（哥德堡大学）；Saarland University（萨尔大学）；MPI Informatics（马克斯·普朗克信息学研究所）
目前基于图像的故事生成的工作受到现有图像序列集合背后没有连贯情节的事实的影响。我们通过产生一个新的基于图像的数据集，视觉写作数据集（VWP）来改进视觉故事的生成。VWP包含几乎2K选定的电影镜头序列，每个序列包括5-10个图像。图像序列与总共12 K个故事对齐，这些故事是在给定图像序列和来自相应图像序列的一组接地字符的情况下经由众包收集的。我们新的图像序列收集和过滤过程使我们能够获得与以前的工作相比更连贯，更具叙述性的故事。我们还提出了一个基于角色的故事生成模型驱动的连贯性作为一个强大的基线。评估表明，我们生成的故事更连贯，视觉接地，并有更多的叙述性比与当前国家的最先进的模型生成的故事。
2023-01-20 cs.CL cs.CV cs.LG
Improved Visual Story Generation with Adaptive Context Modeling
Harbin Institute of Technology（哈尔滨工业大学）；Renmin University of China（中国人民大学）；Peng Cheng Laboratory（鹏城实验室）
本文提出自适应上下文建模方法，通过改进编码器并在采样阶段引入额外引导，提升扩散模型在视觉故事生成中的全局一致性，在 PororoSV 和 FlintstonesSV 上取得最先进 FID 分数。
2023-05-26 cs.CL cs.CV
MangaFlow: An End-to-End Agentic Framework for Controllable Story to Manga Generation
The University of Tokyo（东京大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
提出MangaFlow代理框架，通过将漫画创作分解为规划、定位、布局构建、参考条件渲染、合成和文字放置等步骤，实现可控的长篇漫画生成，支持布局和视觉参考作为显式中间变量，并引入故事段落记忆以保持跨面板一致性。
2026-09-15 cs.CV
