Visual Storytelling
Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Rochester（罗切斯特大学）；Virginia Tech（弗吉尼亚理工大学）；Facebook AI Research（Facebook人工智能研究院）
我们介绍了第一个数据集的顺序视觉语言，并探讨如何将这些数据用于视觉讲故事的任务。该数据集的第一个版本SIND v.1包括20，211个序列中的81，743张独特照片，与描述性（标题）和故事语言对齐。我们为讲故事的任务建立了几个强大的基线，并激励一个自动度量基准的进展。如本数据集和讲故事任务中所提供的，对具体描述以及比喻和社交语言进行建模，有可能使人工智能从对典型视觉场景的基本理解转向对接地事件结构和主观表达的越来越像人类的理解。
2016-04-13 cs.AI cs.CL cs.CV
Not (yet) the whole story: Evaluating Visual Storytelling Requires More than Measuring Coherence, Grounding, and Repetition
Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）
本文提出从视觉锚定、连贯性和重复性衡量故事类人性的评估方法，发现LLaVA仅略优于小50倍的TAPM，且人工评估显示好故事还需更多维度。
2024-10-25 cs.AI cs.CL cs.CV
Hide-and-Tell: Learning to Bridge Photo Streams for Visual Storytelling
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Samsung Electronics Co., Ltd (Samsung Research)（三星电子有限公司（三星研究院））
视觉故事讲述是一项基于照片流创作短篇故事的任务。与现有的视觉字幕不同，讲故事的目的不仅是包含事实描述，而且是人性化的叙述和语义。然而，VIST数据集仅包含每个故事的少量固定数量的照片。因此，视觉故事讲述的主要挑战是用叙事和富有想象力的故事填补照片之间的视觉差距。在本文中，我们建议明确地学习想象一个故事情节，弥合视觉差距。在训练过程中，一张或多张照片从输入堆栈中随机省略，我们训练网络，即使缺少照片，也能产生一个完整的可信故事。此外，我们提出了一个隐藏和讲述模型，旨在学习照片流之间的非局部关系，并改进和改进传统的基于RNN的模型。在实验中，我们表明，我们的计划隐藏和告诉，网络设计确实是有效的讲故事，我们的模型优于以前的国家的最先进的方法在自动度量。最后，我们定性地展示了学习到的在视觉间隙上插入故事情节的能力。
2020-02-03 cs.CV
GROOViST: A Metric for Grounding Objects in Visual Storytelling
University of Amsterdam（阿姆斯特丹大学）；ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）
本文提出视觉叙事评估度量 GROOViST，通过建模跨模态依赖、时间错位和人类直觉来更准确地衡量故事对图像实体的锚定程度，并支持模块化分析。
2023-10-26 cs.AI cs.CL cs.CV
RoViST:Learning Robust Metrics for Visual Storytelling
The University of Sydney（悉尼大学）
视觉故事讲述（VST）是生成描述给定图像序列的故事段落的任务。大多数现有的讲故事方法都使用传统的自然语言生成度量（如BLEU或CIDER）来评估其模型。然而，这种基于n-gram匹配的度量往往与人类评估分数的相关性较差，并且没有明确考虑讲故事所需的其他标准，例如句子结构或主题连贯性。此外，一个分数不足以评估一个故事，因为它不能告诉我们模型犯了什么具体的错误。在本文中，我们提出了3个评估指标集，分析我们在一个好故事中会寻找哪些方面：1）视觉基础，2）连贯性，3）非冗余。我们通过分析其与人类判断分数的相关性来衡量我们的指标集的可靠性，这些判断分数是从视觉故事数据集（VIST）上训练的4个最先进的模型中获得的。我们的指标集优于其他指标的人的相关性，并可以作为一个基于学习的评价指标集，是现有的基于规则的指标的补充。
2022-05-08 cs.AI cs.CV
Improving Visual Storytelling with Multimodal Large Language Models
Henan Polytechnic University（河南理工大学）
本文提出结合LLMs与LVLMs并通过指令微调、监督学习和强化学习改进视觉叙事生成，实验表明其在连贯性、相关性、情感深度和整体质量上显著优于现有模型。
2024-07-02 cs.CV
TARN-VIST: Topic Aware Reinforcement Network for Visual Storytelling
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）
针对视觉故事讲述中忽略主题信息导致故事不连贯的问题，提出TARN-VIST模型，通过预提取主题并应用两个主题一致的强化学习奖励优化生成过程，在VIST数据集上优于多数竞争模型。
2024-03-18 cs.CV
Towards Storytelling from Visual Lifelogging: An Overview
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）
视觉生活记录包括通过长时间佩戴相机来获取捕捉用户日常体验的图像。所拍摄的照片为有关人们如何生活的知识挖掘提供了相当大的潜力，因此，它们为医疗保健，安全，休闲和量化自我等领域的许多潜在应用开辟了新的机会。然而，从大量非结构化的以自我为中心的数据中自动构建故事存在重大挑战。本文提供了一个彻底的审查进展到目前为止，以自我为中心的数据分析，并鉴于目前的艺术状态，表明新的研究路线，把我们从视觉生活记录讲故事。
2016-07-20 cs.CV
Ordered Attention for Coherent Visual Storytelling
Reichman University（赖希曼大学）；Microsoft（微软）；Technion（以色列理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们解决了视觉叙事的问题，即，为给定的图像序列生成故事。虽然故事的每一句话都应该描述一个相应的图像，但一个连贯的故事也需要前后一致，并与未来和过去的图像相关。为了实现这一目标，我们开发了有序图像注意力（OIA）。OIA模型之间的相互作用，相应的图像和序列的其他图像中的重要区域。为了突出显示重要的对象，类似于消息传递的算法以顺序感知的方式收集这些对象的表示。为了生成故事的句子，我们使用图像-句子注意力（ISA）突出显示重要的图像注意力向量。此外，为了减轻常见的语言错误，如重复，我们引入了自适应先验。所获得的结果将VIST数据集上的METEOR评分提高了1%。此外，一项广泛的人类研究验证了一致性的改进，并表明OIA和ISA生成的故事更集中，更可共享，更形象。
2022-10-11 cs.CL cs.CV
MagicScroll: Nontypical Aspect-Ratio Image Generation for Visual Storytelling via Multi-Layered Semantic-Aware Denoising
HKUST(GZ)（香港科技大学（广州））；South China University of Technology（华南理工大学）；HKUST（香港科技大学）
针对视觉叙事中非典型宽高比图像生成的可控性与连贯性难题，提出多层语义感知去噪的扩散框架MagicScroll，构建首个相关基准，验证了其在文本对齐、视觉连贯等方面的优势。
2023-12-18 cs.CV
Text-Only Training for Visual Storytelling
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
本文提出仅用文本数据训练的视觉故事讲述方法，通过 CLIP 注入视觉控制并配合免训练规划器，在 VIST 的域内与跨域实验中表现更优。
2023-08-17 cs.CV
No Metrics Are Perfect: Adversarial Reward Learning for Visual Storytelling
University of California, Santa Barbara（加州大学圣巴巴拉分校）
虽然视觉字幕已经取得了令人印象深刻的成果，从照片流生成抽象故事的任务仍然是一个很少开发的问题。与字幕不同，故事具有更强的语言表现力，包含了许多想象中的概念，而这些概念在图像中是不可能出现的。这就给行为克隆算法提出了挑战。此外，由于评估故事质量的自动度量的限制，具有手工制作的奖励的强化学习方法在获得整体性能提升方面也面临困难。因此，我们提出了一个对抗性奖励学习（AREL）框架，从人类演示中学习隐式奖励函数，然后使用学习到的奖励函数优化策略搜索。虽然自动评估表明，在克隆专家行为方面，与最先进的（SOTA）方法相比，性能略有提高，但人工评估表明，我们的方法在生成更多类似于SOTA系统的故事方面取得了显着改进。
2018-07-09 cs.AI cs.CL cs.CV
Knowledge-enriched Attention Network with Group-wise Semantic for Visual Storytelling
Tongji University（同济大学）；Shanghai Research Institute for Intelligent Autonomous System（上海智能自主系统研究院）；Hong Kong Polytechnic University（香港理工大学）
视觉叙事是一个技术上具有挑战性的课题，其目的是从一组相关的图像中生成一个想象的、连贯的故事。现有的方法往往产生直接和刚性的描述明显的图像为基础的内容，因为他们不能够探索隐含的信息以外的图像。因此，这些计划不能捕捉一致的依赖关系，从整体表示，削弱了合理和流畅的故事的生成。为了解决这些问题，提出了一种新的知识丰富的注意力网络与组明智的语义模型。设计了三个主要的新组件，并通过大量的实验来证明其实用优势。首先，设计了一个知识丰富的注意网络，从外部知识系统中提取隐含的概念，然后通过级联的跨模态注意力机制对概念进行表征。其次，开发了一个具有二阶池的组语义模块，以探索全局一致的指导。第三，提出了一种具有编码器-解码器结构的统一的一阶段故事生成模型，以端到端的方式同时训练和推断知识丰富的注意力网络、组语义模块和多模态故事生成解码器。大量的实验上流行的视觉讲故事的数据集与客观和主观的评价指标表明，所提出的计划相比，其他国家的最先进的方法的优越性能。
2022-03-10 cs.CL cs.CV
Sidecar: Training-Free Semantic Reuse for Character-Consistent Free-form Visual Storytelling
Georgetown University（乔治城大学）
该研究针对自由形式视觉叙事中角色一致性难维持的问题，提出无需训练的即插即用语义增强模块Sidecar，可提升提示-图像对齐度与角色一致性，且计算开销小。
2026-10-27 cs.CV
ContextualStory: Consistent Visual Storytelling with Spatially-Enhanced and Storyline Context
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）
ContextualStory提出空间增强时间注意力、情节线上下文器和故事流适配器，在PororoSV和FlintstonesSV数据集上显著优于SOTA，实现连贯视觉叙事与帧扩展。
2025-02-24 cs.AI cs.CV cs.MM
Commonsense Knowledge Aware Concept Selection For Diverse and Informative Visual Storytelling
The University of Tokyo（东京大学）；Tokyo Institute of Technology（东京工业大学）；National Institute of Advanced Industrial Science and Technology（国立产业技术综合研究所）
视觉故事讲述是针对给定的图像序列生成相关且有趣的故事的任务。在这项工作中，我们的目标是增加所生成的故事的多样性，同时保留图像中的信息内容。我们建议通过使用一个概念选择模块，建议一组概念候选人，以促进所生成的故事的多样性和信息量。然后，我们利用大规模的预训练模型将概念和图像转换为完整的故事。为了丰富候选概念，为从其提出概念候选的每个图像序列创建常识知识图谱。为了从图中获得适当的概念，我们提出了两个新的模块，考虑候选概念之间的相关性和图像概念的相关性。广泛的自动和人工评估结果表明，我们的模型可以产生合理的概念。这使得我们的模型能够在故事的多样性和信息量方面大大优于以前的模型，同时保留故事与图像序列的相关性。
2021-02-05 cs.CL cs.CV
Visual Storytelling via Predicting Anchor Word Embeddings in the Stories
University of Southern California（南加州大学）；Google AI（谷歌人工智能）
我们提出了一个学习模型的视觉讲故事的任务。其主要思想是从图像中预测锚词嵌入，并结合图像特征生成叙事句子。我们使用从地面实况故事中随机采样的名词的嵌入作为目标锚词嵌入来学习预测器。为了叙述一系列图像，我们使用预测的锚词嵌入和图像特征作为seq2seq模型的联合输入。相对于最先进的方法，该模型设计简单，易于优化，并在大多数自动评估指标中获得最佳结果。在人类评估中，该方法也优于竞争方法。
2020-01-13 cs.CV
Story3D-Agent: Exploring 3D Storytelling Visualization with Large Language Models
The Chinese University of Hong Kong, Shenzhen (CUHK-SZ)（香港中文大学（深圳））；Kuaishou Technology（快手科技）；ARC Lab, Tencent PCG（腾讯PCG ARC实验室）
针对现有视觉故事叙述局限于2D或过度简化的问题，提出Story3D-Agent，利用大型语言模型结合程序化建模，将叙事转化为支持多角色动作控制与逻辑推理扩展的动态3D渲染可视化，为3D故事表示提供了基础框架。
2024-08-21 cs.CV
StoryEngine: A State-Grounded Agentic Framework for Video Storytelling
Tencent（腾讯）；National University of Singapore（新加坡国立大学）
StoryEngine提出基于状态锚定的智能体框架，通过分离语义计划与视觉观察、传播事件状态并引入修复循环，实现连贯一致的长篇视频叙事，实验全面优于现有方法。
2026-09-29 cs.AI cs.CV
Topic Adaptation and Prototype Encoding for Few-Shot Visual Storytelling
College of Computer Science and Technology, ZheJiang University（浙江大学计算机科学与技术学院）；Hikvision Research Institute（海康威视研究院）
Visual Storytelling~（VIST）是根据给定的照片流讲述关于某个主题的叙事故事的任务。现有的研究集中在设计复杂的模型，这依赖于大量的人类注释的数据。然而，VIST的标注是非常昂贵的，并且由于长尾主题分布，许多主题无法在训练数据集中覆盖。在本文中，我们专注于提高推广能力的VIST模型，考虑Few-Shot设置。受人类讲故事的方式的启发，我们提出了一个主题自适应说书人来模拟主题间泛化的能力。在实践中，我们将基于梯度的Meta学习算法应用于多模态seq 2 seq模型，以赋予模型快速适应不同主题的能力。此外，我们还提出了一个原型编码结构来模拟主题内派生的能力。具体来说，我们编码和恢复的几个训练故事的文本作为参考，以指导在推理时的生成。实验结果表明，主题自适应和原型编码结构对Few-Shot模型在BLEU和METEOR度量上的性能都有很大的改善。进一步的个案研究表明，经过Few-Shot改编后的故事具有更强的相对性和表现力。
2020-08-11 cs.CL cs.CV cs.IR
Storytelling of Photo Stream with Bidirectional Multi-thread Recurrent Neural Network
University at Buffalo, SUNY（纽约州立大学布法罗分校）；Microsoft Research Asia（微软亚洲研究院）
视觉叙事旨在生成人类水平的叙事语言（即，具有多个句子的自然段落）。一个典型的照片故事由一个全局时间轴和多线程本地故事情节组成，其中每个故事情节发生在一个不同的场景中。这种复杂的结构导致连续照片之间的场景转换处的大的内容间隙。大多数现有的图像/视频描述方法只能实现有限的性能，因为传统的递归神经网络（RNN）中的单元在视觉序列不一致时倾向于“忘记”先前的状态。本文提出了一种基于双向多线程循环神经网络（BMRNN）的视觉故事讲述方法。首先，基于挖掘出的局部故事情节，提出了具有延迟控制的跳跃门控递归单元（sGRU）来保持较长范围的视觉信息。其次，通过使用sGRU作为基本单元，BMRNN被训练成将局部故事情节对齐到全局顺序时间轴中。第三，提出了一种新的训练计划，与故事情节约束的目标函数，共同考虑全局和局部匹配。在三个标准故事集上的实验表明，BMRNN模型的性能优于最先进的方法。
2016-06-02 cs.CV
AttriStory: Fine-grained Attribute Realization for Visual Storytelling with Diffusion Models
Indian Institute of Science（印度科学研究院）
本文提出AttriStory基准，通过细粒度属性实现提升视觉叙事的质量，引入了在早期去噪步骤中操作的潜在优化模块，并通过AttriLoss目标增强属性-对象对的对齐度，从而实现更精确的属性定位。
2026-05-20 cs.CV
Intelligent Grimm -- Open-ended Visual Storytelling via Latent Diffusion Models
Coop. Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学合作媒体网络创新中心）；Meituan Inc.（美团公司）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出 StoryGen 自回归潜在扩散模型与 StorySalon 数据集，利用视觉-语言上下文实现无需优化的开放式连贯图像序列生成。
2024-03-04 cs.CV
FreeStory: Training-Free Character Consistency for Free-Form Visual Storytelling
Department of Computer Science, Georgetown University（乔治城大学计算机科学系）
提出FreeStory框架，通过实体锚定的特征复用，在自由形式提示下实现角色一致性，无需训练，并引入FreeStoryBench基准。
2026-07-07 cs.CV
The Lost Melody: Empirical Observations on Text-to-Video Generation From A Storytelling Perspective
Keio University（庆应义塾大学）；The University of Tokyo（东京大学）
本文从叙事视角研究文本生成视频任务，指出现有模型仅关注单场景视觉元素、缺乏叙事能力的局限，提出了视频叙事维度的评估框架并探讨未来方向。
2024-05-13 cs.CV
ViSTA: Visual Storytelling using Multi-modal Adapters for Text-to-Image Diffusion Models
Department of Computer Science, Georgetown University（计算机科学系，乔治城大学）
ViSTA通过多模态历史适配器提升文本到图像扩散模型在视觉叙事中的生成一致性与文本对齐能力。
2026-01-15 cs.CV
SCO-VIST: Social Interaction Commonsense Knowledge-based Visual Storytelling
School of Computer Science, The University of Sydney（悉尼大学计算机科学学院）；School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院）
针对现有视觉叙事模型缺乏社交常识的问题，提出SCO-VIST框架，通过融入人类行为动机与社交交互常识构建带权故事图，用Floyd-Warshall算法生成故事线，在多类评估指标上表现更优。
2024-02-01 cs.AI cs.CV
Keep it Consistent: Topic-Aware Storytelling from an Image Stream via Iterative Multi-agent Communication
Fudan University（复旦大学）；Tencent AI Lab（腾讯人工智能实验室）；Zhejiang Lab（之江实验室）
视觉叙事的目的是从一系列图像自动生成一个叙事段落。现有的方法为每个图像独立地构建文本描述，并粗略地将它们连接为一个故事，这导致生成语义不连贯的内容的问题。在本文中，我们通过引入主题描述任务来检测图像流的全局语义上下文，提出了一种新的视觉讲故事方式。然后在主题描述的指导下构建故事。为了将这两个生成任务结合起来，我们提出了一个多智能体通信框架，将主题描述生成器和故事生成器看作两个Agent，通过迭代更新机制同时学习它们。我们验证了我们的方法在VIST数据集上，定量结果，消融和人类评价证明了我们的方法在生成更高质量的故事方面的良好能力，与最先进的方法相比。
2020-10-30 cs.AI cs.CL cs.CV
Character-Centric Storytelling
Aalto University（阿尔托大学）
顺序视觉到语言或视觉故事讲述最近成为计算机视觉和语言建模领域的焦点领域之一。虽然现有的模型生成的叙事主观上读起来很好，但在某些情况下，这些模型可能会错过生成故事的机会，这些故事可以解释和解决图像序列中所有潜在的人类和动物角色。考虑到这种情况下，我们提出了一个模型，隐式地学习提供的字符之间的关系，从而生成的故事与各自的字符范围。为此，我们使用了VIST数据集，并报告了数据集上的许多统计数据。最后，我们描述了模型，解释了实验，并讨论了我们的现状和未来的工作。
2020-01-06 cs.CL cs.CV
Hierarchically Structured Reinforcement Learning for Topically Coherent Visual Story Generation
Microsoft Research（微软研究院）；University of Florida（佛罗里达大学）；JD AI Research（京东人工智能研究院）
我们提出了一个层次结构的强化学习方法来解决规划的挑战，为视觉讲故事的任务产生连贯的多句故事。在我们的框架内，给定图像序列生成故事的任务被划分为两级分层解码器。高级解码器通过生成语义概念（即，主题）中的每一个图像序列。低级解码器使用语义组成网络为每个图像生成句子，该语义组成网络有效地基于以主题为条件的句子生成。这两个解码器使用强化学习进行端到端联合训练。我们评估我们的模型上的视觉讲故事（VIST）数据集。来自自动和人工评估的实证结果表明，与强平深度强化学习基线相比，所提出的分层结构强化训练实现了显著更好的性能。
2019-01-18 cs.AI cs.CV cs.LG
Customized Visual Storytelling with Unified Multimodal LLMs
National Taiwan University（国立台湾大学）；NVIDIA（英伟达）
本文提出VstoryGen框架，整合文本描述与角色背景参考，实现定制化故事生成。通过参数高效提示微调电影数据，增强电影多样性。建立两个新基准测试，评估多模态叙事的连贯性、文本-视觉对齐和镜头类型控制。
2026-03-29 cs.CV
StoryMem: Multi-shot Long Video Storytelling with Memory
S-Lab, Nanyang Technological University（南洋理工大学S实验室）
StoryMem通过基于记忆的迭代镜头合成，实现了高质量多镜头视频叙事，提升了跨镜头一致性与审美质量。
2025-12-22 cs.CV
MAViS: A Multi-Agent Framework for Long-Sequence Video Storytelling
Virginia Tech（弗吉尼亚理工大学）；Nanyang Technological University（南洋理工大学）；Eyeline Studios（Eyeline工作室）
MAViS通过多智能体协作框架提升长序列视频生成的辅助能力、视觉质量和表达性，支持多模态输出。
2026-01-24 cs.AI cs.CV cs.MA
SubjectAnchor: Subject-Aware Memory-to-Video for Multi-Shot Storytelling
Kling AI Research（可灵AI研究院）
SubjectAnchor提出一种基于显式视觉记忆的主题感知记忆到视频生成范式，通过记忆构建、时间旋转位置编码和注意力分区，在多镜头叙事中保持主题身份与场景一致性，实验验证其跨镜头一致性优于基线。
2026-09-29 cs.CV
DramaAgent: Agentic Storytelling Video Generation
UOL（利物浦大学）；UTHealth Houston（德克萨斯大学健康科学中心休斯顿分校）；UCAS（中国科学院大学）；Peking University（北京大学）；UTS AAII（悉尼科技大学澳大利亚人工智能研究所）
DramaAgent提出分层智能体控制框架，通过故事规划、角色条件、场景合成与反思修复，提升长篇视频生成的连贯性与一致性。
2026-10-02 cs.CL cs.CV
FairyTailor: A Multimodal Generative Framework for Storytelling
IBM Research（IBM研究院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
讲故事是一项开放式的任务，需要创造性思维，需要不断的想法。用于讲故事的自然语言生成（NLG）尤其具有挑战性，因为它要求生成的文本遵循整体主题，同时保持创造性和多样性以吸引读者。在这项工作中，我们介绍了一个系统和一个基于Web的演示，FairyTailor，人在循环的视觉故事共同创作。用户可以创建一个有凝聚力的儿童童话编织生成的文本和检索图像与他们的输入。FairyTailor增加了另一种模态，并修改了文本生成过程，以生成连贯和创造性的文本和图像序列。据我们所知，这是第一个动态的多模态故事生成工具，允许文本和图像的交互式共同形成。它允许用户对共同创建的故事提供反馈并分享他们的结果。
2021-07-13 cs.AI cs.CL cs.CV
Not Just a Subject: Capturing Adaptive Scene-Specific Variance for Visual Storytelling
Hanyang University（汉阳大学）
本文针对视觉叙事中现有方法无法适配场景变化的问题，提出无需训练的EOS-Story框架，通过跨上下文桥接与自适应身份保留技术，在Consistory+及扩展基准上实现了更优性能。
2026-10-16 cs.CV
Generating Storytelling Images with Rich Chains-of-Reasoning
X-LANCE Lab, School of Computer Science, Shanghai Jiao Tong University, China（X-LANCE实验室，计算机科学学院，上海交通大学，中国）；Shanghai Artificial Intelligence Laboratory, China（上海人工智能实验室，中国）；East China University of Technology, China（东华大学，中国）；University of Texas at Arlington, USA（德克萨斯大学阿灵顿分校，美国）
本文提出StorytellingPainter，通过结合大语言模型推理与文本到图像合成，生成具有丰富推理链的叙事图像，并引入评估框架和轻量级模型以提升生成效果。
2026-01-07 cs.CL cs.CV
Entity Re-identification in Visual Storytelling via Contrastive Reinforcement Learning
INESC-ID（INESC-ID研究所）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学技术学院，里斯本大学）
针对视觉叙事中跨帧实体身份难以保持的问题，提出对比强化学习方法，利用合成负样本和Direct Preference Optimization微调Qwen2.5-VL 7B模型，显著提升了实体重识别、指代准确率及故事结构质量。
2025-07-11 cs.CV
DeCorStory: Gram-Schmidt Prompt Embedding Decorrelation for Consistent Storytelling
Birbhum Institute of Engineering and Technology（比尔布尔理工学院）；Universiti Malaya（马来亚大学）
DeCorStory通过Gram-Schmidt提示嵌入去相关和跨注意力机制，提升文本到图像叙事中的一致性和稳定性。
2026-02-01 cs.CV
Openstory++: A Large-scale Dataset and Benchmark for Instance-aware Open-domain Visual Storytelling
South China University of Technology（华南理工大学）；Westlake University（西湖大学）；Foundation Model Research Center, CASIA（中国科学院自动化研究所基础模型研究中心）；OPPO US Research Center（OPPO美国研究中心）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文提出 Openstory++ 大规模数据集与 Cohere-Bench 基准，通过实例级标注和实体中心训练方法，解决长上下文下多图像实例一致性问题，显著提升开放域视觉叙事生成能力。
2024-08-07 cs.CV
Storybooth: Training-free Multi-Subject Consistency for Improved Visual Storytelling
Meta GenAI；Australian National University（澳大利亚国立大学）
本文提出无需训练的StoryBooth方法，通过有界跨帧自注意力和token合并层解决多角色生成中的自注意力泄漏问题，提升多主体及细粒度一致性。
2025-04-08 cs.CV cs.LG cs.MM
Animate-A-Story: Storytelling with Retrieval-Augmented Video Generation
Hong Kong University of Science and Technology（香港科技大学）；Tencent AI Lab（腾讯人工智能实验室）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；The Chinese University of Hong Kong（香港中文大学）
本文提出Animate-A-Story框架，通过运动结构检索与结构引导的文本到视频合成，并结合概念个性化，生成连贯且角色一致的故事视频。
2023-07-13 cs.CV
Evolving Storytelling: Benchmarks and Methods for New Character Customization with Diffusion Models
Nanyang Technological University（南洋理工大学）
针对扩散模型在少样本视觉叙事中难以融入并保持新角色一致性的问题，本文构建 NewEpisode 基准并提出 EpicEvo，通过对抗性角色对齐与知识蒸馏实现单故事新角色定制。
2024-05-20 cs.CV
Hierarchical Knowledge Graphs for Story Understanding in Visual Narratives
Yale University（耶鲁大学）
该研究提出分层知识图谱框架，通过面板、事件、宏观事件三层符号图建模视觉叙事内容，在Manga109子集上支持四项可解释推理任务，强调建模透明度，为叙事分析及相关应用奠定基础。
2025-11-15 cs.AI cs.CV cs.MM
Video Storytelling: Textual Summaries for Events
National University of Singapore（新加坡国立大学）；University of Minnesota（明尼苏达大学）
在计算机视觉和多媒体研究中，将视觉和自然语言连接起来是一个长期的目标。虽然早期的作品专注于生成一个单一的句子描述的视觉内容，最近的作品研究段落生成。在这项工作中，我们介绍了视频讲故事的问题，其目的是为长视频生成连贯和简洁的故事。视频叙事带来了新的挑战，主要是由于故事的多样性以及视频的长度和复杂性。我们提出了新的方法来应对这些挑战。首先，我们提出了一个用于多模态嵌入学习的上下文感知框架，在这个框架中，我们设计了一个残差双向递归神经网络来利用来自过去和未来的上下文信息。其次，我们提出了一个叙事者模型来发现潜在的故事情节。叙述者被制定为一个强化学习代理，它是通过直接优化生成的故事的文本度量来训练的。我们在视频故事数据集上评估了我们的方法，这是我们为进行研究而收集的一个新数据集。我们将我们的方法与多个最先进的基线进行比较，并表明我们的方法在定量测量和用户研究方面具有更好的性能。
2020-05-14 cs.CV cs.MM
AutoStory: Generating Diverse Storytelling Images with Minimal Human Effort
Zhejiang University（浙江大学）
提出自动化故事可视化系统AutoStory，结合大型语言模型进行布局规划与文本到图像模型生成图像，通过密集条件生成模块和多视角一致角色生成方法，以最少人工交互实现高质量、多样化且角色一致的故事图像生成。
2023-11-19 cs.CV
Character-Centered Dialogue Generation from Scene-Level Prompts
University of Maryland at College Park, United States（马里兰大学学院市分校，美国）
本研究提出了一种模块化流程，将动作级提示转化为视觉和听觉上一致的对话，丰富了基于场景的故事叙述。通过预训练的视觉-语言编码器提取高级视觉语义，并结合结构化提示引导大型语言模型生成对话。引入递归叙述银行以保持跨场景的上下文和情感一致性，最终生成具有表现力的角色条件语音，产生完整的视听叙事。
2026-05-19 cs.CV
Contextualize, Show and Tell: A Neural Visual Storyteller
Institute for Research in Applied Mathematics and Systems (IIMAS)（应用数学与系统研究所（IIMAS））；Universidad Nacional Autónoma de México (UNAM)（墨西哥国立自治大学（UNAM））
我们提出了一个用于从图像序列生成短篇小说的神经模型，该模型扩展了Vinyals等人的图像描述模型（Vinyals等人，2015年）。该扩展依赖于编码器LSTM来从图像序列中计算每个故事的上下文向量。该上下文向量被用作多个独立解码器LSTM的第一状态，每个独立解码器LSTM通过将图像嵌入作为第一输入来生成与序列中的每个图像相对应的故事的部分。我们的模型在2018年视觉讲故事挑战赛的内部赛道上显示了与METEOR指标和人类评分的竞争结果。
2018-06-03 cs.AI cs.CL cs.CV
GLAC Net: GLocal Attention Cascading Networks for Multi-image Cued Story Generation
Seoul National University（首尔国立大学）
多图像线索故事生成的任务，例如视觉故事数据集（VIST）挑战，是从给定的图像序列中组成多个连贯的句子。主要的困难是如何在整体图像的上下文中生成图像特定的句子。在这里，我们提出了一个深度学习网络模型GLAC Net，它通过结合全局-局部（glocal）注意力和上下文级联机制来生成视觉故事。该模型包括两个层次的注意力，即，整体编码水平和图像特征水平，构建图像相关句子。虽然标准的注意力配置需要大量的参数，但GLAC Net通过从编码器或图像特征的输出到句子生成器的硬连接，以非常简单的方式实现它们。通过连续地将前一句的信息传递（级联）到下一句，进一步提高了所生成故事的连贯性。我们评估了GLAC Net在视觉讲故事数据集（VIST）上的性能，并与最先进的技术相比取得了非常有竞争力的结果。我们的代码和预先训练的模型可以在这里找到。
2019-02-13 cs.CL cs.CV
Semantic Alignment for Multimodal Large Language Models
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）；Alibaba Group（阿里巴巴集团）
针对多图像跨模态指令中独立提取视觉token导致图像间关联信息丢失的问题，提出SAM模型，通过在视觉token提取过程中引入双向语义引导来对齐多图像语义，并在构建的MmLINK数据集上取得显著性能提升。
2024-08-23 cs.CV
The LLM Bottleneck: Why Open-Source Vision LLMs Struggle with Hierarchical Visual Recognition
Boston University（波士顿大学）
本文指出开源大语言模型缺乏对视觉世界的层级知识，导致视觉大语言模型在识别如水母鱼但无法识别脊椎动物时存在瓶颈，通过构建六种分类学和四个图像数据集的百万级多项选择视觉问答任务验证了这一问题。
2026-03-26 cs.AI cs.CL cs.CV
Good Visual Guidance Makes A Better Extractor: Hierarchical Visual Prefix for Multimodal Entity and Relation Extraction
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
多模态命名实体识别与关系抽取（MNER和MRE）是信息抽取中的一个基础和关键分支。然而，现有的方法MNER和MRE通常遭受错误的敏感性时，不相关的对象图像纳入文本。为了解决这些问题，我们提出了一种新的层次视觉前缀融合网络（HVPNeT）的视觉增强实体和关系抽取，旨在实现更有效和强大的性能。具体来说，我们把视觉表示作为可插入的视觉前缀，以指导错误不敏感的预测决策的文本表示。我们进一步提出了一种动态门控聚合策略，以实现层次化的多尺度视觉特征作为融合的视觉前缀。在三个基准数据集上的大量实验证明了该方法的有效性，并达到了最先进的性能。代码可在https://github.com/zjunlp/HVPNeT上找到。
2022-05-07 cs.AI cs.CL cs.CV
SPoRC-VIST: A Benchmark for Evaluating Generative Natural Narrative in Vision-Language Models
Georgia Institute of Technology（佐治亚理工学院）
SPoRC-VIST基准通过合成到现实训练策略评估视觉语言模型生成多说话者播客对话的自然性和深度。
2026-01-03 cs.AI cs.CV cs.LG
