LineCap: Line Charts for Data Visualization Captioning Models
Harvard University(哈佛大学)
数据可视化标题可以帮助读者理解可视化的目的,对于有视觉障碍的人来说至关重要。不良图形字幕的普遍存在以及深度学习方法在图像描述中的成功应用促使人们将类似技术用于自动图形字幕。然而,由于缺乏合适的数据集,这一领域的研究一直受到阻碍。我们介绍了LineCap,这是一个包含3,528个图形的新型图形字幕数据集,我们提供了对该数据集的管理和使用端到端深度学习模型进行自动图形字幕的见解。
2022-07-15 cs.CL cs.CV cs.LG
ConVis: Contrastive Decoding with Hallucination Visualization for Mitigating Hallucinations in Multimodal Large Language Models
Sogang University(西江大学)
为缓解多模态大语言模型幻觉问题,提出免训练对比解码方法ConVis,利用T2I模型重建图像并比较概率分布以惩罚幻觉生成,有效提升了模型可靠性。
2024-08-25 cs.AI cs.CV cs.LG
Socratic Models: Composing Zero-Shot Multimodal Reasoning with Language
Google(谷歌)
大型预训练(例如,"基础")模型根据它们所训练的数据域而展现出不同的能力。虽然这些域是通用的,但它们可能仅勉强重叠。例如,视觉语言模型(VLM)是在互联网规模的图像标题上训练的,但是大语言模型(LM)是在没有图像的互联网规模的文本上进一步训练的(例如,电子表格、SAT问题、代码)。因此,这些模型在不同领域存储不同形式的常识知识。在这项工作中,我们表明这种多样性是共生的,并且可以通过苏格拉底模型(SM)来利用:一个模块化框架,其中多个预训练模型可以由zero-shot组成,即,通过多模态通知提示,彼此交换信息并捕获新的多模态能力,而不需要微调。通过最少的工程,SM不仅与最先进的zero-shot图像描述和视频到文本检索竞争,而且还实现了新的应用,例如(i)回答关于自我中心视频的自由形式的问题,(ii)参与与人的多模态辅助对话(例如,用于烹饪食谱)通过与外部API和数据库(例如,网络搜索),以及(iii)机器人感知和规划。
2022-05-27 cs.AI cs.CL cs.CV
Story Generation from Visual Inputs: Techniques, Related Tasks, and Challenges
该综述聚焦视觉输入故事生成领域,梳理相关方法的原理、优缺点,介绍图像视频字幕、视觉问答等关联任务,分析主流数据集与评估指标的局限,为领域发展提供参考。
2025-08-30 cs.AI cs.CV
Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization
Georgia Institute of Technology(佐治亚理工学院);Facebook AI Research(Facebook人工智能研究院)
我们提出了一种技术,用于从一大类基于CNN的模型中为决策生成“视觉解释”,使其更加透明。我们的方法-加权类激活映射(Grad-CAM),使用任何目标概念的梯度,流入最终的卷积层,以产生一个粗略的定位图,突出图像中的重要区域,用于预测概念。Grad-CAM适用于各种各样的CNN模型家族:(1)具有全连接层的CNN,(2)用于结构化输出的CNN,(3)用于具有多模态输入或强化学习的任务的CNN,而无需任何架构更改或重新训练。我们将Grad-CAM与细粒度可视化相结合,以创建高分辨率的类区分可视化,并将其应用于现成的图像分类,字幕和视觉问答(VQA)模型,包括基于ResNet的架构。在图像分类模型的背景下,我们的可视化(a)可以深入了解它们的故障模式,(b)对对抗图像具有鲁棒性,(c)在定位方面优于以前的方法,(d)更忠实于底层模型,(e)通过识别数据集偏差来帮助实现泛化。对于字幕和VQA,我们表明,即使是非注意力为基础的模型可以本地化的输入。我们设计了一种通过Grad-CAM识别重要神经元的方法,并将其与神经元名称相结合,为模型决策提供文本解释。最后,我们设计并进行人体研究来衡量Grad-CAM是否可以帮助用户建立对模型预测的适当信任,并表明Grad-CAM可以帮助未经训练的用户成功地从“较弱”的节点中辨别出“较强”的节点,即使两者都做出相同的预测。我们的代码可以在https://gi…
2019-12-03 cs.AI cs.CV cs.LG
Can They Dixit? Yes they Can! Dixit as a Playground for Multimodal Language Model Capabilities
University of Maryland(马里兰大学)
针对静态基准和主观比较的缺陷,提出基于Dixit游戏的评估框架,通过竞争性游戏全面衡量多模态语言模型能力,实验显示其胜率排名与主流基准一致,并揭示智能体策略差异。
2025-10-22 cs.AI cs.CL
ViCo: Engaging Video Comment Generation with Human Preference Rewards
Renmin University of China(中国人民大学);Microsoft Research Asia(微软亚洲研究院)
针对视频评论吸引力难量化、高质量训练样本稀缺的问题,提出ViCo模型,通过去偏点赞数作偏好代理、训练奖励模型、用奖励反馈优化生成器,结合新收集的ViCo-20k数据集,实现了更具吸引力的视频评论生成效果。
2023-08-22 cs.CL cs.CV
SPoRC-VIST: A Benchmark for Evaluating Generative Natural Narrative in Vision-Language Models
Georgia Institute of Technology(佐治亚理工学院)
SPoRC-VIST基准通过合成到现实训练策略评估视觉语言模型生成多说话者播客对话的自然性和深度。
2026-01-03 cs.AI cs.CV cs.LG
Manimator: Transforming Research Papers into Visual Explanations
Department of Computer Science and Engineering, PES University, Bengaluru, India(计算机科学与工程系,PES大学,班加罗尔,印度)
本文提出开源系统Manimator,利用大型语言模型和Manim引擎将研究论文转化为解释性动画,通过双LLM流水线生成可执行代码,为复杂STEM主题快速创建可视化教育内容。
2025-07-18 cs.AI cs.CY cs.MM
Vision language models are unreliable at trivial spatial cognition
Navy Center for Applied Research in Artificial Intelligence(海军人工智能应用研究中心);US Naval Research Laboratory(美国海军研究实验室)
本研究通过新基准TableTest评估视觉语言模型在琐碎空间认知上的可靠性,发现逻辑等价提示词变化会降低性能,揭示了其空间推理局限及改进训练语料库的机会。
2025-04-22 cs.AI cs.CV
Summaries, Highlights, and Action items: Design, implementation and evaluation of an LLM-powered meeting recap system
University of Michigan(密歇根大学);Microsoft(微软公司)
针对固定长度会议摘要难以满足多样化需求的问题,结合认知科学与话语理论设计两种互补的会议回顾形式,落地为基于对话摘要的高保真原型并经7名微软用户验证有效,提出相关设计启示。
2025-03-20 cs.AI cs.HC cs.IR
Large Models in Dialogue for Active Perception and Anomaly Detection
Aristotle University of Thessaloniki(亚里士多德塞萨洛尼基大学)
提出基于LLM的模型对话框架,通过双模型协同控制无人机实现主动感知与异常检测,超越静态方法。
2025-01-27 cs.AI cs.CV
Identifying Multi-modal Knowledge Neurons in Pretrained Transformers via Two-stage Filtering
Meiji University(明治大学)
本研究提出基于MiniGPT-4的两阶段过滤方法,通过图像修复激活差异和GradCAM梯度过滤识别多模态知识神经元,提升了知识定位精度,促进了MLLMs的可解释性与知识控制。
2025-03-29 cs.AI cs.LG cs.MM
Improving Captioning for Low-Resource Languages by Cycle Consistency
IBM Research - China(IBM中国研究院)
近年来,利用英文字幕数据集来提高低资源语言的字幕性能受到了越来越多的研究兴趣。现有的工作主要分为两类:预防为主和预防为主的方法。在本文中,我们建议在一个统一的体系结构中结合这两种方法的优点。具体来说,我们使用预先训练好的英文字幕模型来生成高质量的英文字幕,然后将图像和生成的英文字幕一起生成低资源语言字幕。我们通过在图像区域、英语单词和低资源语言单词的循环上添加循环一致性约束来提高字幕性能。此外,我们的架构有一个灵活的设计,使它能够受益于大型单语英语字幕数据集。实验结果表明,我们的方法优于国家的最先进的方法对常见的评价指标。注意力可视化实验也表明,该方法确实提高了单词和图像区域之间的细粒度对齐。
2019-08-21 cs.CL cs.MM
Improving Generation and Evaluation of Visual Stories via Semantic Consistency
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
故事可视化是一个未被充分开发的任务,它处于计算机视觉和自然语言处理中许多重要研究方向的交叉点。在这个任务中,给定一系列组成故事的自然语言标题,智能体必须生成与标题对应的图像序列。先前的工作已经引入了经常性的生成模型,在这项任务上优于文本到图像的合成模型。然而,在视觉质量、连贯性和相关性方面,生成的图像还有改进的余地。我们提出了一些改进以前的建模方法,包括(1)增加了一个双重学习框架,利用视频描述,以加强故事和生成的图像之间的语义对齐,(2)复制转换机制,顺序一致的故事可视化,(3)基于MART的Transformers器模型帧之间的复杂交互。我们目前的消融研究,以证明这些技术对模型的生成能力的影响,无论是个人的形象,以及整个叙事。此外,由于任务的复杂性和生成性,标准的评估指标不能准确地反映性能。因此,我们还提供了模型的评估指标的探索,侧重于生成的帧的方面,如生成的字符的存在/质量,与字幕的相关性,以及生成的图像的多样性。我们还提出了我们提出的自动化指标与人类评价的相关性实验。代码和数据可在https://github.com/adymaharana/StoryViz上获得
2021-05-20 cs.AI cs.CL cs.CV
Accessible Visualization via Natural Language Descriptions: A Four-Level Model of Semantic Content
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
自然语言描述有时伴随着可视化,以更好地传达和情境化他们的见解,并提高残疾读者的可访问性。然而,很难评估这些描述的有用性,以及它们如何有效地改善对有意义信息的访问,因为我们对它们所传达的语义内容以及不同读者如何接收这些内容知之甚少。作为回应,我们引入了一个概念模型的语义内容所传达的自然语言描述的可视化。通过对2,147个句子的扎根理论分析,我们的模型跨越了四个层次的语义内容:列举可视化构造属性(例如,标记和编码);报告统计概念和关系(例如,极值和相关性);识别感知和认知现象(例如,复杂的趋势和模式);以及阐明特定领域的见解(例如,社会和政治背景)。为了证明我们的模型可以应用于评估可视化描述的有效性,我们进行了一个混合方法的评估与30个盲人和90个视力正常的读者,并发现这些读者群体显着不同的语义内容,他们排名为最有用的。总之,我们的模型和研究结果表明,访问有意义的信息是强烈的读者特定的,在自动可视化字幕的研究应面向描述,更丰富的沟通整体趋势和统计数据,读者的喜好敏感。我们的工作为自然语言作为一种与可视化同等重要的数据接口的研究开辟了新的空间。
2021-10-08 cs.CL cs.HC
PeopleMap: Visualization Tool for Mapping Out Researchers using Natural Language Processing
Georgia Institute of Technology(佐治亚理工学院);Fayetteville State University(费耶特维尔州立大学)
在机构中发现研究专长可能是一项艰巨的任务。人工管理的大学目录很容易过时,而且它们往往缺乏了解研究人员兴趣和过去工作所需的信息,这使得探索机构研究的多样性和识别研究人才变得更加困难。这导致内部和外部实体失去了发现新联系和培养研究合作的机会。为了解决这个问题,我们开发了PeopleMap,这是第一个基于Web的交互式开源工具,它通过利用自然语言处理(NLP)技术生成的嵌入,根据研究人员的研究兴趣和出版物直观地“绘制”研究人员。PeopleMap为机构提供了一种新的吸引人的方式来总结他们的研究人才,并为人们发现新的联系。该平台的开发考虑到了易用性和可持续性。PeopleMap仅使用研究人员的Google Scholar个人资料作为输入,任何机构都可以使用其公开访问的存储库和详细文档来轻松采用。
2020-06-10 cs.CL cs.DL cs.HC
SingaKids: A Multilingual Multimodal Dialogic Tutor for Language Learning
Nanyang Technological University, Singapore(新加坡南洋理工大学);National Institute of Education (NIE), Singapore(新加坡国家教育研究所);Institute for Infocomm Research (I 2 R), A*STAR, Singapore(新加坡资讯与通信研究院(I2R))
SingaKids是一个面向儿童语言学习的多语言多模态对话式导师系统,通过图片描述任务并结合密集图像描述、多语言对话、语音理解与生成技术,在四种语言中实现沉浸式教学,实证表明能有效提升不同水平学习者的学习效果。
2025-06-03 cs.AI cs.CL
Natural Language Generation for Visualizations: State of the Art, Challenges and Future Directions
York University(约克大学)
本文系统综述了面向可视化的自然语言生成研究,提出基于五个Wh问题的分类体系,梳理任务定义、解决方案设计空间及文本与可视化的集成方式,并讨论了关键挑战与未来研究方向。
2024-09-29 cs.CL
Mining Contextualized Visual Associations from Images for Creativity Understanding
Columbia University(哥伦比亚大学)
本文提出可扩展至未标注图像的情境化视觉关联挖掘方法,据此为 MSCOCO 构建170万条分层抽象的创意描述,并提升创意领域零样本图文检索性能。
2025-07-25 cs.CL cs.CV