VietMEAgent: Culturally-Aware Few-Shot Multimodal Explanation for Vietnamese Visual Question Answering
Faculty Of Information Technology, VNU University of Engineering and Technology（信息科技学院，越南工程与技术大学）；IT-BT Convergence Technology Division, Vietnam-Korea Institute of Science and Technology（IT-BT融合技术部，越南-韩国科学技术院）；TADI Global Lab, TADI Global Company Limited（TADI全球实验室，TADI全球公司）；Faculty of Finance, Banking Academy of Vietnam（金融学院，越南银行学院）
针对当代VQA系统在越南文化特定内容上的限制，本文提出VietMEAgent多模态可解释框架，通过集成文化对象检测、结构化程序生成层及双模态解释模块，结合越南文化实体知识库，提升文化理解能力并提供透明解释。
2025-11-12 cs.CV
Towards Perceiving Small Visual Details in Zero-shot Visual Question Answering with Multimodal LLMs
University of Southern California（南加州大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本文探讨了多模态大语言模型在零样本视觉问答中对微小视觉细节感知的局限性，发现其准确率随视觉主体尺寸下降高达46%，并提出五种自动视觉裁剪方法显著提升了模型零样本性能。
2024-02-12 cs.CL cs.CV
Answer-Me: Multi-Task Open-Vocabulary Visual Question Answering
Google Research（谷歌研究院）
我们提出了一个任务感知的多任务框架，它统一了各种问答任务，如视觉问答，视觉蕴涵，视觉推理。与以前使用对比或生成式字幕训练的作品相比，我们提出了一种新颖而简单的方法来预训练视觉-语言联合模型，该模型也是多任务的。预训练仅使用有噪声的图像描述数据，并且被制定为使用具有强语言编码器和解码器的端到端的整个架构。我们的研究结果显示了最先进的性能，zero-shot泛化，对遗忘的鲁棒性，以及在各种问答任务中具有竞争力的单任务结果。我们的多任务混合训练从各种问题意图的任务中学习，从而更好地泛化，包括zero-shot视觉语言任务。我们在具有挑战性的多任务和开放词汇设置中进行实验，并跨越各种数据集和任务，如VQA 2.0，SNLI-VE，NLVR 2，GQA。我们观察到，所提出的方法是能够推广到看不见的任务，更多样化的混合物导致更高的准确性，在已知的和新的任务。
2022-11-30 cs.CV
Multi-Agent VQA: Exploring Multi-Agent Foundation Models in Zero-Shot Visual Question Answering
University of Pennsylvania（宾夕法尼亚大学）
本文提出自适应多智能体系统 Multi-Agent VQA，通过将专门化智能体作为工具克服基础模型在目标检测与计数上的局限，探索其在零样本视觉问答任务中的性能表现，并展示初步实验结果与失败案例以指明未来研究方向。
2024-03-21 cs.AI cs.CL cs.CV
Evaluating Zero-Shot GPT-4V Performance on 3D Visual Question Answering Benchmarks
CoStrategist R&D Group, Microsoft Mixed Reality（微软混合现实 CoStrategist 研发组）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究评估GPT-4V和GPT-4在3D VQA基准上的零样本性能，发现无需微调即可与封闭词汇方法持平，且场景特定词汇能显著提升智能体表现。
2024-05-29 cs.CV cs.LG
Investigating Prompting Techniques for Zero- and Few-Shot Visual Question Answering
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
本文研究视觉语言模型在零样本与少样本视觉问答中的提示策略，发现问题模板选择、图像描述增强、自一致性推理及LLM引导预处理能有效提升模型性能。
2025-02-09 cs.CL cs.CV
Plug-and-Play VQA: Zero-shot VQA by Conjoining Large Pretrained Models with Zero Training
Salesforce Research（Salesforce研究院）；Nanyang Technological University（南洋理工大学）
视觉问答是视觉和语言推理的一个重要标志，也是zero-shot情境下的一项具有挑战性的任务。我们提出了即插即用VQA（PNP-VQA），一个模块化的框架zero-shot VQA。与大多数现有的工程，这需要大量的适应预训练的语言模型（PLM）的视觉模态，PNP-VQA不需要额外的培训的PLM。相反，我们建议使用自然语言和网络解释作为中间表示，将预训练的模型粘合在一起。我们首先生成问题引导的信息图像标题，并将标题传递给PLM作为问答的上下文。PNP-VQA超越了端到端的训练基线，在zero-shot VQAv 2和GQA上实现了最先进的结果。使用11 B参数，它在VQAv 2上的性能比80 B参数Flamingo模型高出8.5%。在738 M PLM参数下，PNP-VQA比FewVLM在740 M PLM参数下的GQA提高了9.1%。代码发布于https://github.com/salesforce/LAVIS/tree/main/projects/pnp-vqa
2023-03-20 cs.CV
Zero-shot Visual Question Answering with Language Model Feedback
Renmin University of China（中国人民大学）；Université de Montréal（蒙特利尔大学）
本文提出LAMOC方法，通过语言模型反馈引导captioning模型生成更符合任务目标的描述，在零样本知识型VQA中取得优于竞争方法的效果。
2023-05-26 cs.CL cs.CV
Improving Zero-shot Visual Question Answering via Large Language Models with Reasoning Question Prompts
East China Normal University（华东师范大学）；Alibaba Group（阿里巴巴集团）；Hefei University of Technology（合肥工业大学）
提出推理问题提示方法，通过生成自包含问题激活大语言模型在零样本视觉问答中的潜力，在多个数据集上显著提升性能。
2023-11-15 cs.AI cs.CV
An Empirical Study of GPT-3 for Few-Shot Knowledge-Based VQA
Microsoft Corporation（微软公司）
基于知识的视觉问答（VQA）涉及回答需要图像中不存在的外部知识的问题。现有的方法首先从外部资源中检索知识，然后对所选择的知识、输入图像和问题进行推理以预测答案。然而，这种两步方法可能会导致失配，从而可能限制VQA性能。例如，检索到的知识可能是嘈杂的和无关的问题，在推理过程中重新嵌入的知识特征可能会偏离其在知识库（KB）中的原始含义。为了解决这一挑战，我们提出了PICa，一个简单而有效的方法，通过使用图像标题，基于知识的VQA，验证GPT 3。受GPT-3在知识检索和问答中的强大功能的启发，我们将GPT-3视为一个隐式和非结构化的知识库，而不是像以前的工作那样使用结构化知识库，可以联合获取和处理相关知识。具体来说，我们首先将图像转换为GPT-3可以理解的标题（或标签），然后通过仅提供一些上下文VQA示例，以Few-Shot的方式调整GPT-3以解决VQA任务。我们通过仔细研究来进一步提高性能：（i）什么文本格式最好地描述图像内容，以及（ii）如何更好地选择和使用上下文示例。PICa开启了GPT-3在多模式任务中的首次使用。通过仅使用16个示例，PICa在OK-VQA数据集上的绝对值为+8.6点，超过了最先进的监督水平。我们还在VQAv 2上对PICa进行了基准测试，其中PICa也显示出不错的Few-Shot性能。
2022-09-14 cs.CV
MUST-VQA: MUltilingual Scene-text VQA
University of Florence（佛罗伦萨大学）；Computer Vision Center, UAB（巴塞罗那自治大学计算机视觉中心）
在本文中，我们提出了一个框架，多语言场景文本视觉问答，处理新的语言在一个zero-shot的时尚。具体来说，我们认为场景文本视觉问答（STVQA）的任务，其中的问题可以问在不同的语言，它不一定是对齐的场景文本语言。因此，我们首先介绍一个自然的步骤，更广义的版本STVQA：MUST-VQA。考虑到这一点，我们讨论了两个评估方案的约束设置，即IID和zero-shot，我们证明了该模型可以执行在一个标准杆上的zero-shot设置。我们进一步提供了广泛的实验，并显示适应多语言语言模型到STVQA任务的有效性。
2022-09-14 cs.CV
CLIP Models are Few-shot Learners: Empirical Studies on VQA and Visual Entailment
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research（微软研究院）
CLIP在广泛的视觉任务中显示出卓越的zero-shot能力。以前，CLIP只被认为是一个强大的视觉编码器。然而，在从大量的图像-字幕对中通过语言监督进行预训练之后，CLIP本身也应该获得了一些用于视觉语言任务的Few-Shot能力。在这项工作中，我们的经验表明，CLIP可以是一个强大的视觉语言的Few-Shot学习者利用语言的力量。我们首先评估CLIP的zero-shot性能上一个典型的视觉问答任务，并证明了zero-shot跨模态传输能力的CLIP上的视觉蕴涵任务。然后，我们提出了一个参数高效微调策略，以提高Few-Shot性能的vqa任务。我们在视觉问答和视觉蕴涵任务上实现了有竞争力的零/Few-Shot结果，而无需引入任何额外的预训练过程。
2022-03-14 cs.CL cs.CV
Exploring Question Decomposition for Zero-Shot VQA
Northeastern University（东北大学）；NEC Laboratories America（NEC美国实验室）；UC San Diego（加州大学圣迭戈分校）
本文提出模型驱动的选择性问题分解方法，通过二次判断和纠错提升零样本VQA性能，在多个任务上取得显著准确率提升。
2023-10-25 cs.CV
Meta-Adaptive Prompt Distillation for Few-Shot Visual Question Answering
University of Edinburgh（爱丁堡大学）
本文提出元适应性提示蒸馏方法，通过固定软提示提升少样本视觉问答性能，实验表明在低数据情况下优于ICL和参数高效微调方法。
2026-03-01 cs.AI cs.CL cs.CV
Zero-Shot 3D Question Answering via Hierarchical View-to-Token Transportation
Dongsheng Wang（王东生）；Dawei Su（苏大卫）；Hui Huang（黄慧）
提出KeyVT方法，通过层级视图和令牌级输入上下文收集，结合像素特征与相机参数评估视图重要性，并利用最优传输识别代表性令牌，实现零样本3D问答性能提升。
2026-06-04 cs.CV cs.LG
Unleashing the Potential of Large Language Model: Zero-shot VQA for Flood Disaster Scenario
Shanghai University（上海大学）
本文提出零样本洪水灾害损失评估VQA模型ZFDDA，构建含2,058张图像和22,422个问答对的FFD-IQA数据集，并利用思维链示例释放大语言模型潜力，显著提升复杂问题回答准确率。
2023-12-04 cs.AI cs.CV
ZeShot-VQA: Zero-Shot Visual Question Answering Framework with Answer Mapping for Natural Disaster Damage Assessment
本文提出基于零样本学习的ZeShot-VQA框架，用于自然灾害损害评估，无需微调即可处理新数据集并生成未见过的答案。
2025-05-30 cs.CL cs.CV cs.IR
Multimodal Prompt Retrieval for Generative Visual Question Answering
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）
针对现有判别式VQA方法在低资源领域易过拟合及跨域泛化差的问题，提出多模态提示检索增强的生成模型，通过整合检索提示与多模态特征生成自由文本答案，实现零样本跨域适应，在医学VQA少样本设置下准确率提升达30%。
2023-06-30 cs.AI cs.CV
Comparative Study of Domain-adapted VLMs for General Document Visual Question Answering
Universidad Autónoma de Madrid (UAM)（马德里自治大学）；BiometricsAI（生物识别人工智能）
研究对8个开源预训练VLMs在三种文档领域的DocVQA进行全面评估，通过多种评估方式发现其在不同布局性能有差异，参数缩放影响性能，视觉理解是瓶颈，还表明少样本微调能让模型快速适应目标域文档。
2026-07-09 cs.CV cs.LG
Enhancing Visual Question Answering through Question-Driven Image Captions as Prompts
Middle East Technical University（中东技术大学）
针对零样本视觉问答的挑战，提出将问题驱动的图像描述作为提示融入大语言模型的方法，通过提取问题关键词生成定制描述，在GQA基准零样本设置下取得有竞争力的性能。
2024-04-12 cs.AI cs.CV
FilterRAG: Zero-Shot Informed Retrieval-Augmented Generation to Mitigate Hallucinations in VQA
University of Maryland, Baltimore County（马里兰大学巴尔的摩分校）
FilterRAG通过结合BLIP-VQA与检索增强生成，利用外部知识源减少视觉问答中的幻觉问题，提升模型在知识驱动和分布外场景的鲁棒性。
2026-01-24 cs.CL cs.CV cs.IR
Zero-Shot and Few-Shot Video Question Answering with Multi-Modal Prompts
Inria（法国国家信息与自动化研究所）；Univ Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息与自动化系统研究所）；Institute of Advanced Research in Artificial Intelligence (IARAI)（高级人工智能研究所（IARAI））
针对预训练视觉-语言模型在有限数据适配中的过拟合、遗忘和跨模态鸿沟问题，提出冻结主干、结合多模态提示学习与 transformer 映射网络的参数高效方法，并在多个视频问答基准的零样本和少样本设置中验证其优势。
2023-09-27 cs.CV
Pre-Training Multi-Modal Dense Retrievers for Outside-Knowledge Visual Question Answering
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对OK-VQA任务中多模态检索模型训练数据需求大的问题，提出自动数据生成流水线预训练段落检索模型，使Precision@5提升26.9%且具备零样本检索能力。
2023-06-28 cs.CL cs.CV cs.IR
Zero-Shot Video Question Answering with Procedural Programs
Carnegie Mellon University（卡内基梅隆大学）；Fujitsu Research of America（富士通美国研究院）
本文提出ProViQ，利用大语言模型生成程序化视频查询程序，通过视觉模块执行子任务，在零样本视频问答及其他视频任务上取得最先进结果。
2023-12-01 cs.CV
Shot2Story: A New Benchmark for Comprehensive Understanding of Multi-shot Videos
Bytedance Inc.（字节跳动公司）；AAII, UTS（悉尼科技大学人工智能研究院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；University of Science and Technology of China（中国科学技术大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61部门）
本文提出多镜头视频理解基准Shot2Story，包含镜头级字幕、视频摘要和问答对，并设计单镜头字幕、多镜头摘要与问答任务，证明不完美摘要也能提升视频问答性能。
2025-02-05 cs.CV
Question-Instructed Visual Descriptions for Zero-Shot Video Question Answering
MBZUAI（穆罕默德·本·扎耶德人工智能大学）
提出Q-ViD，一种利用指令感知开源视觉语言模型生成问题引导的帧描述，并借助大语言模型进行推理的零样本视频问答方法，在多个基准上达到或超越现有最优性能。
2024-07-21 cs.CV
Map-based Modular Approach for Zero-shot Embodied Question Answering
Graduate School of Informatics, Kyoto University（京都大学情报学研究科）；Sony Semiconductor Solutions（索尼半导体解决方案公司）；The University of Tokyo（东京大学）；Advanced Telecommunications Research Institute International (ATR)（国际电气通信基础技术研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；National Institute of Informatics（信息学研究所）
本文提出一种基于地图的模块化零样本具身问答方法，利用基础模型使真实机器人能在未知环境中探索建图并用自然语言回答问题，实验验证了其在虚拟与真实场景中的鲁棒性。
2024-10-13 cs.CV cs.RO
Combining Multiple Cues for Visual Madlibs Question Answering
Dept. of Computer Control and Management Engineering University of Rome, La Sapienza, Italy（罗马大学 Sapienza 计算机控制与管理工程系）；University of Illinois at Urbana Champaign, IL, USA（伊利诺伊大学厄巴纳 - 香槟分校）；University of North Carolina at Chapel Hill, NC, USA（北卡罗来纳大学教堂山分校）；University of Rome, La Sapienza, Italy（罗马大学 Sapienza）
本文提出了一种基于Visual Madlibs数据集的填空式选择题的求解方法。我们的方法不是在ImageNet分类任务上训练的通用和常用的表示，而是采用了针对场景识别、人员活动分类和属性预测等专门任务训练的网络组合。我们还提出了一种方法，从候选答案定位短语，以提供空间支持的特征提取。我们通过归一化典型相关分析（nCCA）将这些特征中的每一个与候选答案一起映射到联合嵌入空间。最后，我们解决了一个优化问题，以学习结合在多个线索上训练的nCCA模型的分数来选择最佳答案。大量的实验结果表明，一个显着的改进，在以前的国家的最先进的，并确认，回答问题的各种类型的好处，从检查各种图像线索，并仔细选择空间支持特征提取。
2018-02-07 cs.CV
ViQAgent: Zero-Shot Video Question Answering via Agent with Open-Vocabulary Grounding Validation
The Department of Electrical and Electronics Engineering（电气与电子工程系）；Universidad de los Andes（亚利桑德大学）
提出ViQAgent，一种结合思维链与YOLO-World的LLM智能体，用于零样本视频问答，通过开放词汇接地验证增强对象跟踪与对齐，在多个基准上达到最先进性能。
2025-05-21 cs.CL cs.CV
Zero-Shot Video Question Answering via Frozen Bidirectional Language Models
Inria Paris（巴黎法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；DeepMind（深度思维）；CIIRC CTU Prague（布拉格捷克理工大学捷克信息学、机器人与控制研究所）
视频问答（VideoQA）是一个复杂的任务，需要不同的多模态数据进行训练。然而，视频的问题和答案的手动注释是乏味的并且限制了可扩展性。为了解决这个问题，最近的方法考虑zero-shot设置，没有手动注释的视觉问答。特别是，一种很有前途的方法使在Web规模的纯文本数据上预训练的冻结自回归语言模型适应多模态输入。相比之下，我们在这里建立在冻结双向语言模型（BiLM），并表明这种方法提供了一个更强大，更便宜的替代zero-shot VideoQA。特别是，（i）我们结合视觉输入与冻结的BiLM使用轻可训练模块，（ii）我们训练这样的模块使用Web刮多模态数据，最后（iii）我们执行zero-shot VideoQA推理通过掩蔽语言建模，其中掩蔽的文本是一个给定的问题的答案。我们提出的方法，FrozenBiLM，在zero-shot VideoQA中的表现优于现有技术，在各种数据集上都有显著的优势，包括LSMDC-FiB，iVQA，MSRVTT-QA，MSVD-QA，ActivityNet-QA，TGIF-FrameQA，How2 QA和TVQA。它还展示了在Few-Shot和全监督设置中的竞争力。我们的代码和模型可在https://github.com/antoyang/FrozenBiLM上公开获取。
2022-10-10 cs.CL cs.CV cs.LG
Retrieving-to-Answer: Zero-Shot Video Question Answering with Frozen Large Language Models
The Chinese University of Hong Kong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）；University of Hong Kong（香港大学）；University of Surrey（萨里大学）
本文提出检索即回答（R2A）框架，通过检索相关文本并利用冻结的大型语言模型实现零样本视频问答，无需跨模态微调，以1.3B参数超越61倍大的Flamingo-80B模型。
2023-06-15 cs.CV
Improving Skin Condition Classification with a Question Answering Model
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Triage（特里奇）
我们提出了一种基于预训练卷积神经网络（CNN）和问答（QA）模型的顺序管道的皮肤状况分类方法。这种方法使我们不仅能够提高所部署的CNN系统的分类置信度和准确性，而且还能够模拟医生询问相关问题的传统方法，以改进最终的诊断和鉴别。通过将CNN输出以分类概率的形式作为QA模型和图像文本描述的先验，我们可以最大化症状的信息增益。我们证明，将QA模型与CNN相结合，与单独的CNN相比，准确度提高了10%，与单独的QA模型相比，准确度提高了30%以上。
2018-11-15 cs.CV
Combining Deep Universal Features, Semantic Attributes, and Hierarchical Classification for Zero-Shot Learning
Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
我们解决了zero-shot（ZS）学习，建立在以前的工作，分层分类结合它与基于语义属性估计的方法。对于非新颖和新颖的图像类，我们比较了问题的多个公式，在每种情况下都从深层通用特征开始。我们调查的效果，使用不同的后验概率作为输入的分层分类器，比较性能的后验来自距离SVM分类器的边界与后验的语义属性估计的基础上。使用ImageNet ILSVRC 2012数据集的150个对象类组成的数据集，我们发现，最大化非新颖类的预期奖励的分层分类方法与最大化新颖类的预期奖励的方法不同。我们还表明，使用基于语义属性的输入后验提高了新类的预期回报。
2017-12-08 cs.CV
Language Models are Causal Knowledge Extractors for Zero-shot Video Question Answering
National Taiwan University（台湾大学）；Columbia University（哥伦比亚大学）；Mobile Drive Technology（智驾科技）
针对现有QG模型难以生成因果问题导致CVidQA性能不佳的问题，提出CaKE-LM框架，利用语言模型提取因果常识知识生成问答对，在零样本准确率上提升4%至6%。
2023-04-07 cs.CL cs.CV
Layout and Task Aware Instruction Prompt for Zero-shot Document Image Question Answering
Zhejiang University（浙江大学）
针对零样本文档图像问答，提出利用空格和换行符恢复布局信息的LATIN-Prompt及提升小模型性能的LATIN-Tuning，使大模型零样本性能媲美SOTA微调效果。
2023-09-07 cs.AI cs.CL cs.CV
VideoINSTA: Zero-shot Long Video Understanding via Informative Spatial-Temporal Reasoning with LLMs
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Technical University of Munich（慕尼黑工业大学）；Siemens AG（西门子公司）
针对长视频信息冗余、时空推理难度大的问题，提出零样本长视频理解框架VideoINSTA，通过事件式时间推理、内容式空间推理及自反思信息平衡机制，在多个长视频问答基准上取得SOTA提升。
2024-10-04 cs.CV
FM2DS: Few-Shot Multimodal Multihop Data Synthesis with Knowledge Distillation for Question Answering
Department of Computer Science（计算机科学系）；The University of British Columbia（不列颠哥伦比亚大学）；ServiceNow Research（ServiceNow研究）
本文提出FM2DS，首个用于多模态多跳问答（MMQA）高质量数据集合成的5阶段框架，并引入长文档基准M2QA-Bench；实验表明基于其合成数据训练的模型在EM得分上平均超人类收集数据1.9。
2025-09-13 cs.AI cs.CL cs.CV
Long Story Short: a Summarize-then-Search Method for Long Video Question Answering
Yonsei University（延世大学）
针对长视频叙事问答，提出Long Story Short框架，先总结情节再检索相关片段，并用CLIPCheck增强视觉匹配，在零样本设定下大幅超越监督模型。
2023-11-02 cs.AI cs.CV
An Image Grid Can Be Worth a Video: Zero-shot Video Question Answering Using a VLM
Seoul National University（首尔大学）
本文提出一种仅使用单一视觉语言模型（VLM）的零样本视频问答策略，通过将视频帧排列为网格图像保留时空信息，无需视频数据训练，在十个基准中的九个上超越现有方法。
2024-03-27 cs.AI cs.CL cs.CV
Combining Domain-Specific Meta-Learners in the Parameter Space for Cross-Domain Few-Shot Classification
School of Computing Science（计算机科学学院）；Simon Fraser University（西蒙弗雷泽大学）
Few-Shot分类的目标是学习一个模型，该模型可以仅使用几个训练样本对新类别进行分类。尽管现有的元学习算法在解决Few-Shot分类问题方面取得了可喜的成果，但仍然存在一个重要的挑战：如何在多个可见域上进行元学习的同时推广到不可见域？在本文中，我们提出了一种基于优化的元学习方法，称为组合特定领域的元学习者（CosML），解决跨域的Few-Shot分类问题。CosML首先训练一组元学习器，每个训练域一个，以学习先验知识（即，元参数）特定于每个域。域特定的元学习者，然后结合在\emph{parameter space}中，通过采取加权平均的元参数，这是用来作为一个任务网络的初始化参数，快速适应新的Few-Shot分类任务在一个看不见的域。实验结果表明，CosML的性能优于一系列最先进的方法，并实现了强大的跨领域泛化能力。
2020-10-31 cs.CV cs.LG stat.ML
Does Combining Parameter-efficient Modules Improve Few-shot Transfer Accuracy?
Noah's Ark Lab（诺亚方舟实验室）
本文研究 LoRA 模块的可组合性，发现均匀组合与学习式组合在少样本场景下均能提升迁移准确率并优于全量微调，且均匀组合无需额外可学习参数。
2024-02-23 cs.CV cs.LG
Video Question Answering on Screencast Tutorials
Adobe Research（Adobe 研究院）；Amazon Alexa AI（亚马逊 Alexa AI）
本文提出了一种新的视频问答任务的屏幕直播教程。我们介绍了一个数据集，包括问题，答案和上下文三元组从教程视频的软件。与其他视频问答作品不同，我们数据集中的所有答案都基于领域知识库。设计了一种单次识别算法提取视频问答中的视觉线索，提高了问答系统的性能。我们还提出了几个基线神经网络架构的基础上，从数据集的视频上下文的各个方面。实验结果表明，我们提出的模型显着提高问答性能，通过将多模态上下文和领域知识。
2020-08-02 cs.AI cs.CL cs.CV
LifelongMemory: Leveraging LLMs for Answering Queries in Long-form Egocentric Videos
New York University（纽约大学）
LifelongMemory通过生成活动描述并利用大语言模型的零样本推理，实现了对长格式自我中心视频的问答与检索，在EgoSchema上达到最先进性能。
2024-11-05 cs.CV cs.LG
Zero-Shot Monocular Motion Segmentation in the Wild by Combining Deep Learning with Geometric Motion Model Fusion
University of Waterloo（滑铁卢大学）
本文提出一种零样本单目运动分割方法，通过在物体候选区域上融合多种几何运动模型并结合深度学习优势，在多个基准上取得与监督方法相当甚至更优的结果。
2024-05-02 cs.AI cs.CV
Learn to Explain: Multimodal Reasoning via Thought Chains for Science Question Answering
University of California, Los Angeles（加州大学洛杉矶分校）；Allen Institute for AI（艾伦人工智能研究所）；Arizona State University（亚利桑那州立大学）
在回答问题时，人类利用不同模态的可用信息来合成一致且完整的思维链（CoT）。对于大规模语言模型等深度学习模型，这个过程通常是一个黑盒。最近，科学问题基准已被用于诊断人工智能系统的多跳推理能力和可解释性。然而，现有的数据集无法为答案提供注释，或者仅限于文本模态，小尺度和有限的域多样性。为此，我们提出了科学问答（ScienceQA），一个新的基准，由~21k多模态多项选择题与一组不同的科学主题和注释的答案与相应的讲座和解释。我们进一步设计语言模型来学习生成讲座和解释作为思维链（CoT）来模拟回答ScienceQA问题时的多跳推理过程。ScienceQA证明了CoT在语言模型中的实用性，因为CoT在Few-Shot GPT-3中将问题回答性能提高了1.20%，在微调的UnifiedQA中提高了3.99%。我们还探索了模型的上限，以通过在输入中提供解释来利用解释;我们观察到它将GPT-3的Few-Shot性能提高了18.96%。我们的分析进一步表明，与人类类似，语言模型受益于解释，可以从更少的数据中学习，并仅用40%的数据实现相同的性能。数据和代码可在www.example.com上获得。
2022-10-17 cs.AI cs.CL cs.CV
