arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2307.08247cs.CL
收藏

PAT:用于越南语视觉问答的并行注意力 Transformer

PAT: Parallel Attention Transformer for Visual Question Answering in Vietnamese

University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)

Nghia Hieu Nguyen, Kiet Van Nguyen

AI总结:

该研究提出并行注意力机制与层级语言特征提取器,构建 PAT 模型,用于越南语视觉问答,并在 ViVQA 上超过基线及 SAAA、MCAN 等方法,取得最佳准确率。

摘要:

本文提出一种名为并行注意力机制的多模态学习新方案。此外,为兼顾越南语在语法和语境方面的优势,我们提出层级语言特征提取器,而非使用 LSTM 网络提取语言特征。基于这两个新模块,我们介绍了并行注意力 Transformer(PAT)。在 ViVQA 基准数据集上,与所有基线以及包括 SAAA 和 MCAN 在内的其他 SOTA 方法相比,PAT 取得了最佳准确率。

英文摘要:

We present in this paper a novel scheme for multimodal learning named the Parallel Attention mechanism. In addition, to take into account the advantages of grammar and context in Vietnamese, we propose the Hierarchical Linguistic Features Extractor instead of using an LSTM network to extract linguistic features. Based on these two novel modules, we introduce the Parallel Attention Transformer (PAT), achieving the best accuracy compared to all baselines on the benchmark ViVQA dataset and other SOTA methods including SAAA and MCAN.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑