基于CNN-RNN架构的尼泊尔语视频字幕生成
Nepali Video Captioning using CNN-RNN Architecture
AI总结：
本研究针对尼泊尔语视频字幕生成任务，构建了补充尼泊尔语字幕的MSVD数据集，训练多种CNN-RNN架构，验证不同编码器与解码器组合的效果，最优模型取得BLEU-4得分17、METEOR得分46的结果，为该领域后续研究提供了基础资源。
摘要：
本文介绍了一项利用深度神经网络开展尼泊尔语视频字幕生成的研究。通过整合预训练CNN（卷积神经网络）与RNN（循环神经网络），研究聚焦于为尼泊尔语视频生成准确且符合语境的字幕。该方法涵盖数据集收集、数据预处理、模型实现与评估环节。研究通过Google Translate为MSVD数据集补充尼泊尔语字幕，以此训练多种CNN-RNN架构。研究探究了EfficientNetB0、ResNet101、VGG16等CNN与LSTM、GRU、BiLSTM等不同RNN解码器搭配的效果。采用BLEU和METEOR指标进行评估，最优模型为隐藏维度1024的EfficientNetB0 + BiLSTM，其BLEU-4得分为17，METEOR得分为46。本文还概述了推进尼泊尔语视频字幕生成面临的挑战与未来方向，为该领域的后续研究提供了重要资源。
英文摘要：
This article presents a study on Nepali video captioning using deep neural networks. Through the integration of pre-trained CNNs and RNNs, the research focuses on generating precise and contextually relevant captions for Nepali videos. The approach involves dataset collection, data preprocessing, model implementation, and evaluation. By enriching the MSVD dataset with Nepali captions via Google Translate, the study trains various CNN-RNN architectures. The research explores the effectiveness of CNNs (e.g., EfficientNetB0, ResNet101, VGG16) paired with different RNN decoders like LSTM, GRU, and BiLSTM. Evaluation involves BLEU and METEOR metrics, with the best model being EfficientNetB0 + BiLSTM with 1024 hidden dimensions, achieving a BLEU-4 score of 17 and METEOR score of 46. The article also outlines challenges and future directions for advancing Nepali video captioning, offering a crucial resource for further research in this area.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
