Exploiting Vietnamese Social Media Characteristics for Textual Emotion Recognition in Vietnamese
University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
文本情感识别是近年来一个很有前途的研究课题。许多研究人员致力于建立更准确和更强大的情感检测系统。在本文中,我们进行了几个实验,以表明如何数据预处理影响文本情感识别的机器学习方法。这些实验是在越南社交媒体情感语料库(VSM-VSMEC)作为基准数据集上进行的。我们探讨越南社会媒体的特点,提出不同的预处理技术,和关键句提取与情感背景,以提高机器的性能,在越南语-VSMEC。我们的实验评估表明,通过基于越南社交媒体特征的适当预处理技术,多项逻辑回归(MLR)实现了64.40%的最佳F1分数,比由ESP-VSMEC作者建立的CNN模型(59.74%)显著提高了4.66%。
2020-10-27 cs.CL
VinaLLaMA: LLaMA-based Vietnamese Foundation Model
Virtual Interactive(虚拟互动公司)
本研究推出基于LLaMA-2、额外训练8000亿token的越南语开源大模型VinaLLaMA,其对话版本在多个越南语基准上取得顶尖成绩,填补了越南本土高质量大模型的空白。
2023-12-18 cs.CL
BamiBERT: A New BERT-based Language Model for Vietnamese
Qualcomm AI Research(高通人工智能研究)
提出BamiBERT,一种从头训练的越南语BERT模型,支持2048 token上下文长度且无需分词,在15项指标中11项最优,刷新越南语编码器性能。
2026-07-03 cs.CL
ViSoBERT: A Pre-Trained Language Model for Vietnamese Social Media Text Processing
University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh City(越南国立大学胡志明市分校)
本文提出首个面向越南语社交媒体的单语预训练语言模型ViSoBERT,基于XLM-R架构在高质量多样化语料上预训练,并在情感识别、仇恨言论检测等五个下游任务上以更少参数超越先前最优模型。
2023-10-28 cs.CL
A Feature-Rich Vietnamese Named-Entity Recognition Model
Alt Vietnam Co., Ltd(Alt Vietnam Co., Ltd(Alt越南有限公司))
在本文中,我们提出了一个基于特征的命名实体识别(NER)模型,达到了越南语的最先进的准确性。我们在条件随机场(CRF)模型中结合了单词,单词形状特征,PoS,组块,基于布朗聚类的特征和基于单词嵌入的特征。我们还探讨了分词,PoS标签,和许多流行的越南NLP工具包的准确性上提出的基于特征的NER模型的分块结果的影响。到目前为止,我们的工作是第一个工作,系统地进行外部评估的基本越南NLP工具包的下游NER任务。实验结果表明,虽然自动生成的分词是有用的,越南NLP工具生成的PoS和组块信息并没有显示出他们的好处,建议基于特征的NER模型。
2018-03-12 cs.CL
Expanding Vietnamese SentiWordNet to Improve Performance of Vietnamese Sentiment Analysis Models
University of Engineering and Technology, Vietnam National University(越南国家大学工程技术大学);University of Economic and Technical Industries(经济技术工业大学);Hanoi University of Public Health(河内公共卫生大学)
本研究针对越南语情感分析任务,提出将PhoBERT-V2预训练模型与SentiWordNet词汇资源结合的新方法,在VLSP 2016、AIVIVN 2019数据集上取得了优于其他模型的性能。
2025-01-15 cs.CL
Vi-Mistral-X: Building a Vietnamese Language Model with Advanced Continual Pre-training
AgileSoDA Inc.(敏捷索达公司)
本文提出专为越南语设计的语言模型vi-mistral-x,基于Mistral架构采用分组查询与滑动窗口注意力进行持续预训练,在文本分类、问答及生成等基准上显著优于现有越南语模型。
2024-03-20 cs.CL
An Empirical Study for Vietnamese Constituency Parsing with Pre-training
University of Information Technology Vietnam National University Ho Chi Minh City(胡志明市越南国家大学信息技术大学)
在这项工作中,我们使用一个基于跨度的方法,越南选区解析。我们的方法遵循自注意编码器架构和使用CKY风格的推理算法的图表解码器。我们提出了我们的经验方法的比较的实验结果分析,使用预训练模型XLM-Roberta和PhoBERT在越南数据集VietTreebank和NIIVTB 1。结果表明,我们的XLM-Roberta模型的F1得分明显优于其他预训练模型,VietTreebank为81.19%,NIIVTB 1为85.70%。
2020-10-20 cs.CL
LSTM Easy-first Dependency Parsing with Pre-trained Word Embeddings and Character-level Word Embeddings in Vietnamese
Georgia Institute of Technology(佐治亚理工学院);Twentieth Century Fox(二十世纪福克斯公司);Starfleet Academy(星际舰队学院);Tyrell Inc.(泰瑞尔公司)
在越南语依存句法分析中,已经提出了几种方法。已经报道了使用深度神经网络模型的依赖解析器,其取得了最先进的结果。在本文中,我们提出了一种新方法,该方法将LSTM简单优先依存句法分析与预训练的词嵌入和字符级词嵌入相结合。我们的方法实现了80.91%的未标记的附件分数和72.98%的标记的附件分数的准确性在越南DepartamentTreebank(VnDT)。
2019-10-30 cs.CL
VnCoreNLP: A Vietnamese Natural Language Processing Toolkit
Newcastle University(纽卡斯尔大学);The University of Melbourne(墨尔本大学);Deakin University(迪肯大学);Macquarie University(麦考瑞大学)
我们提出了一个易于使用和快速的工具包,即VnCoreNLP-越南语的Java NLP注释管道。我们的VnCoreNLP支持关键的自然语言处理(NLP)任务,包括分词、词性(POS)标注、命名实体识别(NER)和依存句法分析,并为这些任务获得最先进的(SOTA)结果。我们发布VnCoreNLP提供丰富的语言注释,以促进越南语NLP的研究工作。我们的VnCoreNLP是开源的,可在https://github.com/vncorenlp/VnCoreNLP获得
2018-04-01 cs.CL
VLUE: A New Benchmark and Multi-task Knowledge Transfer Learning for Vietnamese Natural Language Understanding
University of Information Technology(信息科技大学);Vietnam National University(越南国家大学);Denison University(丹尼森大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出了首个越南语自然语言理解评估基准 VLUE,涵盖五个数据集,并提出基于 XLM-RoBERTa 的新模型 CafeBERT,通过额外越南语预训练在所有任务上取得最优结果。
2024-03-23 cs.CL
Vietnamese Word Segmentation with SVM: Ambiguity Reduction and Suffix Capture
University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
在本文中,我们将越南语分词作为一个二元分类,使用支持向量机分类器。我们继承了以前的作品,如音节的n-gram,音节类型的n-gram,并检查字典中相邻音节的连接。我们提出了两种新的特征提取方法,一种是减少重叠歧义,另一种是增加对含有后缀的未登录词的预测能力。与UETsegmenter和RDRsegmenter这两种最先进的越南语分词方法不同,我们不使用最长匹配算法作为初始处理步骤或任何后处理技术。根据越南基准数据集上的实验结果,我们提出的方法比现有的最先进的方法UETsegmenter和RDRsegmenter获得了更好的F1分数。
2020-06-14 cs.CL
Introducing two Vietnamese Datasets for Evaluating Semantic Models of (Dis-)Similarity and Relatedness
Institut für Maschinelle Sprachverarbeitung(机器语言处理研究所);Universität Stuttgart(斯图加特大学)
我们为低资源语言越南语提出了两个新的数据集,以评估语义相似性模型:ViCon包括跨词类的同义词和反义词对,从而提供区分相似性和不相似性的数据。ViSim-400提供了五种语义关系的相似度,由人类法官评定。这两个数据集通过标准的共现和神经网络模型进行了验证,显示出与相应的英语数据集相当的结果。
2018-04-19 cs.CL
Generative Pre-trained Transformer for Vietnamese Community-based COVID-19 Question Answering
University of Information Technology, Ho Chi Minh city, Vietnam(胡志明市信息技术大学);Vietnam National University, Ho Chi Minh city, Vietnam(越南国立大学胡志明市分校)
本文针对越南语社区COVID-19问答研究不足的问题,提出GPT-2实现方案,并通过与多种Transformer及SOTA模型的比较实验证明其性能优于现有越南语社区问答模型。
2023-10-31 cs.CL
Neural sequence labeling for Vietnamese POS Tagging and NER
Hanoi Univ of Science and Technology(河内科技大学);VCCorp(VCCorp公司)
本文提出了一种用于越南语序列标注任务的神经结构,包括词性标注和命名实体识别。我们应用了\cite{lample-EtAl:2016:N16-1}中描述的模型,该模型是双向长短期记忆和条件随机场的组合,它依赖于关于单词的两个信息源:从监督语料库中学习的基于字符的单词表示和从其他未注释语料库中学习的预训练词嵌入。在基准数据集上的实验表明,该方法在两个任务上都达到了最佳的性能:词性标注的准确率为93.52%,NER标注的F1为94.88%.我们的源代码在这里可用。
2018-11-12 cs.CL
PhoGPT: Generative Pre-training for Vietnamese
VinAI Research(VinAI研究院)
本文开源了面向越南语的40亿参数生成式预训练模型系列PhoGPT-4B及其对话变体,通过大规模语料预训练与指令微调,展现出优于以往开源模型的性能。
2024-03-22 cs.CL
Towards Cultural Bridge by Bahnaric-Vietnamese Translation Using Transfer Learning of Sequence-To-Sequence Pre-training Language Model
Ho Chi Minh City University of Technology (HCMUT)(胡志明市理工大学);Vietnam National University Ho Chi Minh City(越南胡志明市国家大学)
为解决巴拿语-越南语翻译中资源不足问题,利用基于序列到序列预训练语言模型的迁移学习方法,借助预训练越南语模型,结合有限双语资源继续训练,并通过数据增强等优化,有效实现翻译,促进民族文化交流。
2026-07-28 cs.CL
An Empirical Study of Using Pre-trained BERT Models for Vietnamese Relation Extraction Task at VLSP 2020
Aimesoft JSC(Aimesoft股份公司)
在本文中,我们提出了一个实证研究,使用预训练的BERT模型的关系抽取任务在VLSP 2020年评估活动。我们应用了两种最先进的基于BERT的模型:R-BERT和实体启动的BERT模型。对于每个模型,我们比较了两个预训练的BERT模型:FPTAI/vibert和NlpHUST/vibert 4 news。我们发现NlpHUST/vibert 4 news模型在越南语关系抽取任务中的表现明显优于FPTAI/vibert。最后,我们提出了一个集成模型,结合R-BERT和BERT与实体开始。我们提出的集成模型略有改善,对两个单一的模型的开发数据和测试数据提供的任务组织者。
2021-01-28 cs.CL
Improving Sequence Tagging for Vietnamese Text Using Transformer-based Neural Models
FPT Technology Research Institute(FPT技术研究院);FPT University(FPT大学);Vietnam National University(越南国家大学)
本文介绍了我们的研究,使用多语言BERT嵌入和一些新的神经模型,以改善越南语的序列标记任务。我们提出了新的模型架构,并在VLSP 2016和VLSP 2018的两个命名实体识别数据集以及VLSP 2010和VLSP 2013的两个词性标注数据集上对其进行了广泛的评估。我们提出的模型优于现有的方法,并取得了新的国家的最先进的结果。特别是,我们已经将VLSP 2010语料库上的词性标注准确率提高到95.40%,VLSP 2013语料库上的准确率提高到96.77%; VLSP 2016语料库上的命名实体识别的F1得分提高到94.07%,VLSP 2018语料库上的F1得分提高到90.31%。我们的代码和预训练模型viBERT和vELECTRA作为开源发布,以促进采用和进一步研究。
2020-09-25 cs.CL
An Empirical Study of Discriminative Sequence Labeling Models for Vietnamese Text Processing
College of Science, Vietnam National University(越南国立大学科学学院);FPT Technology Research Institute, FPT University(FPT大学FPT技术研究院);Alt Vietnam;FPT Technology Innovation, FPT Corp.(FPT集团FPT技术创新)
本文提出了两个广泛使用的序列预测模型,条件随机场(CRF)和长短期记忆网络(LSTM),越南语文本处理的两个基本任务,包括词性标注和命名实体识别的实证研究。我们表明,一个强大的下限标签准确性可以通过只依赖于简单的基于单词的功能,最小的手工制作的功能工程,90.65%和86.03%的性能得分的标准测试集上的两个任务分别获得。特别是,我们实证证明了惊人的效率词嵌入在这两个任务中,与两个模型。我们指出,最先进的LSTM模型并不总是优于传统的CRF模型,特别是在中等规模的数据集。最后,我们给出了一些建议和讨论,有效地使用序列标记模型在实际应用中。
2017-08-30 cs.CL
ViHateT5: Enhancing Hate Speech Detection in Vietnamese With A Unified Text-to-Text Transformer Model
Faculty of Information Science and Engineering, University of Information Technology(信息科学与工程学院,信息科技大学);Vietnam National University, Ho Chi Minh City(越南国家大学胡志明市分校)
本文提出基于T5架构并在大规模特定领域数据集VOZ-HSD上预训练的ViHateT5模型,通过统一的文本到文本架构处理多任务,在越南语仇恨言论检测基准上达到最先进性能。
2024-06-04 cs.CL
LiGT: Layout-infused Generative Transformer for Visual Question Answering on Vietnamese Receipts
University of Information Technology(信息科技大学);Vietnam National University(越南国立大学)
针对越南语收据提出大规模数据集ReceiptVQA与布局感知模型LiGT,利用语言模型嵌入处理布局信息,实验证明多模态生成式架构优于仅编码器模型。
2025-03-07 cs.CL
A Pilot Study of Text-to-SQL Semantic Parsing for Vietnamese
NVIDIA(英伟达);VinAI Research(越南人工智能研究院)
语义解析是自然语言处理的一项重要任务。然而,越南语在这一研究领域是一种低资源语言。在本文中,我们提出了第一个公共的大规模文本到SQL语义解析数据集越南。我们扩展并评估了两个强大的语义解析基线EditSQL(Zhang等人,2019)和IRNet(Guo et al.,2019年,在我们的数据集上。我们比较了两个基线的关键配置,发现:自动越南语分词提高了两个基线的分析结果;归一化逐点互信息(NPMI)得分(Bouma,2009)是有用的模式链接;潜在的句法特征提取的神经依赖分析越南语也改善了结果;用于越南语的单语语言模型PhoBERT(Nguyen和Nguyen,2020)有助于产生比最近最好的多语言语言模型XLM-R(Conneau等人,2020年)。
2020-10-05 cs.AI cs.CL
PhoBERT: Pre-trained language models for Vietnamese
VinAI Research(VinAI研究院);NVIDIA(英伟达)
我们目前的两个版本,PhoBERT基地和PhoBERT大型,第一个公共的大规模单语语言模型预训练越南语。实验结果表明,PhoBERT始终优于最近最好的预训练多语言模型XLM-R(Conneau等人,2020年),并提高了多个越南特定的NLP任务,包括词性标注,依存句法分析,命名实体识别和自然语言推理的最新技术水平。我们发布PhoBERT是为了促进越南NLP的未来研究和下游应用。我们的PhoBERT模型可在https://github.com/VinAIResearch/PhoBERT上获得
2020-10-05 cs.AI cs.CL
VietNormalizer: An Open-Source, Dependency-Free Python Library for Vietnamese Text Normalization in TTS and NLP Applications
Australian Catholic University(澳大利亚天主教大学);FPT University(FPT大学);ICMS;RMIT University(拉筹伯大学);NGHI Studio(NGHI工作室);Phuong Hai JSC(Phuong Hai公司)
VietNormalizer是一个开源Python库,提供无依赖的越南文文本规范化功能,支持TTS和NLP应用,通过统一的规则流程处理多种非标准词汇转换。
2026-03-04 cs.CL cs.NE
ViDeBERTa: A powerful pre-trained language model for Vietnamese
FPT AI Center(FPT人工智能中心);Microsoft(微软);University of California San Diego(加州大学圣地亚哥分校);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文介绍了ViDeBERTa,一个新的预训练的单语语言模型越南语,有三个版本- ViDeBERTa_xsmall,ViDeBERTa_base和ViDeBERTa_large,这是预先训练的大规模语料库的高质量和多样化的越南语文本使用DeBERTa架构。尽管许多基于Transformer的成功的预训练语言模型已经被广泛地提出用于英语语言,但是仍然很少有用于越南语的预训练模型,越南语是一种低资源语言,在下游任务上表现良好,特别是问答。我们对三个重要的自然语言下游任务,词性标注,命名实体识别和问答,我们的模型进行微调和评估。实证结果表明,ViDeBERTa与少得多的参数超过了以前的国家的最先进的模型在多个越南特定的自然语言理解任务。值得注意的是,具有86 M参数的ViDeBERTa_base仅为具有370 M参数的PhoBERT_large的约23%,仍然比以前的最先进模型执行相同或更好的结果。我们的ViDeBERTa模型可在https://github.com/HySonLab/ViDeBERTa上获得。
2023-02-10 cs.CL cs.LG
VIVID: A Culturally Grounded Benchmark Exposing the Figurative Language Gap in Vietnamese NLP
研究团队构建了首个越南文化比喻语言基准VIVID,评估发现越南专用NLP模型远弱于多语言系统,顶尖模型得分不足满分50%,少样本提示未必提升性能,VIVID为相关研究提供关键工具。
2026-08-05 cs.CL cs.LG
Investigating Monolingual and Multilingual BERTModels for Vietnamese Aspect Category Detection
University of Information Technology(信息科技大学);Vietnam National University(越南国家大学)
方面类别检测(ACD)是基于特征的情感分析问题中具有挑战性的任务之一。此任务的目的是从一组预定义的类别中识别用户生成的评论中提到的方面类别。在本文中,我们研究了各种单语预训练的语言模型的性能相比,多语言模型的越南方面类别检测问题。我们在餐厅和酒店领域的两个基准数据集上进行实验。在两个数据集上的实验结果表明,单语PhoBERT模型比其他模型更有效。我们还基于其他语言的SemEval-2016数据集与越南语数据集的组合评估了多语言模型的性能。据我们所知,我们的研究是第一次尝试在方面类别检测任务上执行各种可用的预训练语言模型,并利用基于多语言模型的其他语言的数据集。
2021-03-17 cs.CL cs.LG
Hate Speech Detection on Vietnamese Social Media Text using the Bidirectional-LSTM Model
University of Information Technology, VNU-HCM(胡志明市国家大学信息技术大学)
在本文中,我们描述了我们的系统,它参与了VLSP 2019评估活动的社交网络上的仇恨语音检测的共享任务。我们为社交媒体评论或帖子提供了预标记数据集和未标记数据集。我们的任务是预处理和构建机器学习模型来对评论/帖子进行分类。在这份报告中,我们使用双向长短期记忆来构建模型,可以根据干净,冒犯,仇恨来预测社交媒体文本的标签。使用该系统,我们在VLSP 2019的公共标准测试集上获得了71.43%的比较结果。
2019-11-09 cs.CL cs.LG
BERT-based model for Vietnamese Fact Verification Dataset
Faculty of Computer Science and Engineering, Ho Chi Minh City University of Technology (HCMUT)(胡志明市技术大学计算机科学与工程学院);Vietnam National University Ho Chi Minh City(越南国家大学胡志明市分校)
本文针对越南语事实验证挑战,提出将句子选择与分类模块整合到统一网络架构中,以预训练的PhoBERT和XLM-RoBERTa为骨干,在ISE-DSC01数据集上训练,实现75.11%的严格准确率,较基线提升28.83%。
2025-03-01 cs.AI cs.CL
From Universal Language Model to Downstream Task: Improving RoBERTa-Based Vietnamese Hate Speech Detection
Sun Asterisk Inc(太阳星公司);Le Quy Don Technical University(黎贵敦技术大学)
自然语言处理是人工智能的一个快速发展的领域。自2017年Google推出Transformer以来,BERT、GPT、ELMo等大量语言模型都受到了该架构的启发。这些模型在巨大的数据集上进行了训练,并在自然语言理解方面取得了最先进的结果。然而,针对下游任务在小得多的数据集上微调预训练的语言模型需要精心设计的流水线以减轻数据集的问题,例如缺乏训练数据和不平衡的数据。在本文中,我们提出了一个管道,以适应通用的RoBERTa语言模型的一个特定的文本分类任务:越南仇恨语音检测。我们首先通过在Masked语言模型任务上重新训练模型来调整数据集上的PhoBERT;然后,我们使用其编码器进行文本分类。为了在学习新特征表示的同时保留预训练的权重,我们进一步利用了不同的训练技术:层冻结,块式学习率和标签平滑。我们的实验证明,我们提出的管道显着提高了性能,实现了一个新的国家的最先进的越南仇恨语音检测活动与0.7221 F1得分。
2021-02-24 cs.CL cs.LG
TSPC: A Two-Stage Phoneme-Centric Architecture for code-switching Vietnamese-English Speech Recognition
The University of Danang, Vietnam - Korea University of Information and Communication Technology, Danang,Vietnam(丹江大学 - 信息与通信技术大学)
本文提出TSPC模型,通过双阶段音素架构提升越南-英语语切换语音识别性能,实现更低的词错误率和更高效的资源利用。
2026-03-04 cs.AI cs.CL cs.SD
Vietnamese Hate and Offensive Detection using PhoBERT-CNN and Social Media Streaming Data
University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
社会需要建立一个系统来检测仇恨和犯罪,以建立一个健康和安全的环境。然而,目前该领域的研究仍面临四大缺陷,包括预处理技术不足、对数据不平衡问题漠不关心、性能模型不完善以及缺乏实际应用。本文的重点是开发一种能够解决这些缺点的智能系统。首先,我们提出了一种有效的预处理技术来清理从越南社交媒体收集的评论。其次,提出了一种新的仇恨语音检测(HSD)模型,该模型是预训练的PhoBERT模型和Text-CNN模型的组合,用于解决越南语的任务。第三,采用EDA技术处理不平衡数据,提高分类模型的性能。此外,进行了各种实验作为基线,比较和研究所提出的模型的性能与国家的最先进的方法。实验结果表明,所提出的PhoBERT-CNN模型优于SOTA方法,在ViHSD和HSD-VLSP两个基准数据集上的F1得分分别为67,46%和98,45%。最后,我们还建立了一个流式HSD应用程序来证明我们提出的系统的实用性。
2022-06-01 cs.AI cs.CL cs.LG