ReINTEL Challenge 2020: Exploiting Transfer Learning Models for Reliable Intelligence Identification on Vietnamese Social Network Sites
University of Information Technology(信息科技大学);Vietnam National University, Ho Chi Minh City(越南国家大学胡志明市分校)
本文介绍了我们为越南语言和语音处理2020(VLSP 2020)共享任务的越南社交网络网站可靠情报识别(ReINTEL)任务提出的系统。在这项任务中,VLSP 2020提供了一个数据集,其中包含大约6,000个标注有可靠或不可靠标签的培训新闻/帖子,测试集由2,000个没有标签的示例组成。在本文中,我们对不同的迁移学习模型进行了实验,这些模型被bert 4 news和PhoBERT微调以预测新闻是否可靠。在我们的实验中,我们实现了94.52%的AUC得分的私人测试集从ReINTEL的组织者。
2021-02-24 cs.CL
Gender Prediction Based on Vietnamese Names with Machine Learning Techniques
University of Information Technology(信息技术大学);Vietnam National University(越南国家大学)
由于生物性别是表征人类个体的一个方面,因此基于人名的性别分类已经做了大量的工作。关于英语和汉语的建议是巨大的;然而,迄今为止,关于越南语的工作很少。我们提出了一个新的数据集的性别预测的基础上越南人的名字。该数据集包括26,000多个带有性别注释的全名。该数据集可在我们的网站上用于研究目的。此外,本文还介绍了六种机器学习算法(支持向量机、多项式朴素贝叶斯、伯努利朴素贝叶斯、决策树、随机森林和逻辑回归)和一种基于fastText词嵌入的深度学习模型(LSTM),用于越南名字的性别预测。我们创建了一个数据集,并调查了每个名称组件对检测性别的影响。因此,我们在LSTM模型上获得的最佳F1分数高达96%,并且我们基于我们的训练模型生成了一个Web API。
2021-03-23 cs.CL
Overview of the VLSP 2022 -- Abmusu Shared Task: A Data Challenge for Vietnamese Abstractive Multi-document Summarization
VNU University of Engineering and Technology(越南国立大学工程技术大学)
本文介绍了 VLSP 2022 的越南语生成式多文档摘要共享任务,构建了包含1,839篇文档的人工标注数据集,并使用 ROUGE2-F1 评估模型。
2023-11-27 cs.CL
VieSpeaker: A Large-Scale Vietnamese Speaker Recognition Dataset Beyond Visual Dependency
Hanoi University of Science and Technology(河内科技大学)
提出无需面部线索的数据集构建流程,利用文本元数据和大型语言模型推理说话人身份,构建包含4715名说话人约902小时语音的越南语数据集VieSpeaker,实验证明其提升模型鲁棒性和泛化能力。
2026-06-24 cs.CL cs.SD eess.AS
VLUE: A New Benchmark and Multi-task Knowledge Transfer Learning for Vietnamese Natural Language Understanding
University of Information Technology(信息科技大学);Vietnam National University(越南国家大学);Denison University(丹尼森大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出了首个越南语自然语言理解评估基准 VLUE,涵盖五个数据集,并提出基于 XLM-RoBERTa 的新模型 CafeBERT,通过额外越南语预训练在所有任务上取得最优结果。
2024-03-23 cs.CL
VM14K: First Vietnamese Medical Benchmark
Vietnam National University(越南国家大学);Dickinson College(迪金森学院);Columbia University(哥伦比亚大学);Venera AI;Carnegie Mellon University(卡内基梅隆大学);University of Maryland(马里兰大学);Foreign Trade University(外贸大学)
针对非英语社区医疗基准匮乏、数据零散难验证的问题,该研究提出可扩展的构建方法,推出首个含14000道多难度、多专科选择题的越南语医疗基准VM14K并开源构建流程。
2025-06-13 cs.CL
Kosp2e: Korean Speech to English Translation Corpus
Seoul National University(首尔大学);NAVER
大多数语音到文本(S2T)的翻译研究使用英语语音作为源,这使得非英语使用者很难利用S2T技术。对于某些语言,这个问题是通过语料库建设来解决的,但语言学上离英语越远或资源越不足,这种不足和代表性不足就变得越严重。在本文中,我们介绍kosp2e(读作"kospi"),语料库,允许韩国语音被翻译成英文文本中的一个端到端的方式。我们采用开放许可的语音识别语料库、翻译语料库和口语语料库,使我们的数据集免费向公众开放,并通过管道和基于训练的方法检查性能。使用管道和各种端到端方案,我们根据英语假设获得了每个方案的最高BLEU分别为21.3和18.0,验证了我们数据的可行性。我们计划在将来通过社区贡献为其他目标语言补充注释。
2021-07-06 cs.CL
Multilingual analysis of intelligibility classification using English, Korean, and Tamil dysarthric speech datasets
Seoul National University(首尔国立大学)
本文分析了构音障碍的语音数据集,从三种不同的韵律系统的语言:英语,韩语和泰米尔语。我们检查了39个声学测量,反映了三个语音维度,包括语音质量,发音和韵律。作为多语言分析,根据可懂度水平对声学测量的平均值进行检查。此外,执行自动可懂度分类以按语言仔细检查最佳特征集。分析表明,发音特征,如正确辅音的百分比,正确元音的百分比,正确音素的百分比是语言独立的测量。然而,语音质量和韵律特征通常因语言而呈现不同的方面。实验结果还表明,不同的语音维度发挥更大的作用,为不同的语言:韵律英语,韩语的发音,韵律和泰米尔语的发音。本文有助于语音病理学,因为它区分语言独立和语言依赖的测量可懂度分类英语,韩语和泰米尔语构音障碍的语音。
2022-11-03 cs.CL
Machine Translation between Vietnamese and English: an Empirical Study
Hanoi University of Science and Technology(河内理工大学);FPT Technology Research Institute, FPT University(FPT大学FPT技术研究院)
机器翻译正在转向基于深度神经网络的端到端方法。最先进的技术在英法或英中等流行语言对上取得了令人印象深刻的结果。然而,对于英语-越南语,平行语料库的短缺和昂贵的超参数搜索对基于神经的方法提出了实际挑战。本文重点介绍了我们在两个方向上改进英语-越南语翻译的努力:(1)建立迄今为止最大的开放式越南语-英语语料库,(2)使用最新的神经模型进行广泛的实验,以获得最高的BLEU分数。我们的实验提供了实际的例子,有效地采用不同的神经机器翻译模型与低资源的语言对。
2018-10-30 cs.CL
PhoMT: A High-Quality and Large-Scale Benchmark Dataset for Vietnamese-English Machine Translation
VinAI Research(VinAI研究院)
我们介绍了一个高质量和大规模的越南语-英语并行数据集的3.02 M句子对,这是2.9 M对大于基准越南语-英语机器翻译语料库IWSLT 15。我们在我们的数据集上进行实验,比较强大的神经基线和知名的自动翻译引擎,并发现在自动和人工评估中:通过微调预训练的序列到序列去噪自动编码器mBART获得最佳性能。据我们所知,这是国内第一次大规模的越英机器翻译研究。我们希望我们公开的数据集和研究可以作为未来越南语-英语机器翻译研究和应用的起点。
2021-10-23 cs.CL
BSTC: A Large-Scale Chinese-English Speech Translation Dataset
Baidu Inc.(百度公司)
本文介绍了一个大规模的汉英语音翻译数据集BSTC(Baidu Speech Translation Corpus)。该数据集是基于一系列许可的演讲或讲座视频构建的,包括约68小时的普通话数据,其手动转录和翻译成英语,以及通过自动语音识别(ASR)模型进行的自动转录。我们还邀请了三名经验丰富的口译员在模拟会议环境中同时为测试会谈进行口译。该语料库对自动同声翻译的研究和实用系统的开发具有一定的促进作用。我们已经组织了同声翻译任务,并使用该语料库来评估自动同声翻译系统。
2021-04-27 cs.CL
Improving Vietnamese-English Medical Machine Translation
College of Engineering and Computer Science, VinUniversity(VinUniversity工程与计算机科学学院);VinAI Research(VinAI研究院);University of Technology Sydney(悉尼科技大学)
本文构建了约36万句对的越南语-英语医学平行数据集MedEV,并通过多模型对比实验证明微调vinai-translate在两个翻译方向上均取得最佳效果。
2024-03-28 cs.CL
Multilingual LLM Prompting Strategies for Medical English-Vietnamese Machine Translation
本研究在MedEV数据集上系统评估了六种多语言大语言模型(0.5B-9B参数)的提示策略,发现模型规模是性能主因,术语感知提示和嵌入检索能提升医学英越翻译质量。
2025-10-23 cs.CL
En-ViMedNER: An English-Vietnamese Parallel Biomedical Corpus with UMLS Semantic Type Annotations
College of Engineering and Computer Science, VinUniversity(VinUniversity工程与计算机科学学院);Faculty of Engineering and IT, University of Technology Sydney(悉尼科技大学工程与信息技术学院);Center for AI Research, VinUniversity(VinUniversity人工智能研究中心);Monash University, Australia(莫纳什大学)
本文提出首个带UMLS语义类型标注的英越双语生物医学NER语料库En-ViMedNER,经多环节构建后在两类NER任务中取得F1值结果,相关资源公开发布以推动越南语生物医学NLP研究。
2026-09-01 cs.CL
ViToSA: Audio-Based Toxic Spans Detection on Vietnamese Speech Utterances
University of Information Technology(信息技术大学);Vietnam National University Ho Chi Minh City(越南国家大学胡志明市分校);Faculty of Computer Science(计算机科学学院);Faculty of Information Science and Engineering(信息科学与工程学院)
本文提出首个越南语语音毒性跨度检测数据集ViToSA,并构建结合ASR与TSD的流程,实验证明微调ASR可显著降低WER且TSD模型优于基线,为语音内容审核确立新基准。
2025-05-31 cs.CL
VoxVietnam: a Large-Scale Multi-Genre Dataset for Vietnamese Speaker Recognition
Hanoi University of Science and Technology(河内理工大学)
本文提出首个越南语多体裁说话人识别数据集VoxVietnam,含1406人超18.7万条语音,并验证多体裁训练可显著提升模型性能。
2024-12-31 cs.CL cs.SD eess.AS
Augmenting Part-of-speech Tagging with Syntactic Information for Vietnamese and Chinese
在越南语自然语言处理中,分词和词性标注是下游任务的两个关键的前期工作。实际上,人们在进行分词和词性标注时往往也会考虑短语边界,而不是仅仅从左到右逐词处理。在本文中,我们实现了这一想法,以提高分词和词性标注越南语采用简化的选区分析器。我们的联合分词和词性标注的神经模型具有基于音节的CRF选区解析器的架构。为了降低解析的复杂性,我们用一个表示短语的标签替换所有的组成标签。该模型可以通过其他工具使用预测的词边界和词性标记来增强。由于越南语和汉语有一些相似的语言现象,我们在三个越南基准数据集和六个汉语基准数据集上评估了所提出的模型及其增强版本。我们的实验结果表明,该模型实现了更高的性能比以前的作品为两种语言。
2021-06-16 cs.CL
The Perceptimatic English Benchmark for Speech Perception Models
Université de Paris(巴黎大学);CNRS(法国国家科学研究中心);PSL Research University(PSL研究大学);ENS(巴黎高等师范学院);EHESS(法国高等社会科学研究院);INRIA(法国国家信息与自动化研究所)
我们提出了感知英语基准,一个开放的实验基准评估英语语音感知的定量模型。该基准由ABX刺激以及91名美国英语听众的反应组成。刺激测试大量的英语和法语音位对比的歧视。它们直接从阅读语音的语料库中提取,使它们适合于评估在典型语音数据集上训练的统计声学模型(例如在自动语音识别中使用的模型)。我们发现,电话歧视与几种类型的模型,并为研究人员寻求容易计算的实验刺激的声学距离规范的建议。我们发现,DeepSpeech是一种标准的英语语音识别器,它比英语听众更专注于英语音素识别,并且与他们的行为相关性很差,尽管它在给人类的决策任务中产生的错误很低。
2020-05-07 cs.CL cs.SD eess.AS
PhoNLP: A joint multi-task learning model for Vietnamese part-of-speech tagging, named entity recognition and dependency parsing
VinAI Research(VinAI研究院)
我们提出了第一个多任务学习模型-命名PhoNLP -联合越南语词性(POS)标记,命名实体识别(NER)和依存句法分析。在越南基准数据集上的实验表明,PhoNLP产生了最先进的结果,优于单任务学习方法,该方法独立地为每个任务微调预训练的越南语语言模型PhoBERT(Nguyen和Nguyen,2020)。我们在Apache License 2.0下公开发布PhoNLP作为开源工具包。虽然我们为越南语指定了PhoNLP,但我们的PhoNLP训练和评估命令脚本实际上可以直接用于其他语言,这些语言具有预先训练的基于BERT的语言模型和黄金注释语料库,可用于POS标记,NER和依存句法分析这三个任务。我们希望PhoNLP可以作为未来NLP研究和应用的强大基线和有用的工具包,不仅适用于越南语,也适用于其他语言。我们的PhoNLP可从以下网址获得:https://github.com/VinAIResearch/PhoNLP
2021-04-08 cs.CL
ViSpeechFormer: A Phonemic Approach for Vietnamese Automatic Speech Recognition
Faculty of Information Science and Engineering(信息科学与工程学院);University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh city(胡志明市越南国家大学)
ViSpeechFormer 是首个基于音素的越南语 ASR 框架,通过建模音素表示实现了更强的性能和更好的泛化能力。
2026-02-10 cs.CL
ViMedCSS: A Vietnamese Medical Code-Switching Speech Dataset & Benchmark
College of Engineering and Computer Science(工程与计算机科学学院);Center for AI Research(人工智能研究中心);College of Health Sciences(健康科学学院);University of Technology Sydney(悉尼科技大学)
针对越南语医学术语代码转换问题,构建了34小时语音数据集ViMedCSS,评估多种ASR模型并探索微调策略,发现越南语优化模型与多语言预训练结合效果最佳。
2026-06-23 cs.CL
Advancing Speech Translation: A Corpus of Mandarin-English Conversational Telephone Speech
Raytheon BBN(雷神BBN技术公司)
本文构建了123小时汉英电话会话语音翻译语料库,通过微调通用翻译模型,目标域BLEU提升超8点,验证了匹配训练数据的关键作用。
2024-03-25 cs.CL cs.SD eess.AS
Phrase translation using a bilingual dictionary and n-gram data: A case study from Vietnamese to English
University of Colorado, Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
过去使用基于词典的方法将L1语言中的短语翻译成L2语言的方法需要语法规则来重构初始翻译。本文介绍了一种新的方法,不使用任何语法规则,翻译一个给定的短语在母语中,这是不存在的字典,到二语。我们需要至少一个L1-L2双语词典和L2中的n-gram数据。我们翻译的平均人工评估分数为4.29/5.00,这意味着非常高的质量。
2022-08-05 cs.CL
VN-MTEB: Vietnamese Massive Text Embedding Benchmark
GreenNode AI, Singapore(新加坡GreenNode AI);School of Electrical Engineering, International University, VNU-HCMC, Vietnam(越南国际大学电气工程学院)
针对越南语缺乏大规模文本嵌入评估基准的问题,研究团队通过自动化翻译筛选框架构建了含41个数据集、6类任务的VN-MTEB基准,并发现旋转位置嵌入模型在相关任务中表现更优。
2025-07-29 cs.AI cs.CL
LibriS2S: A German-English Speech-to-Speech Translation Corpus
Maastricht University(马斯特里赫特大学)
最近,我们看到人们对语音到文本翻译的兴趣越来越大。这导致了这一领域令人惊讶的进步。相比之下,语音翻译领域的活动仍然有限,尽管克服语言障碍至关重要。我们认为,限制因素之一是能否获得适当的训练数据。我们通过创建LibriS2S来解决这个问题,据我们所知,LibriS2S是第一个公开的德语和英语之间的语音到语音训练语料库。对于这个语料库,我们使用了独立创建的德语和英语音频,从而使两种语言的文本发音没有偏见。这允许创建新的文本到语音和语音到语音翻译模型,其直接学习以基于源语言的发音来生成语音信号。使用这个创建的语料库,我们提出了文本到语音模型的基础上,最近提出的FastSpeech 2模型,集成了源语言信息的例子。我们通过调整模型来实现这一点,以将源语音中的音高、能量或转录等信息作为额外的输入。
2022-04-22 cs.CL cs.SD eess.AS
Improving Vietnamese Named Entity Recognition from Speech Using Word Capitalization and Punctuation Recovery Models
Vietnam Artificial Intelligence System(越南人工智能系统);Thai Nguyen University of Education(太原教育大学);University of Science and Technology of Hanoi(河内科技大学)
对命名实体识别(NER)任务的研究表明,在正确的文本格式(如正确的标点符号和大写字母)下,输入文本的结果与人类相当。然而,这样的条件在输入是语音的应用中不可用,因为文本是从语音识别系统(ASR)生成的,并且系统不考虑文本格式化。在本文中,我们(1)提出了用于NER任务的第一个越南语语音数据集,(2)第一个预训练的越南语公共大规模单语语言模型,与最新研究相比,它在越南语NER任务中实现了1.3%的绝对F1得分。最后,(3)我们提出了一个新的管道从语音NER任务,克服了文本格式的问题,通过引入一个文本大写和标点符号恢复模型(CaPu)到管道。该模型从ASR系统中获取输入文本,并同时执行两项任务,生成适当的文本格式,有助于提高NER性能。实验结果表明,CaPu模型有助于提高近4%的F1分数。
2020-10-01 cs.CL
FreeTxt-Vi: A Benchmarked Vietnamese-English Toolkit for Segmentation, Sentiment, and Summarisation
VinUniversity(Vin大学);Cardiff University(卡迪夫大学);Lancaster University(兰卡斯特大学)
FreeTxt-Vi是一种用于越南-英语双语文本分段、情感分析和摘要的开源工具包,通过统一的NLP流水线实现高效多语言文本处理。
2026-03-05 cs.CL
Vietnamese Automatic Speech Recognition: A Revisit
本文提出了一种新的数据聚合和预处理流程,用于构建高质量的越南语ASR数据集,解决了低资源语言中数据质量和标注不一致的问题。
2026-03-16 cs.CL
PiDA: Phonetically-Informed Data Augmentation for Robust Vietnamese Speech Translation
VinUniversity(Vin大学);University of Technology Sydney(悉尼技术大学);Monash University(莫纳什大学)
针对级联语音翻译中ASR错误传播问题,提出基于语音信息的数据增强方法PiDA,通过语音词嵌入生成相似音替换,在FLEURS越南语-英语上提升错误ASR输出翻译质量(BLEU+2.04)。
2026-06-12 cs.CL
Whisper based Cross-Lingual Phoneme Recognition between Vietnamese and English
The University of Danang, Vietnam - Korea University of Information and Communication Technology(丹江大学-韩国信息通信技术大学);Communication Technology Industrial University of Ho Chi Minh City(胡志明市通信技术工业大学)
本文针对越南语与英语混合发音的跨语言音素识别难题,提出构建双语音素集并利用PhoWhisper预训练编码器的端到端方法,有效提升了双语语音识别准确率。
2025-08-22 cs.AI cs.CL
An Experimental Investigation of Part-Of-Speech Taggers for Vietnamese
University of Engineering and Technology, VNU Hanoi(河内国立大学工程技术大学);Ton Duc Thang University(孙德胜大学)
词性标注在自然语言处理中起着重要的作用。它可以应用于许多自然语言处理任务,如命名实体识别、句法分析、依存句法分析和文本组块。在本文中进行的调查,我们利用两个广泛使用的工具包,ClearNLP和斯坦福POS标签的技术,以及开发两个新的POS标记越南语,然后将它们与三个著名的越南语标签,即JVnTagger,vnTagger和RDRPOSTagger。我们做了一个系统的比较,以找出具有最佳性能的标记器。我们还设计了一个新的功能集来衡量统计标记器的性能。我们从Stanford Tagger和ClearNLP构建的新标记器具有新的功能集,可以在标记准确性方面胜过所有其他越南标记器。此外,我们还分析了一些特征对统计标记器性能的影响。最后,实验结果还表明,基于转换的标签,RDRPOSTagger,可以运行速度显着快于任何其他统计标签。
2022-06-14 cs.CL
PhoWhisper: Automatic Speech Recognition for Vietnamese
VinAI Research(VinAI研究院)
本文提出五个版本的PhoWhisper,通过在844小时多口音越南语数据上微调Whisper,在越南语ASR基准上取得最先进性能并开源。
2024-03-27 cs.CL eess.AS
Hate Speech Detection on Vietnamese Social Media Text using the Bi-GRU-LSTM-CNN Model
University of Information Technology, Vietnam National University Ho Chi Minh City(胡志明市国家大学信息技术大学)
近年来,仇恨语音检测已成为自然语言处理或计算语言学研究的热点之一。在本文中,我们介绍了我们的系统在VLSP共享任务2019中解决这个问题的描述:社交网络上的仇恨语音检测,其中包含20,345个用于训练的人工标记评论/帖子和5,086个用于公开测试。我们在这个任务中实现了一种基于Bi-GRU-LSTM-CNN分类器的深度学习方法。我们在这个任务中的结果是70.576%的F1分数,排名第五的性能在公共测试集。
2019-12-22 cs.CL
A Large-scale Dataset for Hate Speech Detection on Vietnamese Social Media Texts
University of Information Technology(信息技术大学);Vietnam National University Ho Chi Minh City(胡志明市越南国家大学)
近年来,越南见证了社交网络用户在Facebook,Youtube,Instagram和Tiktok等不同社交平台上的大规模发展。在社交媒体上,仇恨言论已成为社交网络用户的一个严重问题。为了解决这个问题,我们引入了ViHSD -一个人工注释的数据集,用于自动检测社交网络上的仇恨言论。这个数据集包含超过30,000条评论,数据集中的每条评论都有三个标签之一:清洁,冒犯或仇恨。此外,我们还介绍了数据创建过程中的注释和评估数据集的质量。最后,我们通过深度学习模型和Transformer模型对数据集进行了评估。
2021-07-20 cs.CL
Content-based Approach for Vietnamese Spam SMS Filtering
FPT Technology Research Institute(FPT技术研究院);FPT University(FPT大学)
短信服务(SMS)垃圾邮件是一个严重的问题,在越南,因为非常便宜的预付费短信包的可用性。目前已经有一些针对英语的垃圾短信检测和过滤系统,其中大部分采用机器学习技术对短信内容进行分析并进行分类。对于越南人来说,有一些关于垃圾邮件过滤的研究,但没有一个专注于短信。在这项工作中,我们提出了过滤越南垃圾短信的第一个系统。我们首先提出了一个适当的预处理方法,因为现有的越南语预处理工具不能给我们的数据集很好的准确性。然后,我们用矢量表示和分类器进行实验,以找到解决这个问题的最佳模型。我们的系统在标记垃圾邮件时达到了94%的准确率,而合法邮件的错误分类率相对较小,仅为0.4%。与英语相比,这是一个令人鼓舞的结果,可以作为越南短信垃圾邮件预防系统未来发展的坚实基础。
2017-05-11 cs.CL
ViHOS: Hate Speech Spans Detection for Vietnamese
University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
针对其他用户的仇恨和攻击性语言的增加是社交网络平台使用增加的不利副作用之一。这可能会使人类版主难以审查分类系统过滤的标记评论。为了帮助解决这个问题,我们提出了ViHOS(Vietnamese Hate and Offensive Spans)数据集,这是第一个人类注释的语料库,包含11 k条评论上的26 k个跨度。我们还提供了越南语评论中的仇恨和攻击性跨度的定义以及详细的注释指南。此外,我们使用各种最先进的模型进行实验。具体而言,XLM-R $_{Large}$在单跨度检测和所有跨度检测中获得最佳F1分数,而PhoBERT $_{Large}$在多跨度检测中获得最高分数。最后,我们的误差分析表明,在我们的数据中检测特定类型的跨度的困难,为今后的研究。免责声明:本文包含可能被认为是亵渎,冒犯或辱骂的真实评论。
2023-01-26 cs.CL
Phonetic Modeling of Dialectal Variation in Vietnamese Speech
Faculty of Computer Science(计算机科学系);Faculty of Information Science and Engineering(信息科学与工程系);University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh city(越南国家大学,胡志明市)
提出一种方言感知的语音框架,通过结构化语音成分和方言特定IPA映射,在词汇和解码层面显式建模越南语方言变体,在UIT-ViMD数据集上以更少参数和无外部预训练达到与最强预训练模型相当的性能。
2026-05-23 cs.CL
COVID-19 Named Entity Recognition for Vietnamese
VinAI Research(VinAI研究院)
当前的COVID-19大流行导致创建了许多语料库,以促进NLP研究和下游应用,以帮助抗击疫情。然而,这些语料库中的大多数是专门为英语。由于大流行是一个全球性问题,因此值得为英语以外的语言创建COVID-19相关数据集。在本文中,我们为越南人提供了第一个手动注释的COVID-19特定领域数据集。特别是,我们的数据集被注释为命名实体识别(NER)任务与新定义的实体类型,可用于其他未来的流行病。与现有的越南NER数据集相比,我们的数据集还包含最多的实体。我们根据经验在我们的数据集上使用强基线进行实验,并发现:自动越南语分词有助于改善NER结果,并且通过微调预训练的语言模型获得最高性能,其中越南语的单语模型PhoBERT(Nguyen和Nguyen,2020)产生比多语言模型XLM-R更高的结果(Conneau等人,2020年)。我们公开发布我们的数据集:https://github.com/VinAIResearch/PhoNER_COVID19
2021-04-08 cs.CL
Beyond Phones: Structured Phonemic Modeling for Vietnamese Automatic Speech Recognition
Faculty of Information Science and Engineering(信息科学与工程学院);Faculty of Computer Science(计算机科学学院);University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh city(越南国家大学,胡志明市)
针对越南语自动语音识别,提出基于音素级音节结构解码的方法,通过显式建模音节音系组成,在紧凑音素集上生成有效音节结构,显著减小词汇量并在两个基准上超越强基线。
2026-10-06 cs.CL
Comparison Between Traditional Machine Learning Models And Neural Network Models For Vietnamese Hate Speech Detection
University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
随着Facebook、Twitter等社交网络的迅速发展,社交网络语言中的恶意言语检测成为近年来的研究热点之一。在越南,攻击和骚扰的威胁对在线用户造成了不良影响。关于社交网络上的仇恨语音检测的VLSP共享任务显示了许多用于检测任何评论是否干净的方法。但这一问题仍需进一步研究。因此,我们在一个关于用户在越南社交网络上的评论的大数据集上比较了传统机器学习和深度学习,并通过比较它们在F1分数上的准确性来找出每种模型的优点和缺点,然后我们分别选择了传统机器学习模型和深度神经模型中准确率最高的两个模型。接下来,我们通过参考混淆矩阵并考虑每个模型的优点和缺点来比较这两个能够预测正确标签的模型。最后,从比较的结果,我们提出了我们的集成方法,集中了传统方法和深度学习方法的能力。
2020-09-28 cs.CL
TSPC: A Two-Stage Phoneme-Centric Architecture for code-switching Vietnamese-English Speech Recognition
The University of Danang, Vietnam - Korea University of Information and Communication Technology, Danang,Vietnam(丹江大学 - 信息与通信技术大学)
本文提出TSPC模型,通过双阶段音素架构提升越南-英语语切换语音识别性能,实现更低的词错误率和更高效的资源利用。
2026-03-04 cs.AI cs.CL cs.SD
ViTHSD: Exploiting Hatred by Targets for Hate Speech Detection on Vietnamese Social Media Texts
University of Information Technology(信息科技大学);Vietnam National University(越南国立大学)
本文提出越南语目标导向仇恨言论检测数据集ViTHSD(含1万条评论、5个目标、三级标注),并构建结合Bi-GRU-LSTM-CNN与预训练语言模型的基线系统,同时给出将其集成到在线流式系统的应用方案。
2025-02-08 cs.CL
Improving Multilingual Neural Machine Translation For Low-Resource Languages: French,English - Vietnamese
Thai Nguyen University(太原大学);Vietnam National University(越南国立大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);JAIST(日本北陆先端科学技术大学院大学)
先前的工作已经证明,低资源的语言对可以从依赖于许多语言对的联合训练的多语言机器翻译(MT)系统中受益。本文提出了两种简单的策略来解决两个低资源的语言对:法语-越南语和英语-越南语的多语言机器翻译系统中的稀有词问题。第一种策略是在源语言共享空间中动态学习词的相似度,第二种策略是通过在训练过程中更新嵌入量来增强稀有词的翻译能力。此外,我们利用单语数据的多语种机器翻译系统,以增加合成并行语料库的数量,同时处理数据稀疏性问题。我们已经显示了两种语言对的双语基线系统的显著改进,分别为+1.62和+2.54 BLEU点,并为研究社区发布了我们的数据集。
2021-07-10 cs.CL cs.LG
ViHateT5: Enhancing Hate Speech Detection in Vietnamese With A Unified Text-to-Text Transformer Model
Faculty of Information Science and Engineering, University of Information Technology(信息科学与工程学院,信息科技大学);Vietnam National University, Ho Chi Minh City(越南国家大学胡志明市分校)
本文提出基于T5架构并在大规模特定领域数据集VOZ-HSD上预训练的ViHateT5模型,通过统一的文本到文本架构处理多任务,在越南语仇恨言论检测基准上达到最先进性能。
2024-06-04 cs.CL
Human-Guided Reasoning with Large Language Models for Vietnamese Speech Emotion Recognition
University of Information Technology, Ho Chi Minh City, Vietnam(越南胡志明市信息技术大学);Vietnam National University Ho Chi Minh City, Ho Chi Minh City, Vietnam(越南胡志明市国家大学)
本文提出一种融合人类知识的语音情感识别框架,通过LLM推理处理模糊样本,提升低资源环境下的情感分类性能,达到86.59%的准确率。
2026-04-02 cs.CL
VietMix: A Naturally-Occurring Parallel Corpus and Augmentation Framework for Vietnamese-English Code-Mixed Machine Translation
University of Maryland, College Park(马里兰大学帕克分校);Harvard University(哈佛大学)
VietMix为越南语-英语混合机器翻译提供首个自然发生的平行语料库及增强框架,通过数据增强提升模型性能。
2026-01-09 cs.AI cs.CL cs.LG
VietPrism: A large-scale Vietnamese speech and deepfake corpus with diverse dialects and code-switching
Independent Researcher(独立研究者);Indiana University, Bloomington, USA(印第安纳大学布鲁明顿分校)
VietPrism是首个大规模越南语多领域语料库,整合了转录、说话人身份、五种方言及自然语码转换,并包含受控生成的伪造语音,用于评估多语言深度伪造检测器的脆弱性。
2026-09-25 cs.CL cs.SD
Cross-Lingual Legal QA for Vietnamese Labour Law: Retrieval, Translation, and Verifier-Guided Correction
VinUniversity(维新大学);Lancaster University(兰卡斯特大学);Cardiff University(卡迪夫大学)
针对越南劳动法的跨语言法律问答,构建双语评估套件,提出验证器引导的流水线,发现密集检索优于稀疏检索,验证器修正提升引用保留,但自动诊断与人类判断不完全一致。
2026-09-24 cs.CL
Non-Standard Vietnamese Word Detection and Normalization for Text-to-Speech
FPT Technology Research Institute, FPT University(FPT大学FPT技术研究院);VNU University of Engineering and Technology(越南国立大学工程技术大学)
将书面文本转换为口语形式是任何文本到语音(TTS)系统中的一个基本问题。然而,为现实世界的TTS系统构建有效的文本规范化解决方案面临两个主要挑战:(1)非标准词(NSW)的语义歧义,例如,数字、日期、范围、分数、缩写,以及(2)将NSW转换成可发音的音节,诸如URL、电子邮件地址、主题标签和联系人姓名。在本文中,我们提出了一种新的两阶段归一化方法来应对这些挑战。首先,设计了一个基于模型的标签器来检测NSW。然后,根据NSW类型,基于规则的规范器将这些NSW扩展为最终的口头形式。我们使用条件随机场(CRF),BiLSTM-CNN-CRF和BERT-BiGRU-CRF模型在手动注释的数据集上进行了三个NSW检测的实证实验,该数据集包括从越南新闻文章中提取的5819个句子。在第二阶段,我们提出了一个基于前向词典的最大匹配算法来拆分标签,电子邮件,URL和联系人姓名。标记阶段的实验结果表明,BiLSTM-CNN-CRF和CRF模型的平均F1分数均在90.00%以上,BERT-BiGRU-CRF模型的F1分数最高,达到95.00%。总的来说,我们的方法具有较低的句子出错率,CRF为8.15%,BiLSTM-CNN-CRF标签为7.11%,BERT-BiGRU-CRF标签仅为6.67%。
2022-09-07 cs.CL
Improving Sequence Tagging for Vietnamese Text Using Transformer-based Neural Models
FPT Technology Research Institute(FPT技术研究院);FPT University(FPT大学);Vietnam National University(越南国家大学)
本文介绍了我们的研究,使用多语言BERT嵌入和一些新的神经模型,以改善越南语的序列标记任务。我们提出了新的模型架构,并在VLSP 2016和VLSP 2018的两个命名实体识别数据集以及VLSP 2010和VLSP 2013的两个词性标注数据集上对其进行了广泛的评估。我们提出的模型优于现有的方法,并取得了新的国家的最先进的结果。特别是,我们已经将VLSP 2010语料库上的词性标注准确率提高到95.40%,VLSP 2013语料库上的准确率提高到96.77%; VLSP 2016语料库上的命名实体识别的F1得分提高到94.07%,VLSP 2018语料库上的F1得分提高到90.31%。我们的代码和预训练模型viBERT和vELECTRA作为开源发布,以促进采用和进一步研究。
2020-09-25 cs.CL
Hate Speech Detection on Vietnamese Social Media Text using the Bidirectional-LSTM Model
University of Information Technology, VNU-HCM(胡志明市国家大学信息技术大学)
在本文中,我们描述了我们的系统,它参与了VLSP 2019评估活动的社交网络上的仇恨语音检测的共享任务。我们为社交媒体评论或帖子提供了预标记数据集和未标记数据集。我们的任务是预处理和构建机器学习模型来对评论/帖子进行分类。在这份报告中,我们使用双向长短期记忆来构建模型,可以根据干净,冒犯,仇恨来预测社交媒体文本的标签。使用该系统,我们在VLSP 2019的公共标准测试集上获得了71.43%的比较结果。
2019-11-09 cs.CL cs.LG
ViCocktail: Automated Multi-Modal Data Collection for Vietnamese Audio-Visual Speech Recognition
New Turing Institute(新图灵研究所);Phenikaa University(费尼卡大学);Vietnam Institute of Information Technology(越南信息技术研究所);VietAI Research(越南人工智能研究)
本文提出一种从原始视频自动生成越南语音视频语音识别数据集的高效方法,并基于该数据构建基线AVSR模型,在噪声环境中显著优于纯音频ASR,为低资源语言扩展AVSR提供了可行路径。
2025-06-05 cs.CL cs.CV
UIT-ViIC: A Dataset for the First Evaluation on Vietnamese Image Captioning
University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
图像描述(Image Captioning),即图像字幕的自动生成,近年来引起了计算机视觉、自然语言处理和机器学习等多个领域研究人员的广泛关注。本文的研究有助于图像描述任务的扩展数据集到不同的语言-越南语。到目前为止,还没有越南语的图像描述数据集,所以这是开发越南语图像描述的最基本的一步。在这个范围内,我们首先构建了一个数据集,其中包含Microsoft COCO数据集中与球类运动相关的图像的手动编写的字幕,我们称此数据集为ESP-ViIC。ViViIC由3,850张图片的19,250个越南字幕组成。接下来,我们在深度神经网络模型上评估我们的数据集,并与英语数据集和两个通过不同方法构建的越南数据集进行比较。出于研究目的,我们在实验室网站上发布了EST-ViIC。
2020-02-01 cs.CL
A comparison of Vietnamese Statistical Parametric Speech Synthesis Systems
Zalo Group, VNG Corporation(VNG公司Zalo集团);Information and Communication Technology University, Thai Nguyen University(太原大学信息与通信技术大学)
近年来,统计参数语音合成(SPSS)系统已被广泛用于许多基于语音的交互式系统(例如~亚马逊的Alexa,Bose的耳机)。为了选择合适的SPSS系统,语音质量和性能效率(例如~解码时间)必须被考虑。在本文中,我们比较了四种流行的越南SPSS技术:1)隐马尔可夫模型(HMM),2)深度神经网络(DNN),3)生成对抗网络(GAN),以及4)端到端(E2 E)架构,其中包括Tacontron~2和WaveGlow声码器的语音质量和性能效率。我们证明了E2 E系统实现了最佳质量,但需要GPU的强大功能来实现实时性能。我们还表明,基于HMM的系统有较差的语音质量,但它是最有效的系统。令人惊讶的是,E2 E系统在GPU上的推理比DNN和GAN更有效。令人惊讶的是,基于GAN的系统在质量方面并没有优于DNN。
2020-05-26 cs.CL cs.SD eess.AS