Emotion Classification in a Resource Constrained Language Using Transformer-based Approach
Chittagong University of Engineering & Technology(吉大港工程与技术大学)
虽然情感分类的研究在高资源语言中取得了显着进展,但对于孟加拉语等资源受限的语言来说,这仍然是一个起步阶段。然而,缺乏必要的语言处理工具和基准语料库的不足,使得孟加拉语的情感分类任务更具挑战性和复杂性。这项工作提出了一种基于transformer的技术,将孟加拉语文本分类为六种基本情绪之一:愤怒,恐惧,厌恶,悲伤,喜悦和惊讶。孟加拉语情感语料库由6243文本的分类任务。使用各种机器学习(LR、RF、MNB、SVM)、深度神经网络(CNN、BiLSTM、CNN+BiLSTM)和基于Transformer(Bangla-BERT、m-BERT、XLM-R)的方法进行实验。实验结果表明,XLM-R通过在测试数据上实现最高加权$f_1$ -评分$69.73\%$而优于所有其他技术。该数据集可在https://github.com/omar-sharif03/NAACL-SRW-2021上公开获得。
2021-04-17 cs.CL
Automatic Extraction of Bengali Root Verbs using Paninian Grammar
Jadavpur University(贾达普大学)
在这项研究工作中,我们提出了一种基于监督学习方法的算法,利用Panini [1]在Ashtadhyayi中提出的语法规则提取孟加拉语动词的根形式。这种方法可以应用于从梵语派生出来的语言。提出的系统已经开发的动词的时态,人称和形态变化的基础上,找到他们的根形式。研究工作分两个阶段进行:第一,将动词的表层形式或屈折形式分成一定数量的时态和人称相似的组。在这项任务中,使用了孟加拉语的标准模式。接下来,我们应用一套规则从动词的表层形式中提取词根形式。该系统已进行了测试,从孟加拉语文本语料库中开发的TDIL项目的印度政府收集的10000个动词。输出的准确率已达到98%,这是由语言专家验证。根动词识别是语义搜索、多句子搜索查询处理、语义理解、词义消歧、句子分类等过程中的关键步骤。
2020-03-31 cs.CL
Bangla Text Dataset and Exploratory Analysis for Online Harassment Detection
Brac University(布拉克大学)
作为世界上第七大语言,孟加拉语的在线使用近年来有所增加。因此,分析孟加拉语文本数据以维护安全和无骚扰的在线场所变得非常重要。本文中提供的数据是从名人、政府官员、运动员在Facebook上的公开帖子中的评论中收集和标记的。收集的评论总数为44001。编译该数据集的目的是开发机器在自然语言处理的帮助下区分评论是否是欺凌表达的能力,以及如果是不恰当的评论,则在多大程度上是不恰当的。这些评论被贴上了不同类别的骚扰标签。本文还从不同的角度进行了探索性分析,以进行详细的概述。由于分类孟加拉语评论的数据汇集的稀缺性,该数据集可以在检测欺负词,识别不适当的评论,检测不同类别的孟加拉语欺负者等方面发挥重要作用。https://data.mendeley.com/datasets/9xjx8twk8p
2021-02-04 cs.CL cs.IR
Bengali text summarization by sentence extraction
Jadavpur University(贾达普大学)
文本摘要是从一个或多个文本中选取重要部分的信息生成摘要或摘要的过程。在自动文本摘要过程中,将文本提供给计算机,计算机返回原始文本的较短的较少冗余的摘录或摘要。已经开发了许多技术来总结英语文本。但是,很少有人尝试孟加拉语文本摘要。本文提出了一种孟加拉语文本摘要的方法,它从孟加拉语文档中提取重要的句子来生成摘要。
2012-01-11 cs.CL cs.IR
Detecting Hate and Inflammatory Content in Bengali Memes: A New Multimodal Dataset and Co-Attention Framework
University of California, Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学)
针对孟加拉语模因中仇恨和煽动性内容检测的研究空白,构建了首个区分煽动性内容与直接仇恨言论的数据集Bn-HIB,并提出多模态共注意力融合模型MCFM,通过联合分析视觉和文本特征实现更准确分类。
2026-06-16 cs.CL
BenCoref: A Multi-Domain Dataset of Nominal Phrases and Pronominal Reference Annotations
North South University(北南大学);Jahangirnagar University(贾汉吉尔纳加尔大学)
本文提出了孟加拉语多领域指代消解数据集 BenCoref,包含 5200 个提及标注和 502 个提及簇,并通过多模型实验揭示了英语零样本跨语言迁移效果不佳,强调需要更多孟加拉语专用资源。
2023-07-03 cs.CL
DocTalkBN: A Novel Dataset of Expert Telemedicine Conversations in Bengali
Bangladesh University of Engineering and Technology (BUET)(孟加拉工程技术大学(BUET))
该研究针对低资源语言孟加拉语医疗对话数据稀缺问题,构建了DocTalkBN多模态数据集,含大量真实远程医疗对话数据,并设置三项下游任务进行基准测试,为医疗NLP研究提供实用资源。
2026-08-28 cs.CL
BanglaDial-Abuse: A Corpus-Grounded Dataset for Regional Dialect Identification in Abusive Bangla Text
American International University-Bangladesh(美国国际大学孟加拉分校)
针对孟加拉语滥用文本的区域方言识别挑战,构建了包含四种方言各250句的平衡数据集,并采用基于语料库的合成方法生成,主要贡献在于提供方言识别任务资源。
2026-10-02 cs.CL
PhysicsMate: A Curriculum-Grounded Bengali Benchmark for Secondary Physics QA with Small-Model Adaptation
North South University(南北大学)
PhysicsMate是首个基于NCTB课程的中学物理孟加拉语问答基准,通过低秩适配显著提升小模型闭卷准确率,并量化出可离线运行的4B模型。
2026-10-02 cs.CL
BeliN: A Novel Corpus for Bengali Religious News Headline Generation using Contextual Feature Fusion
Chittagong University of Engineering and Technology(吉大港工程技术大学);Bangladesh Army University of Science and Technology (BAUST)(孟加拉国陆军科技大学);Charles Sturt University(查尔斯斯特大学)
针对孟加拉语宗教新闻标题生成忽视上下文特征的问题,本文提出语料库BeliN和融合类别、方面与情感的MultiGen方法,实验表明其显著优于仅用内容的基线模型。
2025-01-02 cs.CL cs.LG
VisTA: Vision-Text Alignment Model with Contrastive Learning using Multimodal Data for Evidence-Driven, Reliable, and Explainable Alzheimer's Disease Diagnosis
Centre hospitalier universitaire vaudois (CHUV)(洛桑大学医院中心(CHUV));Université de Lausanne (UNIL)(洛桑大学(UNIL));VNU University of Engineering and Technology, Vietnam National University(越南国家大学下属越南工程技术大学);University of Science, Vietnam National University Ho Chi Minh City(胡志明市越南国家大学下属科学大学);Military Hospital 175(175军事医院);School of Biomedical Engineering, International University, Vietnam National University(越南国家大学下属国际大学生物医学工程学院)
本文提出VisTA多模态视觉-文本对齐模型,利用对比学习将放射影像与专家核实的异常描述对齐,在仅用170个样本微调的情况下显著提升AD异常检索和痴呆预测性能,并生成与人类专家高度一致的证据驱动解释。
2025-02-03 cs.CL cs.CV q-bio.QM
Unsupervised Abstractive Summarization of Bengali Text Documents
Ahsanullah Univ of Science & Tech(阿赫桑乌拉科技大学)
抽象摘要系统通常依赖于大量的文档-摘要对集合。然而,抽象系统的性能仍然是一个挑战,因为像孟加拉语这样的低资源语言无法获得并行数据。为了克服这个问题,我们提出了一个基于图的无监督摘要系统在单文档设置孟加拉语文本文件,它只需要一个部分的语音(POS)标记和一个预先训练的语言模型孟加拉语文本训练。我们还提供了一个带有文档摘要对的人类注释数据集,以评估我们的抽象模型,并支持孟加拉语未来抽象摘要系统的比较。我们在这个数据集上进行实验,并将我们的系统与几个成熟的无监督提取摘要系统进行比较。我们的无监督抽象摘要模型在不暴露于任何人工注释的参考摘要的情况下优于基线。
2021-02-19 cs.CL
IPA Transcription of Bengali Texts
University of Dhaka(达卡大学);Shahjalal University of Science and Technology(沙赫贾拉勒科技大学);BRAC University(孟加拉国BRAC大学);Sylhet Engineering College(锡尔赫特工程学院)
本文针对孟加拉语IPA转写标准不统一的问题,提出一个新的IPA转写框架,并构建了包含深度学习基准的新数据集,以推动孟加拉语语言分析和NLP资源建设。
2024-03-29 cs.CL
BanglaNirTox: A Large-scale Parallel Corpus for Explainable AI in Bengali Text Detoxification
Islamic University of Technology(伊斯兰科技大学)
本文针对孟加拉语网络有毒语言问题,构建了包含68,041条句子的平行语料库BanglaNirTox,并提出结合Pareto优化LLMs与CoT提示的文本去毒化流水线,显著提升了去毒化质量与一致性。
2025-11-03 cs.AI cs.CL
Hindi/Bengali Sentiment Analysis Using Transfer Learning and Joint Dual Input Learning with Self Attention
情感分析通常是指使用自然语言处理、文本分析和计算语言学从文本数据中提取基于情感和情感的信息。我们的工作探索了如何在迁移学习和联合双输入学习设置中有效地使用深度神经网络,以有效地对印地语和孟加拉语数据中的情绪进行分类并检测仇恨言论。我们首先为印地语\textbf{HASOC dataset}和孟加拉语仇恨言论训练Word 2 Vec词嵌入,然后训练LSTM,随后通过重用和微调印地语分类器的训练权重,将基于参数共享的迁移学习应用于孟加拉语情感分类器,并将两个分类器用作我们研究中的基线。最后,我们在联合双输入学习设置中使用具有自注意力的BiLSTM,在该设置中,我们同时使用印地语和孟加拉语数据集的各自嵌入来训练单个神经网络。
2022-02-11 cs.CL
Optical Text Recognition in Nepali and Bengali: A Transformer-based Approach
BRAC University(BRAC大学)
针对孟加拉语和尼泊尔语低资源 OCR 问题,本文采用 encoder-decoder transformer,在手写与印刷图像上实现高精度文本识别。
2024-04-03 cs.CL
Authorship Identification in Bengali Literature: a Comparative Analysis
Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校)
文体学是研究个体独特的语言风格和写作行为的学科。它属于文本分类的核心任务,如作者身份识别,剽窃检测等,虽然已经进行了合理数量的研究,在英语语言,没有重大的工作已经完成,迄今在孟加拉语。在这项工作中,我们将提出一个示范的作者身份识别的文件写在孟加拉语。我们采用一组细粒度的文体特征来分析文本,并使用它们开发了两种不同的模型:由三种度量及其组合组成的统计相似性模型,以及决策树,神经网络和SVM的机器学习模型。实验结果表明,支持向量机优于其他国家的最先进的方法后,10倍交叉验证。我们还验证了每个风格特征的相对重要性,以表明其中一些特征在本实验中使用的每个模型中始终保持显著性。
2013-02-24 cs.CL cs.IR
BanglaIPA: Towards Robust Text-to-IPA Transcription with Contextual Rewriting in Bengali
Shahjalal University of Science and Technology(沙赫贾尔大学科学与技术学院);University of Maryland, Baltimore County, USA(马里兰大学巴尔的摩县分校)
BanglaIPA通过整合字符词汇与词级对齐,实现了对孟加拉语标准语言和方言文本的稳健IPA转录,提升了推理效率并降低了词错误率。
2026-02-04 cs.CL
A New Bengali Readability Score
在本文中,我们提出了方法来分析孟加拉语文本的可读性。我们从实验中得到了一些特别好的结果。
2017-03-14 cs.CL
Bengali Text Classification: An Evaluation of Large Language Model Approaches
Dept. of Computer Science \& Engineering, CCN University of Science
本研究评估了大型语言模型在孟加拉语文本分类中的有效性,发现Qwen 2.5模型在体育类别中表现最佳,准确率达72%。
2026-01-17 cs.AI cs.CL
Automatic classification of bengali sentences based on sense definitions present in bengali wordnet
College of Engineering and Management, Kolaghat(科拉加特工程与管理学院);Jadavpur University, Kolkata(加尔各答贾达夫普尔大学);Indian Statistical Institute, Kolkata(加尔各答印度统计研究所)
基于孟加拉语WordNet中可用的词的意义定义,尝试将孟加拉语句子根据其潜在的意义自动分类为不同的组。输入的句子收集从50个不同类别的孟加拉语文本语料库中开发的TDIL项目的印度政府,而信息的不同意义上的特定的歧义词汇项收集从孟加拉语WordNet。在实验的基础上,我们使用朴素贝叶斯概率模型作为一个有用的句子分类。我们已经应用该算法超过1747个句子,其中包含一个特定的孟加拉语词汇,由于其模糊的性质,能够触发不同的意义,使句子在不同的意义。在我们的实验中,我们已经取得了约84%的准确率的结果,对总的输入句子的意义分类。我们分析了那些不符合我们的实验,并影响结果的剩余句子,注意到在许多情况下,错误的句法结构和语义信息少的句子语义分类的主要障碍。本研究在自动文本分类、机器学习、信息抽取、词义消歧等方面具有一定的应用价值。
2015-08-06 cs.CL
Development of POS tagger for English-Bengali Code-Mixed data
IIIT, Hyderabad(海得拉巴国际信息技术学院);Jadavpur University, Kolkata(贾达普大学)
由于社交媒体的出现,代码混合文本现在很普遍。由于这些文本将两种语言结合起来形成一个句子,因此产生了与自然语言处理相关的各种研究问题。本文试图挖掘这样一个问题,即语码混合文本的词性标注。我们已经建立了一个系统,可以POS标记英语孟加拉语代码混合的数据,其中孟加拉语的话写在罗马脚本。我们的方法最初涉及收集和清理英语-孟加拉语代码混合的推文。这些推文被用作构建我们系统的开发数据集。所提出的系统是一种模块化方法,首先用各自的语言标记各个标记,然后将它们传递给为不同语言(英语和孟加拉语,在我们的情况下)设计的不同POS标记器。这两个系统给出的标签随后被连接在一起,最终结果被映射到一个通用的POS标签集。我们的系统使用100个人工标记的POS代码混合句子进行测试,它返回的准确率为75.29%
2020-07-29 cs.CL
EmoBang: Detecting Emotion From Bengali Texts
Charles Darwin University(查尔斯达尔文大学);Wake Forest University(维克森林大学);Bangladesh University of Engineering and Technology (BUET)(孟加拉国工程技术大学)
本文针对孟加拉语情感检测资源不足的问题,构建了八类情感数据集,提出EmoBangHybrid和EmoBangEnsemble两种模型,并建立首个全面基准,准确率分别达92.86%和93.69%。
2025-11-10 cs.CL
Simple or Complex? Learning to Predict Readability of Bengali Texts
Ahsanullah University of Science and Technology(阿赫桑乌拉科技大学);University of California, Los Angeles(加州大学洛杉矶分校)
确定文本的可读性是文本简化的第一步。在本文中,我们提出了一个可读性分析工具,能够分析用孟加拉语编写的文本,以提供有关其可读性和复杂性的深入信息。尽管孟加拉语是世界上使用人数第七多的语言,有2.3亿人以孟加拉语为母语,但孟加拉语缺乏用于自然语言处理的基本资源。到目前为止,孟加拉语的可读性相关研究可以被认为是狭隘的,有时由于缺乏资源而出错。因此,我们正确地采用了传统上用于美国教育系统的文档级可读性公式,并进行了适当的年龄比较。由于无法获得大规模的人类注释语料库,我们进一步将文档级任务划分为文本级和神经架构实验,这将作为孟加拉语可读性预测未来工作的基线。在这个过程中,我们提出了几个人类注释的语料库和字典,例如包含618个具有12个不同等级的文档的文档级数据集,包含超过96 K个具有简单和复杂标签的句子的大规模句子级数据集,辅音合取词计数算法和341个单词的语料库以验证算法的有效性,3,396个简单单词的列表,以及更新的发音词典,包含超过67 K个单词。这些资源对于这种低资源语言的其他几个任务可能很有用。我们在https://github.com/tafseer-nayeem/BengaliReadability}上公开了我们的代码和数据集,以确保可重复性。
2020-12-09 cs.AI cs.CL
BanglaSarc: A Dataset for Sarcasm Detection
BRAC University(BRAC大学)
作为世界上使用最广泛的语言之一,孟加拉语在社交媒体世界中的使用也在增加。讽刺是一种积极的陈述或评论,具有潜在的负面动机,在当今的社交媒体平台中广泛使用。在过去的许多年里,英语中的讽刺检测已经有了显着的改进,但是孟加拉语讽刺检测的情况仍然没有改变。因此,在孟加拉语中识别讽刺仍然很困难,而缺乏高质量的数据是一个主要因素。本文提出了BanglaSarc,一个专门为孟加拉语文本数据讽刺检测构建的数据集。该数据集包含从各种在线社交平台(如Facebook,YouTube)以及一些在线博客收集的5112条评论/状态和内容。由于孟加拉语分类评论的数据汇集量有限,该数据集将有助于识别讽刺,识别人们的情绪,检测各种类型的孟加拉语表达等领域的研究。该数据集可在https://www.kaggle.com/datasets/sakibapon/banglasarc上公开获得。
2022-09-27 cs.AI cs.CL
BanglaWild: An In-the-Wild Bengali Scene Text Recognition Benchmark for OCR and Vision-Language Models
研究发现现有孟加拉语场景文本识别基准的不足,推出含2535张图像的BanglaWild基准,评估15个VLMs和3个OCR系统等,揭示视觉误识别为主要错误来源等结论,代码数据将公开。
2026-08-05 cs.CL cs.CV
Multimodal Hate Speech Detection from Bengali Memes and Texts
Fraunhofer FIT(弗劳恩霍夫应用信息技术研究所);RWTH Aachen University(亚琛工业大学);Noakhali Science and Technology University(诺阿卡利科技大学);University of Siegen(锡根大学);University of Galway(戈尔韦大学)
已经提出了许多基于机器学习(ML)和深度学习(DL)的方法,以利用来自社交媒体的文本数据进行反社会行为分析,如网络欺凌、假新闻检测和仇恨言论识别,主要针对英语等资源丰富的语言。然而,尽管有很多的多样性和数以百万计的母语,一些语言,如孟加拉语资源不足,这是由于缺乏自然语言处理(NLP)的计算资源。与其他语言类似,孟加拉语社交媒体内容也包括图像和文本(例如,多模态模因通过将短文本嵌入到Facebook上的图像中来发布)。因此,只有文本数据不足以判断它们,因为图像可能会提供额外的上下文来做出正确的判断。本文是关于仇恨语言检测多模态孟加拉模因和文本。我们为孟加拉语的一种问题准备了唯一的多模态仇恨语音数据集,我们用它来训练最先进的神经架构(例如,具有词嵌入的Bi-LSTM/Conv-LSTM,ConvNets +预训练的语言模型,例如,单语孟加拉语BERT、多语言BERT-cased/uncased和XLM-RoBERTa)来联合分析文本和视觉信息以用于仇恨语音检测。Conv-LSTM和XLM-RoBERTa模型对文本的表现最好,F1得分分别为0.78和0.82。对于模因,ResNet-152和DenseNet-161模型的F1得分分别为0.78和0.79。对于多模态融合,XLM-RoBERTa + DenseNet-161表现最好,F1评分为0.83。我们的研究表明,文本模态是最有用的仇恨…
2022-12-21 cs.AI cs.CL
GHTM: A graph-based hybrid topic modeling approach for Bengali language
Institute of Information Technology (IIT), University of Dhaka(达卡大学信息技术研究所);Centre for Advanced Research in Sciences (CARS), University of Dhaka(达卡大学高级科学研究中心)
本文提出GHTM模型,结合TF-IDF加权GloVe嵌入、图卷积网络和非负矩阵分解,提升孟加拉语主题建模效果,并引入NCTBText数据集作为基准。
2026-10-14 cs.CL
BanglaQuAD: A Bengali Open-domain Question Answering Dataset
Amazon(亚马逊)
本文针对孟加拉语在NLP中低资源及现有翻译数据集质量差的问题,提出了包含30,808个问答对的孟加拉语开放域问答数据集BanglaQuAD及配套标注工具,并通过定性分析验证了其质量。
2024-10-14 cs.AI cs.CL
A Novel Word Pair-based Gaussian Sentence Similarity Algorithm For Bengali Extractive Text Summarization
Institute of Information Technology(信息技术研究所);University of Dhaka(达卡大学);Centre for Advanced Research in Science(高级科学研究中心)
针对孟加拉语抽取式文本摘要现有方法语义关系表达不足的问题,提出基于词对的高斯句相似度(WGSS)算法,结合谱聚类与TF-IDF排序,在多个数据集上平均ROUGE分数优于现有模型43.2%,还构建新数据集并可扩展至其他低资源语言。
2024-11-27 cs.CL
A BLSTM Network for Printed Bengali OCR System with High Accuracy
Society for Natural Language Technology Research(自然语言技术研究协会);Techno India University(Techno印度大学)
本文介绍了一个打印孟加拉语和英语文本OCR系统,我们使用一个单一的隐藏BLSTM-CTC架构有128个单元。在这里,我们没有在BLSTM中使用任何窥视孔连接和辍学,这有助于我们获得更好的准确性。这个架构由47,720个文本行训练,其中也包括英语单词。当测试超过20种不同的孟加拉字体时,它产生了99.32%的字符级准确率和96.65%的单词级准确率。一个很好的印度多脚本OCR系统也是由谷歌开发的。它有时会将孟加拉语的字符识别为非孟加拉语脚本的相同字符,特别是阿萨姆语,除了少数字符外,阿萨姆语与孟加拉语没有区别。例如,孟加拉语的“RA”有时被认为是阿萨姆语的,主要是在联合辅音形式中。我们的OCR没有此类错误。此OCR系统可在https://banglaocr.nltr.org上在线获得
2019-08-23 cs.CL cs.CV cs.LG
BnSentMix: A Diverse Bengali-English Code-Mixed Dataset for Sentiment Analysis
Islamic University of Technology(伊斯兰科技大学)
针对孟加拉语-英语代码混合情感数据稀缺问题,本文构建含2万样本的BnSentMix数据集,并提出14种基线方法,最佳模型取得69.8%准确率和69.1% F1分数。
2024-12-10 cs.CL
Rank Your Summaries: Enhancing Bengali Text Summarization via Ranking-based Approach
Ahsanullah University of Science and Technology(阿萨努拉科技大学)
本文提出一种基于排序的孟加拉语文本摘要方法,预处理后由四个预训练模型生成候选摘要,并用文本排序算法选出最佳结果,在多项 NLG 指标上显著提升摘要质量。
2023-07-14 cs.AI cs.CL
BengaliSent140: A Large-Scale Bengali Binary Sentiment Dataset for Hate and Non-Hate Speech Classification
Department of Computer Science and Engineering, University of Rajshahi(计算机科学与工程系,拉贾沙希大学)
BengaliSent140是一个大规模孟加拉语二元情感数据集,通过整合多个数据集构建,用于训练和评估深度学习模型。
2026-01-27 cs.AI cs.CL
How Ready Are Generative Pre-trained Large Language Models for Explaining Bengali Grammatical Errors?
IIT Kharagpur(印度理工学院卡拉格普尔分校)
本研究针对孟加拉语低资源语言环境,构建了多领域数据集以评估语法错误解释系统,通过对比9种主流大语言模型与人类专家的表现,发现当前模型自动部署存在局限,强调需引入人工干预以提升反馈质量与教育价值。
2024-05-27 cs.CL
BNLI: A Linguistically-Refined Bengali Dataset for Natural Language Inference
Computer Science and Engineering(计算机科学与工程);Brac University(布拉大学);Bangladesh University of Engineering and Technology(孟加拉工程与技术大学)
针对现有孟加拉语NLI数据集的标注错误、语义模糊等问题,本文构建语言精修的BNLI数据集,经多语言及孟加拉语特定Transformer模型基准测试,提升了推理任务的可靠性与可解释性,为低资源语言推理研究奠基。
2025-11-11 cs.CL
Part-of-Speech Tagging for Code-mixed Indian Social Media Text at ICON 2015
Jadavpur University(贾达普大学)
本文讨论了我们在Jadavpur大学进行的实验,作为ICON 2015任务的一部分:代码混合印度社交媒体文本的POS标记。我们为该任务开发的工具基于三元组隐马尔可夫模型,该模型利用来自字典的信息以及其他一些单词级别的特征来提高已知令牌和未知令牌的观察概率。我们提交了孟加拉语-英语,印地语-英语和泰米尔语-英语语言对的运行。我们的系统已经在ICON 2015共享任务发布的数据集上进行了训练和测试:代码混合印度社交媒体文本的POS标记。在约束模式下,我们的系统获得了75.60%的平均整体准确率(所有三种语言对的平均值),这非常接近其他两个参与系统(IIITH为76.79%,AMRITA_CEN为75.79%),排名高于我们的系统。在无约束模式下,我们的系统获得了70.65%的平均总体准确度,这也接近于获得最高平均总体准确度的系统(AMRITA_CEN为72.85%)。
2016-01-06 cs.CL
Detecting AI-Generated Paraphrases in Bengali: A Comparative Study of Zero-Shot and Fine-Tuned Transformers
Department of CSE, Ahsanullah University of Science and Technology, Bangladesh(阿沙努拉科技大学计算机科学与工程系);Department of CSE, BRAC University, Bangladesh(布拉克大学计算机科学与工程系);Department of CSE, Southeast University, Bangladesh(东南大学计算机科学与工程系);Enosis Solutions, Bangladesh(恩osis解决方案)
本研究比较了零样本和微调变换器模型在检测孟加拉语AI生成文本中的性能,发现微调显著提升检测准确率,其中XLM-RoBERTa、mDeBERTa和MultilingualBERT表现最佳。
2025-12-25 cs.AI cs.CL
Silo NLP's Participation at WAT2022
Silo AI;Graduate Center, City University of New York(纽约城市大学研究生中心);University of Helsinki(赫尔辛基大学)
本文提供了“Silo NLP”提交给亚洲翻译研讨会(WAT 2022)的系统描述。我们参与了印度语多模态任务(英语->印地语,英语->马拉雅拉姆语,英语->孟加拉语多模态翻译)。对于纯文本翻译,我们从头开始训练Transformers并微调mBART-50模型。对于多模态翻译,我们使用相同的mBART架构,并从图像中提取对象标签,用作与文本序列连接的视觉特征。我们提交的任务包括英语->印地语多模态翻译(评估测试),英语->马拉雅拉姆语纯文本和多模态翻译(评估测试),英语->孟加拉语多模态翻译(挑战测试)和英语->孟加拉语纯文本翻译(评估测试)。
2022-08-02 cs.CL
BenLLMEval: A Comprehensive Evaluation into the Potentials and Pitfalls of Large Language Models on Bengali NLP
Islamic University of Technology(伊斯兰理工大学);York University(约克大学);University of Alberta(阿尔伯塔大学);Nanyang Technological University(南洋理工大学);Dialpad Inc.(Dialpad公司)
本文提出BenLLM-Eval,对GPT-3.5、LLaMA-2-13b-chat和Claude-2在孟加拉语多项NLP任务上进行零样本评估,发现其性能多数逊于现有最优模型,呼吁加强低资源语言LLM研究。
2024-03-19 cs.CL
Explainable AI for Screening Abuse-Related Trauma in Bangladeshi Children: A Training-Free Multimodal Framework Evaluated on Noise-Aware Synthetic Data
One-Stop Crisis Centres (OCC)(一站式危机中心(OCC));Department of Social Services (DSS)(社会服务部(DSS))
针对孟加拉国儿童虐待相关心理创伤筛查工具缺失问题,提出无训练多模态融合框架ShishuRaksha AI,经噪声感知合成数据评估,该融合模型AUC达0.874,为低资源环境下儿童保护筛查提供可行性研究和设计贡献。
2026-07-07 cs.AI cs.CL cs.CY
Transcribing Bengali Text with Regional Dialects to IPA using District Guided Tokens
United International University(联合国际大学);University of British Columbia(不列颠哥伦比亚大学)
提出区域引导令牌(DGT)技术,通过向序列中添加区域令牌来指导模型生成对应方言的国际音标转录,在包含孟加拉国六个地区的数据集上微调Transformer模型,ByT5表现最佳。
2026-06-23 cs.AI cs.CL cs.LG
Harnessing Large Language Models Over Transformer Models for Detecting Bengali Depressive Social Media Text: A Comprehensive Study
Ahsanullah University of Science and Technology(阿赫萨努拉科技大学);Dolami Inc.(Dolami公司);Bangladesh University of Business and Technology(孟加拉国商业技术大学)
本文构建孟加拉语社交媒体抑郁数据集BSMDD,提出微调模型DepGPT,并结合多种深度学习与Transformer模型进行对比,证明DepGPT在零样本和少样本场景下以0.9796准确率取得最优抑郁文本检测效果。
2024-01-14 cs.CL
IndicTriMix: Developing Language Identification Datasets and Models for Tri-Language Code-Mixing
Sardar Vallabhbhai National Institute of Technology Surat(萨达尔·瓦拉巴伊国家理工学院苏拉特校区);TCS Research Hyderabad(塔塔咨询服务公司海得拉巴研究中心)
本文提出IndicTriMix,通过微调MuRIL和XLM-RoBERTa模型,利用平行句生成代码混合数据,构建三语语言识别基准,有效实现标记级语言识别。
2026-09-11 cs.CL
Building and Evaluating a Synthetic Bengali Speech Resource for Telecom Customer Care
Bangladesh University of Engineering and Technology (BUET)(孟加拉工程技术大学)
本文构建并公开了面向电信客服场景的合成孟加拉语语音数据集,经评估其文本与音频一致性强,同时探讨了合成语音及STT评估的局限性。
2026-08-24 cs.CL cs.SD eess.AS
An exploratory experiment on Hindi, Bengali hate-speech detection and transfer learning using neural networks
Saarland University(萨尔兰大学)
这项工作提出了我们的方法来训练一个神经网络来检测仇恨语言文本在印地语和孟加拉语。我们还探讨了如何将迁移学习应用于学习这些语言,因为它们具有相同的起源,因此在某种程度上是相似的。尽管整个实验是在低计算能力下进行的,但所获得的结果与其他更昂贵的模型的结果相当。此外,由于所使用的训练数据相对较少,而且这两种语言对我们来说几乎完全陌生,因此这项工作可以概括为努力揭开人类无法理解的失落或外来语言的神秘面纱。
2022-01-06 cs.CL cs.LG
How Effectively Can BERT Models Interpret Context and Detect Bengali Communal Violent Text?
BRAC University(BRAC大学)
本研究微调BanglaBERT模型检测孟加拉语社群暴力文本,通过数据扩充和集成学习将宏F1分数从0.60提升至0.63,并利用LIME和余弦相似度分析揭示模型在上下文理解上的局限,为减少在线社群暴力提供了有效工具。
2025-06-24 cs.CL
Retrieval Augmented Enhanced Dual Co-Attention Framework for Target Aware Multimodal Bengali Hateful Meme Detection
Department of Computer Science and Engineering, BRAC University(计算机科学与工程系,BRAC大学);Department of Computer Science and Engineering, Ahsanullah University of Science and Technology(计算机科学与工程系,Ahsanullah科技大学)
本文提出基于检索增强的增强双注意力框架,用于目标感知多模态孟加拉语仇恨表情识别,通过语义对齐提升类别平衡和多样性,实验表明xDORA和RAG-Fused DORA在识别和检测任务中表现优异。
2026-02-22 cs.CL
JU_KS@SAIL_CodeMixed-2017: Sentiment Analysis for Indian Code Mixed Social Media Texts
Jadavpur University(贾达普大学)
本文报告了我们在NLP工具竞赛@ICON-2017中的工作,共享任务是印度语言的情感分析(SAIL)(代码混合)。为了实现我们的系统,我们使用了一个机器学习算法,称为多项式朴素贝叶斯训练使用n-gram和SentiWordnet功能。我们还为英语使用了一个小SentiWordnet,为孟加拉语使用了一个小SentiWordnet。但我们没有使用任何SentiWordnet为印地语。我们已经在为大赛发布的印地语-英语和孟加拉语-英语代码混合的社交媒体数据集上测试了我们的系统。该系统的性能已经非常接近参加比赛的最佳系统。对于孟加拉语-英语和印地语-英语运行,我们的系统在所有提交的运行中排名第三,并在比赛中获得第三名。
2018-02-15 cs.CL
DeepHateExplainer: Explainable Hate Speech Detection in Under-resourced Bengali Language
Fraunhofer FIT(弗劳恩霍夫应用信息技术研究所);RWTH Aachen University(亚琛工业大学);Noakhali Science and Technology University(诺亚克利科技大学);Begum Rokeya University(贝古姆·罗凯亚大学);The University of Alabama(阿拉巴马大学);National University of Ireland, Galway(爱尔兰国立高威大学);Islamic University of Technology(伊斯兰科技大学)
社交媒体和微博网站的指数级增长不仅为增强表达自由和个人声音提供了平台,而且使人们能够表达反社会行为,如在线骚扰、网络欺凌和仇恨言论。已经提出了许多工作来利用文本数据进行社会和反社会行为分析,通过预测主要是像英语这样的高资源语言的上下文。然而,有些语文资源不足,例如,南亚语言,如孟加拉语,缺乏精确的自然语言处理(NLP)的计算资源。在本文中,我们提出了一种可解释的方法,用于从资源不足的孟加拉语中检测仇恨言论,我们称之为DeepHateExplainer。首先对孟加拉语文本进行全面的预处理,然后使用基于transformer的神经架构的神经集成方法将其分类为政治,个人,地缘政治和宗教仇恨(即,单语孟加拉语BERT-基础,多语言BERT-大小写/非大小写,和XLM-RoBERTa)。然后使用敏感性分析和逐层相关传播(LRP)识别重要(最重要和最不重要)术语,然后提供人类可解释的解释。最后,我们计算全面性和充分性分数来衡量解释的质量w.r.t的忠实性。针对机器学习~(线性和基于树的模型)和神经网络(即,具有词嵌入基线的CNN,Bi-LSTM和Conv-LSTM分别为政治,个人,地缘政治和宗教仇恨产生了78%,91%,89%和84%的F1分数,优于ML和DNN基线。
2021-08-06 cs.CL cs.LG
An Automatic Speech Recognition System for Bengali Language based on Wav2Vec2 and Transfer Learning
Bangladesh University of Engineering & Technology(孟加拉国工程技术大学)
一种独立的、自动化的解码和转录口头语音的方法被称为自动语音识别(ASR)。典型的ASR系统从音频记录或流中提取特征,并运行一个或多个算法以将特征映射到对应的文本。近年来,人们在语音信号处理领域进行了大量的研究。当给予足够的资源时,传统的ASR和新兴的端到端(E2E)语音识别都产生了有希望的结果。然而,对于像孟加拉语这样的低资源语言,ASR的当前状态滞后,尽管低资源状态并没有反映出这种语言在全世界有超过5亿人使用的事实。尽管它很受欢迎,但没有太多不同的开源数据集,这使得很难对孟加拉语语音识别系统进行研究。本文是“BUET CSE Fest DL Sprint”竞赛的一部分。本文的目的是在迁移学习框架的基础上,采用E2E结构上的语音识别技术,提高孟加拉语的语音识别性能。该方法有效地模拟了孟加拉语,并在7747个样本的测试数据集上获得了3.819分的Levenshtein平均距离,当仅使用1000个训练数据集进行训练时。
2022-09-20 cs.CL cs.SD eess.AS
Bengali Intent Classification with Generative Adversarial BERT
Ahsanullah University of Science and Technology(阿赫桑乌拉科技大学);Chittagong University of Engineering and Technology(吉大港工程技术大学)
该研究构建了包含30个类别的孟加拉语意图分类数据集BNIntent30,并提出GAN-BnBERT模型,结合BERT上下文嵌入与GAN生成建模能力,在该数据集上性能优于Bi-LSTM和独立BERT分类模型。
2023-12-17 cs.CL
BanglaMemeEvidence: A Multimodal Benchmark Dataset for Explanatory Evidence Detection in Bengali Memes
Ahsanullah University of Science and Technology(阿山努拉科技大学)
研究旨在检测孟加拉语模因中解释其含义和幽默的特定句子,介绍了混合任务MemeEvidenceDetect,提出数据集BanglaMemeEvidence及多模态框架BengaliMemeEvidenceNet,实验验证了框架有效性,推动低资源语言模因分析。
2026-07-07 cs.AI cs.CL cs.CV
Bangla-Wave: Improving Bangla Automatic Speech Recognition Utilizing N-gram Language Models
North South University(北南大学);Apurba Technologies(阿普尔巴技术公司)
虽然全世界有超过3亿人说孟加拉语,但由于孟加拉语是一种低资源语言,因此在改善孟加拉语语音到文本转录方面的工作很少。然而,随着孟加拉语通用语音9.0语音数据集的引入,自动语音识别(ASR)模型现在可以得到显着改进。孟加拉语共同之声拥有399小时的语音记录,是世界上最大和最多样化的孟加拉语开源语音语料库。在本文中,我们通过在普通语音数据集上微调预训练的wav 2 vec 2模型,超越了SOTA预训练的孟加拉语ASR模型。我们还演示了如何通过添加一个n-gram语言模型作为后处理器来显着提高ASR模型的性能。最后,我们做了一些实验和超参数调整,以产生一个强大的孟加拉ASR模型,比现有的ASR模型。
2022-09-13 cs.AI cs.CL eess.AS