An HMM Based Named Entity Recognition System for Indian Languages: The JU System at ICON 2013
Central Calcutta Polytechnic（中央加尔各答理工学院）；Jadavpur University（贾达普大学）
本文报道了我们在ICON 2013 NLP TOOLS CONEST上关于命名实体识别的工作。我们提交了孟加拉语，英语，印地语，马拉地语，旁遮普语，泰米尔语和泰卢固语的运行。一个统计HMM（隐马尔可夫模型）为基础的模型已被用来实现我们的系统。该系统已经在NLP TOOLS CONEST：ICON 2013数据集上进行了训练和测试。我们的系统获得的F-措施为0.8599，0.7704，0.7520，0.4289，0.5455，0.4466，和0.4003孟加拉语，英语，印地语，马拉地语，旁遮普语，泰米尔语和泰卢固语分别。
2014-05-28 cs.CL
MIA 2022 Shared Task: Evaluating Cross-lingual Open-Retrieval Question Answering for 16 Diverse Languages
University of Washington（华盛顿大学）；Massachusetts Institute of Technology（麻省理工学院）；Penn State University（宾夕法尼亚州立大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Studio Ousia（Ousia工作室）；RIKEN（日本理化学研究所）；Google Research（谷歌研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们介绍了多语言信息访问（MIA）2022共享任务研讨会的结果，评估了16种类型多样的语言的跨语言开放式检索问答（QA）系统。在这项任务中，我们采用了两个大规模的跨语言的开放检索QA数据集在14种不同类型的语言，和新注释的开放检索QA数据在2个代表性不足的语言：泰米尔语和泰米尔语。四个团队提交了他们的系统。利用迭代挖掘的不同负面示例和更大的预训练模型的最佳系统达到32.2 F1，比我们的基线高出4.5分。第二个最好的系统使用实体感知的上下文表示的文档检索，并取得了显着的改善，泰米尔语（20.8 F1），而大多数其他系统产生的分数几乎为零。
2022-07-02 cs.CL
Improving the quality of Gujarati-Hindi Machine Translation through part-of-speech tagging and stemmer-assisted transliteration
Cummins College of Engineering for Women（卡明斯女子工程学院）；Banasthali University（班纳斯塔利大学）
印度语言的机器翻译是一个新兴的研究领域。音译就是我们在设计翻译系统时设计的一个这样的模块。音译是指将源语言文本映射为目标语言。简单的映射降低了整个翻译系统的效率。我们建议使用词干和词性标注的音译。如果我们使用词性标记和词干辅助音译，翻译的有效性可以得到提高。我们已经表明，古吉拉特语的大部分内容在被翻译为印地语的过程中得到音译。
2013-07-12 cs.CL
An Accuracy-Enhanced Stemming Algorithm for Arabic Information Retrieval
University of Setif1（塞提夫1大学）；Department of Computer Science（计算机科学系）
本文提出了一种基于自然语言处理的阿拉伯语文本索引和检索方法。我们的方法利用模板的概念，在词干和替换的话，他们的茎。该技术已被证明是有效的，因为它返回了显着的相关检索结果，减少沉默在检索阶段。本文通过一系列的实验来测试所提出的算法ESAIR（Enhanced Stemmer for Arabic信息检索）的性能。结果表明，该算法提取的准确率高达96%，因此，提高了信息检索的确切根。
2019-11-15 cs.CL
A Probabilistic Translation Method for Dictionary-based Cross-lingual Information Retrieval in Agglutinative Languages
University of Tehran（德黑兰大学）
双语词典中的翻译歧义、词汇表外的词和漏译等问题使得基于词典的跨语言信息检索（CLIR）成为一项具有挑战性的任务。此外，在没有可靠词干的黏着语言中，双语词典中缺少各种词汇构成会降低CLIR的性能。本文的目的是引入一个概率翻译模型来解决歧义问题，并提供最可能的形式的字典候选。我们提出了最小编辑支持候选（MESC）方法，利用单语语料库和双语词典翻译用户的母语查询文档的语言。我们的实验表明，该方法优于最先进的基于字典的英语-波斯语CLIR。
2014-11-05 cs.CL cs.IR
CRF-based Named Entity Recognition @ICON 2013
Indian Statistical Institute（印度统计研究所）
本文描述了作为ICON 2013共享任务的一部分，基于CRF的印度语命名实体识别（NER）系统的性能。在这个任务中，我们考虑了所有语言的一组独立于语言的特征。仅针对英语添加了语言特定功能，即大写。其次，探讨了孟加拉文、印地语和英文地名索引的使用问题。地名录是根据维基百科和其他来源编制的。测试结果表明，该系统实现了最高的F措施的88%的英语和最低的F措施的69%的泰米尔语和泰卢固语。请注意，对于表现最差的两种语文，没有使用地名录。孟加拉语和印地语的NER准确率分别为87%和79%。
2014-09-29 cs.CL
Systematic Analysis of Large Language Models and Transformer-Based Machine Translation for English-Tamil and Tamil-English Across Diverse Datasets
研究针对泰米尔语等低资源语言机器翻译挑战，在多数据集上评估多种模型，用BLEU等指标分析其性能，通过注意力分析增强可解释性，证明上下文提示可实现少样本翻译并与监督方法比较，揭示数据集及领域匹配对模型性能的影响。
2026-07-29 cs.CL
Morphology and Syntax of the Tamil Language
University of Jaffna（贾夫纳大学）
本文系统概述了泰米尔语的形态与句法特征，强调其当代用法的复杂性，为语言学比较研究及泰米尔语计算资源开发提供了基础。
2024-01-16 cs.CL
Generation, Implementation and Appraisal of an N-gram based Stemming Algorithm
一个独立于语言的词干分析器一直在寻找。单N-gram标记化技术工作得很好，但是，它经常生成以中间字符开始的词干，而不是初始字符。我们提出了一种新的技术，采取的概念，N元词干一步，并比较我们的方法与一个既定的算法在该领域，波特的Stemmer。结果表明，我们的N-gram词干不逊色于波特的语言词干。
2014-01-16 cs.CL cs.IR
CBAS: context based arabic stemmer
College of Computing and Information Technology, AAST（阿拉伯科学技术学院计算与信息技术学院）
阿拉伯语的词法包含了许多有价值的特征，如词根。阿拉伯词根被用于许多任务;提取词根的过程被称为词干提取。词干是大多数自然语言处理任务的重要组成部分，特别是对于阿拉伯语等衍生语言。然而，词干提取面临着歧义的问题，即从同一个词中可以提取两个或多个词根。另一方面，分布式语义是一个强大的共现模型。它根据上下文捕捉单词的含义。本文利用平滑逐点互信息（SPMI）构造了一个分布式语义模型，以研究其在词干分析任务中的有效性。它的准确率为81.5%，比其他词干分析器至少提高了9.4%。
2015-10-28 cs.CL cs.IR
Dependency resolution and semantic mining using Tree Adjoining Grammars for Tamil Language
树邻接语法（TAG）提供了一个充分的工具来捕捉许多印度语言的语法。泰米尔语对计算形式主义提出了特殊的挑战，因为它具有广泛的粘着形态学和相对困难的论点结构。使用TAG建模泰米尔语语法和形态学是一个有趣的问题，尽管TAG已经有40多年的历史了，但这个问题一直没有得到关注。我们对泰米尔语TAG的研究表明，我们不仅可以表示语言的语法，而且在一定程度上可以通过句子的依赖关系解析来挖掘语义。但是为了证明这种现象属性，我们需要使用我们构建的TAG来解析泰米尔语句子，并通过解析获得我们可以用来解决依赖关系的派生，从而证明语义属性。我们使用内部开发的伪词汇TAG图解析器; Schabes和Joshi（1988）给出的算法，用于生成句子的派生。我们不使用任何统计数据来排除模糊的派生，而是使用所有这些来理解泰米尔语标签中提到的语义关系。为了使讨论更完整，我们还将给出一个简短的解析器分析。
2017-04-19 cs.CL
Multilingual analysis of intelligibility classification using English, Korean, and Tamil dysarthric speech datasets
Seoul National University（首尔国立大学）
本文分析了构音障碍的语音数据集，从三种不同的韵律系统的语言：英语，韩语和泰米尔语。我们检查了39个声学测量，反映了三个语音维度，包括语音质量，发音和韵律。作为多语言分析，根据可懂度水平对声学测量的平均值进行检查。此外，执行自动可懂度分类以按语言仔细检查最佳特征集。分析表明，发音特征，如正确辅音的百分比，正确元音的百分比，正确音素的百分比是语言独立的测量。然而，语音质量和韵律特征通常因语言而呈现不同的方面。实验结果还表明，不同的语音维度发挥更大的作用，为不同的语言：韵律英语，韩语的发音，韵律和泰米尔语的发音。本文有助于语音病理学，因为它区分语言独立和语言依赖的测量可懂度分类英语，韩语和泰米尔语构音障碍的语音。
2022-11-03 cs.CL
IruMozhi: Automatically classifying diglossia in Tamil
Academies of Loudoun（劳顿学院）；Stanford University（斯坦福大学）
本文发布IruMozhi人工标注数据集，训练分类器识别文学与口语泰米尔语，评估预训练数据并审计现有数据集，以促进口语泰米尔语NLP研究。
2023-11-13 cs.CL
A new TAG Formalism for Tamil and Parser Analytics
树邻接语法（TAG）特别适合于变形丰富和粘合的语言，如泰米尔语，由于其心理语言学特征和解析时间依赖性和变形解析。虽然TAG和LTAG形式主义已经知道了大约30年，但由于其规范的复杂性和泰米尔语丰富的形态学，为泰米尔语设计TAG语法的努力并没有完全成功。在本文中，我们提出了一个最低限度的标签泰米尔没有太多的形态考虑，也介绍了一个解析器的实现与一些明显的变化，从JTAG系统
2016-04-05 cs.CL
Adapting the Tesseract Open-Source OCR Engine for Tamil and Sinhala Legacy Fonts and Creating a Parallel Corpus for Tamil-Sinhala-English
University of Moratuwa（莫拉图瓦大学）
大多数低资源语言甚至没有必要的资源来创建一个实质性的单语语料库。这些语言可能经常出现在政府程序中，但主要是包含传统字体的可移植文档格式（PDF）。从这些文档中提取文本以创建单语语料库是具有挑战性的，这是由于传统的字体使用和打印机友好的编码，这些都没有针对文本提取进行优化。因此，我们提出了一个简单的，自动的，新颖的想法，可以扩展为泰米尔语，僧伽罗语，英语语言和许多文件以及并行语料库。由于泰米尔语和僧伽罗语是低资源语言，我们通过对20多种传统字体进行基于LSTM的训练来识别这些语言中的印刷字符，从而提高了Tesseract的性能。特别是，我们的模型检测代码混合文本，数字，和专用字符从打印文档。实验结果表明，该方法可以将Tesseract的字符级出错率从6.03降低到2.61僧伽罗语为7.61至4.74（相对变动为-3.42%）（-2.87%相对变化），在测试集上，泰米尔语的词级错误率从39.68到20.61（相对变化为-19.07%），僧伽罗语的词级错误率从35.04到26.58（相对变化为-8.46%）。此外，我们新创建的平行语料库包括185.4k，168.9k和181.04k句子和2.11M，2.22M和2.33M泰米尔语，僧伽罗语和英语单词。这项研究表明，在多种新字体上微调Tesseract模型有助于理解文本并提高OCR的性能。我们免费提供了新训练的模型和微调Tesseract的…
2022-12-15 cs.CL
EnTaCs: Analyzing the Relationship Between Sentiment and Language Choice in English-Tamil Code-Switching
University of Colorado, Boulder（科罗拉多大学博尔德分校）
本文研究英语-泰米尔语混合文本中话语情感与语言选择的关系，采用机器学习和统计建模方法，发现积极话语中英语比例更高，混合情感话语中语言切换频率更高。
2026-03-27 cs.CL
FIND: Toward Multimodal Financial Reasoning and Question Answering for Indic Languages
Indian Institute of Technology Patna（印度理工学院帕纳分校）；Microsoft（微软）
本文提出FinVQA基准和FIND框架，针对多语言印度语言金融推理挑战，通过多模态和数值推理提升金融决策准确性。
2026-05-13 cs.CL
Ezhil: A Tamil Programming Language
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
Ezhil是一种基于泰米尔语的解释过程程序设计语言。选择泰米尔语关键字和语法，使母语为泰米尔语的人在Ezhil系统中编写程序。Ezhil允许更接近泰米尔语言逻辑结构的计算机程序的简单表示，相当于现代英语程序设计语言中的条件，分支和循环语句。Ezhil是一种紧凑的程序设计语言，针对泰米尔语新手计算机用户。这里报告了Ezhil的语法和一些示例程序，这些程序来自使用Python编程语言1的初始概念验证实现。据我们所知，Ezhil语言是第一个免费提供的泰米尔程序设计语言。
2009-07-28 cs.CL cs.PL
KS_JU@DPIL-FIRE2016:Detecting Paraphrases in Indian Languages Using Multinomial Logistic Regression Model
Jadavpur University（贾达普大学）
在这项工作中，我们描述了一个系统，检测印度语言中的释义，作为我们参与的共享任务的一部分，在印度语言中检测释义（DPIL）举办的论坛信息检索评估（FIRE）在2016年。我们的释义检测方法使用多项逻辑回归模型，该模型使用各种特征进行训练，这些特征基本上是成对的两个句子之间的词汇和语义水平相似性。已根据针对DPIL上FIRE 2016共享任务发布的测试集对系统性能进行了评价。我们的系统在旁遮普语的task 1上实现了最高的f-measure 0.95。我们的系统在印地语的task 1上的性能是f-measure 0.90。在参加共同任务的11个小组中，只有4个小组使用所有四种语言，即印地语、旁遮普语、马拉雅拉姆语和泰米尔语，但其余7个小组使用四种语言中的一种。我们还参加了所有四种印度语言的task 1和task 2。包括task 1和task 2在内的四种语言的系统的总体平均性能为F1-得分0.81，这是参与所有四种语言的四个系统中的第二高得分。
2016-12-24 cs.CL
Algorithms for certain classes of Tamil Spelling correction
泰米尔语有一个粘着的，双音的，字母音节的结构，提供了一个显着的组合爆炸形态所有这些都有效地用于泰米尔散文，诗歌从古代到现代的连续性链。然而，对于语言理解来说，拼写校正目的中的一些作为字典外的词而存在挑战。在本文中，作者提出的算法技术，以处理特定的问题，连接的话（字典外）（音译）[thendRalkattRu] = [thendRal]+[kattRu]时，部分单独存在于单词列表中的有效方式。泰米尔语的形态结构使得有必要依赖于综合分析方法，字典列表永远不足以真正捕捉语言。在本文中，我们试图作出总结的各种已知算法的特定类别的泰米尔语拼写错误。我们相信这一系列的建议，以改善未来的拼写检查。我们还注意到，没有涵盖许多重要的技术，如词缀删除和其他此类技术的关键重要性，在基于规则的拼写检查。
2019-09-22 cs.CL
"A Passage to India": Pre-trained Word Embeddings for Indian Languages
Indian Institute of Technology Bombay（印度理工学院孟买分校）；IITB-Monash Research Academy（印度理工学院孟买分校-莫纳什大学联合研究学院）；Monash University（莫纳什大学）
密集的词向量或“词嵌入”对词的语义属性进行编码，现在已经成为机器翻译（MT）、问答（QA）、词义消歧（WSD）和信息检索（IR）等NLP任务的组成部分。在本文中，我们使用各种现有的方法来创建多个词嵌入的14种印度语言。我们为所有这些语言放置这些嵌入，即，阿萨姆语、孟加拉语、古吉拉特语、印地语、卡纳达语、康卡尼语、马拉雅拉姆语、马拉地语、尼泊尔语、奥迪亚语、旁遮普语、梵语、泰米尔语和泰卢固语。相对较新的方法，强调迎合上下文（BERT，ELMo等）已经显示出显著的改进，但是需要大量的资源来生成可用的模型。我们发布使用上下文和非上下文方法生成的预训练嵌入。我们还使用MUSE和XLM来训练上述所有语言对的跨语言嵌入。为了展示我们嵌入的有效性，我们评估了所有这些语言的XPOS，UPOS和NER任务的嵌入模型。我们使用8种不同的方法发布了总共436个模型。我们希望它们对资源受限的印度语言NLP有用。本文的题目是E.M.福斯特，最初出版于1924年。
2021-12-27 cs.CL
Towards Offensive Language Identification for Tamil Code-Mixed YouTube Comments and Posts
University of Moratuwa（莫拉图瓦大学）
社交媒体平台中的攻击性语言检测在过去几年一直是一个活跃的研究领域。在非英语母语国家，社交媒体用户大多在他们的帖子/评论中使用代码混合形式的文本。这在攻击性内容识别任务中提出了几个挑战，考虑到泰米尔语可用的资源很少，任务变得更加困难。目前的研究提出了使用多种深度学习和迁移学习模型来检测YouTube上的攻击性内容的广泛实验。我们提出了一种新颖灵活的选择性翻译和音译技术的方法，以获得更好的结果，从微调和集成多语言Transformer网络，如BERT，蒸馏- BERT，和XLM-RoBERTa。实验结果表明，ULMFiT是该任务的最佳模型。对于这个泰米尔代码混合数据集，性能最好的模型是ULMFiT和mBERTBiLSTM，而不是更流行的迁移学习模型，如Distil- BERT和XLM-RoBERTa以及混合深度学习模型。所提出的模型ULMFiT和mBERTBiLSTM取得了良好的结果，并有望在低资源语言中有效地识别攻击性语音。
2021-08-26 cs.CL
Zero-shot OCR Accuracy of Low-Resourced Languages: A Comparative Analysis on Sinhala and Tamil
Department of Computer Science & Engineering, University of Moratuwa（计算机科学与工程系，穆塔瓦大学）
针对低资源语言OCR未解决的问题，本研究对比6款商业及开源OCR引擎在僧伽罗语和泰米尔语的零样本性能，发现Surya和Document AI分别在两种语言上表现最佳，并提出新的合成泰米尔语OCR基准数据集。
2025-08-25 cs.CL
DravidianMultiModality: A Dataset for Multi-modal Sentiment Analysis in Tamil and Malayalam
National University of Ireland Galway（爱尔兰国立高威大学）；Amrita Vishwa Vidyapeetham（阿姆里塔大学）；Indian Institute of Information Technology and Management-Kerala（喀拉拉邦印度信息技术与管理学院）；Universiti Pendidikan Sultan Idris（苏丹依德理斯教育大学）
人类的交流本质上是多模态和异步的。分析人类情感和情绪是人工智能的一个新兴领域。我们看到社交媒体上越来越多的关于产品和其他主题的本地语言多模态内容。然而，没有太多的多模态资源可用于资源不足的德拉威语。我们的研究旨在为资源不足的泰米尔语和马拉雅拉姆语创建一个多模态情感分析数据集。首先，我们从YouTube上下载了泰米尔语和马拉雅拉姆语的产品或电影评论视频。接下来，我们在注释器的帮助下为视频创建标题。然后，我们标记的情感视频，并验证了注释者之间的协议使用Fleiss的Kappa。这是第一个多模态情感分析数据集泰米尔语和马拉雅拉姆语的志愿者注释。
2021-06-09 cs.CL
Tamil Language Computing: the Present and the Future
University of Jaffna（贾夫纳大学）
本文梳理泰米尔语计算的发展基础与现状，分析其在资源构建、模型训练等方面的挑战，指出当前技术缺口并提出合作、数字化等发展方向，以推动泰米尔语处理全面发展。
2024-08-12 cs.CL
A Multi-way Parallel Named Entity Annotated Corpus for English, Tamil and Sinhala
School of Mathematical and Computational Sciences（数学与计算科学学院）；Massey University（梅西大学）；University of Moratuwa（莫拉图瓦大学）
该研究构建了英语、泰米尔语、僧伽罗语的多路并行命名实体标注语料库，基于预训练多语言语言模型刷新了两种低资源语言的NER基准，探究了不同多语言模型的NER能力，并验证了其在低资源神经机器翻译任务中的效用，数据集已开源。
2025-01-14 cs.CL
Data Augmentation and Terminology Integration for Domain-Specific Sinhala-English-Tamil Statistical Machine Translation
University of Moratuwa（莫拉图瓦大学）
词汇不足是低资源语言的机器翻译中的一个问题。当源语言和/或目标语言在形态上丰富时，情况会变得更糟。双语列表集成是解决OOV问题的一种方法。这允许翻译比训练数据中更多的单词。然而，由于双语列表包含基本形式的单词，因此它不会翻译形态丰富的语言（如僧伽罗语和泰米尔语）的屈折形式。本文主要研究统计机器翻译中的数据增强技术，即基于格标记对双语词汇进行扩充以生成新词。字典术语的这种数据增强技术显示僧伽罗语-英语SMT的BLEU分数得到改善。
2021-02-03 cs.CL
An efficiency dependency parser using hybrid approach for tamil language
National Engineering College（国立工程学院）
自然语言处理是一个非常活跃的研究领域。句法分析是语言分析系统的重要工具之一，其目的是预测句子中词与词之间的结构关系。许多研究人员已经开发了很多语言工具，但准确性还没有达到人类的期望水平，因此研究仍然存在。机器翻译是自然语言处理的主要应用领域之一。在一种语言到另一种语言的翻译中，句子的结构识别起着关键的作用。本文介绍了一种混合方法来解决句子中给定词之间的关系识别问题。在现有的系统是使用基于规则的方法，这是不适合在巨大的数据量。机器学习方法适合于处理大量的数据，也可以通过学习和训练系统来获得更好的准确性。该方法以泰米尔语句子作为输入，并产生一个依赖关系的结果作为一个树状结构，使用混合的方法。该工具对研究人员非常有帮助，并有望提高现有方法的质量。
2014-03-21 cs.CL
TamilEmo: Finegrained Emotion Detection Dataset for Tamil
University of Moratuwa（莫拉图瓦大学）；PSG College of Arts and Science（PSG艺术与科学学院）；Indian Institute of Information Technology and Management-Kerala（印度信息技术与管理学院喀拉拉邦分校）；Sri Krishna Adithya College of Arts and Science（斯里克里希纳阿迪亚艺术与科学学院）；Sri Sivasubramaniya Nadar College of Engineering（斯里西瓦苏布拉马尼亚纳达尔工程学院）；ULTRA Arts and Science College（ULTRA艺术与科学学院）；Kongu Engineering College（孔古工程学院）；Insight SFI Research Centre for Data Analytics, National University of Ireland（爱尔兰国立大学Insight SFI数据分析研究中心）
从文本输入中进行情感分析一直被认为是自然语言处理中一项既有挑战性又有趣的任务。然而，由于缺乏低资源语言（如泰米尔语）的数据集，很难在这一领域进行高标准的研究。因此，我们引入了这个标记数据集（超过42k泰米尔语YouTube评论的最大手动注释数据集，标记了31种情绪，包括中性情绪）用于情绪识别。该数据集的目标是改善泰米尔语中多个下游任务的情感检测。我们还创建了三种不同的情绪分组（3类，7类和31类），并评估了模型在每个类别上的表现。我们的基于MURIL的模型在我们的3类组数据集中实现了0.60的宏观平均F1得分。对于7类和31类组，随机森林模型表现良好，宏观平均F1分数分别为0.42和0.29。
2022-02-09 cs.CL
A Grapheme-Aware Indic Tokenizer for Tamil: Large-Scale Training and Intrinsic Evaluation
IIITDM Kanchipuram（印度信息技术与设计学院坎奇普兰分校）；Wadhwani School of Data Science and AI, IIT Madras（印度理工学院马德拉斯分校瓦德瓦尼数据科学与人工智能学院）
本文提出一种针对泰米尔语的字素感知分词器，通过可逆Unicode映射保留完整字素簇，在压缩比和碎片化等内在指标上优于五种主流多语言分词器。
2026-09-09 cs.CL
L3Cube-HindBERT and DevBERT: Pre-Trained BERT Transformer models for Devanagari based Hindi and Marathi Languages
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；L3Cube Pune（L3Cube浦那）
模型中心目前提供的单语印地语BERT模型在下游任务上的表现并不比多语言模型好。我们提出了L3 Cube-HindBERT，一个在印地语单语语料库上预训练的印地语BERT模型。此外，由于印度语、印地语和马拉地语共享梵文脚本，我们为两种语言训练单个模型。我们发布了DevBERT，这是一个在马拉地语和印地语单语数据集上训练的Devanagari BERT模型。我们评估这些模型的下游印地语和马拉地语文本分类和命名实体识别任务。基于HindBERT和DevBERT的模型比多语言MuRIL、IndicBERT和XLM-R有显著的改进。基于这些观察，我们还发布了其他印度语言卡纳达语，泰卢固语，马拉雅拉姆语，泰米尔语，古吉拉特语，阿萨姆语，奥迪亚语，孟加拉语和旁遮普语的单语BERT模型。这些模型在https://huggingface.co/l3cube-pune上共享。
2023-01-08 cs.CL cs.LG
Tamil-Llama: A New Tamil Language Model Based on Llama 2
本文提出 Tamil-Llama，通过向 LLaMA 模型添加 16,000 个泰米尔语词元并采用 LoRA 高效训练，显著提升了泰米尔语文本生成与理解性能。
2023-11-10 cs.AI cs.CL cs.LG
Corpus Creation for Sentiment Analysis in Code-Mixed Tamil-English Text
Cardiff University（卡迪夫大学）；Saraswathi Narayanan College（萨拉斯瓦蒂·纳拉亚南学院）
从视频或图像中理解评论的情感是许多应用中的一项重要任务。文本的情感分析可以用于各种决策过程。其中一个应用是基于观众评论分析社交媒体上视频的流行情绪。然而，来自社交媒体的评论并不遵循严格的语法规则，它们包含多种语言的混合，通常是用非母语脚本编写的。对于像泰米尔语这样的低资源语言，没有注释的代码混合数据也增加了这个问题的难度。为了克服这个问题，我们创建了一个黄金标准的泰米尔语-英语代码转换，情感注释语料库，包含来自YouTube的15，744条评论帖子。在本文中，我们描述了创建语料库和分配极性的过程。我们提出了注释者之间的协议，并显示了在此语料库上训练的情感分析的结果作为基准。
2020-05-30 cs.CL
Morphology Aware Reversible Semantic Tokenization and Hierarchical Word Composition for Tamil Language Models
该研究针对泰米尔语，提出结合ThamizhiMorph的形态系统与分层词组合方法，在固定小模型预算下提升翻译性能，同时大幅降低序列长度与推理成本。
2026-08-04 cs.CL
Intent Identification and Entity Extraction for Healthcare Queries in Indic Languages
IIT Kharagpur（印度理工学院卡哈拉格普尔分校）；University of Maryland, College Park（马里兰大学帕克分校）；Carnegie Mellon University（卡内基梅隆大学）
在印度等发展中国家，资源匮乏的语言的数据稀缺和技术限制对医疗保健领域复杂的NLU系统的发展构成了威胁。为了评估医疗保健领域各种最先进的语言模型的现状，本文首先提出了两个不同的医疗保健数据集，Indian Healthcare Query Intent-WebMD和1 mg（IHQID-WebMD和IHQID-1 mg）和一个真实世界的印度医院查询数据（英语和多种印度语言）（印地语、孟加拉语、泰米尔语、泰卢固语、马拉地语和古吉拉特语），它们用查询意图和实体进行注释。我们的目标是检测查询意图并提取相应的实体。我们进行了广泛的实验，一组模型在各种现实的设置和探索两种情况下的基础上访问英语数据（成本较低）和访问目标语言数据（更昂贵）。通过实证分析，我们分析了具体的实际相关性。结果，表示在整体F1分数方面表明，我们的方法是实际有用的，以确定意图和实体。
2023-02-19 cs.CL cs.IR
Machine Learning of Phonologically Conditioned Noun Declensions For Tamil Morphological Generators
Muthiah Polytechnic College（穆蒂亚理工学院）；Annamalai University（安纳马莱大学）
本文提出了机器学习解决方案的自然语言生成（NLG）的实际问题，特别是在黏着语言如泰米尔语的构词，在监督的方式。形态发生器是人工智能中自然语言处理的重要组成部分。它生成给定词根和词缀的单词形式。词素的变化，如增加，删除，改变等，当两个或两个以上的词素或词连接在一起时出现。在基于规则的词法分析器和生成器中，应该明确地指定连读规则。在机器学习框架中，这些规则可以由系统从训练样本中自动学习，随后应用于新的输入。本文提出了从给定的训练数据中学习名词变格的形态音素规则的机器学习模型。利用各种学习算法训练这些模型学习连读变调规则，并给出了这些算法的性能。由此，我们得出结论，机器学习的形态处理，如词的形式生成可以成功地学习在监督的方式，没有明确的规则描述。讨论了决策树和贝叶斯机器学习算法在名词变格问题上的性能。
2014-02-14 cs.CL
Improving the Performance of English-Tamil Statistical Machine Translation System using Source-Side Pre-Processing
Amrita Vishwa Vidyapeetham（阿姆rita大学）；SRM University（SRM大学）
机器翻译是自然语言处理中最古老、最活跃的研究领域之一。统计机器翻译（SMT）是目前机器翻译研究的主流。统计机器翻译是机器翻译的一种方法，它使用模型直接从数据中学习翻译模式，并将其推广到翻译新的不可见文本。SMT方法在很大程度上是独立于语言的，即模型可以应用于任何语言对。统计机器翻译（SMT）试图利用统计方法生成基于双语文本语料库的译文。如果有这样的语料库，翻译相似的文本可以达到很好的效果，但这样的语料库仍然没有为许多语言对。统计机器翻译系统通常难以处理源端或目标端的词法，特别是对于词法丰富的语言。目标语言中的词法或句法错误会对句子的意义产生严重的影响。它们通过动词中不正确的时态信息改变词的语法功能或句子的理解。Baseline SMT也被称为基于短语的统计机器翻译（PBSMT）系统，它不使用任何语言信息，只对表面单词形式进行操作。近年来的研究表明，在双语语料较少的情况下，增加语言信息有助于提高译文的准确性。可以使用因子统计机器翻译系统通过预处理步骤来添加语言信息。本文研究了如何利用英文侧预处理来提高英文-泰米尔文SMT系统的准确性。
2014-09-29 cs.CL
From Phonemes to Meaning: Evaluating Large Language Models on Tamil
针对现有多语言基准难以准确评估低资源形态丰富语言性能的问题，本文构建泰米尔语专属评估基准ILAKKANAM，评估多款大语言模型并揭示其性能差距与潜在机制。
2025-11-15 cs.AI cs.CL
Large Language Models for Math Education in Low-Resource Languages: A Study in Sinhala and Tamil
Department of Computer Science and Engineering（计算机科学与工程系）；University of Moratuwa（穆拉图瓦大学）；Department of Electrical and Information Engineering（电气与信息工程系）；University of Ruhuna（鲁胡纳大学）；Faculty of Information Technology and Communication Sciences（信息科技与通讯科学学院）；Tampere University（塔尔皮奥大学）；School of Computing（计算学院）；Australian National University（澳大利亚国立大学）
本文研究了大型语言模型在斯里兰卡语和泰米尔语中的数学推理能力，发现基础算术推理在不同语言间表现稳定，但复杂问题在两种语言中均有显著下降，表明英语表现佳不等于多语言可靠。
2026-04-17 cs.CL cs.LG
NLP-CUET@DravidianLangTech-EACL2021: Offensive Language Detection from Multilingual Code-Mixed Text using Transformers
Chittagong University of Engineering and Technology（吉大港工程技术大学）
互联网的日益普及促进了社交媒体的使用，并鼓励个人自由表达意见。然而，它也为内容污染者传播攻击性帖子或内容创造了一个场所。大多数此类攻击性帖子都是以跨语言的方式编写的，可以轻松逃避在线监控系统。本文提出了一个自动化系统，可以识别攻击性文本从多语言代码混合数据。在这项任务中，数据集以三种语言提供，包括泰米尔语，马拉雅拉姆语和卡纳达语代码与英语混合，要求参与者为每种语言实现单独的模型。为了完成这些任务，我们采用了两种机器学习技术（LR，SVM），三种深度学习（LSTM，LSTM+Attention）技术和三种基于Transformers器（m-BERT，Indic-BERT，XLM-R）的方法。结果表明，XLM-R在泰米尔语和马拉雅拉姆语中的表现优于其他技术，而m-BERT在卡纳达语中得分最高。所提出的模型获得了加权$f_1$得分$0.76$（泰米尔语），$0.93$（马拉雅拉姆语）和$0.71$（卡纳达语）与等级分别为$3^{rd}$，$5^{th}$和$4^{th}$。
2021-02-28 cs.CL
Multilingual Speech Evaluation: Case Studies on English, Malay and Tamil
Institute for Infocomm Research, A*STAR（资讯通信研究院，新加坡科技研究局）
语音评价是计算机辅助语言学习（CALL）的重要组成部分。虽然英语的语音评估已经很流行，但低资源语言的自动语音评分仍然具有挑战性。这一领域的工作主要集中在单语特定设计和源于英语等资源丰富的语言的手工制作功能上。这种方法通常很难推广到其他语言，特别是如果我们还想考虑超音段特性，如节奏。在这项工作中，我们研究了三种不同的语言，具有不同的节奏模式：英语（重音定时），马来语（音节定时），泰米尔语（莫拉定时）。我们利用音乐处理和向量表示学习的启发强大的特征表示。经验验证显示，在预测语音，节奏和语调表现时，所有三种语言的一致收益。
2021-07-08 cs.CL cs.SD eess.AS
IndicMedDialog: A Parallel Multi-Turn Medical Dialogue Dataset for Accessible Healthcare in Indic Languages
University of Birmingham（布里斯托尔大学）；Heritage Institute of Technology（遗产理工学院）；Madan Mohan Malaviya University of Technology（马丹·莫汉·马尔维亚理工学院）
本文提出IndicMedDialog数据集，包含英语和九种印地语系语言的多轮医疗对话，通过生成合成咨询并进行翻译、验证和处理，提升多语言医疗对话系统的现实性和可访问性。
2026-05-13 cs.AI cs.CL cs.IR
Large Language Models for Stemming: Promises, Pitfalls and Failures
The University of Queensland（昆士兰大学）；CSIRO（联邦科学与工业研究组织）
本文研究了利用大型语言模型（LLMs）进行文本词干提取，提出了词汇表、上下文及基于实体的上下文词干提取三种方法，实验表明基于实体的方法在特定条件下优于传统Porter词干提取器。
2024-02-19 cs.CL cs.IR
Breaking the Silence Detecting and Mitigating Gendered Abuse in Hindi, Tamil, and Indian English Online Spaces
National Institute of Technology Silchar（锡尔卡尔国家技术学院）
本文提出融合 CNN 与 BiLSTM、并结合 FastText/GloVe 嵌入的性别化辱骂检测集成模型，在多语种 Twitter 数据集上取得竞赛第一名。
2024-04-03 cs.CL
Findings of the Sentiment Analysis of Dravidian Languages in Code-Mixed Text
National University of Ireland Galway（爱尔兰国立高威大学）；ULTRA Arts and Science College（ULTRA文理学院）；Eastern University, Sri Lanka（斯里兰卡东方大学）；Sri Sivasubramaniya Nadar College of Engineering（斯里西瓦苏布拉马尼亚·纳达尔工程学院）；Indian Institute of Information Technology and Management-Kerala（印度喀拉拉邦信息技术与管理学院）；Indian Institute of Information Technology Tiruchirappalli（印度蒂鲁吉拉伯利信息技术学院）；University of Moratuwa, Sri Lanka（斯里兰卡莫拉图瓦大学）
我们介绍了在FIRE 2021上举行的Dravidian-CodeMix共享任务的结果，这是一个关于代码混合文本中的Dravidian语言的情感分析的跟踪。我们描述的任务，它的组织，并提交的系统。本次共享任务是去年在FIRE 2020上举办的Dravidian-CodeMix共享任务的延续。今年的任务包括令牌内和令牌间的代码混合。此外，除了泰米尔语和马拉雅拉姆语，卡纳达语也被引入。我们收到了22个泰米尔语系统，15个马拉雅拉姆语系统，15个卡纳达语系统。泰米尔语、马拉雅拉姆语和卡纳达语的最高系统的加权平均F1分数分别为0.711、0.804和0.630。总之，提交的材料的质量和数量表明，在代码混合环境中对达罗毗荼语有很大的兴趣，这一领域的最新技术仍需进一步改进。
2021-11-18 cs.CL
Cross-lingual Dysarthria Severity Classification for English, Korean, and Tamil
Seoul National University（首尔大学）；Sogang University（西江大学）
本文提出了一种跨语言的分类方法，英语，韩语和泰米尔语，它采用语言独立的功能和语言独特的功能。首先，我们从不同的语音维度，如语音质量，发音和韵律提取39个特征。其次，应用特征选择来识别每种语言的最佳特征集。通过比较三种语言的特征选择结果，区分出一组共有特征和一组区别性特征。最后，利用这两个特征集执行自动严重性分类。值得注意的是，所提出的方法删除不同的语言，以防止其他语言的独特功能的负面影响。因此，采用极限梯度提升（XGBoost）算法进行分类，这是由于其在填补缺失数据方面的优势。为了验证我们提出的方法的有效性，我们进行了两个基线实验：使用单语言特征集的交集（交集）和使用单语言特征集的并集（并集）的实验。根据实验结果，我们的方法取得了更好的性能与67.14%F1分数，相比之下，64.52%的交集实验和66.74%的联盟实验。此外，所提出的方法实现了更好的性能比单语言分类的所有三种语言，实现17.67%，2.28%，7.79%的相对百分比增加为英语，韩语，泰米尔语，分别。结果表明，共同共享的功能和语言特异性功能必须单独考虑跨语言构音障碍的严重程度分类。
2022-09-26 cs.CL cs.SD eess.AS
Theedhum Nandrum@Dravidian-CodeMix-FIRE2020: A Sentiment Polarity Classifier for YouTube Comments with Code-switching between Tamil, Malayalam and English
DataWeave；Exotel
Theedhum Nandrum是一个使用两种方法的情感极性检测系统-基于随机梯度下降（SGD）的分类器和基于长短期记忆（LSTM）的分类器。我们的方法利用了语言功能，如使用表情符号，选择脚本和代码混合，这些功能在为Dravidian Codemix - FIRE 2020任务指定的数据集中非常明显。SGD的超参数使用GridSearchCV进行调整。我们的系统在泰米尔语英语中排名第四，加权平均F1得分为0.62，在马拉雅拉姆语英语中排名第九，得分为0.65。在任务截止日期后，我们使用基于Logistic回归的模型获得了泰米尔语英语的加权平均F1分数为0.77。这种性能大大优于该数据集上排名最高的分类器。我们使用特定语言的Soundex来协调代码混合数据中的拼写变体，这似乎是Soundex的一个新应用。我们的完整代码发布在github网站https://github.com/oligoglot/theedhum-nandrum上。
2020-10-13 cs.CL cs.LG
Agaram 2.5B: The First Tamil-First Language Model Trained from Scratch with Tool Calling. A Playbook for Under-Represented Languages
Murai Labs（穆赖实验室）
本研究训练了首个以泰米尔语为核心的工具调用语言模型Agaram 2.5B，其翻译、泰米尔语相关指标优于同类模型，同时指出其知识能力较弱的问题，为低资源语言模型开发提供了实践指南。
2026-10-28 cs.AI cs.CL cs.LG
Data and knowledge-driven approaches for multilingual training to improve the performance of speech recognition systems of Indian languages
Indian Institute of Science（印度科学理工学院）
我们提出了数据和知识驱动的方法，通过汇集来自多个源语言的语音数据，为目标语言的自动语音识别（ASR）系统的多语言训练。利用印度语言之间的声学相似性，我们实现了两种方法。在音素/音素映射中，深度神经网络（DNN）学习将音素或音素从一种语言映射到另一种语言，并且修改源语言的翻译，使得它们可以与目标语言数据一起用于训练和微调目标语言ASR系统。在另一种方法中，我们通过训练多任务DNN（MTDNN）来同时对所有语言的声学信息进行建模，以预测不同输出层中每种语言的senone。修改交叉熵损失和权重更新过程，使得如果特征向量属于特定语言，则在训练期间仅更新负责预测语言的senone类的共享层和输出层。在低资源环境下，使用泰米尔语、泰卢固语和古吉拉特语各40小时的转录数据进行培训。基于DNN的senone映射技术在泰米尔语、古吉拉特语和泰卢固语的单词错误率（WER）上分别比基线系统提高了9.66%、7.2%和15.21%。在中等资源设置（MRS），160，275和135小时的数据，泰米尔语，卡纳达语和印地语，其中，同样的技术提供了更好的相对改善13.94%，10.28%和27.24%，分别为泰米尔语，卡纳达语和印地语。在LRS中基于senone映射的MTDNN训练，对于泰米尔语，古吉拉特语和泰卢固语分别给出了15.0%，17.54%和16.06%的相对WER改进，而在MRS中，我们看到泰米尔语，…
2022-01-24 cs.CL cs.SD eess.AS
Contextual Tamil Spelling and Grammar Correction Using Progressively Fine-Tuned Sequence-to-Sequence Transformers
National Institute of Technology, Tiruchirappalli（国家技术研究所蒂鲁吉拉伯利分校）；Tamil University, Thanjavur（泰米尔大学）
针对泰米尔语低资源特性及现有方法无法处理上下文错误的问题，提出端到端序列到序列模型，通过四阶段渐进式微调mT5-small和mBART-50，在合成语料库上取得连音准确率87.5%、主谓一致准确率43.5%的结果。
2026-09-04 cs.CL
Offensive Language Identification in Low-resourced Code-mixed Dravidian languages using Pseudo-labeling
Indian Institute of Information Technology Tiruchirappalli（蒂鲁奇拉帕利印度信息技术学院）；ULTRA Arts and Science College（ULTRA文理学院）；Eastern University（东方大学）；Kongu Engineering College（孔古工程学院）；Sri Sivasubramaniya Nadar College of Engineering（斯里·西瓦苏布拉马尼亚·纳达尔工程学院）；Insight SFI Research Centre for Data Analytics, National University of Ireland Galway（爱尔兰国立大学戈尔韦分校SFI洞察数据分析研究中心）
社交媒体已经成为沟通和数字营销的主要枢纽。由于这些平台能够以文本、图像和视频的形式自由表达思想和事实，因此需要对其进行广泛的筛选，以保护个人和团体免受针对他们的攻击性内容的影响。我们的工作旨在对泰米尔语、卡纳达语和马拉雅拉姆语的德拉威语中的代码混合社交媒体评论/帖子进行分类。我们打算通过在数据集上生成伪标签来改进攻击性语言识别。自定义数据集是通过将所有代码混合的文本音译为相应的德拉威语（卡纳达语、马拉雅拉姆语或泰米尔语），然后为音译数据集生成伪标签来构建的。这两个数据集使用生成的伪标签组合，以创建称为CMTRA的自定义数据集。由于达罗毗荼语资源不足，我们的方法增加了语言模型的训练数据量。我们在新构建的数据集上微调了几个最近预训练的语言模型。我们提取预训练的语言嵌入，并将它们传递到递归神经网络上。我们观察到，在自定义数据集上微调ULMFiT在所有三种语言的代码混合测试集上产生了最佳结果。我们的方法在泰米尔语英语的基准模型中产生了最好的结果，实现了0.7934的加权F1分数，同时在马拉雅拉姆语英语和卡纳达语英语的代码混合测试集上分别获得了0.9624和0.7306的竞争加权F1分数。
2021-08-27 cs.CL
Evaluating Dedicated Monolingual and Joint Multilingual Causal Models for Dravidian Languages
本文训练5个GPT-2架构模型对比达罗毗荼语的单语与多语模型，发现单语模型在情感分类等任务上优于mGPT，分词器效率也更高。
2026-08-11 cs.CL
"Is Hate Lost in Translation?": Evaluation of Multilingual LGBTQIA+ Hate Speech Detection
University of New South Wales（新南威尔士大学）
本文评估了大型语言模型在英语、意大利语、中文和英语-泰米尔语中检测LGBTQIA+仇恨言论的能力，发现微调能持续提升性能，而机器翻译效果不一，且自动翻译难以捕捉语言的社会文化细微差别。
2024-10-24 cs.CL
Prompt Engineering Using GPT for Word-Level Code-Mixed Language Identification in Low-Resource Dravidian Languages
IIT Kharagpur（印度理工学院克勒格布尔分校）
本文利用GPT-3.5 Turbo提示工程方法解决低资源德拉维达语言的词级语码混合语言识别问题，实验表明卡纳达语模型表现优于泰米尔语模型。
2025-03-12 cs.CL
