首页/论文/1405.7397

arXiv 1405.73972014-05-28cs.CL

基于HMM的印度语言命名实体识别系统：ICON 2013上的JU系统

An HMM Based Named Entity Recognition System for Indian Languages: The JU System at ICON 2013

Central Calcutta Polytechnic（中央加尔各答理工学院）；Jadavpur University（贾达普大学）

Vivekananda Gayen, Kamal Sarkar

备注：: The ICON 2013 tools contest on Named Entity Recognition in Indian languages (IL) co-located with the 10th International Conference on Natural Language Processing(ICON), CDAC Noida, India,18-20 December, 2013

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

本文报道了我们在ICON 2013 NLP TOOLS CONEST上关于命名实体识别的工作。我们提交了孟加拉语，英语，印地语，马拉地语，旁遮普语，泰米尔语和泰卢固语的运行。一个统计HMM（隐马尔可夫模型）为基础的模型已被用来实现我们的系统。该系统已经在NLP TOOLS CONEST：ICON 2013数据集上进行了训练和测试。我们的系统获得的F-措施为0.8599，0.7704，0.7520，0.4289，0.5455，0.4466，和0.4003孟加拉语，英语，印地语，马拉地语，旁遮普语，泰米尔语和泰卢固语分别。

英文摘要：

This paper reports about our work in the ICON 2013 NLP TOOLS CONTEST on Named Entity Recognition. We submitted runs for Bengali, English, Hindi, Marathi, Punjabi, Tamil and Telugu. A statistical HMM (Hidden Markov Models) based model has been used to implement our system. The system has been trained and tested on the NLP TOOLS CONTEST: ICON 2013 datasets. Our system obtains F-measures of 0.8599, 0.7704, 0.7520, 0.4289, 0.5455, 0.4466, and 0.4003 for Bengali, English, Hindi, Marathi, Punjabi, Tamil and Telugu respectively.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

基于CRF的命名实体识别@ ICON 2013

CRF-based Named Entity Recognition @ICON 2013

Indian Statistical Institute（印度统计研究所）

本文描述了作为ICON 2013共享任务的一部分，基于CRF的印度语命名实体识别（NER）系统的性能。在这个任务中，我们考虑了所有语言的一组独立于语言的特征。仅针对英语添加了语言特定功能，即大写。其次，探讨了孟加拉文、印地语和英文地名索引的使用问题。地名录是根据维基百科和其他来源编制的。测试结果表明，该系统实现了最高的F措施的88%的英语和最低的F措施的69%的泰米尔语和泰卢固语。请注意，对于表现最差的两种语文，没有使用地名录。孟加拉语和印地语的NER准确率分别为87%和79%。

2014-09-29cs.CL

ICON 2015上代码混合的印度社交媒体文本的词性标记

Part-of-Speech Tagging for Code-mixed Indian Social Media Text at ICON 2015

Jadavpur University（贾达普大学）

本文讨论了我们在Jadavpur大学进行的实验，作为ICON 2015任务的一部分：代码混合印度社交媒体文本的POS标记。我们为该任务开发的工具基于三元组隐马尔可夫模型，该模型利用来自字典的信息以及其他一些单词级别的特征来提高已知令牌和未知令牌的观察概率。我们提交了孟加拉语-英语，印地语-英语和泰米尔语-英语语言对的运行。我们的系统已经在ICON 2015共享任务发布的数据集上进行了训练和测试：代码混合印度社交媒体文本的POS标记。在约束模式下，我们的系统获得了75.60%的平均整体准确率（所有三种语言对的平均值），这非常接近其他两个参与系统（IIITH为76.79%，AMRITA_CEN为75.79%），排名高于我们的系统。在无约束模式下，我们的系统获得了70.65%的平均总体准确度，这也接近于获得最高平均总体准确度的系统（AMRITA_CEN为72.85%）。

2016-01-06cs.CL

语码混合的印度语言情感分析--SAIL_Code-Mixed共享任务@ ICON-2017综述

Sentiment Analysis of Code-Mixed Indian Languages: An Overview of SAIL_Code-Mixed Shared Task @ICON-2017

University of Texas Health Science Center（得克萨斯大学健康科学中心）；Jadavpur University（贾达普大学）；IIIT Sri City（斯里城国际信息技术研究所）

情感分析在立场检测、评论分析、推荐系统等许多现实应用中至关重要，当数据是从社交媒体上收集的且带有噪声时，情感分析变得更加困难。印度是一个多语言的国家，人们使用一种以上的语言进行交流。语言之间的转换被称为语码转换或语码混合，这取决于混合的类型。本文概述了从不同的社交媒体平台收集的印度语-英语和孟加拉语-英语的代码混合数据对的情感分析的共享任务。本文描述了任务，数据集，评估，基线和参与者的系统。

2018-03-18cs.CL

一个POS标签代码混合印度社交媒体文本- ICON-2016 NLP工具竞赛从Surukam进入

A POS Tagger for Code Mixed Indian Social Media Text - ICON-2016 NLP Tools Contest Entry from Surukam

Surukam Analytics（Surukam分析公司）

由于缺乏精确注释的训练语料库，为代码混合的印度语言构建词性标注器是计算语言学中一个特别具有挑战性的问题。ICON作为其NLP工具竞赛的一部分，连续第二年将此挑战作为一项共同任务来组织，以提高最先进的水平。本文介绍了在Surukam构建的POS标记器，用于预测三种语言对的粗粒度和细粒度POS标记-孟加拉语-英语，泰卢固语-英语和印地语-英语，文本跨越三个流行的社交媒体平台- Facebook，WhatsApp和Twitter。我们采用条件随机场作为序列标记算法，并使用一个名为sklearn-crfsuite的库-一个围绕CRFsuite的薄包装器来训练我们的模型。我们使用的特征包括多字符n-grams，语言信息和emoji，数字，标点符号和网址的模式。我们在受限环境中提交的文件，即，在不使用任何单语POS标记器等的情况下，获得了76.45%的总体平均F1分数，这与2015年的76.79%的获胜分数相当。

2016-12-31cs.CL

基于隐马尔可夫模型的社交媒体英文文本实体提取系统在FIRE 2015

A Hidden Markov Model Based System for Entity Extraction from Social Media English Text at FIRE 2015

Jadavpur University（贾达夫普尔大学）

本文介绍了我们在Jadavpur大学进行的实验，作为参与FIRE 2015任务的一部分：从社交媒体文本中提取实体-印度语言（ESM-IL）。我们为这项任务开发的工具是基于三元组隐马尔可夫模型，该模型利用地名词典列表，POS标签和其他一些单词级别的功能，以提高已知令牌以及未知令牌的观察概率。我们只提交了英文版。一个统计HMM（隐马尔可夫模型）为基础的模型已被用来实现我们的系统。该系统已经在FIRE 2015任务发布的数据集上进行了训练和测试：从社交媒体文本中提取实体-印度语言（ESM-IL）。我们的系统是最好的表现为英语语言，它获得的准确率，召回率和F-措施分别为61.96，39.46和48.21。

2015-12-12cs.CL

印度语言的统计机器翻译：使命印地语2

Statistical Machine Translation for Indian Languages: Mission Hindi 2

CDAC Mumbai（孟买先进计算发展中心）

本文介绍了孟买高级计算发展中心（CDACM）向2015年印度语言统计机器翻译NLP工具竞赛（ILSMT）提交的参赛作品（与ICON 2015并列）。比赛的目的是共同探索统计机器翻译（SMT）在印度语言内部以及英语和印度语言之间进行翻译时的有效性。在本文中，我们报告我们的工作，即孟加拉语-印地语（\bnhi），马拉地语-印地语（\mrhi），泰米尔语-印地语（\tahi），泰卢固语-印地语（\tehi），英语-印地语（\enhi）的健康，旅游和一般领域。我们在SMT培训和测试之前使用了后缀分离、复合拆分和预排序。

2016-10-25cs.CL

更多相关论文收起更多论文

印度语言的统计机器翻译：使命印地语

Statistical Machine Translation for Indian Languages: Mission Hindi

CDAC Mumbai（孟买先进计算发展中心）

本文讨论了孟买高级计算发展中心（CDACM）提交给2014年印度语言统计机器翻译NLP工具竞赛（ILSMT）的作品（与ICON 2014同期举行）。比赛的目的是探讨统计机器翻译（SMT）的有效性，印度语到印度语和英语-印地语机器翻译。在本文中，我们已经提出，后缀分离和字分裂SMT从粘着语言印地语显着改善了基线（BL）。我们还表明，重新排序的因子模型优于基于短语的SMT英语印地语（\enhi）。我们报告了我们在所有五种语言上的工作，即孟加拉语-印地语（\bnhi），马拉地语-印地语（\mrhi），泰米尔语-印地语（\tahi），泰卢固语-印地语（\tehi）和健康，旅游和一般领域的\enhi。

2016-10-24cs.CL

AdapMT ICON 2020英语-印地语机器翻译任务的NMT模型的领域自适应

Domain Adaptation of NMT models for English-Hindi Machine Translation Task at AdapMT ICON 2020

Pune Institute of Computer Technology（浦那计算机技术学院）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）

神经机器翻译（NMT）模型的最新进展已被证明在低资源印度语言的机器翻译上产生了最先进的结果。本文描述了AdapMT共享任务ICON 2020中提出的英语-印地语神经机器翻译系统。该共享任务旨在使用小型域内并行语料库为人工智能（AI）和化学等特定领域的印度语言构建翻译系统。我们基于BLEU分数评估了两种流行的NMT模型的有效性，即LSTM和Transformer架构用于英语-印地语机器翻译任务。我们训练这些模型主要使用域外数据，并采用简单的领域自适应技术的基础上，域内数据集的特点。微调和混合域数据方法用于领域自适应。我们的团队在化学和一般领域En-Hi翻译任务中排名第一，在AI领域En-Hi翻译任务中排名第二。

2020-12-23cs.CLcs.LG

使用POS标记代码混合的印度社交媒体文本的实验

Experiments with POS Tagging Code-mixed Indian Social Media Text

CDAC Mumbai（孟买先进计算发展中心）

本文介绍了孟买高级计算发展中心（CDACM）提交给2015年印度混合代码社交媒体文本（POSCMISMT）的词性（POS）标记NLP工具竞赛（与ICON 2015并列）。我们提交了印地语（hi），孟加拉语（bn）和泰卢固语（te）与英语（en）混合的结果。在本文中，我们已经描述了我们的方法的词性标注技术，我们利用这项任务。机器学习被用于对混合语言文本进行词性标注。对于POS标记，已经尝试了用于特征提取和对数线性模型的向量空间（word 2 vec）中单词的分布式表示。我们报告了我们在所有三种语言hi，bn和te与en混合的工作。

2016-10-31cs.CL

JU_KS@SAIL_CodeMixed-2017：印度代码混合社交媒体文本的情感分析

JU_KS@SAIL_CodeMixed-2017: Sentiment Analysis for Indian Code Mixed Social Media Texts

Jadavpur University（贾达普大学）

本文报告了我们在NLP工具竞赛@ICON-2017中的工作，共享任务是印度语言的情感分析（SAIL）（代码混合）。为了实现我们的系统，我们使用了一个机器学习算法，称为多项式朴素贝叶斯训练使用n-gram和SentiWordnet功能。我们还为英语使用了一个小SentiWordnet，为孟加拉语使用了一个小SentiWordnet。但我们没有使用任何SentiWordnet为印地语。我们已经在为大赛发布的印地语-英语和孟加拉语-英语代码混合的社交媒体数据集上测试了我们的系统。该系统的性能已经非常接近参加比赛的最佳系统。对于孟加拉语-英语和印地语-英语运行，我们的系统在所有提交的运行中排名第三，并在比赛中获得第三名。

2018-02-15cs.CL

2023年ICON印度语言性别歧视辱骂检测共享任务概述

Overview of the 2023 ICON Shared Task on Gendered Abuse Detection in Indic Languages

Tattle Civic Tech（Tattle 公民科技）；University of Copenhagen（哥本哈根大学）；University of New South Wales（新南威尔士大学）

本文概述了ICON 2023印度语言性别歧视辱骂检测共享任务，基于印地语、泰米尔语和印度英语数据集评估了三个子任务的检测方法，最佳F-1分数介于0.572至0.616之间。

2024-01-08cs.CLcs.LG

打破沉默：检测和缓解印地语、泰米尔语及印度英语网络空间中的性别化辱骂

Breaking the Silence Detecting and Mitigating Gendered Abuse in Hindi, Tamil, and Indian English Online Spaces

National Institute of Technology Silchar（锡尔卡尔国家技术学院）

本文提出融合 CNN 与 BiLSTM、并结合 FastText/GloVe 嵌入的性别化辱骂检测集成模型，在多语种 Twitter 数据集上取得竞赛第一名。

2024-04-03cs.CL