Hindi Visual Genome: A Dataset for Multimodal English-to-Hindi Machine Translation
Charles University(查理大学);KIIT University(KIIT大学)
Visual Genome是一个将结构化图像信息与英语语言连接起来的数据集。我们提出了“印地语视觉基因组”,一个多模态数据集,由文本和图像组成,适用于英语-印地语多模态机器翻译任务和多模态研究。我们从Visual Genome中选择了简短的英语片段(标题)以及相关的图像,并通过手动后期编辑将其自动翻译为印地语,其中考虑了相关的图像。我们准备了一套31525段,伴随着一个挑战测试集的1400段。这个挑战测试集是通过基于嵌入相似性搜索(特别是)歧义英语单词并手动选择图像有助于解决歧义的单词来创建的。我们的数据集是第一个用于多模态英语-印地语机器翻译的数据集,可免费用于非商业研究目的。我们的印地语版本的Visual Genome还允许创建印地语图像标签或其他实用工具。印地语视觉基因组还在亚洲翻译研讨会(WAT)2019多模态翻译任务中服务。
2019-07-21 cs.CL
IITP at WAT 2021: System description for English-Hindi Multimodal Translation Task
Indian Institute of Technology Patna(巴特那印度理工学院)
神经机器翻译(NMT)因其端到端的可训练灵活性而成为当今机器翻译的主流技术。然而,NMT仍然很难在低资源环境中正确翻译,特别是在遥远的语言对上。克服这一问题的方法之一是利用其他模式提供的信息。这个想法是,尽管语言不同,但源语言和目标语言说话者看到的是相同的东西,源语言和目标语言的视觉表示是相同的,这可以积极地帮助系统。多模态信息可以帮助NMT系统通过消除某些短语或单词上的歧义来改进翻译。我们参加了第八届亚洲翻译研讨会(WAT - 2021)的英语-印地语多模态翻译任务,并在评估和挑战子集中分别获得42.47和37.50的BLEU分数。
2021-07-04 cs.AI cs.CL
Hybrid Approach to English-Hindi Name Entity Transliteration
Government Women Engineering College(政府女子工程学院)
印度语言的机器翻译研究仍处于起步阶段。在这一领域中,对名称实体的正确音译没有做太多的工作。在本文中,我们解决这个问题。我们使用英语印地语对我们的实验,并使用了混合的方法。首先,我们已经处理了英语单词使用基于规则的方法,从单词中提取单个音素,然后我们应用了统计方法,将英语转换为相应的印地语音素,并反过来相应的印地语单词。通过这种方法,我们达到了83.40%的准确率。
2014-03-28 cs.CL
Bridging the Data Gap: Creating a Hindi Text Summarization Dataset from the English XSUM
本研究通过利用英语XSUM数据集,开发了低成本自动化框架,生成印地语文本摘要数据集,以弥补低资源语言在高质量数据集方面的不足。
2026-01-04 cs.AI cs.CL
Hate Speech Detection from Code-mixed Hindi-English Tweets Using Deep Learning Models
本文报告了一个增量的最先进的仇恨言论检测英语印地语代码混合推文。我们比较了三种典型的使用特定领域嵌入的深度学习模型。在对英语-印地语代码混合推文的基准数据集进行实验时,我们观察到使用特定领域的嵌入会改善目标群体的表示,并提高F分数。
2018-11-13 cs.CL
Translating Politeness Across Cultures: Case of Hindi and English
Jawaharlal Nehru University(贾瓦哈拉尔·尼赫鲁大学)
在本文中,我们提出了一个语料库为基础的研究礼貌跨越两种语言-英语和印地语。它研究了礼貌在印地语和英语的翻译平行语料库,并看到如何礼貌在印地语文本翻译成英语。我们提供了一个详细的理论背景进行比较,然后在这个理论模型内的翻译数据的简要描述。由于礼貌可能成为冲突和误解的主要原因之一,因此研究和理解礼貌是一个非常重要的跨文化现象,特别是对于机器翻译来说。
2021-12-03 cs.CL
Automatic Parallel Corpus Creation for Hindi-English News Translation Task
IIIT Bhubaneswar(布巴内斯瓦尔印度信息技术学院)
并行语料库对于多语言NLP任务、深度学习应用如统计机器翻译系统非常重要。目前可用于新闻翻译任务的印地语-英语语言对的平行语料库的规模非常有限。在这项工作中,我们已经开发了一个自动平行语料库生成系统原型,创建印地语-英语平行语料库的新闻翻译任务。为了进一步验证生成的并行语料库的质量,我们通过采用各种性能指标进行了实验,结果非常有趣。
2019-01-24 cs.CL
Assessing the Quality of MT Systems for Hindi to English Translation
Banasthali University(巴纳斯塔利大学);CDAC(电子发展公司)
评价在检查机器翻译输出质量方面起着至关重要的作用。它可以手动或自动完成。手动评估非常耗时且主观,因此大多数情况下使用自动度量。本文使用BLEU、METEOR等自动化指标对不同机器翻译引擎的印地语-英语(印地语数据作为输入,英语作为输出)翻译质量进行了评估,并将自动化评估结果与人工排名进行了比较。
2014-04-15 cs.CL
Ceasing hate withMoH: Hate Speech Detection in Hindi-English Code-Switched Language
Optum Global Advantage(Optum 全球优势公司);Adobe Inc.(Adobe 公司);Delhi Technological University(德里理工大学)
社交媒体已成为人们在世界各地表达意见的基石。由于匿名功能带来更大的自由感,因此可以在网上无视社交礼仪并攻击他人而不会面临严重后果,从而不可避免地传播仇恨言论。目前筛选在线内容和抵消仇恨传播的措施还不够。造成这种情况的一个因素是社交媒体中流行的区域语言和缺乏语言灵活的仇恨言论检测器。拟议的工作重点是分析印度语-英语代码转换语言中的仇恨言论。我们的方法探讨了转换技术,以捕捉精确的文本表示。为了包含数据的结构,但与现有的算法一起使用,我们开发了MoH或Map Only Hindi,这在印地语中意味着“爱”。MoH管道包括语言识别,使用罗马印地语单词的知识库将罗马语音译为梵文印地语。最后,它采用了微调的多语言BERT和MuRIL语言模型。我们对三个数据集进行了几次定量实验研究,并使用精度,召回率和F1指标评估了性能。第一个实验研究了MoH映射文本与经典机器学习模型的性能,并显示F1分数平均增加了13%。第二个测试将所提出的工作的分数与基准模型的分数进行比较,结果显示性能提高了6%。最后,第三达到建议的MoH技术与各种数据模拟使用现有的音译库。在这方面,卫生部的表现比其他部门高出15%。我们的研究结果表明,所有三个数据集的最新得分都有显着提高。
2021-10-18 cs.AI cs.CL
Hindi to English: Transformer-Based Neural Machine Translation
Veermata Jijabai Technological Institute(维尔马塔·吉贾拜技术学院)
针对印地语低资源问题,本文训练 Transformer 构建印地语到英语 NMT 系统,结合回译、BPE 词级与子词级分词及 10 种配置,取得 24.53 BLEU。
2023-09-23 cs.AI cs.CL
Shallow Parsing Pipeline for Hindi-English Code-Mixed Social Media Text
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
在这项研究中,印度语-英语代码混合的社会媒体文本(CSMT)的浅层解析的问题已经解决。我们已经注释了数据,开发了一个语言标识符,一个规范化,一个词性标注器和一个浅层解析器。据我们所知,我们是第一个尝试在CSMT上进行浅层解析的。开发的管道已提供给研究界,使更好的印地语英语CSMT的文本分析的目标。该管道可在http://bit.ly/csmt-parser-api上访问。
2016-04-11 cs.CL
OffMix-3L: A Novel Code-Mixed Dataset in Bangla-English-Hindi for Offensive Language Identification
George Mason University(乔治梅森大学)
本文提出OffMix-3L,一个包含孟加拉语、英语和印地语三种语言混合代码的新型攻击性语言识别数据集,并验证BanglishBERT在该数据集上优于其他transformer模型和GPT-3.5。
2023-11-25 cs.AI cs.CL
hinglishNorm -- A Corpus of Hindi-English Code Mixed Sentences for Text Normalization
Vahan Inc(Vahan公司)
我们提出hinglishNorm -一个人类注释语料库的印地语-英语代码混合句子的文本规范化任务。语料库中的每个句子都与其对应的人类注释规范化形式对齐。据我们所知,没有公开的用于文本规范化任务的印地语-英语代码混合句子语料库。我们的工作是朝着这个方向的第一次尝试。语料库包含13494个平行片段。此外,我们在这个语料库上呈现基线归一化结果。我们获得的单词出错率(WER)为15.55,双语评估替补(BLEU)得分为71.2,以及显式排序翻译评估指标(METEOR)得分为0.50。
2020-10-18 cs.CL
Evaluation of forced alignment of code-mixed speech: the case of Hindi-English
Heinrich Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学);University of Florida(佛罗里达大学)
研究印地语-英语代码混合语音强制对齐,用蒙特利尔强制对齐器,解决自由变体和音素边界检测问题,自训练策略效果好,句子级代码混合数据训练的声学模型误差低,强调词典设计和训练数据对双语语音对齐的重要性。
2026-07-29 cs.CL
Language Lexicons for Hindi-English Multilingual Text Processing
Jamia Millia Islamia(贾米亚·米利亚伊斯兰大学)
文本文档中的语言识别是根据文档内容自动检测文档中包含的语言的过程。目前的语言识别技术假设文档包含固定语言集合中的一种语言的文本,然而,当处理包括多于一种可能语言的内容的多语言文档时,这种假设是不正确的。由于没有大型标准语料库的印地语-英语混合语言的语言处理任务,我们提出了语言词典,一种新的词汇数据库,支持多种语言处理任务。这些词汇是通过在音译印地语和英语词汇上学习分类器建立的。所设计的词汇比其主要的收集来源具有更丰富的数量特征,这是使用可视化技术揭示的。
2021-06-29 cs.CL
Phrase Pair Mappings for Hindi-English Statistical Machine Translation
Indian Institute of Technology (IIT) Bombay(印度理工学院孟买分校)
在本文中,我们提出了我们的工作,创造词汇资源的机器翻译之间的英语和印地语。我们描述了短语对映射的发展,我们的实验和不同的训练模型之间的比较性能评估的基础上的统计机器翻译系统。我们致力于通过探索不同的方法来增加平行语料库中的词汇量以及各种屈折形式。我们使用各种词汇资源(例如词汇词、同义词、虚词和动词短语)扩展了训练语料库。我们已经描述了案例研究,自动和主观评价,详细的错误分析的英语到印地语和印地语到英语的机器翻译系统。进一步分析表明,随着各种词汇资源的使用,机器翻译的质量也在不断提高。因此,词汇资源确实有助于提高资源贫乏语言的翻译质量。
2017-11-10 cs.CL
Progressive Training for Explainable Citation-Grounded Dialogue: Reducing Hallucination to Zero in English-Hindi LLMs
School of Artificial Intelligence and Data Engineering (SAIDE)(人工智能与数据工程学院);Indian Institute of Technology Jodhpur(印度理工学院朱罗普尔)
本文提出XKD-Dial,一种逐步四阶段训练流程,用于生成可解释的引用导向对话,通过跨语言适应、英语对话SFT与引用定位、双语对话SFT及GRPO对齐与引用感知奖励,减少幻觉并提升印地语能力。
2026-03-19 cs.AI cs.CL
The IIT Bombay English-Hindi Parallel Corpus
IIT Bombay(印度理工学院孟买分校)
我们介绍了IIT孟买英语-印地语平行语料库。该语料库是以前在公共领域提供的平行语料库以及我们收集的新平行语料库的汇编。该语料库包含149万个平行片段,其中69.4万个片段以前在公共领域不可用。该语料库已被预处理的机器翻译,我们报告的基线短语为基础的SMT和NMT的翻译结果在这个语料库。该语料库已被用于亚洲语言翻译研讨会(2016年和2017年)的两个版本的共享任务。该语料库可免费用于非商业研究。据我们所知,这是最大的公开英语-印地语平行语料库。
2018-05-19 cs.CL
Investigating Cross-Linguistic Gender Bias in Hindi-English Across Domains
LJMU(利物浦约翰摩尔斯大学)
衡量、评估和减少性别偏见已经成为最前沿的问题,每隔几个月就会发布更新和改进的语言嵌入。但是,这种偏见会因领域而异吗?我们在各种嵌入模型中看到了大量研究这些偏见的工作,但在消除印度语偏见方面所做的工作有限。我们的目标是衡量和研究这种偏见在印地语,这是一个高阶语言(性别)与英语,低阶语言。为了实现这一目标,我们研究了跨域的变化,以量化域嵌入是否允许我们深入了解这对印地语-英语模型的性别偏见。我们将在四个不同的语料库中生成嵌入,并通过实施不同的指标来比较结果,例如使用预训练的最先进的Indic-English翻译模型,该模型在许多NLP任务中的表现优于现有模型。
2021-11-22 cs.CL
Assessing Post-editing Effort in the English-Hindi Direction
IIIT, Hyderabad(海得拉巴国际信息技术研究所)
我们目前的调查结果,从第一次深入的编辑后的努力估计在英语-印地语方向沿着多个努力指标的研究。我们进行了一个对照实验,涉及专业翻译,谁完成分配的任务交替,从零开始翻译和编辑后的条件。我们发现,与从头开始翻译相比,后期编辑减少了翻译时间(63%),使用了更少的重复(59%),并减少了停顿次数(63%)。我们通过人工评估任务进一步验证了翻译的质量,在该任务中我们没有检测到任何可辨别的质量差异。
2021-12-18 cs.CL
Evaluating Machine Translation Models for English-Hindi Language Pairs: A Comparative Analysis
National Institute of Technology Karnataka(卡纳塔克国家理工学院)
本文比较评估了多种英印机器翻译模型,利用18000+平行语料和FAQ数据集,通过词汇与机器学习指标揭示各模型优劣及改进方向。
2025-05-26 cs.CL cs.LG
COMI-LINGUA: Expert Annotated Large-Scale Dataset for Multitask NLP in Hindi-English Code-Mixing
LINGO Research Group, Indian Institute of Technology Gandhinagar(LINGO研究组、印度理工学院冈丁纳格尔)
本文提出最大的人工标注印地语-英语语码混合数据集COMI-LINGUA,涵盖12.5万+实例与五项核心NLP任务,通过微调最先进LLM在多项任务上创下新基准。
2025-09-17 cs.AI cs.CL
BERT Based Multilingual Machine Comprehension in English and Hindi
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
多语言机器理解(MMC)是一个问答(QA)子任务,涉及从给定的片段中引用问题的答案,其中问题和片段可以是不同的语言。最近发布的BERT(m-BERT)的多语言变体,预先训练了104种语言,在多语言任务的zero-shot和微调设置中表现良好;然而,它还没有用于英语-印地语MMC。因此,我们在这篇文章中介绍了我们在zero-shot,单语言(例如印地语-印地语)和跨语言(例如英语-印地语)微调设置中使用MMC的m-BERT实验。这些模型变体在所有可能的多语言设置上进行评估,并将结果与这些语言的当前最先进的顺序QA系统进行比较。实验表明,经过微调的m-BERT可以提高先前模型使用的两个数据集的所有评估设置的性能,因此将基于m-BERT的MMC确立为英语和印地语的最新技术水平。我们还在最近发布的XQuAD数据集的扩展版本上发布了我们的结果,我们建议将其用作未来研究的评估基准。
2020-06-02 cs.CL
Evaluating Gender Bias in Hindi-English Machine Translation
Manipal Institute of Technology(马尼帕尔理工学院);MAHE(马尼帕尔高等教育学院)
随着语言模型在现实世界中的部署越来越多,解决其输出的公平性问题至关重要。这些语言模型的词嵌入表示通常隐含地绘制不需要的关联,从而在模型内形成社会偏见。像印地语这样的性别语言的性质给量化和减轻偏见带来了另一个问题,因为句子中的单词形式会根据主语的性别发生变化。此外,在印度语的测量和去偏置系统领域也做了一些工作。在我们的工作中,我们试图评估和量化的印地语-英语机器翻译系统中的性别偏见。我们实现了一个修改后的版本,现有的TGBI指标的基础上,印地语的语法考虑。我们还比较和对比了预训练嵌入的多个指标和通过我们的机器翻译模型学习的多个指标的偏差测量。
2021-06-16 cs.AI cs.CL cs.CY
Multilingual LLMs Are Not Multilingual Thinkers: Evidence from Hindi Analogy Evaluation
Mahindra University(马欣德拉大学);University of Pennsylvania(宾夕法尼亚大学)
本文构建含405题的印地语类比测试集HATS,评估多语言LLM并提出基于认知理论的扎根思维链方法,发现英语提示始终效果最佳。
2025-07-23 cs.AI cs.CL
Improving Performance Of English-Hindi Cross Language Information Retrieval Using Transliteration Of Query Terms
GLA University(GLA大学)
跨语言信息检索(CLIR)的主要问题是检索的平均精度与单语检索性能相比较差。CLIR性能不佳的主要原因是查询词的不匹配、词汇歧义和未翻译的查询词。为了提高CLIR系统的性能,需要解决CLIR存在的问题。在本文中,我们正在努力解决给定的问题,提出了一种算法,以提高英语-印地语CLIR系统的性能。我们使用所有可能的组合,印地语翻译查询,使用音译的英语查询条件,并选择其中最好的查询检索的文件。实验在FIRE 2010(Forum of信息检索Evaluation)数据集上进行。实验结果表明,该方法不仅提高了英语-印地语CLIR系统的性能,而且有助于克服现有的问题,在平均精度方面优于现有的英语-印地语CLIR系统。
2014-01-15 cs.CL cs.IR
MedSumm: A Multimodal Approach to Summarizing Code-Mixed Hindi-English Clinical Queries
Indian Institute of Technology Patna(印度理工学院巴特那分校);Stanford University(斯坦福大学);Amazon GenAI(亚马逊生成式人工智能部门);Indira Gandhi Institute of Medical Sciences(英迪拉·甘地医学科学研究所)
本文提出多模态医疗混合查询摘要任务,构建了印英混合的MMCQS数据集,并利用LLMs和VLMs提出MedSumm框架,通过整合视觉信息生成更准确的医学摘要,改善医疗决策。
2024-01-03 cs.AI cs.CL
End to end Hindi to English speech conversion using Bark, mBART and a finetuned XLSR Wav2Vec2
MES College of Engineering, Pune, India(浦那MES工程学院);Florida State University, USA(佛罗里达州立大学);Technische Hochschule Ingolstad, Germany(英戈尔施塔特应用技术大学)
本文提出一个端到端印地语到英语语音转换框架,集成 XLSR Wav2Vec2、mBART 和 TTS 组件,实现从印地语语音到合成英语音频的无缝跨语言转换。
2024-01-11 cs.AI cs.CL cs.LG
On the effective transfer of knowledge from English to Hindi Wikipedia
IIT Kharagpur(印度理工学院克勒格布尔分校);Bosch(博世集团);Osmania University(奥斯马尼亚大学)
针对维基百科高低资源语言内容质量差距问题,提出轻量级知识迁移框架,结合大语言模型上下文学习能力适配或直接迁移英文知识生成印地语内容,显著提升印地语维基百科文章质量。
2024-12-07 cs.CL cs.IR cs.LG
Universal Dependency Parsing for Hindi-English Code-switching
LTRC, IIIT-H(印度国际信息技术研究所海得拉巴语言技术研究中心);Interaction Labs(交互实验室)
语码转换是两种或两种以上语言的语法结构在不同的社会制约条件下混合使用的现象。语码转换数据与自然语言处理领域的基准语料库有很大的不同,标准技术对这些数据的应用大大降低了它们的性能。与标准语料库不同,这些数据通常需要经过额外的过程,如语言识别,规范化和/或回译,以提高处理效率。在本文中,我们调查这些必不可少的过程和其他相关的句法分析的代码转换数据的问题,并提出了方法,以减轻其影响。特别是,我们研究的依存句法分析的代码转换数据的印地语和英语多语种的发言者从Twitter的。我们提出了一个树库的印地语-英语代码切换推文下的通用mendencies计划,并提出了一个神经堆栈模型的解析,有效地利用部分的语音标签和语法树注释的代码切换树库和预先存在的印地语和英语树库。我们还提出了规范化和回音译模型的解码过程中量身定制的代码切换数据。结果表明,我们的神经堆叠解析器比增强解析模型好1.5%LAS点,我们的解码过程比第一最佳归一化和/或回译提高了3.8%LAS点。
2018-04-24 cs.CL
An Ensemble Model for Sentiment Analysis of Hindi-English Code-Mixed Data
Microsoft India Development Center(微软印度开发中心)
在像印度这样的多语言社会中,代码混合的社交媒体文本构成了互联网的大部分。检测代码混合的用户意见的情感在理解社会,经济和政治趋势方面起着至关重要的作用。在本文中,我们提出了一种基于字符三元组的LSTM模型和基于单词元组的多项朴素贝叶斯(MNB)模型的集成,以识别印地语-英语(Hi-En)代码混合数据的情感。集成模型结合了LSTM模型中丰富的序列模式的优势和概率ngram模型中关键字的极性,以识别稀疏和不一致的代码混合数据中的情感。对真实用户代码混合数据的实验表明,与几个基线和其他基于深度学习的方法相比,我们的方法产生了最先进的结果。
2018-06-12 cs.CL
Don't Overlook the Grammatical Gender: Bias Evaluation for Hindi-English Machine Translation
National Institute of Technology, Hamirpur(国家理工学院(哈姆普尔));Anu(阿努)
针对现有评测多用英语源句或性别中立句的问题,本文构建两套印地语性别特定句集,自动评估HI-EN NMT系统能否依据语法性别线索识别性别。
2023-11-11 cs.CL
AIMA at SemEval-2024 Task 10: History-Based Emotion Recognition in Hindi-English Code-Mixed Conversations
Sharif University of Technology(谢里夫理工大学);Qatar Computing Research Institute(卡塔尔计算研究所)
针对SemEval 2024任务10子任务1,提出结合前后上下文及序列信息、并利用印地语-英语翻译流水线的多模型集成方法,实现代码混合对话情感识别并超越基线。
2025-01-19 cs.AI cs.CL cs.LG
An English-Hindi Code-Mixed Corpus: Stance Annotation and Baseline System
Language Technologies Research Centre, International Institute of Information Technology, Hyderabad(语言技术研究中心,国际信息技术学院,海得拉巴)
社交媒体已成为人们与社会沟通和分享观点的主要渠道之一。我们经常可以从这些观点中发现一个人对某个主题是赞成、反对还是中立。这些来自社交媒体的意见对各种公司都很有用。我们提出了一个新的数据集,由3545条英语-印地语代码混合的推文组成,这些推文对2016年在印度实施的Demonetisation有意见,随后在全国范围内进行了大规模的辩论。我们提出了一个基线监督分类系统的立场检测开发使用相同的数据集,使用各种机器学习技术,以实现10倍交叉验证的准确率为58.7%。
2018-05-30 cs.CL
What is India speaking: The "Hinglish" invasion
虽然历时语言转换的语言竞争模型越来越复杂,利用社会语言学的组成部分,如可变的语言声望,距离语言中心和中间双语过渡人口的距离,在一个重要的方面,他们是不够的。他们没有考虑到基于接触的结果,导致混合语言的做法,例如结果的情况下,如克里奥尔语或无标记的代码转换作为一个新兴的交际规范。在这些方面,印度发现了一些非常有趣的东西,传统上有单语印地语者和印地语/英语双语者,但实际上没有单语英语者。虽然印度人口普查数据报告了印地语/英语双语者的比例急剧增加,但我们认为印度的印地语/英语双语者的数量是不准确的,因为一个新的城市人群说印地语和英语的混合体,俗称“印度式英语”。基于捕食者-猎物,社会语言学理论,突出的当地生态因素和农村-城市在印度的鸿沟,我们提出了一个新的数学模型的互动单语印地语发言人,印地语/英语双语和印度英语发言人。该模型产生全局渐近稳态的共存状态,以及双语灭绝。为了验证我们的模型,从不同的印度类的社会语言学数据进行对比与人口普查报告:我们看到,所谓的城市印地语/英语双语者无法保持流利的印地语讲话,而是产生印度式英语,而农村的发言者证据单语印地语。因此,我们首次提出证据,一个未被承认的混合lect涉及英语,但不是“英语”,可能已经接管了一个庞大的全球人口的相当大的一部分。
2015-12-18 cs.CL math.DS
Aggression in Hindi and English Speech: Acoustic Correlates and Automatic Identification
Dr. Bhimrao Ambedkar University(宾希姆拉奥·安贝德卡尔博士大学);Jawaharlal Nehru University(贾瓦哈拉尔·尼赫鲁大学);Indian Institute of Technology(印度理工学院);Tezpur University(特兹普尔大学)
在本论文中,我们将提出的结果,声学分析的政治话语在印地语和讨论一些常规的声学特征的侵略性讲话经常采用的印地语和英语的发言者。该研究基于10个多小时的政治话语语料库,包括新闻频道和政治演讲的辩论。利用这项研究,我们开发了两个自动分类系统,用于识别侵略英语和印地语语音,完全基于声学模型。使用50小时的注释语音训练的印地语分类器和使用40小时的注释语音训练的英语分类器分别达到了超过73%和66%的准确率。在本文中,我们讨论了这个带注释的数据集的发展,实验开发的分类器,并讨论了错误,它使。
2022-04-06 cs.CL cs.SD eess.AS
Language Identification of Hindi-English tweets using code-mixed BERT
Jamia Millia Islamia(贾米亚·米利亚伊斯兰大学);Aligarh Muslim University(阿里加尔穆斯林大学)
社交媒体文本的语言识别近年来一直是一个有趣的研究问题。社交媒体信息主要是在非英语国家混合的代码。通过预训练上下文嵌入的现有知识已经显示了一系列下游任务的最新结果。最近,诸如BERT之类的模型已经表明,使用大量未标记的数据,预训练的语言模型对于学习公共语言表示更加有益。本文提出了利用迁移学习和微调BERT模型来识别Twitter上的语言的广泛实验。这项工作利用了一个数据汇集的印地语-英语-乌尔都语代码混合文本的语言预训练和印地语-英语代码混合为随后的词级语言分类。结果表明,在混合数据上预训练的表示产生更好的结果,由他们的单语对应。
2021-07-02 cs.CL cs.LG
SentMix-3L: A Bangla-English-Hindi Code-Mixed Dataset for Sentiment Analysis
George Mason University(乔治梅森大学)
本文提出首个孟加拉语-英语-印地语三语代码混合情感分析数据集SentMix-3L,并通过实验证明GPT-3.5零样本提示优于所有Transformer模型。
2023-11-29 cs.CL
JUNLP@SemEval-2020 Task 9:Sentiment Analysis of Hindi-English code mixed data using Grid Search Cross Validation
Jadavpur University(贾达夫普尔大学)
语码混用是一种主要出现在多语言社会的现象。精通母语和英语的多语种人士倾向于使用基于英语的语音输入和在其主要语言中插入英语的代码混合。这种语言现象对传统的NLP领域提出了巨大的挑战,例如情感分析,机器翻译和文本摘要,仅举几例。在这项工作中,我们专注于制定出一个合理的解决方案的域代码混合情感分析。这项工作是作为SemEval-2020 Sentimix任务的参与而完成的,在该任务中,我们专注于英语-印地语代码混合句子的情感分析。我们提交的用户名是“sainik.mahata”,团队名称是“JUNLP”。我们使用特征提取算法结合传统的机器学习算法,如SVR和网格搜索,试图解决这个问题。当使用任务组织者准备的指标进行测试时,我们的方法获得了66.2%的f1分数。
2020-09-02 cs.CL
"Did you really mean what you said?" : Sarcasm Detection in Hindi-English Code-Mixed Data using Bilingual Word Embeddings
Netaji Subhas University of Technology(内塔吉·苏巴斯理工大学)
随着世界各地的人们越来越多地使用社交媒体平台,许多新的有趣的NLP问题已经存在。其中之一是检测社交媒体文本中的讽刺。我们提出了一个语料库的tweets训练自定义词嵌入和标记为讽刺检测的Hinglish数据集。我们提出了一种基于深度学习的方法来解决印地语-英语代码混合推文中的讽刺检测问题,使用来自FastText和Word 2 Vec方法的双语词嵌入。我们试验了各种深度学习模型,包括CNN、LSTM、双向LSTM(有注意力和无注意力)。我们的深度学习模型能够超越所有最先进的性能,其中基于注意力的双向LSTM提供了最佳性能,准确率为78.49%。
2020-10-15 cs.CL
Analysing Quality of English-Hindi Machine Translation Engine Outputs Using Bayesian Classification
Banasthali University(巴纳斯特利大学)
本文研究了独立于人工干预的机器翻译输出的质量估计问题,这些问题通常使用机器学习技术来解决。自动评价指标在语料库水平上产生良好的相关性,但不能在相同的片段或句子水平上产生相同的结果。本文从输入句子及其译文中提取16个特征,并基于从训练数据中产生的贝叶斯推理获得质量分数。
2013-09-04 cs.CL
Quality Estimation of English-Hindi Outputs using Naive Bayes Classifier
Banasthali University(班纳斯特利大学)
本文提出了一种评价机器翻译系统质量的方法。有各种方法来估计输出句子的质量,但在本文中,我们专注于朴素贝叶斯分类器建立模型,使用的特征是从输入句子中提取的。这些特征用于找到训练数据的每个句子的似然性,然后进一步用于确定测试数据的分数。基于这些分数,我们确定测试数据的类标签。
2013-12-27 cs.CL
Gender Prediction in English-Hindi Code-Mixed Social Media Content : Corpus and Baseline System
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
社交媒体网站使用的快速扩展导致了大量未经处理的用户生成数据,这些数据可用于文本挖掘。作者侧写是通过文本自动确定作者性别和年龄组等侧写方面的问题,在计算语言学中越来越受欢迎。以往的作者侧写研究大多集中在英语文本\cite{1,2}上。然而,许多用户在社交媒体上发帖时经常改变语言,这被称为代码混合,这在文本分类和作者分析领域带来了一些挑战,如拼写,非语法结构和音译\cite{3}的变化。在线\cite{4}上很少有英语-印地语代码混合注释的社交媒体内容数据集。在本文中,我们分析的任务,作者的性别预测在代码混合的内容,并提出了一个语料库的英语-印地语文本收集从Twitter的作者的性别注释。我们还探讨了语料库中每个词的语言识别。我们提出了一个监督分类基线系统,它使用各种机器学习算法来识别使用文本的作者的性别,基于字符和单词级别的功能。
2018-06-14 cs.CL
Hindi to English Transfer Based Machine Translation System
Banasthali Vidyapith(巴纳斯塔利大学);Centre for development of advanced computing(先进计算发展中心)
在像印度这样的大社会中,将一种人类语言转换为另一种语言的需求巨大。在这方面已经做了大量的工作。许多基于转移的MTS已经开发了英语到其他语言,如MANTRA CDAC Pune,MATRA CDAC Pune,SHAKTI IISc Bangalore和IIIT Hyderabad。还有一点工作做印地语到其他语言。目前我们正在研究它。在本文中,我们重点设计一个系统,通过使用基于迁移的方法将文档从印地语翻译为英语。该系统通过解析来检查输入文本的结构。重新排序规则用于生成目标语言的文本。它比基于语料库的MTS更好,因为基于语料库的MTS需要大量的词对齐数据用于翻译,这对于许多语言是不可用的,而基于迁移的MTS只需要两种语言(源语言和目标语言)的知识来制定迁移规则。我们得到正确的翻译简单断言句和复杂和复合句几乎正确。
2015-07-08 cs.CL
Towards Emotion Recognition in Hindi-English Code-Mixed Data: A Transformer Based Approach
Netaji Subhas University of Technology(贾瓦哈拉尔·尼赫鲁技术大学);Department of Computer Engineering(计算机工程系)
在过去的几年中,社交媒体文本中的情感检测已经成为一个流行的问题,因为它在更好地理解消费者,心理学,帮助人类与计算机交互,设计智能系统等方面的广泛应用,由于社交媒体中经常用于表达情感和意见的大量数据的可用性,这个问题已经引起了极大的关注。在本文中,我们提出了一个标记为情绪检测的Hinglish数据集。我们强调了一种基于深度学习的方法,用于检测印地语-英语代码混合推文中的情绪,使用来自FastText和Word 2 Vec方法的双语词嵌入,以及基于Transformer的模型。我们尝试了各种深度学习模型,包括CNN、LSTM、双向LSTM(有注意力和无注意力),以及BERT、RoBERTa和ALBERT等Transformers。基于Transformer的BERT模型优于所有其他模型,其精度为71.43%。
2021-02-28 cs.CL
'Since Lawyers are Males..': Examining Implicit Gender Bias in Hindi Language Generation by LLMs
Indraprastha Institute of Information Technology(英德拉普拉斯塔信息技术学院);Graphic Era University(图形时代大学);Jadavpur University(贾达普大学);Cornell Tech(康奈尔理工学院)
本研究探讨了 LLM 在印地语文本生成中的隐性性别偏见,开发了受 WinoBias 启发的印地语数据集测试 GPT-4o 和 Claude-3 sonnet,发现印地语性别偏见高达 87.8%,远超英语的 33.4%,揭示了跨语言偏见差异及应对考量。
2024-09-20 cs.AI cs.CL cs.HC
LIMSI_UPV at SemEval-2020 Task 9: Recurrent Convolutional Neural Network for Code-mixed Sentiment Analysis
LIMSI, CNRS, Université Paris-Saclay(LIMSI实验室,法国国家科学研究中心,巴黎-萨克雷大学);Universitat Politècnica de València(瓦伦西亚理工大学)
本文介绍了LIMSI UPV团队参与SemEval-2020任务9:代码混合社交媒体文本的情感分析。所提出的方法在SentiMix印地语-英语子任务中竞争,该子任务解决了预测给定印地语-英语代码混合推文的情感的问题。我们提出了递归卷积神经网络,它结合了递归神经网络和卷积网络,以更好地捕捉文本的语义,代码混合的情感分析。所提出的系统在给定的测试数据上获得了0.69(最佳运行)的F1分数,并在SentiMix印地语-英语子任务中获得了第9名(Codalab用户名:somban)。
2020-08-30 cs.AI cs.CL
A Corpus of English-Hindi Code-Mixed Tweets for Sarcasm Detection
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术研究所)
像Twitter和Facebook这样的社交媒体平台已经成为人们用来表达他们对不同话题的看法的两个最大的媒介。如此大规模的用户数据的产生使得情感分析和意见挖掘等NLP任务变得更加重要。最近,在社交媒体上的文本中使用讽刺已经成为一种流行趋势。使用讽刺会颠倒文本所暗示的意义和极性,这对许多NLP任务构成了挑战。文本中的讽刺检测对于商业和安全服务都越来越重要。我们提出了第一个英语印地语代码混合数据集的推文标记的讽刺和讽刺的存在,每个令牌也注释了一个语言标签。我们提出了一个基线监督分类系统,使用相同的数据集,实现了平均F-得分为78.4后,使用随机森林分类器和执行10倍交叉验证。
2018-05-30 cs.CL
Design of English-Hindi Translation Memory for Efficient Translation
平行语料库的建立是机器翻译的一项重要而又困难的工作。这需要人工翻译人员进行手动注释。重复翻译同样的文本是一种无用的活动。有工具可用于欧洲语言实现这一点,但没有这样的工具可用于印度语言。在本文中,我们提出了一个工具,印度语言,它不仅提供了自动翻译的先前可用的翻译,但也提供了多个翻译,在一个句子有多个翻译的情况下,在排名列表中的一个句子的暗示性翻译。此外,该工具还允许翻译人员对他们的工作进行全局和本地保存选项,以便他们可以与其他人共享,这进一步减轻了任务。
2012-10-19 cs.CL
Leveraging the Cross-Domain & Cross-Linguistic Corpus for Low Resource NMT: A Case Study On Bhili-Hindi-English Parallel Corpus
Department of Electrical Engineering, Indian Institute of Technology Delhi(电子工程系,印度理工学院德里);Bharti School of Telecommunication, Indian Institute of Technology Delhi(电信学院,印度理工学院德里);Yardi School of Artificial Intelligence, Indian Institute of Technology Delhi(人工智能学院,印度理工学院德里)
本文构建了全球首个含11万句的Bhili-Hindi-English平行语料库,评估多种多语言大模型并证实微调NLLB-200 distilled 600M效果最优,填补了低资源部落语言的翻译基准空白。
2025-11-01 cs.CL
Domain Adaptation of NMT models for English-Hindi Machine Translation Task at AdapMT ICON 2020
Pune Institute of Computer Technology(浦那计算机技术学院);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
神经机器翻译(NMT)模型的最新进展已被证明在低资源印度语言的机器翻译上产生了最先进的结果。本文描述了AdapMT共享任务ICON 2020中提出的英语-印地语神经机器翻译系统。该共享任务旨在使用小型域内并行语料库为人工智能(AI)和化学等特定领域的印度语言构建翻译系统。我们基于BLEU分数评估了两种流行的NMT模型的有效性,即LSTM和Transformer架构用于英语-印地语机器翻译任务。我们训练这些模型主要使用域外数据,并采用简单的领域自适应技术的基础上,域内数据集的特点。微调和混合域数据方法用于领域自适应。我们的团队在化学和一般领域En-Hi翻译任务中排名第一,在AI领域En-Hi翻译任务中排名第二。
2020-12-23 cs.CL cs.LG
Improving Multilingual Capabilities with Cultural and Local Knowledge in Large Language Models While Enhancing Native Performance
Vantager;Cohere for AI Community;IIT Roorkee(印度理工学院罗尔基);Amazon(亚马逊);Stanford University(斯坦福大学)
针对大语言模型多语言发展不均的问题,研究团队用含文化本地信息的精选印英指令数据微调多款LLM,推出双语模型Mantra-14B,在不损母语性能、不增模型规模与计算开销的前提下提升了双语表现,并开源相关资源助力低资源语言研究。
2025-07-31 cs.AI cs.CL
Hindi-English Code-Switching Speech Corpus
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校)
语码转换是指在一个句子或语篇中使用两种语言的现象。它是多语言社区中的一种全球现象,并已成为一个独立的研究领域。随着对语码转换自动语音识别(ASR)系统需求的增加,开发语码转换语音语料库已成为迫切需要。然而,对于训练这样的系统,非常有限的代码交换资源是可用的。在这项工作中,我们提出了我们的第一个努力,在印度的背景下建立一个代码转换ASR系统。为此,我们建立了一个印地语-英语语码转换语音数据库。该数据库不仅包含了具有语码转换特性的语音话语,而且涵盖了会话和说话人的发音、口音、年龄、性别等变化。该数据库可以应用于多种语音信号处理应用,如语码转换ASR、语言识别、语言建模、语音合成等。本文主要对收集到的语码转换语音语料进行统计分析。稍后,将为创建的数据库报告ASR任务的性能结果。
2018-09-24 cs.CL
Memotion 3: Dataset on Sentiment and Emotion Analysis of Codemixed Hindi-English Memes
IIIT Sri City(印度信息技术与管理研究所斯里城分校);UCLA(加利福尼亚大学洛杉矶分校);University of South Carolina(南卡罗来纳大学);Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学);Amazon AI(亚马逊人工智能部门);Microsoft(微软公司);IIT Patna(印度理工学院巴特那分校);Georgia Tech(佐治亚理工学院)
本研究推出包含1万条标注数据的Memotion 3数据集,首次覆盖印地语-英语语码混合表情包,填补该领域此前仅研究英语表情包的空白,同时给出任务定义、构建方法及基线,相关资源将开源。
2023-10-02 cs.CL