"Did you really mean what you said?" : Sarcasm Detection in Hindi-English Code-Mixed Data using Bilingual Word Embeddings
Netaji Subhas University of Technology(内塔吉·苏巴斯理工大学)
随着世界各地的人们越来越多地使用社交媒体平台,许多新的有趣的NLP问题已经存在。其中之一是检测社交媒体文本中的讽刺。我们提出了一个语料库的tweets训练自定义词嵌入和标记为讽刺检测的Hinglish数据集。我们提出了一种基于深度学习的方法来解决印地语-英语代码混合推文中的讽刺检测问题,使用来自FastText和Word 2 Vec方法的双语词嵌入。我们试验了各种深度学习模型,包括CNN、LSTM、双向LSTM(有注意力和无注意力)。我们的深度学习模型能够超越所有最先进的性能,其中基于注意力的双向LSTM提供了最佳性能,准确率为78.49%。
2020-10-15 cs.CL
Bilingual Words and Phrase Mappings for Marathi and Hindi SMT
Indian Institute of Technology (IIT) Bombay(印度理工学院孟买分校)
缺乏合适的语言资源是机器翻译系统在处理资源贫乏语言时面临的主要挑战。在本文中,我们描述了有效的方法来利用词汇资源,以提高质量的统计机器翻译。我们对词汇资源使用的研究主要集中在两个方面,如:增加平行语料库的词汇量和提供多样化的词形。我们增加了各种词汇资源,如词汇词,功能词,kridanta对和动词短语的训练语料库。我们已经描述了马拉地语到印地语和印地语到马拉地语机器翻译系统的案例研究、评估和详细的错误分析。从评估中我们观察到,随着各种词汇资源使用的增加,机器翻译的质量也在不断提高。此外,在平行语料库有限的情况下,使用各种词汇资源有助于提高机器翻译的覆盖率和质量。
2017-11-10 cs.CL
Implementation of Rule Based Algorithm for Sandhi-Vicheda Of Compound Hindi Words
Punjabi University(旁遮普大学)
连读变调是指将两个或两个以上的单词连在一起构成新词。连读变调的字面意思是“放在一起”或组合(声音),它表示所有的组合音的变化影响(自发),以方便发音。Sandhi-vicheda描述了一个字母(无论是单个的还是连读的)被分解成两个单词的过程。一部分被打断的字母仍然是第一个单词的最后一个字母,另一部分则是下一个字母的第一个字母。Sandhi- Vicheda是一种简单而有趣的方式,可以提供全新的维度,为传统的印地语教学方法增添新的方式。在本文中,使用基于规则的算法,我们已经报告了60-80%的准确性取决于要实现的规则的数量。
2009-09-12 cs.CL
Automatic or Controlled? Repetition Priming Reveals Divergent Processing in Base LLMs, Instruct LLMs, and Humans
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
该研究通过重复启动实验对比基础大语言模型、指令调优大语言模型与人类的重复信息加工差异,发现训练后模型加工模式发生质变,且Qwen 2.5家族中该差异随规模增大而增强。
2026-08-18 cs.AI cs.CL
FST Based Morphological Analyzer for Hindi Language
JSS Academy of Technical Education Noida(JSS诺伊达技术教育学院)
印地语是一种高度屈折的语言,基于FST(有限状态转换器)的方法是最有效的开发这种语言的形态分析器。本文提出的工作使用SFST(斯图加特有限状态传感器)工具生成FST。创建了一个词根词典。然后添加规则,用于从这些词根生成屈折词和派生词。所开发的词形分析器用于基于Stanford POS Tagger的词性标注器。该系统首先使用人工标注的语料库进行训练,然后使用Stanford POS tagger的MAXENT(最大熵)方法对输入句子进行标注。形态分析仪给出了大约97%的正确结果。POS tagger对于具有训练模型文件已知的单词的句子给出了大约87%的准确度,并且对于具有训练模型文件未知的单词的句子给出了80%的准确度。
2012-07-23 cs.CL cs.IR
A Deep Learning approach for Hindi Named Entity Recognition
Indian Institute of Technology(印度理工学院);TCS Research and Innovation(塔塔咨询服务公司研究与创新中心)
命名实体识别是许多自然语言处理任务中最重要的文本处理需求之一。在本文中,我们使用一个深的架构来完成识别给定的印地语文本句子中的命名实体的任务。文献中已经将基于双向长短期记忆(BiLSTM)的技术用于NER任务。在本文中,我们首先调整BiLSTM低资源场景以适用于印地语NER,并提出两种增强,即(a)去噪自动编码器(DAE)LSTM和(b)调节LSTM,与BiLSTM方法相比,它们在NER任务中有所改进。我们使用预训练的词嵌入来表示语料库中的词,并且词的NER标签由所使用的注释语料库定义。已经进行了实验来分析不同词嵌入和批量大小的性能,这对于训练深度模型至关重要。
2019-11-05 cs.CL cs.LG
Phrase Pair Mappings for Hindi-English Statistical Machine Translation
Indian Institute of Technology (IIT) Bombay(印度理工学院孟买分校)
在本文中,我们提出了我们的工作,创造词汇资源的机器翻译之间的英语和印地语。我们描述了短语对映射的发展,我们的实验和不同的训练模型之间的比较性能评估的基础上的统计机器翻译系统。我们致力于通过探索不同的方法来增加平行语料库中的词汇量以及各种屈折形式。我们使用各种词汇资源(例如词汇词、同义词、虚词和动词短语)扩展了训练语料库。我们已经描述了案例研究,自动和主观评价,详细的错误分析的英语到印地语和印地语到英语的机器翻译系统。进一步分析表明,随着各种词汇资源的使用,机器翻译的质量也在不断提高。因此,词汇资源确实有助于提高资源贫乏语言的翻译质量。
2017-11-10 cs.CL
Hindi/Bengali Sentiment Analysis Using Transfer Learning and Joint Dual Input Learning with Self Attention
情感分析通常是指使用自然语言处理、文本分析和计算语言学从文本数据中提取基于情感和情感的信息。我们的工作探索了如何在迁移学习和联合双输入学习设置中有效地使用深度神经网络,以有效地对印地语和孟加拉语数据中的情绪进行分类并检测仇恨言论。我们首先为印地语\textbf{HASOC dataset}和孟加拉语仇恨言论训练Word 2 Vec词嵌入,然后训练LSTM,随后通过重用和微调印地语分类器的训练权重,将基于参数共享的迁移学习应用于孟加拉语情感分类器,并将两个分类器用作我们研究中的基线。最后,我们在联合双输入学习设置中使用具有自注意力的BiLSTM,在该设置中,我们同时使用印地语和孟加拉语数据集的各自嵌入来训练单个神经网络。
2022-02-11 cs.CL
Towards Sub-Word Level Compositions for Sentiment Analysis of Hindi-English Code Mixed Text
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
使用来自社交媒体的代码混合数据的情感分析(SA)在意见挖掘中有几个应用,从客户满意度到多语言社会中的社交活动分析。由于缺乏适当的注释数据集,这一领域的进展受到阻碍。我们引入了一个用于情感分析的印地语-英语(Hi-En)代码混合数据集,并进行了实证分析,比较了各种最先进的SA方法在社交媒体中的适用性和性能。在本文中,我们介绍了LSTM(Subword-LSTM)架构中的子单词级表示,而不是字符级或单词级表示。在我们的架构中,这种语言先验使我们能够学习重要词素的情感值信息。正如我们的实验所示,这似乎在包含拼写错误的高噪声文本中也能很好地工作,这在我们的模型学习的语素级特征图中得到了证明。此外,我们假设在Subword-LSTM架构中对这种语言先验进行编码会带来更好的性能。我们的系统在我们的数据集上获得的准确率比传统方法高4-5%,并且在Hi-En代码混合文本中的情感分析性能也优于现有系统18%。
2016-11-02 cs.CL
UsingWord Embeddings for Query Translation for Hindi to English Cross Language Information Retrieval
Indian Institute of Technology Kharagpur(印度理工学院卡哈拉格普尔分校)
近年来,随着Web上多语言内容的增长,跨语言信息检索成为一个亟待解决的重要问题。标准方法之一是使用从源语言到目标语言的查询翻译。在本文中,我们提出了一种基于词嵌入的方法,该方法捕获源语言中特定单词的上下文线索,并将这些单词作为在目标语言中类似上下文中出现的翻译。一旦我们获得了源语言和目标语言对的词嵌入,我们就利用一个有词翻译对的字典来学习从源语言到目标语言的词嵌入的投影,然后我们提出了各种查询翻译和聚合的方法。这种方法的优点是它不需要语料库对齐(这对于资源稀缺的语言来说是很难获得的),具有单词翻译对的字典足以训练用于翻译的单词向量。我们的实验与论坛信息检索和评估(FIRE)2008年和2012年的数据集印地语到英语CLIR。所提出的基于词嵌入的方法比基于基本词典的方法的性能高70%,并且当词嵌入与词典相结合时,混合方法比基于基线词典的方法高77%。当与从谷歌翻译和字典获得的翻译相结合时,它比英语单语基线高出15%。
2016-08-04 cs.CL
Evaluating Gender Bias in Hindi-English Machine Translation
Manipal Institute of Technology(马尼帕尔理工学院);MAHE(马尼帕尔高等教育学院)
随着语言模型在现实世界中的部署越来越多,解决其输出的公平性问题至关重要。这些语言模型的词嵌入表示通常隐含地绘制不需要的关联,从而在模型内形成社会偏见。像印地语这样的性别语言的性质给量化和减轻偏见带来了另一个问题,因为句子中的单词形式会根据主语的性别发生变化。此外,在印度语的测量和去偏置系统领域也做了一些工作。在我们的工作中,我们试图评估和量化的印地语-英语机器翻译系统中的性别偏见。我们实现了一个修改后的版本,现有的TGBI指标的基础上,印地语的语法考虑。我们还比较和对比了预训练嵌入的多个指标和通过我们的机器翻译模型学习的多个指标的偏差测量。
2021-06-16 cs.AI cs.CL cs.CY
Lexical Resources for Hindi Marathi MT
IIT Bombay(印度理工学院孟买分校)
本文介绍了如何利用各种词汇资源来提高统计机器翻译系统的质量。我们已经增加了各种词汇资源的训练语料库,如IndoWordnet语义关系集,功能词,kridanta对和动词短语等。我们对词汇资源的使用的研究主要集中在两个方面,如增加更多的词汇平行语料库和增加各种词的形式。我们已经描述了案例研究,评估和详细的错误分析马拉地语到印地语和印地语到马拉地语机器翻译系统。从评估中我们观察到,随着各种词汇资源使用的增加,机器翻译的质量也在不断提高。此外,在平行语料库有限的情况下,使用各种词汇资源有助于提高机器翻译的覆盖率和质量。
2017-03-04 cs.CL
All that is English may be Hindi: Enhancing language identification through automatic ranking of likeliness of word borrowing in social media
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);Microsoft Research India(微软研究院印度分部)
本文提出基于社交媒体信号识别单词被借用可能性的计算方法,其预测表现优于基线两倍多,并发现88%的外来语标签应被替换为母语标签,揭示了自动语言识别系统的巨大改进空间。
2017-07-29 cs.CL
QutNocturnal@HASOC'19: CNN for Hate Speech and Offensive Content Identification in Hindi Language
Queensland University of Technology(昆士兰科技大学)
我们描述了我们在FIRE 2019组织的HASOC竞赛中为印地语任务1提供的顶级团队解决方案。任务是识别印地语中的仇恨言论和攻击性语言。更具体地说,这是一个二元分类问题,其中需要系统将推文分类为两类:(a)\emph{Hate and Offensive (HOF)}和(b)\emph{Not Hate or Offensive (NOT)}。与流行的预训练词向量(也称为词嵌入)与来自维基百科等通用领域的大型语料库,我们使用相对较小的相关推文集合(即印地语和印度英语的随机和讽刺推文)进行预训练。我们在预训练的词向量之上训练了一个卷积神经网络(CNN)。这种方法使我们在所有团队中排名第一。我们的方法可以很容易地适应其他应用程序的目标是预测类的文本时,所提供的上下文是有限的。
2020-08-28 cs.CL cs.LG cs.SI
Novel Language Resources for Hindi: An Aesthetics Text Corpus and a Comprehensive Stop Lemma List
Symbiosis Institute of Computer Studies and Research, Symbiosis International (Deemed University)(共生国际(被视为)大学共生计算机研究学院);Symbiosis Centre for Information Technology, Symbiosis International (Deemed University)(共生国际(被视为)大学共生信息技术中心)
这篇论文是对致力于将非英语语言纳入自然语言处理研究的研究人员所做贡献的补充。两个新的印地语资源已经创建并发布供公众消费。第一个资源是一个语料库,包括近千个预处理的虚构和非虚构文本跨越百年。第二个资源是一个详尽的停止词元列表,由12个跨多个领域的语料库创建,由超过1300万个单词组成,从中产生了超过20万个词元,以及11个公开可用的停止词列表,包括超过1000个单词,从中产生了近400个独特的词元。本研究强调使用停用词元而不是停用词,因为停用词列表中存在一个词的各种但不是所有形态形式,而不是只存在该词的根形式,如果需要,可以从中派生出变化。还观察到,停止词元在多个来源中比停止词更一致。为了生成停止词元列表,研究词元的词性,但是被拒绝,因为发现在频率列表中的单词的等级与其词性之间没有显著的相关性。停止引理列表使用比较方法进行评估。一个正式的评估方法,建议作为未来的工作,从这项研究中产生的。
2020-02-01 cs.CL
Evaluating Input Representation for Language Identification in Hindi-English Code Mixed Text
Pune Institute of Computer Technology(浦那计算机技术学院);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
自然语言处理(NLP)技术在近十年来已经成为主流。这些进步大部分归功于对单一语言的处理。最近,随着社交媒体平台的广泛增长,焦点已经转移到代码混合文本。代码混合文本包括以多于一种语言书写的文本。人们自然倾向于将本地语言与英语等全球语言结合起来。要处理这样的文本,目前的NLP技术是不够的。作为第一步,处理文本以识别文本中的单词的语言。在这项工作中,我们专注于印度语-英语混合文本的代码混合句子的语言识别。语言识别的任务被制定为一个令牌分类任务。在监督设置中,句子中的每个单词都有一个相关的语言标签。我们评估了不同的深度学习模型和输入表示组合来完成这项任务。主要地,字符、子词和词嵌入与基于CNN和LSTM的模型相结合来考虑。我们表明,子词表示和LSTM模型可以给出最好的结果。一般来说,子词表示的表现明显优于其他输入表示。我们报告了在标准SAIL ICON 2017测试集上使用单层LSTM模型的最佳准确率为94.52%。
2020-11-25 cs.CL cs.LG
The power of context: Random Forest classification of near synonyms. A case study in Modern Hindi
Institute of Polish Language, Polish Academy of Sciences(波兰科学院波兰语言研究所)
研究通过随机森林分析印地语近义词的分布数据,发现词源信息仍能通过上下文保留,揭示了近义词可能反映不同的视角和起源关联。
2026-04-01 cs.CL
Does Dependency Locality Predict Non-canonical Word Order in Hindi?
University of Stuttgart(斯图加特大学);Cornell University(康奈尔大学)
本研究针对印地语非规范OSV词序加工难度的认知因素问题,通过分类器对比语料库句子与置换句,发现依存长度最小化并非关键预测因子,语篇可预测性才是词序偏好的主要决定因素,为语篇产出理论提供了新证据。
2024-05-13 cs.CL
Evaluation and Ranking of Machine Translated Output in Hindi Language using Precision and Recall Oriented Metrics
CDAC(印度先进计算发展中心)
评价在机器翻译系统的开发中起着至关重要的作用。为了判断现有MT系统的质量,即翻译的输出是否具有人工翻译质量,存在各种自动度量。我们在这里提出了不同的指标时,使用印地语的实现结果,以及它们的比较,说明如何有效的是这些指标的语言,如印地语(自由词序语言)。
2014-04-07 cs.CL
Mitigating Gender Stereotypes in Hindi and Marathi
Manipal Institute of Technology(马尼帕尔理工学院);MAHE(马尼帕尔高等教育学院);University of Texas, Austin(德克萨斯大学奥斯汀分校)
随着自然语言处理在我们日常生活中的使用越来越多,解决这些系统中固有的性别偏见的需求也越来越大。这是因为在执行机器翻译等任务时,固有的偏见会干扰这些系统输出的语义结构。虽然研究是在英语中进行量化和减轻偏见,印度语言中的去偏见方法要么相对新生,要么完全没有一些印度语言。大多数印度语言都是有性别的,即,每个名词都根据每种语言的语法规则被赋予一个性。因此,评价不同于用英语进行的评价。本文评估了印地语和马拉地语中的性别刻板印象。这些方法将不同于英语中的方法,因为在某些单词中有阳性和阴性对应物。我们建立了一个中性和性别的职业词,情感词和测量偏见的嵌入连贯性测试(ECT)和相对范数距离(RND)的帮助下的数据集。我们也试图减轻这种偏见的嵌入。实验表明,我们提出的去偏见技术减少这些语言中的性别偏见。
2022-05-12 cs.CL
Learning cross-lingual phonological and orthagraphic adaptations: a case study in improving neural machine translation between low-resource languages
MNNIT Allahabad(莫蒂拉尔·尼赫鲁国家理工学院阿拉哈巴德分校);IIT (BHU)(印度理工学院(贝纳拉斯印度教大学))
词汇表外(OOV)单词可能对机器翻译(MT)任务构成严重挑战,特别是对低资源语言(LRL)对,即,很少或没有平行语料库存在的语言对。我们的工作适应seq 2seq模型的变体来执行从印地语到Bhojpuri(LRL实例)的这些单词的转导,从印地语-Bhojpuri单词的双语词典中构建的一组同源对中学习。我们证明,我们的模型可以有效地用于语言对有限的平行语料库,我们的模型工作在字符水平上把握语音和正字法的相似性,跨多种类型的词适应,无论是共时或历时,借词或同源词。我们描述了几个字符级别的NMT系统,我们适应这项任务的培训方面,并描述其典型的错误。我们的方法在Hindi到Bhojpuri翻译任务上将BLEU分数提高了6.3。此外,我们表明,这种转换可以推广到其他语言成功地将其应用到印地语-孟加拉语同源对。我们的工作可以被看作是一个重要的步骤,在这个过程中:(i)解决机器翻译任务中出现的OOV单词问题,(ii)为资源受限的语言创建有效的并行语料库,以及(iii)利用增强的语义知识捕获的单词级嵌入执行字符级任务。
2019-07-22 cs.CL
SMT vs NMT: A Comparison over Hindi & Bengali Simple Sentences
Jadavpur University(贾达布尔大学);SRM University(SRM大学)
在本文中,我们确定了统计机器翻译(SMT)和神经机器翻译(NMT)输出之间的定性差异。我们试图回答两个重要的问题:1。NMT与SMT和2的性能是否等同。它是否通过使用简单句子作为训练单元来提高机器翻译输出的质量。为了获得洞察力,我们开发了三个核心模型,即,SMT模型基于Moses工具包,其次是字符和单词级别的NMT模型。所有这些系统都使用英语-印地语和英语-孟加拉语语言对,包含简单句子以及其他复杂句子。为了保持翻译的语义相对于一个句子的目标词,我们采用软注意到我们的词级NMT模型。我们进一步评估了所有系统的成功和失败情况。最后,使用BLEU和TER指标以及流畅性,充分性等手动参数对翻译质量进行了验证。我们观察到,NMT在简单句子的情况下优于SMT,而SMT在所有类型的句子中均优于SMT。
2018-12-12 cs.CL
Reordering rules for English-Hindi SMT
CDAC Mumbai(孟买电子发展中心)
重排序是统计机器翻译(SMT)系统的一个预处理阶段,在SMT系统中,源语句的单词按照目标语言的语法进行重排序。我们提出了一套丰富的规则来更好地重新排序。我们的想法是促进训练过程中更好的对齐和并行短语提取的短语为基础的SMT系统。重新排序也有助于解码过程,从而提高机器翻译的质量。我们已经观察到,通过使用我们的方法,与基线SMT相比,翻译质量有了显着提高。我们使用BLEU、NIST、多参考字出错率、多参考位置无关出错率来判断改进。我们利用开放源代码的SMT工具包MOSES来开发该系统。
2016-10-24 cs.CL
Detection of Emotions in Hindi-English Code Mixed Text Data
The LNMIIT(拉克希米·尼瓦技术学院(The LNMIIT));Department of Computer Science and Engineering(计算机科学与工程系)
针对印地语-英语语码混合文本的情感检测问题,构建1589条标注语料库,提出结合分布相似性与辅音约束的转写归一化方法,实验发现子词LSTM准确率达76.6%为最优。
2026-08-06 cs.CL
hinglishNorm -- A Corpus of Hindi-English Code Mixed Sentences for Text Normalization
Vahan Inc(Vahan公司)
我们提出hinglishNorm -一个人类注释语料库的印地语-英语代码混合句子的文本规范化任务。语料库中的每个句子都与其对应的人类注释规范化形式对齐。据我们所知,没有公开的用于文本规范化任务的印地语-英语代码混合句子语料库。我们的工作是朝着这个方向的第一次尝试。语料库包含13494个平行片段。此外,我们在这个语料库上呈现基线归一化结果。我们获得的单词出错率(WER)为15.55,双语评估替补(BLEU)得分为71.2,以及显式排序翻译评估指标(METEOR)得分为0.50。
2020-10-18 cs.CL
Mapping Written Words to Spoken Words in a Different Language Using Only Visual Grounding
Politehnica Bucharest(布加勒斯特理工大学);Stellenbosch University(斯坦陵布什大学);Trinity College Dublin(都柏林圣三一学院)
本研究针对低资源场景下的语音数据构建问题,提出一种基于自监督语音表示的对齐方法,可从视觉 grounding 数据中直接学习跨语言词到语音的映射,效果优于以往的注意力模型。
2026-08-28 cs.CL eess.AS
Gender Prediction in English-Hindi Code-Mixed Social Media Content : Corpus and Baseline System
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
社交媒体网站使用的快速扩展导致了大量未经处理的用户生成数据,这些数据可用于文本挖掘。作者侧写是通过文本自动确定作者性别和年龄组等侧写方面的问题,在计算语言学中越来越受欢迎。以往的作者侧写研究大多集中在英语文本\cite{1,2}上。然而,许多用户在社交媒体上发帖时经常改变语言,这被称为代码混合,这在文本分类和作者分析领域带来了一些挑战,如拼写,非语法结构和音译\cite{3}的变化。在线\cite{4}上很少有英语-印地语代码混合注释的社交媒体内容数据集。在本文中,我们分析的任务,作者的性别预测在代码混合的内容,并提出了一个语料库的英语-印地语文本收集从Twitter的作者的性别注释。我们还探讨了语料库中每个词的语言识别。我们提出了一个监督分类基线系统,它使用各种机器学习算法来识别使用文本的作者的性别,基于字符和单词级别的功能。
2018-06-14 cs.CL
Is Word Error Rate a good evaluation metric for Speech Recognition in Indic Languages?
提出了一种计算自动语音识别(ASR)中出错率的新方法。这个新的度量标准适用于包含半字符的语言,并且同一个字符可以用不同的形式书写。我们实现了我们的方法在印地语,这是从印度的主要语言之一,我们认为这种方法是可扩展到其他类似的语言包含一个大的字符集。我们称我们的度量为交替字出错率(AWER)和交替字符出错率(ACER)。我们使用wav2vec 2.0 \cite{baevski2020wav2vec}为印度语训练我们的ASR模型。此外,我们使用语言模型,以提高我们的模型性能。我们的研究结果表明,在分析的出错率在单词和字符的水平和ASR系统的可解释性提高到$3$在AWER和$7$在ACER印地语的%有显着的改善。我们的实验表明,在具有复杂发音的语言中,有多种方式可以在不改变其含义的情况下书写单词。在这种情况下,AWER和ACER将比WER和CER更有用。此外,我们开源了一个新的基准测试数据集21小时印地语与新的指标脚本。
2022-06-15 cs.CL eess.AS
Attention based Sequence to Sequence Learning for Machine Translation of Low Resourced Indic Languages -- A case of Sanskrit to Hindi
Chhotubhai Gopalbhai Patel Institute of Technology, Uka Tarsadia University(乌卡·塔萨迪亚大学乔图巴伊·戈帕尔巴伊·帕特尔理工学院);Babumadhav Institute of Information Technology, Uka Tarsadia University(乌卡·塔萨迪亚大学巴布马德哈夫信息技术学院)
深度学习技术在模拟人类解决特定问题方面非常强大。他们在复杂的学习任务中表现出色。受深度学习启发的神经机器翻译(NMT)是一种优于传统机器翻译的熟练技术。考虑到印度语言丰富多样的语法,对印度语言进行机器辅助翻译一直是一项具有挑战性的任务。与传统的机器翻译方法相比,神经机器翻译已经显示出高质量的结果。全自动机器翻译在处理低资源语言时会出现问题,尤其是梵文。本文提出了一种基于注意注意力机制的神经机器翻译,在翻译过程中有选择地关注语言句子的特定部分。该工作展示了具有近10 K样本和178,000个标记的梵语到印地语双语平行语料库的构建。在梵语-印地语平行语料库上训练了具有注意力机制的神经翻译模型。这种方法显示了注意力机制的重要性,以克服长期的依赖关系,主要是与低资源的印度语。本文在测试数据上显示了注意力图,以证明源词和译文词之间的对齐。对于翻译句子的评价,采用了基于人工评分的人工评价和基于自动评价指标的技术。基于注意力机制的神经翻译在人类评估中达到了88%的准确率,在梵语到印地语的翻译中BLEU得分为0.92。
2021-09-07 cs.AI cs.CL
Development of a Hindi Lemmatizer
Banasthali University(巴纳斯塔利大学)
我们生活在一个双语社会,为了与来自世界各地的人们交流,我们需要掌握他们各自的语言。学习所有这些语言是不可能的,因此我们需要一种机制来完成这项任务。机器翻译器已经成为一种可以执行这一任务的工具。为了开发一个机器翻译器,我们需要开发几个不同的规则。机器翻译管道中的第一个模块是形态分析。词干和词形化属于形态学分析。在本文中,我们已经创建了一个lemmatizer,它生成的规则,删除词缀以及添加的规则,创建一个适当的根字。
2013-07-15 cs.CL
A bounded rationality account of dependency length minimization in Hindi
University of Stuttgart(斯图加特大学)
针对印地语词序偏好,研究提出仅将最短动词前成分邻近主要动词的最小努力策略,证明其比全局依存长度最小化更符合语料证据。
2023-04-22 cs.CL econ.TH
Reed at SemEval-2020 Task 9: Fine-Tuning and Bag-of-Words Approaches to Code-Mixed Sentiment Analysis
Reed College(里德学院)
我们探索的任务情感分析的印度式英语(代码混合印度语-英语)推文的SemEval-2020比赛的任务9的参与者,被称为SentiMix任务。我们有两个主要的方法:1)通过微调预训练的BERT模型来应用迁移学习,以及2)在词袋表示上训练前馈神经网络。在比赛的评估阶段,我们使用最佳模型获得了71.3%的F分数,这使得$4^{th}$在官方系统排名中脱颖而出。
2020-08-04 cs.CL
Semantically Cohesive Word Grouping in Indian Languages
IIT Bombay(印度理工学院孟买分校);IIT Kanpur(印度理工学院坎普尔分校)
本文针对印度语言语义单元粒度差异导致的平行句结构不一致问题,提出语义内聚的词分组预处理方法,并以印地语为对象通过扰动、机器翻译和句法分析验证其有效性。
2025-01-07 cs.CL
Enhancing Out-of-Vocabulary Performance of Indian TTS Systems for Practical Applications through Low-Effort Data Strategies
AI4Bharat, Indian Institute of Technology, Madras(AI4Bharat、马德拉斯印度理工学院)
针对低资源印度语言TTS系统词汇外性能差的问题,提出利用志愿者录制含未见双字母组单词的低成本数据策略,在不影响语音质量的前提下提升OOV性能。
2024-07-18 cs.CL cs.LG cs.SD
Humor Detection in English-Hindi Code-Mixed Social Media Content : Corpus and Baseline System
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
在过去的十年里,大量的用户通过社交网站生成的数据导致了计算语言学领域中自动文本分类的日益普及。在这一领域中,文本幽默自动检测是一个备受关注的问题。需要对文本进行深入的语义理解来检测幽默,这使得问题难以自动化。随着社交媒体用户数量的增加,许多使用多种语言的人在社交媒体上发帖时经常在不同语言之间进行交流,这被称为代码混合。它介绍了社交媒体内容的语言分析领域的一些挑战(Barman等人,2014年),如拼写变化和句子中的非语法结构。过去的研究包括检测文本中的双关语(Kao等人,2016)和幽默的一行(Mihalcea等人,2010),但是随着大量的代码混合数据在网上可用,需要开发检测代码混合推文中的幽默的技术。在本文中,我们分析了文本中的幽默检测任务,并描述了一个免费提供的语料库,其中包含英语印地语代码混合的鸣叫与幽默(H)或非幽默(N)的标签注释。我们还用语言标签(英语/印地语/其他)标记了推文中的单词。此外,我们描述了语料库上进行的实验,并提供了一个基线分类系统,区分幽默和非幽默文本。
2018-06-14 cs.CL
Debiasing Multilingual Word Embeddings: A Case Study of Three Indian Languages
IIT Kharagpur(印度理工学院卡拉格布尔分校)
在本文中,我们提出了目前国家的最先进的方法去偏置单语词嵌入,以便推广到多语言设置。我们考虑不同的方法来量化偏见和不同的去偏置方法,单语以及多语言设置。我们证明了我们的偏见缓解方法对下游NLP应用的重要性。我们提出的方法建立了最先进的性能去偏置多语言嵌入三种印度语言-印地语,孟加拉语和泰卢固语,除了英语。我们相信,我们的工作将为构建无偏见的下游NLP应用程序开辟新的机会,这些应用程序本质上依赖于所使用的词嵌入的质量。
2021-07-22 cs.CL
Building English ASR model with regional language support
Microsoft Corporation(微软公司)
本文提出SplitHead with Attention声学模型和n-gram插值语言建模方法,使英语ASR系统能处理印地语查询,在印地语和英语测试集上词错误率分别相对降低69.3%和5.7%。
2025-03-10 cs.CL eess.AS
Repetition Without Exclusivity: Scale Sensitivity of Referential Mechanisms in Child-Scale Language Models
研究评估了文本模型中排斥性机制的规模敏感性,发现基于儿童对话训练的模型在指称抑制方面表现不敏感,且重复素有增强效应,挑战了传统排斥性假设。
2026-03-14 cs.CL cs.LG
Subword Sampling for Low Resource Word Alignment
Volkswagen AG(大众汽车集团);Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心)
注释投影是NLP中的一个重要领域,可以为低资源语言创建语言资源。单词对齐在此设置中起着关键作用。然而,大多数现有的单词对齐方法是针对机器翻译中的高资源设置而设计的,在该高资源设置中,数百万个并行句子是可用的。当处理现有的IBM模型失败的低资源语言时,这个数量减少到几千个句子。在本文中,我们提出了基于子字采样的文本单元对齐。该方法的假设是,对于某些语言对,不同粒度的文本的聚合可以帮助词级对齐。对于某些语言的黄金标准的对齐存在,我们提出了一个迭代贝叶斯优化框架,以优化选择可能的子词从空间的可能的子词表示的源和目标句子。我们表明,子词抽样方法始终优于单词级对齐的六种语言对:英语-德语,英语-法语,英语-罗马尼亚语,英语-波斯语,英语-印地语,英语-因纽特语。此外,我们还表明,为某些语言对学习的超参数可以在没有监督的情况下应用于其他语言,并不断改善对齐结果。我们观察到,使用$5K$平行句子与我们提出的子词采样方法一起,我们获得了类似的F1分数使用$100K$的平行句子在现有的词级快速对齐/eflomal对齐方法。
2021-06-15 cs.CL
The Curious Case of Absolute Position Embeddings
McGill University(麦吉尔大学);Mila - Quebec AI(魁北克人工智能研究所米拉);Meta AI
Transformer语言模型使用位置信息对词序的概念进行编码。最常见的是,这种位置信息由绝对位置嵌入(APE)表示,它是从预训练数据中学习的。然而,在自然语言中,重要的不是绝对位置,而是相对位置,并且APE可以捕获这种类型的信息的程度尚未被研究。在这项工作中,我们观察到用APE训练的模型过度依赖位置信息,以至于当遇到具有移动位置信息的句子时它们会崩溃。具体来说,当模型受到从非零位置开始的句子(不包括启动的影响)时,它们在一系列模型系列和模型大小的零到全拍摄任务上表现出明显的性能下降。我们的研究结果提出了问题的有效性APE模型的位置信息的相关性,并邀请进一步反省这些模型所采用的句子和词序处理策略。
2022-10-23 cs.CL cs.LG
Frequency effects in Linear Discriminative Learning
University of Tübingen(蒂宾根大学);Cluster of Excellence Machine Learning: New Perspectives for Science, University of Tübingen(蒂宾根大学卓越集群机器学习:科学新视角)
本研究提出频率信息学习(FIL)方法,在判别性词汇模型中高效近似增量学习,捕捉词频效应,预测反应时间并解释启动效应,同时引发对低频词建模的思考。
2024-03-18 cs.CL
A Novel Word Pair-based Gaussian Sentence Similarity Algorithm For Bengali Extractive Text Summarization
Institute of Information Technology(信息技术研究所);University of Dhaka(达卡大学);Centre for Advanced Research in Science(高级科学研究中心)
针对孟加拉语抽取式文本摘要现有方法语义关系表达不足的问题,提出基于词对的高斯句相似度(WGSS)算法,结合谱聚类与TF-IDF排序,在多个数据集上平均ROUGE分数优于现有模型43.2%,还构建新数据集并可扩展至其他低资源语言。
2024-11-27 cs.CL
Scrambled Translation Problem: A Problem of Denoising UNMT
IIT Bombay(印度理工学院孟买分校);IBM Research Lab(IBM研究实验室)
在本文中,我们在无监督神经机器翻译(UNMT)系统(如\textit{Undreamt}(脚注))的输出中发现了一种有趣的错误。我们将此错误类型称为\textit{Scrambled Translation problem}。我们观察到使用\textit{word shuffle}噪声的UNMT模型(如Undreamt的情况)可以生成正确的单词,但无法将它们缝合在一起形成短语。结果,翻译句子的单词看起来像\textit{scrambled},导致BLEU减少。我们假设\textit{scrambled translation problem}背后的原因是“洗牌噪声”,这是在每个输入句子中引入的去噪策略。为了验证我们的假设,我们用一个简单的\textit{retraining}策略重新训练UNMT模型。我们在预先确定的迭代次数后停止去噪UNMT模型的训练,并使用原始句子作为输入而不添加任何噪声,恢复剩余迭代的训练-该次数也是预先确定的。我们提出的解决方案实现了显着的性能改进UNMT模型,训练传统。我们证明了这些性能增益四个语言对,\textit{viz.},英语法语,英语德语,英语西班牙语,印地语旁遮普语。我们的定性和定量分析表明,再训练策略有助于实现更好的对齐,如注意力热图和更好的短语翻译所观察到的,从而导致BLEU分数的统计学显著改善。
2021-06-17 cs.CL cs.LG stat.ML