DeepRAG: Building a Custom Hindi Embedding Model for Retrieval Augmented Generation from Scratch
Deepmost Innovations(迪普莫斯特创新公司)
本文提出DeepRAG,从零构建印地语专用嵌入模型,通过270万样本、定制分词器、印地语特定注意力机制和对比学习,使检索精度比多语言模型提升23%,并集成LangChain构建完整印地语RAG系统。
2025-03-11 cs.AI cs.CL
Advantages of Domain Knowledge Injection for Legal Document Summarization: A Case Study on Summarizing Indian Court Judgments in English and Hindi
Department of Mathematics(数学系);Indian Institute of Technology Kharagpur(印度理工学院Khargpur分校);Department of Computer Science and Engineering(计算机科学与工程系)
本研究通过注入领域知识提升印度法律文件摘要能力,生成英文和印地语摘要,验证方法有效性。
2026-02-07 cs.AI cs.CL
Progressive Training for Explainable Citation-Grounded Dialogue: Reducing Hallucination to Zero in English-Hindi LLMs
School of Artificial Intelligence and Data Engineering (SAIDE)(人工智能与数据工程学院);Indian Institute of Technology Jodhpur(印度理工学院朱罗普尔)
本文提出XKD-Dial,一种逐步四阶段训练流程,用于生成可解释的引用导向对话,通过跨语言适应、英语对话SFT与引用定位、双语对话SFT及GRPO对齐与引用感知奖励,减少幻觉并提升印地语能力。
2026-03-19 cs.AI cs.CL
Hostility Detection in Hindi leveraging Pre-Trained Language Models
Indian Institute of Technology, Kharagpur(印度理工学院卡哈拉格普尔分校)
社交平台上的恶意内容越来越多。这就需要适当探测敌对哨所,以便采取适当行动加以处理。虽然最近在英语语言中已经做了很多工作来解决在线敌对内容的问题,但在印度语言中很难找到类似的作品。本文提出了一种基于迁移学习的方法来对社交媒体(即Twitter、Facebook等)进行分类。以印地语梵文书写的帖子为敌对或非敌对。恶意帖子将被进一步分析,以确定它们是否是仇恨,虚假,诽谤和攻击性的。本文利用基于注意力的预训练模型,在印地语数据上进行微调,以敌对-非敌对任务作为辅助,并融合其特征以进行进一步的子任务分类。通过这种方法,我们建立了一个强大的和一致的模型,没有任何集成或复杂的预处理。我们在CONSTRAINT-2021共享任务中展示了我们的方法在恶意帖子检测方面的结果,我们的模型在加权细粒度F1得分方面表现非常出色,排名第三。
2021-01-14 cs.CL
Multilingual Mathematical Reasoning: Advancing Open-Source LLMs in Hindi and English
Indraprastha Institute of Information Technology, Delhi(德里英德拉普拉斯塔信息技术学院)
本研究旨在提升开源LLMs在印地语和英语中的数学推理能力,通过课程学习、分解策略和结构化解决方案设计,使WizardMath 7B在英语数据集上超越Gemini准确率6%,并在印地语数据集上匹配其性能。
2024-12-24 cs.AI cs.CL
Counter Turing Test ($CT^2$): Investigating AI-Generated Text Detection for Hindi -- Ranking LLMs based on Hindi AI Detectability Index ($ADI_{hi}$)
International Institute of Information Technology, Hyderabad(国际信息技术学院(海得拉巴));Massachusetts Institute of Technology(麻省理工学院);AI Institute, University of South Carolina(南卡罗来纳大学人工智能学院)
针对印地语AI生成文本检测需求,研究检验26个大语言模型的印地语生成能力,推出对应数据集,评估五种检测技术效果,并提出印地语AI可检测性指数以刻画相关演进格局。
2024-10-06 cs.CL
Language Identification of Hindi-English tweets using code-mixed BERT
Jamia Millia Islamia(贾米亚·米利亚伊斯兰大学);Aligarh Muslim University(阿里加尔穆斯林大学)
社交媒体文本的语言识别近年来一直是一个有趣的研究问题。社交媒体信息主要是在非英语国家混合的代码。通过预训练上下文嵌入的现有知识已经显示了一系列下游任务的最新结果。最近,诸如BERT之类的模型已经表明,使用大量未标记的数据,预训练的语言模型对于学习公共语言表示更加有益。本文提出了利用迁移学习和微调BERT模型来识别Twitter上的语言的广泛实验。这项工作利用了一个数据汇集的印地语-英语-乌尔都语代码混合文本的语言预训练和印地语-英语代码混合为随后的词级语言分类。结果表明,在混合数据上预训练的表示产生更好的结果,由他们的单语对应。
2021-07-02 cs.CL cs.LG
Llama-3-Nanda-10B-Chat: An Open Generative Large Language Model for Hindi
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Inception;Cerebras Systems(Cerebras系统公司)
本文提出印地语指令微调大语言模型 Llama-3-Nanda-10B-Chat,通过扩展 Transformer 模块持续预训练、严格数据筛选与双语训练解决印地语数据稀缺问题,并在同等规模开源多语言模型中取得领先性能。
2025-04-08 cs.CL
HiMed: Incentivizing Hindi Reasoning in Medical LLMs
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Indian Institute of Technology (Banaras Hindu University) Varanasi(印度理工学院(班加罗尔 Hindu 大学)瓦拉纳西分校);Tongji University(同济大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);Shenzhen Loop Area Institute(深圳河套学院);The Hong Kong University of Science and Technology(香港科技大学);Halmstad University(哈尔姆斯塔德大学)
针对医疗大语言模型在印地语上表现不佳的问题,提出HiMed印地语医疗推理语料库与基准,并通过衰减支架奖励训练HiMed-8B模型,显著提升印地语医疗推理性能并缩小英印准确率差距。
2026-09-29 cs.CL
Improving Multilingual Capabilities with Cultural and Local Knowledge in Large Language Models While Enhancing Native Performance
Vantager;Cohere for AI Community;IIT Roorkee(印度理工学院罗尔基);Amazon(亚马逊);Stanford University(斯坦福大学)
针对大语言模型多语言发展不均的问题,研究团队用含文化本地信息的精选印英指令数据微调多款LLM,推出双语模型Mantra-14B,在不损母语性能、不增模型规模与计算开销的前提下提升了双语表现,并开源相关资源助力低资源语言研究。
2025-07-31 cs.AI cs.CL
MedSumm: A Multimodal Approach to Summarizing Code-Mixed Hindi-English Clinical Queries
Indian Institute of Technology Patna(印度理工学院巴特那分校);Stanford University(斯坦福大学);Amazon GenAI(亚马逊生成式人工智能部门);Indira Gandhi Institute of Medical Sciences(英迪拉·甘地医学科学研究所)
本文提出多模态医疗混合查询摘要任务,构建了印英混合的MMCQS数据集,并利用LLMs和VLMs提出MedSumm框架,通过整合视觉信息生成更准确的医学摘要,改善医疗决策。
2024-01-03 cs.AI cs.CL
Tourism Question Answer System in Indian Language using Domain-Adapted Foundation Models
Department of Linguistics Banaras Hindu University(语言学系班加罗尔 Hindu 大学);Department of Humanistic Studies Indian Institute of Technology (BHU)(人文科学系印度理工学院(BHU));Department of Computer Science and Engineering Indian Institute of Technology Bhilai(计算机科学与工程系印度理工学院 Bhilai)
本文提出使用领域适应基础模型构建印地语旅游问答系统,通过LoRA微调提升效率与准确性,验证RoBERTa在捕捉文化术语上的优势。
2025-11-28 cs.AI cs.CL
IndicEval: A Bilingual Indian Educational Evaluation Framework for Large Language Models
Department of Computer Sciencce and Engineering(计算机科学与工程系);Swami Vivekanand Technical University Bhilai, India(斯瓦米·维韦kanand技术大学比哈尔,印度)
IndicEval提出了一种双语印度教育评估框架,通过真实考试题目评估LLM的推理、领域知识和双语适应性,揭示了跨模型性能差异和多语言退化问题。
2026-02-18 cs.AI cs.CL
Modeling Romanized Hindi and Bengali: Dataset Creation and Multilingual LLM Integration
Department of EECS, Embry-Riddle Aeronautical University, Daytona Beach, FL, USA(电子工程与科学系,埃姆布里-里德尔航空大学,日落海滩,佛罗里达州,美国);NLP Engineering Team, Hishab Singapore Pte. Ltd, Singapore(自然语言处理工程团队,Hishab新加坡私人有限公司,新加坡);Department of Computer Information Systems, Texas A&M University - Central Texas, Texas, USA(计算机信息系统系,德克萨斯A&M大学-中央德克萨斯分校,德克萨斯州,美国)
本文提出了一种新的转写数据集和定制多语言模型,用于提高罗马化印地语和孟加拉语的转写效果。
2025-11-27 cs.CL
Praxy Voice: Voice-Prompt Recovery + BUPS for Commercial-Class Indic TTS from a Frozen Non-Indic Base at Zero Commercial-Training-Data Cost
Praxy Voice
本文提出Praxy Voice,通过BUPS和LoRA适配器在无需训练声学解码器的情况下,实现从非印地语基础到印地语、泰米尔语和塔米尔语的商业级TTS输出,同时解决代码混合问题。
2026-04-28 cs.CL cs.SD eess.AS
A Patient-Doctor-NLP-System to contest inequality for less privileged
Indian Institute of Information Technology, Pune(浦那印度信息技术学院)
PDFTEMRA通过整合模型蒸馏、频域调制等技术,为低资源语言用户提供高效、可访问的医疗NLP解决方案。
2025-12-07 cs.AI cs.CL
Do Moral Judgment and Reasoning Capability of LLMs Change with Language? A Study using the Multilingual Defining Issues Test
Microsoft Corporation(微软公司);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本研究使用多语言定义问题测验,发现LLMs在印地语和斯瓦希里语中的道德推理能力显著低于其他语言,且道德判断随语言变化。
2024-02-03 cs.AI cs.CL
SCRIBE: Diagnostic Evaluation and Rich Transcription Models for Indic ASR
Adalat AI, India(印度Adalat人工智能公司)
SCRIBE通过沙地容忍对齐和领域词汇注入,提供词错误率的分类分解,解决了传统词错误率在处理聚合语言时的不足,同时释放了用于印地语、马拉雅尔语和卡纳达语的丰富转录模型。
2026-06-29 cs.AI cs.CL
Attention based Sequence to Sequence Learning for Machine Translation of Low Resourced Indic Languages -- A case of Sanskrit to Hindi
Chhotubhai Gopalbhai Patel Institute of Technology, Uka Tarsadia University(乌卡·塔萨迪亚大学乔图巴伊·戈帕尔巴伊·帕特尔理工学院);Babumadhav Institute of Information Technology, Uka Tarsadia University(乌卡·塔萨迪亚大学巴布马德哈夫信息技术学院)
深度学习技术在模拟人类解决特定问题方面非常强大。他们在复杂的学习任务中表现出色。受深度学习启发的神经机器翻译(NMT)是一种优于传统机器翻译的熟练技术。考虑到印度语言丰富多样的语法,对印度语言进行机器辅助翻译一直是一项具有挑战性的任务。与传统的机器翻译方法相比,神经机器翻译已经显示出高质量的结果。全自动机器翻译在处理低资源语言时会出现问题,尤其是梵文。本文提出了一种基于注意注意力机制的神经机器翻译,在翻译过程中有选择地关注语言句子的特定部分。该工作展示了具有近10 K样本和178,000个标记的梵语到印地语双语平行语料库的构建。在梵语-印地语平行语料库上训练了具有注意力机制的神经翻译模型。这种方法显示了注意力机制的重要性,以克服长期的依赖关系,主要是与低资源的印度语。本文在测试数据上显示了注意力图,以证明源词和译文词之间的对齐。对于翻译句子的评价,采用了基于人工评分的人工评价和基于自动评价指标的技术。基于注意力机制的神经翻译在人类评估中达到了88%的准确率,在梵语到印地语的翻译中BLEU得分为0.92。
2021-09-07 cs.AI cs.CL
Evaluating In-Context Learning and Retrieval Strategies for Devanagari Post-OCR Correction
Indian Institute of Technology Jodhpur(印度理工学院焦特布尔分校)
本研究首次系统评估LLM在天城文OCR后校正中的上下文学习,提出CharBM25检索策略,在印地语和马拉地语上显著优于随机选择,且与12B+模型结合实现免训练可靠校正。
2026-09-21 cs.CL cs.CV
HinFlair: pre-trained contextual string embeddings for pos tagging and text classification in the Hindi language
Medi-Caps University(麦迪卡普斯大学)
基于递归神经网络和Transformers架构的语言模型的最新进展已经在广泛的自然语言处理任务上取得了最先进的结果,例如pos标记,命名实体识别和文本分类。然而,这些语言模型中的大多数都是用高资源语言(如英语,德语,西班牙语)进行预训练的。多语言语言模型在其训练语料库中包括印地语、泰卢固语、孟加拉语等印度语言,但它们往往不能代表这些语言的语言特征,因为它们不是研究的主要语言。我们介绍HinFlair,这是一个语言表示模型(上下文字符串嵌入)预先训练的大型单语印地语语料库。在6个文本分类数据集和一个印地语依赖树库上进行了实验,以分析这些上下文化的印地语字符串嵌入的性能。结果表明,HinFlair在文本分类和pos标记等下游任务中的表现优于之前公开提供的最先进的预训练嵌入。此外,HinFlair与FastText嵌入相结合时,性能优于许多基于transformers的语言模型,特别是为印地语训练的。
2021-01-18 cs.CL
L3Cube-HindBERT and DevBERT: Pre-Trained BERT Transformer models for Devanagari based Hindi and Marathi Languages
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);L3Cube Pune(L3Cube浦那)
模型中心目前提供的单语印地语BERT模型在下游任务上的表现并不比多语言模型好。我们提出了L3 Cube-HindBERT,一个在印地语单语语料库上预训练的印地语BERT模型。此外,由于印度语、印地语和马拉地语共享梵文脚本,我们为两种语言训练单个模型。我们发布了DevBERT,这是一个在马拉地语和印地语单语数据集上训练的Devanagari BERT模型。我们评估这些模型的下游印地语和马拉地语文本分类和命名实体识别任务。基于HindBERT和DevBERT的模型比多语言MuRIL、IndicBERT和XLM-R有显著的改进。基于这些观察,我们还发布了其他印度语言卡纳达语,泰卢固语,马拉雅拉姆语,泰米尔语,古吉拉特语,阿萨姆语,奥迪亚语,孟加拉语和旁遮普语的单语BERT模型。这些模型在https://huggingface.co/l3cube-pune上共享。
2023-01-08 cs.CL cs.LG
Disability Across Cultures: A Human-Centered Audit of Ableism in Western and Indic LLMs
本文通过对比美印八种大语言模型与175名残障人士对能力歧视的评分,发现西方模型高估而印度模型低估伤害,且所有模型对印地语表达更容忍,强调AI评估需纳入本地残障视角。
2025-07-22 cs.AI cs.CY cs.HC
Analysis of Indic Language Capabilities in LLMs
Tattle Civic Tech India(塔特尔公民科技印度公司)
本报告评估了大型语言模型在印度语言上的理解与生成能力,通过分析28个模型和现有数据集,发现不同语言间性能差异显著,印地语表现最广,旨在为安全基准测试筛选语言。
2025-01-23 cs.CL
Hindi/Bengali Sentiment Analysis Using Transfer Learning and Joint Dual Input Learning with Self Attention
情感分析通常是指使用自然语言处理、文本分析和计算语言学从文本数据中提取基于情感和情感的信息。我们的工作探索了如何在迁移学习和联合双输入学习设置中有效地使用深度神经网络,以有效地对印地语和孟加拉语数据中的情绪进行分类并检测仇恨言论。我们首先为印地语\textbf{HASOC dataset}和孟加拉语仇恨言论训练Word 2 Vec词嵌入,然后训练LSTM,随后通过重用和微调印地语分类器的训练权重,将基于参数共享的迁移学习应用于孟加拉语情感分类器,并将两个分类器用作我们研究中的基线。最后,我们在联合双输入学习设置中使用具有自注意力的BiLSTM,在该设置中,我们同时使用印地语和孟加拉语数据集的各自嵌入来训练单个神经网络。
2022-02-11 cs.CL
Multilingual large language models leak human stereotypes across language boundaries
University of Maryland(马里兰大学);University of Southern California(南加州大学);Microsoft Research(微软研究院)
本文提出“刻板印象泄漏”测量框架,研究多语言大模型中一种语言的刻板印象如何影响其他语言行为,并发现GPT-3.5泄漏最严重、印地语最易受影响。
2024-11-19 cs.CL
Are Large Language Models Actually Good at Text Style Transfer?
Charles University(查理大学);University of Galway(戈尔韦大学)
本文评估了大型语言模型在多语言文本风格转换任务中的表现,发现基于提示的方法在英语外表现一般,而参数高效微调能显著提升性能并媲美现有最优水平,凸显了专用数据集与专门模型的必要性。
2024-08-27 cs.CL
Chitranuvad: Adapting Multi-Lingual LLMs for Multimodal Translation
Krutrim AI
Chitranuvad通过ViT图像编码器和适配器层将视觉信息融入多语言大语言模型,实现多模态翻译,在WAT2024印地语挑战集上取得SOTA。
2025-02-27 cs.CL cs.CV
Hindi to English: Transformer-Based Neural Machine Translation
Veermata Jijabai Technological Institute(维尔马塔·吉贾拜技术学院)
针对印地语低资源问题,本文训练 Transformer 构建印地语到英语 NMT 系统,结合回译、BPE 词级与子词级分词及 10 种配置,取得 24.53 BLEU。
2023-09-23 cs.AI cs.CL
Investigating Cross-Linguistic Gender Bias in Hindi-English Across Domains
LJMU(利物浦约翰摩尔斯大学)
衡量、评估和减少性别偏见已经成为最前沿的问题,每隔几个月就会发布更新和改进的语言嵌入。但是,这种偏见会因领域而异吗?我们在各种嵌入模型中看到了大量研究这些偏见的工作,但在消除印度语偏见方面所做的工作有限。我们的目标是衡量和研究这种偏见在印地语,这是一个高阶语言(性别)与英语,低阶语言。为了实现这一目标,我们研究了跨域的变化,以量化域嵌入是否允许我们深入了解这对印地语-英语模型的性别偏见。我们将在四个不同的语料库中生成嵌入,并通过实施不同的指标来比较结果,例如使用预训练的最先进的Indic-English翻译模型,该模型在许多NLP任务中的表现优于现有模型。
2021-11-22 cs.CL
Adapting Multilingual LLMs to Low-Resource Languages using Continued Pre-training and Synthetic Corpus
NVIDIA
本研究通过对多语言大模型进行持续预训练并利用合成语料,显著提升了低资源语言印地语的性能,同时保持了英语能力,并增强了事实准确性。
2025-04-21 cs.CL cs.LG
Extractive Question Answering on Queries in Hindi and Tamil
与英语等语言相比,印地语和泰米尔语等印度语言在自然语言处理(NLP)领域的代表性不足。由于这种代表性不足,印度语言在NLP任务(如搜索算法)上的表现不如英语。这种差异对社会经济地位较低的人影响尤其大,因为他们消费的互联网内容大多以当地语言提供。该项目的目标是构建一个NLP模型,该模型在印地语和泰米尔语的公共数据集上执行提取问答(QA)任务时比现有模型表现更好。摘要QA是一项NLP任务,其中问题的答案是从相应的文本中提取的。为了构建最佳解决方案,我们使用了三种不同的模型。第一个模型是NLP模型RoBERTa的未修改的跨语言版本,称为XLM-RoBERTa,它在100种语言上进行了预训练。第二个模型基于预训练的RoBERTa模型,为问答提供了额外的分类头,但我们使用了自定义的印度语标记器,然后优化了超参数并对印度语数据集进行了微调。第三个模型基于XLM-RoBERTa,但在Indic数据集上进行了额外的微调和训练。我们假设第三个模型将表现最好,因为XLM-RoBERTa模型已经在各种语言上进行了预训练,并且在印度数据集上进行了额外的微调。这一假设被证明是错误的,因为配对的RoBERTa模型表现最好,因为所使用的训练数据最具体的任务,而不是XLM-RoBERTa模型,其中有很多数据不是印地语或泰米尔语。
2022-09-27 cs.CL
Prosody Labelled Dataset for Hindi using Semi-Automated Approach
Jawaharlal Nehru University(贾瓦哈拉尔·尼赫鲁大学);DSI, National University of Ireland Galway(爱尔兰国立高威大学数据科学研究所);Panlingua Language Processing LLP(Panlingua语言处理有限责任合伙公司)
本研究旨在开发一个半自动标注的印地语韵律数据库,用于增强ASR和TTS系统中的语调成分,这也有助于建立语音到语音机器翻译系统。虽然没有一个标准的韵律标签存在于印地语,研究人员在过去的文献中的感知和统计方法,以推断在印地语的韵律模式的行为。基于这些现有的研究,并在很大程度上同意在印地语的语调理论,本研究试图首先开发一个手动标注的印地语语音数据的韵律语料库,然后用于训练预测模型,生成自动韵律标签。总共标注了5 000个陈述句和疑问句(23 500字)。训练后的模型对音高重音、中间短语边界和重音短语边界的准确率分别为73.40%、93.20%和43%。
2021-12-11 cs.CL
Beyond Initialization Loss: A Systematic Study of Token Embedding Initialization Strategies for LLM Vocabulary Extension
该研究针对LLM词汇扩展,对比20余种初始化策略,发现子词组合方法更优,最优配置使CPT步骤减超6倍,轻量CPT可可靠选择最优初始化策略。
2026-08-05 cs.CL cs.LG
Bollyrics: Automatic Lyrics Generator for Romanised Hindi
Indian Institute of Technology Gandhinagar(印度理工学院甘地讷格尔分校)
歌词以复杂的节奏模式,创造性地传达了一个有意义的故事。研究人员已经成功地生成和分析了英文和中文诗歌和歌曲的歌词。但是没有任何作品探索印地语数据集。鉴于印地语歌曲在世界各地的流行和罗马化印地语脚本的模棱两可的性质,我们提出了Bollyrics,一个自动歌词生成器罗马化印地语歌曲。我们提出了简单的技术来捕捉押韵模式之前和期间的模型训练过程中,在印地语。数据集和代码可在https://github.com/lingo-iitgn/Bollyrics上公开获得。
2020-07-25 cs.CL
Low-Resource Counterspeech Generation for Indic Languages: The Case of Bengali and Hindi
针对孟加拉语和印地语等低资源语言的反制言论生成问题,构建了包含5062对数据的基准数据集,并评估多种跨语言迁移基线模型,发现单语设置效果最佳且同语系语言间的合成迁移效果更好。
2024-02-11 cs.CL cs.HC
IITP at WAT 2021: System description for English-Hindi Multimodal Translation Task
Indian Institute of Technology Patna(巴特那印度理工学院)
神经机器翻译(NMT)因其端到端的可训练灵活性而成为当今机器翻译的主流技术。然而,NMT仍然很难在低资源环境中正确翻译,特别是在遥远的语言对上。克服这一问题的方法之一是利用其他模式提供的信息。这个想法是,尽管语言不同,但源语言和目标语言说话者看到的是相同的东西,源语言和目标语言的视觉表示是相同的,这可以积极地帮助系统。多模态信息可以帮助NMT系统通过消除某些短语或单词上的歧义来改进翻译。我们参加了第八届亚洲翻译研讨会(WAT - 2021)的英语-印地语多模态翻译任务,并在评估和挑战子集中分别获得42.47和37.50的BLEU分数。
2021-07-04 cs.AI cs.CL
Evaluation of forced alignment of code-mixed speech: the case of Hindi-English
Heinrich Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学);University of Florida(佛罗里达大学)
研究印地语-英语代码混合语音强制对齐,用蒙特利尔强制对齐器,解决自由变体和音素边界检测问题,自训练策略效果好,句子级代码混合数据训练的声学模型误差低,强调词典设计和训练数据对双语语音对齐的重要性。
2026-07-29 cs.CL
Statistical Machine Translation for Indian Languages: Mission Hindi 2
CDAC Mumbai(孟买先进计算发展中心)
本文介绍了孟买高级计算发展中心(CDACM)向2015年印度语言统计机器翻译NLP工具竞赛(ILSMT)提交的参赛作品(与ICON 2015并列)。比赛的目的是共同探索统计机器翻译(SMT)在印度语言内部以及英语和印度语言之间进行翻译时的有效性。在本文中,我们报告我们的工作,即孟加拉语-印地语(\bnhi),马拉地语-印地语(\mrhi),泰米尔语-印地语(\tahi),泰卢固语-印地语(\tehi),英语-印地语(\enhi)的健康,旅游和一般领域。我们在SMT培训和测试之前使用了后缀分离、复合拆分和预排序。
2016-10-25 cs.CL
Paradigm Shift in Language Modeling: Revisiting CNN for Modeling Sanskrit Originated Bengali and Hindi Language
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);United International University(联合国际大学)
虽然最近有大量的工作在语言建模(LM)的高资源语言,如英语和中文,该领域仍然是未开发的低资源语言,如孟加拉语和印地语。我们提出了一个端到端的可训练记忆高效的CNN架构命名为CoCNN处理特定的特点,如高拐点,形态丰富,灵活的词序和拼音拼写错误的孟加拉语和印地语。特别是,我们在单词和句子级别引入了两个可学习的卷积子模型,它们是端到端可训练的。我们表明,最先进的(SOTA)Transformer模型,包括预训练的BERT不一定会产生孟加拉语和印地语的最佳性能。CoCNN的性能优于预训练的BERT,参数减少了16倍,并且在多个真实世界数据集上实现了比SOTA LSTM模型更好的性能。这是第一次研究从三种深度学习范式中提取的不同架构的有效性-卷积,递归和Transformer神经网络用于建模两种广泛使用的语言,孟加拉语和印地语。
2021-11-05 cs.CL
Mitigating Gender Stereotypes in Hindi and Marathi
Manipal Institute of Technology(马尼帕尔理工学院);MAHE(马尼帕尔高等教育学院);University of Texas, Austin(德克萨斯大学奥斯汀分校)
随着自然语言处理在我们日常生活中的使用越来越多,解决这些系统中固有的性别偏见的需求也越来越大。这是因为在执行机器翻译等任务时,固有的偏见会干扰这些系统输出的语义结构。虽然研究是在英语中进行量化和减轻偏见,印度语言中的去偏见方法要么相对新生,要么完全没有一些印度语言。大多数印度语言都是有性别的,即,每个名词都根据每种语言的语法规则被赋予一个性。因此,评价不同于用英语进行的评价。本文评估了印地语和马拉地语中的性别刻板印象。这些方法将不同于英语中的方法,因为在某些单词中有阳性和阴性对应物。我们建立了一个中性和性别的职业词,情感词和测量偏见的嵌入连贯性测试(ECT)和相对范数距离(RND)的帮助下的数据集。我们也试图减轻这种偏见的嵌入。实验表明,我们提出的去偏见技术减少这些语言中的性别偏见。
2022-05-12 cs.CL
Samasāmayik: A Parallel Dataset for Hindi-Sanskrit Machine Translation
Indian Institute of Technology Bombay(印度理工学院孟买分校);Geakminds Technologies Private Limited(Geakminds技术有限公司);Indian Institute of Technology Roorkee(印度理工学院罗奥基)
本文介绍了一个大规模的印地语-梵语并行语料库Samasāmayik,包含92,196个句子,涵盖现代材料,通过训练三个模型展示了其在翻译任务中的有效性。
2026-03-25 cs.CL
Multi-class Regret Detection in Hindi Devanagari Script
Netaji Subhas University of Technology(内塔吉·苏巴斯大学);Tecnológico de Monterrey(蒙特雷理工学院)
本研究构建了印地语社交媒体三分类后悔情绪数据集,分析其语言表达与关联领域,验证了结合BERT嵌入的CNN模型在后悔检测任务中优于传统机器学习模型。
2024-01-29 cs.AI cs.CL
Coarse and Fine-Grained Hostility Detection in Hindi Posts using Fine Tuned Multilingual Embeddings
Indian Institute of Technology Hyderabad(印度海得拉巴理工学院)
由于Facebook、Twitter等社交媒体平台的广泛采用,出现了检测可能违反社区接受标准的在线帖子的需求。敌意检测任务已经很好地探索了资源丰富的语言,如英语,但未探索资源受限的语言,如Hindidue的大型合适的数据不可用。我们认为这种敌意检测作为一个多标签多类分类问题。我们提出了一个有效的神经网络为基础的技术,在印地语职位的敌意检测。我们利用预训练的多语言双向编码器表示Transformer(mBERT)来获得印地语帖子的上下文表示。我们已经进行了广泛的实验,包括不同的预处理技术,预训练模型,神经架构,混合策略等。我们表现最好的神经分类器模型包括One-vs-the-Rest方法,其中我们分别获得了92.60%,81.14%,69.59%,75.29%和73.01%的F1分数,用于敌对,虚假,仇恨,攻击和诽谤标签。该模型优于现有的基线模型,并成为检测印地语帖子中的敌意的最先进的模型。
2021-01-13 cs.CL
Evaluating Gender Bias in Hindi-English Machine Translation
Manipal Institute of Technology(马尼帕尔理工学院);MAHE(马尼帕尔高等教育学院)
随着语言模型在现实世界中的部署越来越多,解决其输出的公平性问题至关重要。这些语言模型的词嵌入表示通常隐含地绘制不需要的关联,从而在模型内形成社会偏见。像印地语这样的性别语言的性质给量化和减轻偏见带来了另一个问题,因为句子中的单词形式会根据主语的性别发生变化。此外,在印度语的测量和去偏置系统领域也做了一些工作。在我们的工作中,我们试图评估和量化的印地语-英语机器翻译系统中的性别偏见。我们实现了一个修改后的版本,现有的TGBI指标的基础上,印地语的语法考虑。我们还比较和对比了预训练嵌入的多个指标和通过我们的机器翻译模型学习的多个指标的偏差测量。
2021-06-16 cs.AI cs.CL cs.CY
L3Cube-MahaSBERT and HindSBERT: Sentence BERT Models and Benchmarking BERT Sentence Representations for Hindi and Marathi
MKSSS’ Cummins College of Engineering for Women(MKSSS卡明斯女子工程学院);L3Cube;Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
普通BERT模型的句子表示在句子相似性任务中效果不佳。在STS或NLI数据集上专门训练的Sentence-BERT模型显示出最先进的性能。然而,由于缺乏这些专门的数据集,为低资源语言构建这些模型并不简单。这项工作的重点是两个低资源的印度语言,印地语和马拉地语。我们使用使用机器翻译准备的合成NLI和STS数据集为这些语言训练重复BERT模型。我们表明,NLI预训练,然后STSb微调的策略是有效的,在生成高性能的印地语和马拉地语的相似性模型。使用这种简单策略训练的普通BERT模型优于使用复杂训练策略训练的多语言LaBSE。这些模型在下游文本分类和相似性任务中进行评估。我们在真实文本分类数据集上评估这些模型,以显示从合成数据训练中获得的嵌入也可推广到真实数据集,因此代表了低资源语言的有效训练策略。我们还提供了对快速文本模型、多语言BERT模型(mBERT、IndicBERT、xlm-RoBERTa、MuRIL)、多语言句子嵌入模型(LASER、LaBSE)以及基于L3 Cube-Maha BERT和HindBERT的单语言BERT模型的句子嵌入的比较分析。我们发布L3 Cube-MahaSBERT和HindSBERT,分别用于马拉地语和印地语的最先进的BERT模型。我们的工作也作为一个指导,以建立低资源的句子嵌入模型。
2022-11-22 cs.CL cs.LG
An Augmented Translation Technique for low Resource language pair: Sanskrit to Hindi translation
Malaviya National Institute of Technology(马拉维亚国家技术学院)
神经机器翻译(Neural Machine Translation,NMT)是一种利用大型人工神经网络进行机器翻译(Machine Translation,MT)的新兴技术。它已经展示了有希望的结果,并在解决具有挑战性的机器翻译练习方面显示出令人难以置信的潜力。其中一个练习是用一点准备信息为语言集提供大量MT的最佳方法。在这项工作中,Zero Shot Translation(ZST)检查低资源语言对。通过对高资源语言对进行工作,即西班牙语到葡萄牙语,并对数据集进行训练(西班牙语-英语和英语-葡萄牙语),我们为ZST系统准备了一个证明状态,该系统可以根据可用数据提供适当的结果。随后,通过在英语-印地语和梵语-英语语言对上训练模型,对数据稀疏的梵语到印地语翻译测试相同的架构。为了使用ZST系统进行准备和解密,我们扩展了Tensorflow中NMT seq 2seq模型的准备和解释管道,并结合了ZST功能。通过对词嵌入进行语义缩减,减少了数据存储的内存占用,加快了训练和翻译周期。在这项工作中,我们以富有想象力的方式利用现有的有用技术来执行我们的NLP问题,即梵语到印地语的翻译。一个梵语-印地语平行语料库的300构建测试。建立平行语料库所需的数据取自印度中央邦政府新闻部网站上发布的电视新闻。
2020-06-09 cs.CL
Evaluating Machine Translation Models for English-Hindi Language Pairs: A Comparative Analysis
National Institute of Technology Karnataka(卡纳塔克国家理工学院)
本文比较评估了多种英印机器翻译模型,利用18000+平行语料和FAQ数据集,通过词汇与机器学习指标揭示各模型优劣及改进方向。
2025-05-26 cs.CL cs.LG
An exploratory experiment on Hindi, Bengali hate-speech detection and transfer learning using neural networks
Saarland University(萨尔兰大学)
这项工作提出了我们的方法来训练一个神经网络来检测仇恨语言文本在印地语和孟加拉语。我们还探讨了如何将迁移学习应用于学习这些语言,因为它们具有相同的起源,因此在某种程度上是相似的。尽管整个实验是在低计算能力下进行的,但所获得的结果与其他更昂贵的模型的结果相当。此外,由于所使用的训练数据相对较少,而且这两种语言对我们来说几乎完全陌生,因此这项工作可以概括为努力揭开人类无法理解的失落或外来语言的神秘面纱。
2022-01-06 cs.CL cs.LG
Enabling Quantum Natural Language Processing for Hindi Language
IIIT Dharwad(达拉瓦德印度信息技术学院)
本文首次将量子自然语言处理(QNLP)方法扩展到印地语,利用预群表示、DisCoCat框架和IQP风格拟设构建参数化量子电路,以训练语法和主题感知的印地语句子分类器。
2026-10-09 cs.CL
FST Based Morphological Analyzer for Hindi Language
JSS Academy of Technical Education Noida(JSS诺伊达技术教育学院)
印地语是一种高度屈折的语言,基于FST(有限状态转换器)的方法是最有效的开发这种语言的形态分析器。本文提出的工作使用SFST(斯图加特有限状态传感器)工具生成FST。创建了一个词根词典。然后添加规则,用于从这些词根生成屈折词和派生词。所开发的词形分析器用于基于Stanford POS Tagger的词性标注器。该系统首先使用人工标注的语料库进行训练,然后使用Stanford POS tagger的MAXENT(最大熵)方法对输入句子进行标注。形态分析仪给出了大约97%的正确结果。POS tagger对于具有训练模型文件已知的单词的句子给出了大约87%的准确度,并且对于具有训练模型文件未知的单词的句子给出了80%的准确度。
2012-07-23 cs.CL cs.IR
Multilingual Tourist Assistance using ChatGPT: Comparing Capabilities in Hindi, Telugu, and Kannada
Dublin High School(都柏林高中);Voice Thesis
本研究评估了ChatGPT将英语翻译为印地语、泰卢固语和卡纳达语以辅助游客的能力,发现印地语翻译在准确性和流畅度上表现最佳,泰卢固语相对落后。
2023-07-28 cs.CL
Evaluation of Deep Learning Models for Hostility Detection in Hindi Text
Pune Institute of Computer Technology(浦那计算机技术学院);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
社交媒体平台是表达个人想法和分享有用信息的便利媒介。它是快速,简洁,并有能力达到数百万。这是一个有效的地方存档思想,分享艺术内容,接收反馈,推广产品等,尽管有许多优势,这些平台已经给了一个推动敌对职位。仇恨言论和贬损言论是为了个人满足或政治利益而张贴的。恶意帖子可能会产生欺凌效应,使整个平台体验充满敌意。因此,检测恶意帖子对于保持社交媒体卫生非常重要。问题是像印地语这样的发音更明显的语言资源不足。在这项工作中,我们提出了在印地语的敌意文本检测方法。在约束@AAAI 2021印地语敌意检测数据集上对所提出的方法进行了评估。该数据集包括从社交媒体平台收集的敌意和非敌意文本。敌对的帖子被进一步分为虚假,攻击性,仇恨和诽谤的重叠类别。我们评估了许多基于CNN、LSTM和BERT的深度学习方法来解决这个多标签分类问题。IndicNLP和Facebook的预训练印地语快速文本词嵌入与CNN和LSTM模型结合使用。使用预训练的多语言Transformer语言模型mBERT和IndicBERT的两个变体。我们表明,基于BERT的模型的性能是最好的。此外,CNN和LSTM模型也与基于BERT的模型竞争。
2021-04-07 cs.CL cs.LG
HLDC: Hindi Legal Documents Corpus
IIIT Hyderabad(印度信息技术研究所海得拉巴分校);IIIT Delhi(印度信息技术研究所德里分校);IIT Kanpur(印度理工学院坎普尔分校)
针对印地语法律文档语料匮乏问题,构建了含90万份文档的HLDC语料库,并提出基于多任务学习的保释预测模型,为低资源法律NLP研究提供资源与基线。
2024-05-24 cs.AI cs.CL cs.LG