Walk in Wild: An Ensemble Approach for Hostility Detection in Hindi Posts
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
随着互联网覆盖范围的扩大，贬义词开始在社交媒体平台上泛滥。这就需要识别社交媒体平台上的敌对内容。与英语相比，印地语等低资源语言的恶意内容识别由于其多样化的句法结构而面临不同的挑战。在本文中，我们开发了一个简单的集成基于预训练的mBERT和流行的分类算法，如人工神经网络（ANN）和XGBoost的模型，用于印地语帖子中的敌意检测。我们将这个问题表述为二进制分类（敌意和非敌意类）和多标签多类分类问题（对于更细粒度的敌意类）。我们在比赛中获得了第三名，在二元和多标签多类分类任务中的加权F1得分分别为~0.969和~0.61。
2021-01-15 cs.CL
Language Lexicons for Hindi-English Multilingual Text Processing
Jamia Millia Islamia（贾米亚·米利亚伊斯兰大学）
文本文档中的语言识别是根据文档内容自动检测文档中包含的语言的过程。目前的语言识别技术假设文档包含固定语言集合中的一种语言的文本，然而，当处理包括多于一种可能语言的内容的多语言文档时，这种假设是不正确的。由于没有大型标准语料库的印地语-英语混合语言的语言处理任务，我们提出了语言词典，一种新的词汇数据库，支持多种语言处理任务。这些词汇是通过在音译印地语和英语词汇上学习分类器建立的。所设计的词汇比其主要的收集来源具有更丰富的数量特征，这是使用可视化技术揭示的。
2021-06-29 cs.CL
NITS-Hinglish-SentiMix at SemEval-2020 Task 9: Sentiment Analysis For Code-Mixed Social Media Text Using an Ensemble Model
National Institute of Technology Silchar（西尔恰尔国立技术学院）
情感分析是一个解读句子所表达的情感并将其分为积极、消极或中性的过程。近年来，印度活跃的社交媒体用户数量大量涌入，这导致了大量非结构化文本数据。由于印度人通常都能流利地使用印地语和英语，他们最终会生成代码混合的印度式英语社交媒体文本，即印地语的表达，用罗马字母和其他英语单词一起书写。充分理解这些文本中的概念的能力确实是必要的。我们的团队rns 2020参与了SemEval 2020的任务9，旨在设计一个系统来对代码混合的社交媒体文本进行情感分析。本文提出了一个名为NITS-Hinglish-SentiMix的系统来完成对这种代码混合的Hinglish文本的情感分析。所提出的框架在测试数据上记录了0.617的F分数。
2020-09-04 cs.CL
BHAAV- A Text Corpus for Emotion Analysis from Hindi Stories
Adobe Systems（奥多比系统公司）；Bloomberg LP（彭博有限合伙企业）；NSIT-Delhi（德里工程学院）；USICT, New Delhi（新德里印度理工学院德里校区信息技术学院）；IIIT-Delhi（德里印度信息技术学院）
在本文中，我们介绍了第一个也是最大的印地语文本语料库，命名为BHAAV，这意味着印地语的情绪，分析情感，一个作家通过他的人物在一个故事中，由叙述者/读者感知。该语料库由20，304个句子组成，这些句子来自230个不同的短篇小说，跨越18个体裁，如灵感和神秘。每句话都被三位至少接受过十年印地语正规教育的印地语母语人士注释为五种情绪类别之一-愤怒，喜悦，悬念，悲伤和中性。我们还讨论了低资源语言，如印地语的注释中的挑战，并讨论了拟议的语料库的范围及其可能的用途。我们还提供了数据集的详细分析和训练强基线分类器报告其性能。
2019-10-09 cs.CL
Structural Analysis of Hindi Phonetics and A Method for Extraction of Phonetically Rich Sentences from a Very Large Hindi Text Corpus
Indian Institute of Information Technology, Allahabad（印度信息技术学院，阿拉哈巴德）
自动语音识别（ASR）和文本到语音（TTS）是当今人机交互的两个重要研究领域。为了开发人机交互的这两个交互模块，一组语音丰富的句子是非常重要的。从本质上讲，语音丰富的句子集必须覆盖均匀分布的所有可能的音素单元。从一个大的语料库中选择这样一个集合，保持语音特征的相似性仍然是一个具有挑战性的问题。本文的主要目标是设计一个标准，以选择一组句子，包括所有的语音方面的语料库的大小尽可能小。首先，本文提出了一个统计分析的印地语语音观察的结构特点。此外，提出了一个两阶段的算法，以提取语音丰富的句子与各种各样的三音子从埃米尔印地语语料库。该算法包括一个距离测量标准来选择一个句子，以改善三音子分布。此外，为了加快算法的速度，提出了一种特殊的预处理方法，对每个三音子进行逆概率评分。实验结果表明，该方法能够有效地构建出分布均匀、句子数量最优的语音丰富语料库。
2017-02-07 cs.CL
Hostility Detection in Hindi leveraging Pre-Trained Language Models
Indian Institute of Technology, Kharagpur（印度理工学院卡哈拉格普尔分校）
社交平台上的恶意内容越来越多。这就需要适当探测敌对哨所，以便采取适当行动加以处理。虽然最近在英语语言中已经做了很多工作来解决在线敌对内容的问题，但在印度语言中很难找到类似的作品。本文提出了一种基于迁移学习的方法来对社交媒体（即Twitter、Facebook等）进行分类。以印地语梵文书写的帖子为敌对或非敌对。恶意帖子将被进一步分析，以确定它们是否是仇恨，虚假，诽谤和攻击性的。本文利用基于注意力的预训练模型，在印地语数据上进行微调，以敌对-非敌对任务作为辅助，并融合其特征以进行进一步的子任务分类。通过这种方法，我们建立了一个强大的和一致的模型，没有任何集成或复杂的预处理。我们在CONSTRAINT-2021共享任务中展示了我们的方法在恶意帖子检测方面的结果，我们的模型在加权细粒度F1得分方面表现非常出色，排名第三。
2021-01-14 cs.CL
BERT Based Multilingual Machine Comprehension in English and Hindi
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
多语言机器理解（MMC）是一个问答（QA）子任务，涉及从给定的片段中引用问题的答案，其中问题和片段可以是不同的语言。最近发布的BERT（m-BERT）的多语言变体，预先训练了104种语言，在多语言任务的zero-shot和微调设置中表现良好;然而，它还没有用于英语-印地语MMC。因此，我们在这篇文章中介绍了我们在zero-shot，单语言（例如印地语-印地语）和跨语言（例如英语-印地语）微调设置中使用MMC的m-BERT实验。这些模型变体在所有可能的多语言设置上进行评估，并将结果与这些语言的当前最先进的顺序QA系统进行比较。实验表明，经过微调的m-BERT可以提高先前模型使用的两个数据集的所有评估设置的性能，因此将基于m-BERT的MMC确立为英语和印地语的最新技术水平。我们还在最近发布的XQuAD数据集的扩展版本上发布了我们的结果，我们建议将其用作未来研究的评估基准。
2020-06-02 cs.CL
Evaluation of Deep Learning Models for Hostility Detection in Hindi Text
Pune Institute of Computer Technology（浦那计算机技术学院）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
社交媒体平台是表达个人想法和分享有用信息的便利媒介。它是快速，简洁，并有能力达到数百万。这是一个有效的地方存档思想，分享艺术内容，接收反馈，推广产品等，尽管有许多优势，这些平台已经给了一个推动敌对职位。仇恨言论和贬损言论是为了个人满足或政治利益而张贴的。恶意帖子可能会产生欺凌效应，使整个平台体验充满敌意。因此，检测恶意帖子对于保持社交媒体卫生非常重要。问题是像印地语这样的发音更明显的语言资源不足。在这项工作中，我们提出了在印地语的敌意文本检测方法。在约束@AAAI 2021印地语敌意检测数据集上对所提出的方法进行了评估。该数据集包括从社交媒体平台收集的敌意和非敌意文本。敌对的帖子被进一步分为虚假，攻击性，仇恨和诽谤的重叠类别。我们评估了许多基于CNN、LSTM和BERT的深度学习方法来解决这个多标签分类问题。IndicNLP和Facebook的预训练印地语快速文本词嵌入与CNN和LSTM模型结合使用。使用预训练的多语言Transformer语言模型mBERT和IndicBERT的两个变体。我们表明，基于BERT的模型的性能是最好的。此外，CNN和LSTM模型也与基于BERT的模型竞争。
2021-04-07 cs.CL cs.LG
A Corpus of English-Hindi Code-Mixed Tweets for Sarcasm Detection
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术研究所）
像Twitter和Facebook这样的社交媒体平台已经成为人们用来表达他们对不同话题的看法的两个最大的媒介。如此大规模的用户数据的产生使得情感分析和意见挖掘等NLP任务变得更加重要。最近，在社交媒体上的文本中使用讽刺已经成为一种流行趋势。使用讽刺会颠倒文本所暗示的意义和极性，这对许多NLP任务构成了挑战。文本中的讽刺检测对于商业和安全服务都越来越重要。我们提出了第一个英语印地语代码混合数据集的推文标记的讽刺和讽刺的存在，每个令牌也注释了一个语言标签。我们提出了一个基线监督分类系统，使用相同的数据集，实现了平均F-得分为78.4后，使用随机森林分类器和执行10倍交叉验证。
2018-05-30 cs.CL
Akal Badi ya Bias: An Exploratory Study of Gender Bias in Hindi Language Technology
Microsoft Research（微软研究院）；Karya；Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）；Delft University of Technology（代尔夫特理工大学）；Cornell University（康奈尔大学）
本文首次综合考察印地语语言技术中的性别偏见，结合文本挖掘、计算模型与面向农村及低收入女性的田野研究，指出方法局限并倡导社区中心的包容性研究框架。
2024-05-10 cs.CL
FST Based Morphological Analyzer for Hindi Language
JSS Academy of Technical Education Noida（JSS诺伊达技术教育学院）
印地语是一种高度屈折的语言，基于FST（有限状态转换器）的方法是最有效的开发这种语言的形态分析器。本文提出的工作使用SFST（斯图加特有限状态传感器）工具生成FST。创建了一个词根词典。然后添加规则，用于从这些词根生成屈折词和派生词。所开发的词形分析器用于基于Stanford POS Tagger的词性标注器。该系统首先使用人工标注的语料库进行训练，然后使用Stanford POS tagger的MAXENT（最大熵）方法对输入句子进行标注。形态分析仪给出了大约97%的正确结果。POS tagger对于具有训练模型文件已知的单词的句子给出了大约87%的准确度，并且对于具有训练模型文件未知的单词的句子给出了80%的准确度。
2012-07-23 cs.CL cs.IR
Gender Prediction in English-Hindi Code-Mixed Social Media Content : Corpus and Baseline System
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
社交媒体网站使用的快速扩展导致了大量未经处理的用户生成数据，这些数据可用于文本挖掘。作者侧写是通过文本自动确定作者性别和年龄组等侧写方面的问题，在计算语言学中越来越受欢迎。以往的作者侧写研究大多集中在英语文本\cite{1,2}上。然而，许多用户在社交媒体上发帖时经常改变语言，这被称为代码混合，这在文本分类和作者分析领域带来了一些挑战，如拼写，非语法结构和音译\cite{3}的变化。在线\cite{4}上很少有英语-印地语代码混合注释的社交媒体内容数据集。在本文中，我们分析的任务，作者的性别预测在代码混合的内容，并提出了一个语料库的英语-印地语文本收集从Twitter的作者的性别注释。我们还探讨了语料库中每个词的语言识别。我们提出了一个监督分类基线系统，它使用各种机器学习算法来识别使用文本的作者的性别，基于字符和单词级别的功能。
2018-06-14 cs.CL
Development of a Hindi Lemmatizer
Banasthali University（巴纳斯塔利大学）
我们生活在一个双语社会，为了与来自世界各地的人们交流，我们需要掌握他们各自的语言。学习所有这些语言是不可能的，因此我们需要一种机制来完成这项任务。机器翻译器已经成为一种可以执行这一任务的工具。为了开发一个机器翻译器，我们需要开发几个不同的规则。机器翻译管道中的第一个模块是形态分析。词干和词形化属于形态学分析。在本文中，我们已经创建了一个lemmatizer，它生成的规则，删除词缀以及添加的规则，创建一个适当的根字。
2013-07-15 cs.CL
Leveraging the Cross-Domain & Cross-Linguistic Corpus for Low Resource NMT: A Case Study On Bhili-Hindi-English Parallel Corpus
Department of Electrical Engineering, Indian Institute of Technology Delhi（电子工程系，印度理工学院德里）；Bharti School of Telecommunication, Indian Institute of Technology Delhi（电信学院，印度理工学院德里）；Yardi School of Artificial Intelligence, Indian Institute of Technology Delhi（人工智能学院，印度理工学院德里）
本文构建了全球首个含11万句的Bhili-Hindi-English平行语料库，评估多种多语言大模型并证实微调NLLB-200 distilled 600M效果最优，填补了低资源部落语言的翻译基准空白。
2025-11-01 cs.CL
Vartani Spellcheck -- Automatic Context-Sensitive Spelling Correction of OCR-generated Hindi Text Using BERT and Levenshtein Distance
Birla Institute of Technology, Mesra（贝拉理工学院梅斯拉分校）
传统的光学字符识别（OCR）系统生成高度屈折的印度语（如印地语）的文本，由于宽的字母表集、复合字符和在单词中分割字符的困难，其往往遭受差的准确性。自动拼写错误检测和上下文敏感错误校正可用于通过后处理这些OCR系统生成的文本来提高准确性。以前开发的大多数用于印地语拼写错误校正的语言模型都是上下文无关的。在本文中，我们提出了Vartani拼写检查-一种上下文敏感的方法，使用最先进的Transformer - BERT结合Levenshtein距离算法，俗称编辑距离的印地语文本的拼写校正。我们使用一个查找字典和基于上下文的命名实体识别（NER）检测可能的拼写错误的文本。我们提出的技术已被广泛使用的Tesseract OCR对印地语史诗罗摩衍那产生的文本的大型语料库进行了测试。准确率为81%，结果显示出显着的改善，比以前建立的一些上下文敏感的印地语纠错机制。我们还解释了如何Vartani拼写检查可用于在文本编辑器环境中连续键入期间的即时自动更正建议。
2020-12-14 cs.AI cs.CL cs.LG
Improving Performance Of English-Hindi Cross Language Information Retrieval Using Transliteration Of Query Terms
GLA University（GLA大学）
跨语言信息检索（CLIR）的主要问题是检索的平均精度与单语检索性能相比较差。CLIR性能不佳的主要原因是查询词的不匹配、词汇歧义和未翻译的查询词。为了提高CLIR系统的性能，需要解决CLIR存在的问题。在本文中，我们正在努力解决给定的问题，提出了一种算法，以提高英语-印地语CLIR系统的性能。我们使用所有可能的组合，印地语翻译查询，使用音译的英语查询条件，并选择其中最好的查询检索的文件。实验在FIRE 2010（Forum of信息检索Evaluation）数据集上进行。实验结果表明，该方法不仅提高了英语-印地语CLIR系统的性能，而且有助于克服现有的问题，在平均精度方面优于现有的英语-印地语CLIR系统。
2014-01-15 cs.CL cs.IR
Taxonomic survey of Hindi Language NLP systems
DDU
自然语言处理（NLP）代表了机器自动处理自然人类语言的任务。NLP有很多可能的应用，有助于自动化任务，如将文本从一种语言翻译成另一种语言，从非常庞大的存储库中检索和总结数据，垃圾邮件过滤，识别数字媒体中的假新闻，发现人们的情绪和反馈，发现政治观点和人民对各种政府政策的看法，根据病人过去的历史记录提供有效的医疗援助等印地语是印度的官方语言，在印度有近6.91亿用户，在世界其他地区有3.66亿用户。目前，印度和国外的一些政府和私营部门的项目和研究人员正在努力开发印度语言的NLP应用程序和资源。该调查报告了印地语NLP可用的资源和应用程序。
2021-01-30 cs.AI cs.CL
FastPOS: Language-Agnostic Scalable POS Tagging Framework Low-Resource Use Case
Daffodil International University（达福尔国际大学）；Alliance University（联盟大学）
FastPOS提出了一种基于变换器的词性标注框架，通过少量代码实现多语言适应，显著提升低资源语言的词性标注性能。
2025-11-30 cs.CL
What is India speaking: The "Hinglish" invasion
虽然历时语言转换的语言竞争模型越来越复杂，利用社会语言学的组成部分，如可变的语言声望，距离语言中心和中间双语过渡人口的距离，在一个重要的方面，他们是不够的。他们没有考虑到基于接触的结果，导致混合语言的做法，例如结果的情况下，如克里奥尔语或无标记的代码转换作为一个新兴的交际规范。在这些方面，印度发现了一些非常有趣的东西，传统上有单语印地语者和印地语/英语双语者，但实际上没有单语英语者。虽然印度人口普查数据报告了印地语/英语双语者的比例急剧增加，但我们认为印度的印地语/英语双语者的数量是不准确的，因为一个新的城市人群说印地语和英语的混合体，俗称“印度式英语”。基于捕食者-猎物，社会语言学理论，突出的当地生态因素和农村-城市在印度的鸿沟，我们提出了一个新的数学模型的互动单语印地语发言人，印地语/英语双语和印度英语发言人。该模型产生全局渐近稳态的共存状态，以及双语灭绝。为了验证我们的模型，从不同的印度类的社会语言学数据进行对比与人口普查报告：我们看到，所谓的城市印地语/英语双语者无法保持流利的印地语讲话，而是产生印度式英语，而农村的发言者证据单语印地语。因此，我们首次提出证据，一个未被承认的混合lect涉及英语，但不是“英语”，可能已经接管了一个庞大的全球人口的相当大的一部分。
2015-12-18 cs.CL math.DS
Together We Can: Multilingual Automatic Post-Editing for Low-Resource Languages
Indian Institute of Technology Bombay（印度理工学院孟买分校）；University of Surrey（萨里大学）
本文利用英语-印地语和英语-马拉地语的语言相似性，通过合成三元组和QE-APE多任务学习构建多语言自动后编辑模型，显著提升了低资源语言的机器翻译质量。
2024-10-23 cs.CL
IITP at WAT 2021: System description for English-Hindi Multimodal Translation Task
Indian Institute of Technology Patna（巴特那印度理工学院）
神经机器翻译（NMT）因其端到端的可训练灵活性而成为当今机器翻译的主流技术。然而，NMT仍然很难在低资源环境中正确翻译，特别是在遥远的语言对上。克服这一问题的方法之一是利用其他模式提供的信息。这个想法是，尽管语言不同，但源语言和目标语言说话者看到的是相同的东西，源语言和目标语言的视觉表示是相同的，这可以积极地帮助系统。多模态信息可以帮助NMT系统通过消除某些短语或单词上的歧义来改进翻译。我们参加了第八届亚洲翻译研讨会（WAT - 2021）的英语-印地语多模态翻译任务，并在评估和挑战子集中分别获得42.47和37.50的BLEU分数。
2021-07-04 cs.AI cs.CL
IUST at SemEval-2020 Task 9: Sentiment Analysis for Code-Mixed Social Media Text using Deep Neural Networks and Linear Baselines
Iran University of Science and Technology（伊朗科技大学）
情感分析是自然语言处理的一个研究领域。然而，社交媒体的快速增长和其中的嘈杂内容对用成熟的方法和工具解决这个问题提出了重大挑战。其中一个挑战是代码混合，这意味着在社交媒体文本中使用不同的语言来传达思想。我们的团队名为IUST（用户名：TAHA），参加了SemEval-2020共享任务9关于代码混合社交媒体文本的情感分析，我们试图开发一个系统来预测给定代码混合推文的情感。我们使用了不同的预处理技术，并建议使用不同的方法，从NBSVM到更复杂的深度神经网络模型。我们的最佳执行方法获得了0.751的F1分数的西班牙语-英语子任务和0.706的印地语-英语子任务。
2020-07-24 cs.CL
Evaluating Gender Bias in Hindi-English Machine Translation
Manipal Institute of Technology（马尼帕尔理工学院）；MAHE（马尼帕尔高等教育学院）
随着语言模型在现实世界中的部署越来越多，解决其输出的公平性问题至关重要。这些语言模型的词嵌入表示通常隐含地绘制不需要的关联，从而在模型内形成社会偏见。像印地语这样的性别语言的性质给量化和减轻偏见带来了另一个问题，因为句子中的单词形式会根据主语的性别发生变化。此外，在印度语的测量和去偏置系统领域也做了一些工作。在我们的工作中，我们试图评估和量化的印地语-英语机器翻译系统中的性别偏见。我们实现了一个修改后的版本，现有的TGBI指标的基础上，印地语的语法考虑。我们还比较和对比了预训练嵌入的多个指标和通过我们的机器翻译模型学习的多个指标的偏差测量。
2021-06-16 cs.AI cs.CL cs.CY
Leveraging Language Identification to Enhance Code-Mixed Text Classification
SCTR’S Pune Institute of Computer Technology（SCTR’S浦那计算机技术学院）；L3Cube Pune（L3Cube浦那）；Indian Institute of Technology Madaras（印度理工学院马德拉斯分校）
针对低资源印地语-英语代码混合文本，本文提出结合词级语言识别与语言增强的BERT分类流水线，并在五个下游数据集上验证其性能提升。
2023-06-08 cs.CL cs.LG
Ceasing hate withMoH: Hate Speech Detection in Hindi-English Code-Switched Language
Optum Global Advantage（Optum 全球优势公司）；Adobe Inc.（Adobe 公司）；Delhi Technological University（德里理工大学）
社交媒体已成为人们在世界各地表达意见的基石。由于匿名功能带来更大的自由感，因此可以在网上无视社交礼仪并攻击他人而不会面临严重后果，从而不可避免地传播仇恨言论。目前筛选在线内容和抵消仇恨传播的措施还不够。造成这种情况的一个因素是社交媒体中流行的区域语言和缺乏语言灵活的仇恨言论检测器。拟议的工作重点是分析印度语-英语代码转换语言中的仇恨言论。我们的方法探讨了转换技术，以捕捉精确的文本表示。为了包含数据的结构，但与现有的算法一起使用，我们开发了MoH或Map Only Hindi，这在印地语中意味着“爱”。MoH管道包括语言识别，使用罗马印地语单词的知识库将罗马语音译为梵文印地语。最后，它采用了微调的多语言BERT和MuRIL语言模型。我们对三个数据集进行了几次定量实验研究，并使用精度，召回率和F1指标评估了性能。第一个实验研究了MoH映射文本与经典机器学习模型的性能，并显示F1分数平均增加了13%。第二个测试将所提出的工作的分数与基准模型的分数进行比较，结果显示性能提高了6%。最后，第三达到建议的MoH技术与各种数据模拟使用现有的音译库。在这方面，卫生部的表现比其他部门高出15%。我们的研究结果表明，所有三个数据集的最新得分都有显着提高。
2021-10-18 cs.AI cs.CL
Modeling Romanized Hindi and Bengali: Dataset Creation and Multilingual LLM Integration
Department of EECS, Embry-Riddle Aeronautical University, Daytona Beach, FL, USA（电子工程与科学系，埃姆布里-里德尔航空大学，日落海滩，佛罗里达州，美国）；NLP Engineering Team, Hishab Singapore Pte. Ltd, Singapore（自然语言处理工程团队，Hishab新加坡私人有限公司，新加坡）；Department of Computer Information Systems, Texas A&M University - Central Texas, Texas, USA（计算机信息系统系，德克萨斯A&M大学-中央德克萨斯分校，德克萨斯州，美国）
本文提出了一种新的转写数据集和定制多语言模型，用于提高罗马化印地语和孟加拉语的转写效果。
2025-11-27 cs.CL
Multi Task Deep Morphological Analyzer: Context Aware Joint Morphological Tagging and Lemma Prediction
Indian Institute of Technology (BHU)（印度理工学院（瓦拉纳西印度大学分校））
由语素重组所引入的歧义为一个词构造了几个可能的屈折变化，使得在形态丰富语言（Morphologically Rich Languages，MRL）中预测句法特征成为一项众所周知的复杂任务。我们提出了多任务深度形态分析器（MT-DMA），这是一种基于印地语和乌尔都语单词级标签标记的多任务学习的字符级神经形态分析器。MT-DMA通过在一个可训练的框架中联合学习所有这些标记来预测印度-雅利安语言单词的一组六个形态标记：词性（POS）、性别（G）、数字（N）、人称（P）、格（C）、时态-体-情态（TAM）标记以及引理（L）。我们通过同时优化多个损失函数和共享用于上下文感知形态分析的初始参数来展示这种深度神经网络的训练的有效性。利用多目标遗传算法为每个标签优化的语音空间中的字符级特征，我们的模型建立了一个新的国家的最先进的准确率得分后，所有七个任务的两种语言。MT-DMA是公开的：代码，模型和数据可在https://github.com/Saurav0074/morph_analyzer上获得。
2019-09-16 cs.CL
Neither Here Nor There: Cross-Lingual Representation Dynamics of Code-Mixed Text in Multilingual Encoders
Indian Institute of Science Education and Research（印度科学教育与研究学院）；Microsoft Corporation（微软公司）
研究探讨多语言编码器对混合语言文本的内部表示，发现标准模型在英语和印地语间表现良好，但混合文本与任一语言连接松散。通过训练混合数据可提升英语混合文本对齐，但损害英语-印地语对齐。引入三语后训练目标，使混合文本表示更接近构成语言，提升跨语言理解。
2026-10-02 cs.CL
Multilingual Hate Speech and Offensive Content Detection using Modified Cross-entropy Loss
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）；National Institute of Technology Raipur（赖布尔国家理工学院）
社交媒体用户数量的增加导致很多人滥用这些平台来传播攻击性内容和使用仇恨言论。手动跟踪大量的帖子是不切实际的，因此有必要设计自动化方法来快速识别它们。大语言模型是在大量数据上训练的，它们还利用了上下文嵌入。我们对大语言模型进行微调，以帮助我们完成任务。数据也很不平衡;所以我们使用了修改的交叉熵损失来解决这个问题。我们观察到，使用在印地语语料库中微调的模型表现更好。我们的团队（HNLP）在英语子任务A和英语子任务B中分别获得了0.808，0.639的宏观F1分数。在HASOC 2021中，我们的团队在印地语子任务A和印地语子任务B中分别获得了0. 737和0. 443的宏观F1分数。
2022-02-05 cs.CL
L3Cube-HingCorpus and HingBERT: A Code Mixed Hindi-English Dataset and BERT Language Models
Sri Jayachamarajendra College of Engineering（斯里·贾亚查马拉杰德拉工程学院）；L3Cube；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
语码转换发生在一个句子或对话中混合使用一种以上的语言。这种现象在社交媒体平台上更为突出，随着时间的推移，其采用率越来越高。因此，代码混合NLP在文献中得到了广泛的研究。随着预训练的基于transformer的架构越来越受欢迎，我们观察到真正的代码混合数据很少用于预训练大语言模型。我们提出了L3立方体HingCorpus，第一个大规模的真正的印地语-英语代码混合数据的罗马脚本。它由5293万个句子和104亿个标记组成，这些标记来自Twitter。我们进一步介绍了HingBERT、HingMBERT、HingRoBERTA和HingGPT。BERT模型已经使用掩蔽语言建模目标在代码混合的HingCorpus上进行了预训练。我们展示了这些BERT模型在后续下游任务上的有效性，如代码混合情感分析、POS标记、NER和来自GLUECoS基准的LID。HingGPT是一个基于GPT 2的生成式Transformer模型，能够生成完整的tweet。我们还发布了L3 Cube-HingLID语料库，这是最大的代码混合印地语-英语语言识别（LID）数据集，以及HingBERT-LID，这是一个生产质量的LID模型，用于使用本工作中概述的过程来捕获更多代码混合数据。数据集和模型可在https://github.com/l3cube-pune/code-mixed-nlp上获得。
2022-04-18 cs.CL cs.LG
Exploring transfer learning for Deep NLP systems on rarely annotated languages
University of Rostock（罗斯托克大学）
本文研究在印地语与尼泊尔语之间应用迁移学习进行词性标注，发现联合训练词嵌入结合BLSTM-CNN-CRF模型能有效提升低资源语言的标注性能。
2024-10-15 cs.CL
Learning cross-lingual phonological and orthagraphic adaptations: a case study in improving neural machine translation between low-resource languages
MNNIT Allahabad（莫蒂拉尔·尼赫鲁国家理工学院阿拉哈巴德分校）；IIT (BHU)（印度理工学院（贝纳拉斯印度教大学））
词汇表外（OOV）单词可能对机器翻译（MT）任务构成严重挑战，特别是对低资源语言（LRL）对，即，很少或没有平行语料库存在的语言对。我们的工作适应seq 2seq模型的变体来执行从印地语到Bhojpuri（LRL实例）的这些单词的转导，从印地语-Bhojpuri单词的双语词典中构建的一组同源对中学习。我们证明，我们的模型可以有效地用于语言对有限的平行语料库，我们的模型工作在字符水平上把握语音和正字法的相似性，跨多种类型的词适应，无论是共时或历时，借词或同源词。我们描述了几个字符级别的NMT系统，我们适应这项任务的培训方面，并描述其典型的错误。我们的方法在Hindi到Bhojpuri翻译任务上将BLEU分数提高了6.3。此外，我们表明，这种转换可以推广到其他语言成功地将其应用到印地语-孟加拉语同源对。我们的工作可以被看作是一个重要的步骤，在这个过程中：（i）解决机器翻译任务中出现的OOV单词问题，（ii）为资源受限的语言创建有效的并行语料库，以及（iii）利用增强的语义知识捕获的单词级嵌入执行字符级任务。
2019-07-22 cs.CL
Breaking the Silence Detecting and Mitigating Gendered Abuse in Hindi, Tamil, and Indian English Online Spaces
National Institute of Technology Silchar（锡尔卡尔国家技术学院）
本文提出融合 CNN 与 BiLSTM、并结合 FastText/GloVe 嵌入的性别化辱骂检测集成模型，在多语种 Twitter 数据集上取得竞赛第一名。
2024-04-03 cs.CL
TriNER: A Series of Named Entity Recognition Models For Hindi, Bengali & Marathi
Vidyalankar Institute of Technology（维迪亚兰卡尔理工学院）
本文提出 TriNER 多语言命名实体识别模型，针对印地语、孟加拉语和马拉地语，通过训练自定义 transformer 并微调预训练模型，在 6 个实体组上取得 92.11 的 F1 分数，以统一模型减少跨语言实体组和标签不一致问题。
2025-02-06 cs.AI cs.CL cs.LG
BAKSA at SemEval-2020 Task 9: Bolstering CNN with Self-Attention for Sentiment Analysis of Code Mixed Text
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
代码混合文本的情感分析在意见挖掘中有着广泛的应用，从标记用户评论到识别子人群的社会或政治情感。在本文中，我们提出了一种卷积神经网络（CNN）和基于自注意力的LSTM的集成架构，用于代码混合推文的情感分析。虽然CNN组件有助于对正面和负面推文进行分类，但基于自我注意力的LSTM有助于对中性推文进行分类，因为它能够在多个情感承载单元中识别正确的情感。我们在印地语-英语（Hinglish）和西班牙语-英语（Spanglish）数据集上分别获得了0.707（排名第5）和0.725（排名第13）的F1分数。Hinglish和Spanglish任务的提交分别以用户名ayushk和harsh_6进行。
2020-07-21 cs.CL cs.LG
L3CubeMahaSent: A Marathi Tweet-based Sentiment Analysis Dataset
Pune Institute of Computer Technology（浦那计算机技术学院）；L3Cube；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
情感分析是自然语言处理中最基本的任务之一。流行语言如英语、阿拉伯语、俄语、普通话，以及印度语如印地语、孟加拉语、泰米尔语在这方面已经做了大量的工作。然而，由于缺乏适当的数据集，印度第三大最受欢迎的语言马拉地语仍然落后。在本文中，我们提出了第一个主要的公开可用的马拉地语情感分析数据集-L3立方体MahaSent。它是使用从各种马哈拉施特拉邦人物的Twitter帐户中提取的推文策划的。我们的数据集由大约16，000条不同的推文组成，分为三大类，即积极，消极和中性。我们还提出了我们注释推文的指导方针。最后，我们使用CNN、LSTM、ULMFiT和基于BERT的深度学习模型来展示数据集的统计数据和基线分类结果。
2021-04-22 cs.CL cs.LG
A bounded rationality account of dependency length minimization in Hindi
University of Stuttgart（斯图加特大学）
针对印地语词序偏好，研究提出仅将最短动词前成分邻近主要动词的最小努力策略，证明其比全局依存长度最小化更符合语料证据。
2023-04-22 cs.CL econ.TH
Topic Modeling in Marathi
本文针对马拉地语主题建模研究稀缺的问题，比较了多种 BERT 与非 BERT 方法，发现 BERTopic 结合印度语言训练的 BERT 模型在主题一致性和多样性上优于 LDA。
2025-02-04 cs.CL cs.LG
Language Modeling for Code-Switched Data: Challenges and Approaches
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
近年来，语码转换问题引起了人们的广泛关注，成为一个活跃的研究领域。在双语社区中，人们在日常交际中常常将非母语的词汇和短语嵌入到母语的句法中。语码转换是多语言群体中的一种全球性现象，但可利用的声学和语言学资源仍然非常有限。为了开发有效的基于语音的应用程序，现有的语言技术处理代码转换数据的能力不能被过分强调。语码转换大致分为两种模式：语间语码转换和语内语码转换。本文研究了语码转换语言建模任务中的内部问题。本文件的突出贡献包括：（i）通过抓取一些教育互联网使用的博客网站来创建印地语-英语代码转换文本语料库（ii）通过在本地（印地语）语言数据上训练的单语语言模型（LM）来探索词性特征以更有效地建模印地语-英语代码转换数据，（iii）提出了一种新的语码转换因子（CS因子），它允许LM预测语码转换实例。在识别的代码转换数据的上下文中，在PPL的大幅减少是实现与POS因素的使用，也建议CS-因子提供独立的，以及在PPL的附加增益。
2017-11-09 cs.CL
Detecting Hostile Posts using Relational Graph Convolutional Network
Samsung Research Institute（三星研究院）；ABV-Indian Institute of Information Technology & Management, Gwalior（ABV-印度信息技术与管理学院）
这项工作是基于提交给竞争印地语约束进行AAAI@2021检测在印地语在社交媒体平台上的敌意职位。在这里，提出了一个模型检测和分类的敌对职位，并进一步分类为虚假，攻击性，仇恨和诽谤使用关系图卷积网络。与其他现有的工作不同，我们的方法专注于使用语义含义以及上下文信息进行更好的分类。AAAI@2021的结果表明，该模型在给定数据集上的表现与Google的XLM-RoBERTA相当。我们使用RGCN提交的最佳作品在粗粒度评估中获得了0.97的F1分数（第7名），并在识别虚假帖子方面取得了最佳性能。在所有提交的挑战中，我们的分类系统与XLM-Roberta在细粒度分类上获得了第二名。
2021-04-07 cs.AI cs.CL
Sentiment Classification of Customer Reviews about Automobiles in Roman Urdu
Punjab University College of Information Technology（旁遮普大学信息技术学院）；University of the Punjab（旁遮普大学）
文本挖掘是一个广泛的领域，情感挖掘是其重要组成部分，我们试图推断人们对特定物品，商品，政治，体育，社交媒体评论，评论网站等的行为。在情感挖掘，分析和分类的许多问题中，一个主要问题是评论和评论可以是不同的语言，如英语，阿拉伯语，乌尔都语等处理每一种语言根据其规则是一项艰巨的任务。在英语语言中进行了大量的情感分析和分类研究工作，但在其他区域语言（如阿拉伯语、乌尔都语和印地语）中进行了有限的情感分析工作。在本文中，怀卡托知识分析环境（WEKA）被用来作为一个平台，执行不同的分类模型的文本分类罗马乌尔都语文本。评论数据集已从不同的汽车网站废弃。这些提取的罗马乌尔都语评论，包含1000个正面和1000个负面评论，然后保存在WEKA属性关系文件格式（arff）作为标记的例子。训练是在80%的数据上完成的，其余的用于测试目的，测试是使用不同的模型完成的，并在每种情况下分析结果。结果表明，多项朴素贝叶斯分类器在准确率、精确度、召回率和F-度量方面优于Bagging、深度神经网络、决策树、随机森林、AdaBoost、k-NN和SVM分类器。
2018-12-30 cs.CL
Improving Multilingual Capabilities with Cultural and Local Knowledge in Large Language Models While Enhancing Native Performance
Vantager；Cohere for AI Community；IIT Roorkee（印度理工学院罗尔基）；Amazon（亚马逊）；Stanford University（斯坦福大学）
针对大语言模型多语言发展不均的问题，研究团队用含文化本地信息的精选印英指令数据微调多款LLM，推出双语模型Mantra-14B，在不损母语性能、不增模型规模与计算开销的前提下提升了双语表现，并开源相关资源助力低资源语言研究。
2025-07-31 cs.AI cs.CL
Efficient Gender Debiasing of Pre-trained Indic Language Models
Manipal Institute of Technology（马尼帕尔理工学院）；Pune Institute of Computer Technology（浦那计算机技术学院）
语言模型预训练数据中存在的性别偏见反映在使用这些模型的系统中。该模式固有的性别偏见显示了我们文化中对妇女的过时和不平等的看法，并鼓励歧视。因此，为了建立更公平的制度和提高公平性，必须查明和减轻这些模式中存在的偏见。虽然在这一领域有大量的工作是用英语进行的，但在其他性别和低资源语言，特别是印度语言方面，却缺乏研究。英语是一种无性别的语言，它有无性别的名词。英语中的偏见检测方法不能直接部署在其他性别语言中，语法和语义各不相同。在我们的论文中，我们测量与印地语语言模型中的职业相关的性别偏见。我们在本文中的主要贡献是构建一个新的语料库来评估印地语中的职业性别偏见，使用定义良好的度量标准量化这些系统中现有的偏见，并通过有效地微调我们的模型来减轻这种偏见。我们的研究结果表明，偏见是减少后引入我们提出的缓解技术。我们的代码库是公开的。
2022-09-08 cs.CL
Five Years of COVID-19 Discourse on Instagram: A Labeled Instagram Dataset of Over Half a Million Posts for Multilingual Sentiment Analysis
South Dakota School of Mines and Technology（南达科他矿业理工学院）
本文构建了包含50万余条多语言Instagram帖子的COVID-19数据集，进行了多语言情感分析，揭示了2020至2024年间的情感趋势变化及不同语言间的情感分布差异。
2024-10-16 cs.AI cs.CL cs.CY
A CRF Based POS Tagger for Code-mixed Indian Social Media Text
Jadavpur University（贾达普大学）
在这项工作中，我们描述了一个基于条件随机场（CRF）的系统，用于代码混合的印度社交媒体文本的词性（POS）标记，作为我们参与代码混合的印度社交媒体文本的POS标记工具竞赛的一部分，与2016年自然语言处理国际会议，印度理工学院（BHU），印度一起举行。我们只参加了所有三种语言对的约束模式竞赛，孟加拉语-英语，印地语-英语和Telegu-英语。我们的系统达到了79.99的整体平均F1得分，这是最高的整体平均F1得分在所有16个系统中参加了约束模式的比赛。
2016-12-23 cs.CL
Experiments with POS Tagging Code-mixed Indian Social Media Text
CDAC Mumbai（孟买先进计算发展中心）
本文介绍了孟买高级计算发展中心（CDACM）提交给2015年印度混合代码社交媒体文本（POSCMISMT）的词性（POS）标记NLP工具竞赛（与ICON 2015并列）。我们提交了印地语（hi），孟加拉语（bn）和泰卢固语（te）与英语（en）混合的结果。在本文中，我们已经描述了我们的方法的词性标注技术，我们利用这项任务。机器学习被用于对混合语言文本进行词性标注。对于POS标记，已经尝试了用于特征提取和对数线性模型的向量空间（word 2 vec）中单词的分布式表示。我们报告了我们在所有三种语言hi，bn和te与en混合的工作。
2016-10-31 cs.CL
Overview of the HASOC Subtrack at FIRE 2021: Hate Speech and Offensive Content Identification in English and Indo-Aryan Languages
University of Hildesheim（希尔德斯海姆大学）；LDRP-ITR；University of Duisburg-Essen（杜伊斯堡-埃森大学）；Indian Institute of Science（印度科学理工学院）；DA-IICT；University of Wolverhampton（伍尔弗汉普顿大学）；Rochester Institute of Technology（罗切斯特理工学院）；University of Bamberg（班贝格大学）；University of Bedfordshire（贝德福德大学）；University of Leeds（利兹大学）
仇恨言论等攻击性内容在网上的广泛传播构成了日益严重的社会问题。人工智能工具对于支持在线平台的审核过程是必要的。为了评估这些识别工具，需要对不同语言的数据集进行连续实验。HASOC（Hate Speech and Offensive Content Identification，仇恨言论和攻击性内容识别）专门为此目的开发基准数据。本文介绍了英语，印地语和马拉地语的HASOC子轨道。该数据集来自Twitter。此子路径有两个子任务。任务A是针对所有三种语言的二元分类问题（仇恨和不冒犯）。任务B是一个细粒度的分类问题，分为三类（仇恨）仇恨言论，进攻和专业提供的英语和印地语。总共有65支球队提交了652次跑步。任务A的最佳分类算法的性能是F1措施0.91，0.78和0.83马拉地语，印地语和英语，分别。本概述介绍了任务和数据开发以及详细结果。提交竞赛的系统应用了各种技术。性能最好的算法主要是Transformer架构的变体。
2021-12-17 cs.AI cs.CL cs.SI
SIT at MixMT 2022: Fluent Translation Built on Giant Pre-trained Models
Stevens Institute of Technology（史蒂文斯理工学院）
本文介绍了史蒂文斯理工学院提交的WMT 2022共享任务：代码混合机器翻译（MixMT）。该任务包括两个子任务，子任务$1$印地语/英语到印度式英语和子任务$2$印度式英语到英语翻译。我们的发现在于通过使用大型预训练的多语言NMT模型和域内数据集以及反向翻译和集成技术所做的改进。翻译输出会使用ROUGE-L和WER自动根据参考翻译进行评估。我们的系统根据ROUGE-L、WER和人工评估来实现子任务$2$上的$1^{st}$位置，根据WER和人工评估来实现子任务$1$上的$1^{st}$位置，并且相对于ROUGE-L度量来实现子任务$1$上的$3^{rd}$位置。
2022-11-16 cs.CL
Recurrent Neural Network based Part-of-Speech Tagger for Code-Mixed Social Media Text
CDAC Mumbai（孟买先进计算发展中心）
本文介绍了高级计算开发中心（CDACM）提交的共享任务-“代码混合印度社交媒体（Facebook，Twitter和Whatsapp）文本的POS标记工具竞赛”，与ICON-2016搭配。共同的任务是预测词性（POS）标签在单词水平上为一个给定的文本。代码混合文本主要由多语言用户在社交媒体上生成。多语言单词、音译和拼写变体的存在使这些内容在语言上变得复杂。本文提出了一种基于循环神经网络语言模型（RNN-LM）架构的POS标签混合社交媒体文本识别方法。我们提交了印地语-英语（hi-en）、孟加拉语-英语（bn-en）和泰卢固语-英语（te-en）代码混合数据的结果。
2016-11-16 cs.CL
A POS Tagger for Code Mixed Indian Social Media Text - ICON-2016 NLP Tools Contest Entry from Surukam
Surukam Analytics（Surukam分析公司）
由于缺乏精确注释的训练语料库，为代码混合的印度语言构建词性标注器是计算语言学中一个特别具有挑战性的问题。ICON作为其NLP工具竞赛的一部分，连续第二年将此挑战作为一项共同任务来组织，以提高最先进的水平。本文介绍了在Surukam构建的POS标记器，用于预测三种语言对的粗粒度和细粒度POS标记-孟加拉语-英语，泰卢固语-英语和印地语-英语，文本跨越三个流行的社交媒体平台- Facebook，WhatsApp和Twitter。我们采用条件随机场作为序列标记算法，并使用一个名为sklearn-crfsuite的库-一个围绕CRFsuite的薄包装器来训练我们的模型。我们使用的特征包括多字符n-grams，语言信息和emoji，数字，标点符号和网址的模式。我们在受限环境中提交的文件，即，在不使用任何单语POS标记器等的情况下，获得了76.45%的总体平均F1分数，这与2015年的76.79%的获胜分数相当。
2016-12-31 cs.CL
Breaking the Script Barrier: Enabling Automatic Alignment for PoS-based ASR Error Analysis in Non-Latin Scripts
Indian Institute of Technology Madras（印度理工学院马德拉斯学院）
提出一种语言无关的自动对齐机制，使基于词性标注的ASR错误分析能在拉丁和非拉丁脚本中可靠进行，并应用于多种书写系统以提升WER。
2026-05-27 cs.CL
SMPOST: Parts of Speech Tagger for Code-Mixed Indic Social Media Text
IIT Patna（印度理工学院帕特纳分校）；MNIT Jaipur（马拉维亚国家理工学院斋浦尔分校）
社交媒体的使用在过去几年中急剧增长。用户在通过社交媒体进行交流时使用非正式语言。交流的语言通常是混合的，人们用英语转录他们的地区语言，这种技术被发现非常受欢迎。自然语言处理（NLP）的目的是从这些文本中推断信息，其中词性标注（PoS）在获得书面文本的韵律方面起着重要作用。对于代码混合的印度社交媒体文本的PoS标记任务，我们开发了一个基于条件随机场分类器的监督系统。为了有效地解决这个问题，我们集中精力提取丰富的语言特征。我们参加了三个不同的语言对，即。英语-印地语，英语-孟加拉语和英语-泰卢固语在三个不同的社交媒体平台，Twitter，Facebook和WhatsApp。该系统能够成功地分配粗以及细粒度的PoS标签标签为一个给定的代码混合的句子。实验表明，我们的系统是相当通用的，在所有领域的所有三种语言对表现出令人鼓舞的性能水平。
2017-02-02 cs.CL
Leveraging Pretrained Word Embeddings for Part-of-Speech Tagging of Code Switching Data
The George Washington University（乔治华盛顿大学）；AWS, Amazon AI（亚马逊云科技亚马逊人工智能）
语码转换（英语：Linguistic Code Switching，CS）是一种多语言使用者在一次对话中在两种或多种语言/方言之间交替使用的现象。考虑到最先进的单语NLP技术，处理CS数据在内部数据中尤其具有挑战性，因为这些技术一次只处理一种语言。在本文中，我们解决的问题，词性标注（POS）的语言代码转换（CS）的背景下。我们探索利用多个神经网络架构来衡量不同的预训练嵌入方法对POS标记CS数据的影响。我们调查了四个CS语言对，西班牙语-英语，印度语-英语，现代标准阿拉伯语-埃及阿拉伯语方言（MSA-EGY）和现代标准阿拉伯语-黎凡特阿拉伯语方言（MSA-LEV）的景观。我们的研究结果表明，多语言嵌入（例如，MSA-EGY和MSA-LEV）帮助密切相关的语言（EGY/LEV），但增加了噪音的语言是遥远的（SPA/HIN）。最后，我们表明，我们提出的模型优于最先进的CS标记MSA-EGY语言对。
2019-05-31 cs.CL
An Empirical Evaluation of Text Representation Schemes on Multilingual Social Web to Filter the Textual Aggression
DA-IICT（古吉拉特邦达拉尔巴伊信息技术与通信技术研究所）
本文试图研究两个任务，即：用户攻击和事实检测的社会媒体内容的文本表示方案的有效性。在用户攻击检测，目的是从社交媒体中生成的内容和写在英语，梵文印地语和罗马化印地语识别侵略的水平.攻击性水平分为三个预定义的类，即：“非攻击性”，“公开攻击性”和“隐蔽攻击性”。在与灾难有关的事件，社会媒体一样，推特是充斥着数以百万计的职位。在这种紧急情况下，查明实际员额对参与救济行动的组织很重要。我们预计这个问题是分类和排名问题的组合。本文对基于BoW技术、分布式词/句表示、分类器上的迁移学习的各种文本表示方案进行了比较。加权$F_1$评分用作主要评价指标。实验结果表明，在机器学习分类器上，使用BoW的文本表示比词嵌入的效果更好。而预训练的词嵌入技术在基于深度神经网络的分类器上表现更好。最近的迁移学习模型，如ELMO，ULMFiT，针对攻击分类任务进行了微调。然而，结果与预训练的词嵌入模型不一致。总的来说，使用fastText的词嵌入比Word 2 Vec和Glove产生最好的加权$F_1$分数。使用预训练的向量模型进一步改进结果。采用统计显著性检验来确保分类结果的显著性。在词汇上不同的测试数据集的情况下，除了训练数据集之外，深度神经模型更健壮，并且比机器学习分类器表现得更好。
2019-04-16 cs.CL cs.IR cs.SI
