Code-switching patterns can be an effective route to improve performance of downstream NLP applications: A case study of humour, sarcasm and hate speech detection
Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校)
在本文中,我们将展示如何利用代码转换模式来改善各种下游NLP应用程序。特别是,我们编码不同的切换功能,以提高幽默,讽刺和仇恨的语音检测任务。我们相信,这种简单的语言观察也可能有助于改进其他类似的NLP应用程序。
2020-05-05 cs.CL
The State and Fate of Linguistic Diversity and Inclusion in the NLP World
Microsoft Research(微软研究院)
语言技术有助于在世界各地促进使用多种语言和语言多样性。然而,在世界上7000多种语言中,只有极少数的语言在迅速发展的语言技术和应用中得到了体现。在本文中,我们研究了语言类型、资源及其在NLP会议中的表示之间的关系,以了解不同语言随着时间的推移所遵循的轨迹。我们的定量调查强调了语言之间的差距,特别是在他们的资源方面,并质疑当前的模型和系统的“语言不可知论”的地位。通过这篇论文,我们试图说服ACL社区优先解决这里强调的困境,这样就不会有任何语言被抛在后面。
2021-01-27 cs.CL
Code-switching Sentence Generation by Generative Adversarial Networks and its Application to Data Augmentation
National Taiwan University(台湾大学)
语码转换是指在言语或文本中处理替代语言。它部分地依赖于说话人和领域,因此完全用语言规则来解释这一现象是具有挑战性的。与大多数单语任务相比,数据不足是语码转换的一个问题。为了在没有昂贵的人工注释的情况下缓解这个问题,我们提出了一种用于代码切换数据增强的无监督方法。通过使用生成对抗网络,我们可以从单语句子生成内部语码转换句子。将该方法应用于两个语料库,实验结果表明,生成的语码转换语句提高了语码转换语言模型的性能。
2019-06-19 cs.CL
Towards End-to-End Code-Switching Speech Recognition
AI Labs, Didi Chuxing(滴滴出行人工智能实验室)
近年来,语码转换语音识别引起了人们越来越多的关注,但对专家语言学知识的需求一直是一个大问题。端到端自动语音识别(ASR)通过直接从声学输入预测字素或字符,大大简化了ASR系统的构建。与此同时,它也不需要专家的语言知识,这使得它成为一个有吸引力的选择码转换自动语音识别。本文提出了一个基于CTC-Attention混合模型的端到端中英文语码转换(CS)语音识别系统,并研究了混合CTC-Attention模型、不同建模单元、语言识别的加入以及不同解码策略对语码转换ASR任务的影响。在SEAME语料库上,我们的系统实现了34.24%的混合出错率(MER)。
2018-11-01 cs.CL eess.AS
A Taxonomy of Linguistic Expressions That Contribute To Anthropomorphism of Language Technologies
Human-Computer Interaction Institute, Carnegie Mellon University(卡内基梅隆大学人机交互研究所);Stanford University(斯坦福大学);Microsoft Research(微软研究院)
本文通过文献梳理与用户交互实证案例分析,构建了一套促成语言技术拟人化的文本表达分类法,以揭示相关张力并支持更精确的讨论与决策。
2025-02-14 cs.AI cs.CL cs.HC
Global Beats, Local Tongue: Studying Code Switching in K-pop Hits on Billboard Charts
SAMOVAR;Télécom SudParis;Institut Polytechnique de Paris
本文构建2017–2025年 Billboard Hot 100 与 Global 200 的 K-pop 歌曲数据集,分析韩英语码转换与英语歌词比例,并通过分类模型揭示性别及榜单语境差异。
2025-09-27 cs.CL
Losing our Tail, Again: (Un)Natural Selection & Multilingual LLMs
Research Centre for Cognitive Science & Artificial Intelligence(认知科学与人工智能研究中心);Department of Computational Cognitive Science(计算认知科学系);Tilburg University(蒂尔堡大学)
本文探讨多语言大语言模型中翻译技术导致语言多样性丧失的问题,指出模型崩溃可能使语言形式、语法特征和文化内涵消失,呼吁保护多语言多样性。
2026-04-23 cs.CL
The Decades Progress on Code-Switching Research in NLP: A Systematic Survey on Trends and Challenges
Bloomberg(彭博);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Brown University(布朗大学)
本文系统综述了NLP领域数十年来语码转换研究的演进,从语言学理论方法到机器学习方法,梳理了趋势、挑战与未来研究方向。
2023-05-24 cs.CL
ERUPD -- English to Roman Urdu Parallel Dataset
Muffakham Jah College of Engineering and Technology(穆法卡姆·贾工程技术学院)
本研究构建了包含75,146个句子对的英语至罗马乌尔都语平行数据集ERUPD,通过结合高级提示工程生成的合成数据与真实对话数据,并经人工评估完善,为机器翻译等任务提供重要资源。
2024-12-23 cs.CL
Automatic Identification of Motivation for Code-Switching in Speech Transcripts
The Harker School(哈克学校);University of California, Santa Cruz(加州大学圣克鲁兹分校)
语码转换或语言之间的转换有多种原因,并具有重要的语言学、社会学和文化意义。使用多种语言的人会出于各种目的进行语码转换,如表达情感、借用术语、开玩笑、引入新话题等。语码转换的原因可能对分析很有用,但并不明显。为了纠正这种情况,我们注释了一个新的数据集的动机在西班牙语-英语的代码转换。我们建立了第一个系统(据我们所知)来自动识别说话者在日常讲话中进行代码转换的各种动机,在所有动机中实现了75%的准确率。此外,我们表明,该系统可以适应新的语言对,实现66%的准确率对一个新的语言对(印度语-英语),证明了跨语言的适用性,我们的注释计划
2022-11-30 cs.CL
AI Thinking as a Meaning-Centered Framework: Reimagining Language Technologies Through Community Agency
University of Seville(塞维利亚大学)
针对现有语言技术无法应对语言保护中复杂社会文化维度的问题,提出以意义为中心的AI Thinking框架,通过与社区共创、构建五层生态系统让社区掌控语言文化知识表征,革新数字时代的语言多样性保护路径。
2025-02-19 cs.AI cs.CL
Bilingual Character Representation for Efficiently Addressing Out-of-Vocabulary Words in Code-Switching Named Entity Recognition
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));Department of Electronic and Computer Engineering(电子与计算机工程系);Hong Kong University of Science and Technology(香港科技大学)
本文提出了一种基于LSTM的分层结构的代码转换Twitter数据命名实体识别模型。我们的模型使用双语字符表示和迁移学习来解决词汇表外的单词。为了减轻数据噪声,我们建议使用令牌替换和归一化。在第三届语言代码转换共享任务的计算方法研讨会上,我们在不使用任何地名词典和知识信息的情况下,以62.76%的英语-西班牙语对调和平均F1分数获得第二名。
2019-06-10 cs.CL
What can linguistics and deep learning contribute to each other?
Johns Hopkins University(约翰斯·霍普金斯大学)
Joe Pater的目标文章呼吁神经网络研究和语言学之间更大的互动。我扩大这一呼吁,并显示如何这种互动可以使这两个领域。语言学家可以通过清晰地描述这种系统的语言能力,并通过构建可以确定是否满足这些要求的受控实验范式,为语言技术的神经网络研究做出贡献。在另一个方向,神经网络可以通过为模拟人类句子处理和评估特定先天约束对语言习得的必要性提供基础设施来有益于语言的科学研究。
2018-09-14 cs.CL
On the End-to-End Solution to Mandarin-English Code-switching Speech Recognition
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学)
语码转换是指说话人在同一话语中或交替话语之间使用不同语言的一种语言现象。在这项工作中,我们研究了端到端(E2 E)的方法,以普通话-英语码转换语音识别(CSSR)的任务。我们首先检查使用数据增强和字节对编码(BPE)子字单元的有效性。更重要的是,我们提出了一个多任务的学习配方,语言识别任务是明确学习除了E2 E语音识别任务。此外,我们引入了一个有效的词汇扩展方法的语言建模,以减轻数据稀疏性问题下的代码切换的情况下。在SEAME汉英CS语料库上的实验结果验证了所提方法的有效性。
2019-07-11 cs.CL
Constructing a Family Tree of Ten Indo-European Languages with Delexicalized Cross-linguistic Transfer Patterns
Peking University(北京大学)
历史语言学家和语言类型学家提出的语言差异模式反映了人类语言的局限性,因而在某种程度上与二语习得是一致的。在本文中,我们验证了这一假设的10个印欧语言。我们形式化的非词汇化的传输作为可解释的树到字符串和树到树的模式,可以通过应用神经句法分析和语法归纳技术从Web数据自动诱导。这使我们能够定量地探讨跨语言迁移,并扩大调查的第二语言习得。我们扩展现有的作品,利用混合功能,并支持脱词汇化的跨语言迁移和历史比较范式产生的系统发育结构之间的协议。
2020-07-17 cs.CL
Code-Switching Language Modeling using Syntax-Aware Multi-Task Learning
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));Hong Kong University of Science and Technology(香港科技大学)
文本数据的缺乏一直是语码转换语言建模的主要问题。本文介绍了基于多任务学习的语言模型,它共享语言的语法表示,以充分利用语言信息,并解决低资源数据的问题。我们的模型联合学习代码转换话语的语言建模和词性标记。通过这种方式,该模型能够识别代码转换点的位置,并提高下一个词的预测。我们的方法优于基于标准LSTM的语言模型,在SEAME Phase I和Phase II数据集上的困惑度分别提高了9.7%和7.4%。
2018-10-04 cs.CL
Computational historical linguistics and language diversity in South Asia
Georgetown University(乔治城大学);San Mateo High School(圣马特奥高中);University of North Carolina – Chapel Hill(北卡罗来纳大学教堂山分校);Microsoft(微软)
南亚是多种语言的家园,其中许多语言严重缺乏新的语言技术。这种语言的多样性也导致有利于比较,接触和历史语言学研究的研究环境-这些领域需要从许多语言中收集广泛的数据。我们认为,数据分散(而不是稀缺性)是南亚语言技术发展的主要障碍,并建议语言史的研究是唯一与克服这一障碍。我们回顾了南亚NLP和历史比较语言学的最新发展,描述了我们和其他人在这一领域的当前努力。我们还提供了打破数据壁垒的新策略。
2022-03-23 cs.CL
Reducing language context confusion for end-to-end code-switching automatic speech recognition
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心);Huawei Noah's Ark Lab(华为诺亚方舟实验室)
语码转换是指在交际过程中出现的替代语言。训练用于代码切换的端到端(E2 E)自动语音识别(ASR)系统尤其具有挑战性,因为代码切换训练数据总是不足以对抗由于存在多于一种语言而增加的多语言上下文混淆。本文基于等价约束理论,提出了一种与语言相关的注意力机制,以减少E2 E语码转换ASR模型中的多语言语境混淆。语言学理论要求任何出现在语码转换句中的单语片段必须出现在单语句子中。该理论在单语数据和语码转换数据之间架起了一座桥梁。我们利用这一语言学理论来设计语码转换E2 E ASR模型。该模型有效地从丰富的单语数据中转移语言知识,以提高代码转换ASR模型的性能。我们在ASRU 2019普通话-英语码转换挑战数据集上评估了我们的模型。与基线模型相比,我们提出的模型实现了17.12%的相对误差减少。
2022-06-29 cs.CL cs.SD eess.AS
Digital hybridity and relics in cultural heritage: using corpus linguistics to inform design in emerging technologies from AI to VR
School of English, University of Nottingham(诺丁汉大学英语学院);School of Computer Science, University of Nottingham(诺丁汉大学计算机科学学院);Department of Modern Languages, Aberystwyth University(阿伯里斯特威斯大学现代语言系)
本文通过语料库语言学分析历史与当代文本中'遗产'的表述,探讨数字技术如何影响遗产的感知与评价,并提出AI等技术在提升可及性的同时挑战传统真实性观念。
2026-04-01 cs.AI cs.CL cs.CY
EnTaCs: Analyzing the Relationship Between Sentiment and Language Choice in English-Tamil Code-Switching
University of Colorado, Boulder(科罗拉多大学博尔德分校)
本文研究英语-泰米尔语混合文本中话语情感与语言选择的关系,采用机器学习和统计建模方法,发现积极话语中英语比例更高,混合情感话语中语言切换频率更高。
2026-03-27 cs.CL
Challenges of language technologies for the indigenous languages of the Americas
美洲大陆的土著语言非常多样化。然而,从技术角度来看,它们很少受到关注。在本文中,我们回顾了研究,数字资源和现有的自然语言处理系统,专注于这些语言。我们提出的主要挑战和研究问题时,遥远的语言和低资源的情况下,所面临的。我们希望鼓励在语言丰富和多样化的地区,如美洲进行NLP研究。
2018-06-12 cs.CL
Cultural Shift or Linguistic Drift? Comparing Two Computational Measures of Semantic Change
Stanford University(斯坦福大学)
词汇的意义变化有很多原因,包括文化因素,如新技术和常规的语言过程,如主观化。理解语言和文化的演变需要解开这些潜在的原因。在这里,我们将展示如何使用两种不同的分布措施来检测两种不同类型的语义变化。第一个措施,这已经在许多以前的作品中使用,分析一个词的分布语义的全球变化,它是敏感的变化,由于语言漂移的常规过程,如语义概括的承诺(“我承诺。”--“它保证会令人兴奋。").第二个衡量标准,我们在这里开发的,重点是一个词的最近的语义邻居的本地变化;它是更敏感的文化转变,如细胞的意义的变化(“监狱细胞”->“手机”)。通过比较这两种方法所做的测量,研究人员可以确定变化在本质上是更多的文化还是语言,这一区别对于数字人文和历史语言学的工作至关重要。
2016-09-24 cs.CL
A Survey of Code-switched Arabic NLP: Progress, Challenges, and Future Directions
MBZUAI(Mohamed bin Zayed 人工智能大学);German International University, Egypt(德国国际大学);University of Stuttgart(斯图加特大学);University of Houston(休斯顿大学);New York University Abu Dhabi(纽约大学阿布扎比分校)
本文综述阿拉伯语代码转换NLP领域,涵盖阿拉伯世界多语与双重语体背景下的代码转换现象,总结现有工作、挑战与研究空白,并提出未来研究方向建议。
2025-01-23 cs.CL
Speaker Information Can Guide Models to Better Inductive Biases: A Case Study On Predicting Code-Switching
Carnegie Mellon University(卡内基梅隆大学);University of Haifa(海法大学);University of Pittsburgh(匹兹堡大学);University of Washington(华盛顿大学)
在人工生成的数据上训练的自然语言处理(NLP)模型可能是不可靠的,因为在没有任何约束的情况下,它们可以从与任务无关的虚假相关性中学习。我们假设,以一种受控的、有教养的方式用说话者信息丰富模型,可以引导它们发现相关的归纳偏见。对于扬声器驱动的任务,预测代码转换点在英语-西班牙语双语对话,我们表明,添加社会语言学接地扬声器功能作为前置提示显着提高准确性。我们发现,通过向输入中添加有影响力的短语,说话者知情模型可以学习有用且可解释的语言信息。据我们所知,我们是第一个将说话者特征纳入神经模型进行代码转换的人,更一般地说,我们朝着开发透明的、个性化的模型迈出了一步,这些模型以受控的方式使用说话者信息。
2022-03-16 cs.CL
Breaking Boundaries: Investigating the Effects of Model Editing on Cross-linguistic Performance
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);National Institute of Standards and Technology(美国国家标准与技术研究院);INSAIT(保加利亚索菲亚大学INSAIT研究院);Sofia University “St. Kliment Ohridski”(圣基里曼·奥赫里德斯基索菲亚大学)
本文评估多种知识编辑技术对Mistral等LLM跨语言一致性的影响,通过ELFI与ELFO压力测试揭示普通模型和合并模型的显著差异。
2025-03-18 cs.CL
Voice of a Continent: Mapping Africa's Speech Technology Frontier
The University of British Columbia(不列颠哥伦比亚大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Invertible AI
本文系统绘制非洲语音数据集与技术空间地图,提出综合基准 SimbaBench 和 Simba 模型家族,在多种非洲语言任务上取得最先进性能,并揭示资源、数据质量与语系关系对性能的影响。
2025-07-04 cs.CL
Predicting User Code-Switching Level from Sociological and Psychological Profiles
University of Stuttgart(斯图加特大学);Ulm University(乌尔姆大学);German International University(德国国际大学);The German University in Cairo(开罗德国大学)
多语言使用者倾向于在对话中交替使用不同的语言,这种现象被称为“语码转换”(CS)。语篇连贯是一个复杂的现象,它不仅包含语言学上的挑战,而且在跨说话者的动态行为方面也包含了大量的复杂性。社会学家和心理学家研究了这种动态行为,确定了影响CS的因素。在本文中,我们提供了一个阿拉伯语-英语CS的实证用户研究,在那里我们显示了用户的CS频率和性格特征之间的相关性。我们使用机器学习(ML)来验证研究结果,为现有理论提供信息和确认。预测模型能够以高于55%的准确率预测用户的CS频率,其中旅行经历和个性特征在建模过程中发挥了最大的作用。
2021-12-13 cs.CL
Learn to Code-Switch: Data Augmentation using Copy Mechanism on Language Modeling
构建用于训练代码转换语言模型的大规模数据集具有挑战性并且非常昂贵。为了缓解这个问题,使用并行语料库一直是一个主要的解决方案。然而,现有的解决方案使用的语言约束,可能无法捕捉到真实的数据分布。在这项工作中,我们提出了一种新的方法来学习如何生成代码转换句子从平行语料库。我们的模型使用Seq2Seq模型与指针网络相结合,从单语句子中对齐和选择单词,并形成语法代码转换句子。在我们的实验中,我们表明,通过使用增强的句子训练语言模型,与LSTM基线相比,我们将困惑分数提高了10%。
2018-10-30 cs.CL
A comprehensive study of on-device NLP applications -- VQA, automated Form filling, Smart Replies for Linguistic Codeswitching
Columbia University(哥伦比亚大学)
本文提出三类设备端NLP新体验:屏幕理解中的视觉问答与自动表单填写,以及支持语码转换的智能回复,旨在连接前沿研究与实际应用。
2024-09-23 cs.AI cs.CL cs.LG
Can Code-Switched Texts Activate a Knowledge Switch in LLMs? A Case Study on English-Korean Code-Switching
Yonsei University(延世大学);Soongsil University(崇实大学)
本研究通过EnKoQA数据集探讨代码切换是否能激活LLMs中的知识,发现其在低资源语言任务中具有潜力。
2025-11-24 cs.CL
From English to Code-Switching: Transfer Learning with Strong Morphological Clues
University of Houston(休斯顿大学)
语言语码转换(CS)在自然语言处理中仍然是一个未充分研究的现象。NLP社区主要关注单语和多语言场景,但很少关注CS。这部分是因为缺乏资源和注释数据,尽管它在社交媒体平台上的出现越来越多。在本文中,我们的目标是适应单语模型的代码转换文本在各种任务。具体来说,我们将英语知识从预先训练的ELMo模型转移到不同的代码切换语言对(即,尼泊尔语-英语、西班牙语-英语和印地语-英语)使用语言识别任务。我们的方法,CS-ELMo,是ELMo的扩展,在其字符卷积内具有简单而有效的位置感知注意力机制。我们通过优于多语言BERT和同源的CS不知道ELMo模型,并在CS任务中建立一个新的最先进的状态,如NER和POS标记,来展示这种迁移学习步骤的有效性。我们的技术可以扩展到更多的英语配对代码切换语言,为CS社区提供更多的资源。
2020-05-01 cs.CL
Title Redacted
Yonsei University(延世大学);McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所)
ELARSpeech是含675种代表性不足语言的30202小时多语种语音数据集,可支持ASR、TTS扩展至这类语言,还公开了数据集、模型及构建流程,为相关研究提供资源与测试平台。
2026-10-21 cs.CL
A Review on Part-of-Speech Technologies
Nnamdi Azikiwe University(纳姆迪·阿齐克韦大学)
为任何新语言开发自动词性(POS)标记被认为是进一步将计算语言学方法(如组块和解析)完全应用于语言的必要步骤。许多POS消歧技术已经开发了这种类型的研究,有一些因素影响选择的选择。这可以是基于语料库的或非基于语料库的。本文对词性标注技术进行了综述。
2021-10-11 cs.CL cs.LG
SwitchLingua: The First Large-Scale Multilingual and Multi-Ethnic Code-Switching Dataset
本文提出多智能体框架LinguaMaster构建了首个大规模多语言多民族语码转换数据集SwitchLingua,并提出了结合语义信息的评估指标SAER以更准确评估ASR系统。
2025-05-30 cs.AI cs.CL
Multilingual Transfer Learning for Code-Switched Language and Speech Neural Modeling
The Hong Kong University of Science and Technology(香港科技大学)
在这篇论文中,我们通过提出与语言无关的多任务训练方法来解决语言理论的数据稀缺和局限性。首先,我们介绍了一种基于元学习的方法,Meta迁移学习,其中信息是明智地从高资源的单语语音数据提取到代码转换域。Meta迁移学习通过学习以多任务学习方式学习来使模型快速地从多个单语任务适应代码切换任务。其次,我们提出了一种新的多语言元嵌入方法,通过获取在其他语言中学到的有用知识,学习密切相关的语言的共性和利用词汇组合来有效地表示代码转换数据。与上下文化的预训练多语言模型相比,该方法更有效。第三,我们引入多任务学习来整合句法信息作为迁移学习策略到语言模型,并学习在哪里进行代码切换。为了进一步缓解上述问题,我们提出了一个数据增强方法,使用指针生成,一个神经网络使用复制机制,教模型的代码切换点从单语平行句子。我们理清了对语言学理论的需求,该模型通过关注输入单词并对齐平行单词来捕获代码转换点,而不需要任何单词对齐或选区解析器。更重要的是,该模型可以有效地用于语法不同的语言,它优于基于语言学理论的模型。
2021-04-13 cs.CL cs.LG eess.AS
The AI Gap: How Socioeconomic Status Affects Language Technology Interactions
IT University of Copenhagen(丹麦技术大学);CENTAI Institute(CENTAI研究所);Bocconi University(博科尼大学)
本研究通过调查1000名用户并分析6482条提示词,揭示社会经济地位导致语言技术使用差异,高SES更抽象简洁,低SES更人性化具体,加剧数字鸿沟,强调开发需考虑SES以缩小AI鸿沟。
2025-05-23 cs.CL
Code-Switched Language Models Using Neural Based Synthetic Data from Parallel Sentences
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心);The Hong Kong University of Science and Technology(香港科技大学)
由于缺乏数据和语法结构的复杂性,训练码转换语言模型是困难的。几十年来,语言约束理论一直被用来生成人工语码转换句子来解决这个问题。然而,这需要外部单词对齐或选区解析器,这会在遥远的语言上产生错误的结果。我们提出了一个序列到序列的模型,使用复制机制来生成代码转换数据,利用并行单语翻译从有限的代码转换数据源。该模型学习如何从平行句子中组合单词,并确定何时将一种语言切换到另一种语言。此外,它通过关注和对齐输入中的单词来捕获语码转换约束,而不需要任何外部知识。基于实验结果,用生成的句子训练的语言模型达到了最先进的性能,并提高了端到端的自动语音识别。
2019-09-18 cs.CL
Crowdsourcing Universal Part-Of-Speech Tags for Code-Switching
Columbia University(哥伦比亚大学)
语码转换是双语者在交际过程中在多种语言之间转换的现象。考虑到大量人口经常进行代码转换,开发代码转换数据的语言技术的重要性是巨大的。高质量的语言注释对于任何NLP任务都是非常有价值的,并且性能通常受到高质量标记数据量的限制。然而,很少有这样的数据存在语码转换。在本文中,我们描述了众包通用的词性标记的迈阿密班戈语料库的西班牙语-英语代码切换语音。我们将注释任务分为三个子任务:一个是自动标记标记的一个子集,一个是专门设计用于消除高频词子集歧义的问题,以及一个更通用的级联方法,用于剩余数据,其中问题按照决策树结构显示给工作人员。每个子任务都经过扩展并适应多语言环境和通用标记集。注释过程的质量通过使用黄金标签注释的隐藏检查问题来衡量。对于三个标签,黄金标准标签和多数投票之间的总体一致性在0.95到0.96之间,而词性标签的平均召回率在0.87到0.99之间,具体取决于任务。
2017-03-24 cs.CL
Universal Dependency Parsing for Hindi-English Code-switching
LTRC, IIIT-H(印度国际信息技术研究所海得拉巴语言技术研究中心);Interaction Labs(交互实验室)
语码转换是两种或两种以上语言的语法结构在不同的社会制约条件下混合使用的现象。语码转换数据与自然语言处理领域的基准语料库有很大的不同,标准技术对这些数据的应用大大降低了它们的性能。与标准语料库不同,这些数据通常需要经过额外的过程,如语言识别,规范化和/或回译,以提高处理效率。在本文中,我们调查这些必不可少的过程和其他相关的句法分析的代码转换数据的问题,并提出了方法,以减轻其影响。特别是,我们研究的依存句法分析的代码转换数据的印地语和英语多语种的发言者从Twitter的。我们提出了一个树库的印地语-英语代码切换推文下的通用mendencies计划,并提出了一个神经堆栈模型的解析,有效地利用部分的语音标签和语法树注释的代码切换树库和预先存在的印地语和英语树库。我们还提出了规范化和回音译模型的解码过程中量身定制的代码切换数据。结果表明,我们的神经堆叠解析器比增强解析模型好1.5%LAS点,我们的解码过程比第一最佳归一化和/或回译提高了3.8%LAS点。
2018-04-24 cs.CL
Artificial intelligence is creating a new global linguistic hierarchy
University of Cambridge(剑桥大学);Waseda University(早稻田大学);University College London(伦敦大学学院);Technion(技术学院)
本文研究了人工智能在语言上的不平等分布,提出语言AI准备指数,旨在促进更公平的语言技术发展。
2026-10-23 cs.CL cs.CY
\textit{Versteasch du mi?} Computational and Socio-Linguistic Perspectives on GenAI, LLMs, and Non-Standard Language
University of Galway(戈尔韦大学);University of Zurich(苏黎世大学)
本文探讨生成式人工智能和LLMs对非标准语言的处理,分析其对语言标准化和数字语言鸿沟的影响,并提出民主和去殖民化的数字学习策略。
2026-11-03 cs.CL
Language Modeling for Code-Switched Data: Challenges and Approaches
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校)
近年来,语码转换问题引起了人们的广泛关注,成为一个活跃的研究领域。在双语社区中,人们在日常交际中常常将非母语的词汇和短语嵌入到母语的句法中。语码转换是多语言群体中的一种全球性现象,但可利用的声学和语言学资源仍然非常有限。为了开发有效的基于语音的应用程序,现有的语言技术处理代码转换数据的能力不能被过分强调。语码转换大致分为两种模式:语间语码转换和语内语码转换。本文研究了语码转换语言建模任务中的内部问题。本文件的突出贡献包括:(i)通过抓取一些教育互联网使用的博客网站来创建印地语-英语代码转换文本语料库(ii)通过在本地(印地语)语言数据上训练的单语语言模型(LM)来探索词性特征以更有效地建模印地语-英语代码转换数据,(iii)提出了一种新的语码转换因子(CS因子),它允许LM预测语码转换实例。在识别的代码转换数据的上下文中,在PPL的大幅减少是实现与POS因素的使用,也建议CS-因子提供独立的,以及在PPL的附加增益。
2017-11-09 cs.CL
A Resource for Computational Experiments on Mapudungun
Carnegie Mellon University(卡内基梅隆大学);Wake Forest University(维克森林大学)
我们提出了一个资源的计算实验Mapudungun,一个多合成的土著语言在智利与超过20万的扬声器。我们提供142小时的医疗领域的文化重要对话。对话内容全部转录并翻译成西班牙语。转录还包括代码切换和非标准发音的注释。我们还提供了三个核心NLP任务的基线结果:语音识别,语音合成,以及西班牙语和Mapudungun之间的机器翻译。我们进一步探讨语料库将适合的其他应用,包括语码转换的研究,历史正字法的变化,语言结构,社会学和人类学研究。
2020-04-05 cs.CL
ILiAD: An Interactive Corpus for Linguistic Annotated Data from Twitter Posts
The Australian National University(澳大利亚国立大学)
本文介绍了基于英语Twitter帖子构建的完全标注交互式语言学语料库ILiAD,包含形态句法及NLP特征,并通过可视化工具支持语言模式探索,助力语言技术研究。
2024-07-22 cs.CL cs.DL
Designing Language Technologies for Social Good: The Road not Taken
Microsoft Research Lab India(微软研究院印度实验室)
为社会公益开发语音和语言技术(LT4SG),特别是那些针对边缘化社区和低资源和服务不足语言的人的福利的语音和语言技术,一直是NLP,语音和人工智能社区研究的一个突出主题。研究人员主要依靠他们的个人专业知识,经验或特别调查,优先考虑为最终用户提供社会福利的语言技术。这一点受到了一些学者的批评,他们认为LT4SG的工作必须在设计和开发过程中包括目标语言社区。然而,LT4SG的工作和他们的评论都没有提出原则性的技术,用于在开发周期中优先考虑最终用户的技术和方法。从经济学、伦理学、心理学和抽象设计领域中汲取灵感,我们在这里列出了一套与最终用户偏好一致的LT4SG优先级排序方法。然后,我们根据所提出的方法分析了几个LT4SG的努力,并提出了他们隐藏的假设和潜在的陷阱。虽然目前的研究仅限于语言技术,但我们认为,这里强调的原则和优先级排序技术更广泛地适用于AI for Social Good。
2021-10-14 cs.CL
Evaluating the Diversity, Equity and Inclusion of NLP Technology: A Case Study for Indian Languages
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
本文提出从多样性、公平性和包容性三个维度评估NLP技术的范式,引入基尼系数衡量语言间公平性,揭示印度语言技术的困境,并提出区域化建模与微调资源优化分配方法。
2023-04-12 cs.CL
From Data Scarcity to Data Care: Reimagining Language Technologies for Serbian and other Low-Resource Languages
Ainthropology Lab(Ainthropology实验室)
本研究提出Data Care框架,旨在通过CARE原则重构低资源语言的语言技术,以解决数据偏见和文化不平等问题。
2025-12-11 cs.CL cs.CY
NusaBERT: Teaching IndoBERT to be Multilingual and Multicultural
LazarusNLP(拉撒路自然语言处理实验室)
本文提出 NusaBERT,通过扩展 IndoBERT 词汇并利用含地区语言、方言的多语言语料继续训练,在印尼多语言任务基准上达到最先进性能。
2024-03-04 cs.CL
Demo of the Linguistic Field Data Management and Analysis System -- LiFE
Dr. Bhimrao Ambedkar University(宾劳·安贝德卡尔大学)
在拟议的演示中,我们将介绍一个新的软件-语言领域数据管理和分析系统- LiFE(https://github.com/kmi-linguistics/life)-一个开源的,基于Web的语言数据管理和分析应用程序,允许系统存储,管理,共享和使用从现场收集的语言数据。该应用程序允许用户存储词汇项,句子,段落,具有丰富注释/注释的视听内容;生成交互式和打印词典;还可以使用这些数据为各种目的进行训练和使用自然语言处理工具和模型。由于它是一个基于Web的应用程序,它还允许多人之间的无缝协作,并相互共享数据,模型等。该系统在后端使用基于Python的Flask框架和MongoDB,在前端使用HTML,CSS和JavaScript。该界面允许创建多个项目,可以与其他用户共享。在后端,应用程序以RDF格式存储数据,以便使用语义Web技术将其作为链接数据发布到Web上-到目前为止,它使用OntoLex-Lemon存储词汇数据,并使用Ligt存储线间注释文本,然后将其内部链接到其他链接的词典和数据库,如DBpedia和WordNet。此外,它还支持使用scikit-learn和HuggingFace Transformers库训练NLP系统,并利用使用这些库训练的任何模型-虽然用户界面本身提供了有限的调整系统的选项,但外部训练的模型可以很容易地合并到应用程序中;类似地,数据集本身可以很容易地导出为标…
2022-03-22 cs.CL
The American Sign Language Knowledge Graph: Infusing ASL Models with Linguistic Knowledge
Univ. of Southern California(南加州大学);Univ. of Hawaii(夏威夷大学);Chapman University(查普曼大学);Boston University(波士顿大学)
本文提出美国手语知识图谱(ASLKG),融合专家语言学知识,训练神经符号模型,在孤立手语识别、语义特征预测和视频主题分类等任务上取得显著效果。
2024-11-06 cs.CL cs.CV
CMLFormer: A Dual Decoder Transformer with Switching Point Learning for Code-Mixed Language Modeling
Courant Institute of Mathematical Sciences(Courant数学科学研究所);Tandon School of Engineering(Tandon工程学院)
针对语码混合语言的结构挑战,提出带共享编码器与同步交叉注意力的双解码器Transformer模型CMLFormer,结合多任务预训练捕捉切换特性,在HASOC-2021基准上性能优于现有方法,且对切换点具备识别敏感性。
2025-05-19 cs.CL cs.LG
Leveraging the Cross-Domain & Cross-Linguistic Corpus for Low Resource NMT: A Case Study On Bhili-Hindi-English Parallel Corpus
Department of Electrical Engineering, Indian Institute of Technology Delhi(电子工程系,印度理工学院德里);Bharti School of Telecommunication, Indian Institute of Technology Delhi(电信学院,印度理工学院德里);Yardi School of Artificial Intelligence, Indian Institute of Technology Delhi(人工智能学院,印度理工学院德里)
本文构建了全球首个含11万句的Bhili-Hindi-English平行语料库,评估多种多语言大模型并证实微调NLLB-200 distilled 600M效果最优,填补了低资源部落语言的翻译基准空白。
2025-11-01 cs.CL
Developing an Open Conversational Speech Corpus for the Isan Language
SCB 10X
本文开发了首个开放对话语音语料库,用于伊萨恩语言,以捕捉自然语音现象并解决转录标准化问题,促进AI发展和语言研究。
2025-11-26 cs.CL
Est-ce que vous compute? Code-switching, cultural identity, and AI
Brown University(布朗大学);Dalhousie University(达尔豪斯大学)
文化语码转换涉及我们如何调整我们的整体行为,说话方式和外观,以应对我们的社会环境中感知到的变化。我们认为有必要研究人工智能系统中的文化语码转换能力。我们探讨了一系列的伦理和认知问题时,带来的文化代码转换承担人工智能。基于Dotson(2014)对证词窒息的分析,我们讨论了人工智能中的新兴技术如何引起认知压迫,特别是一种我们称之为“文化窒息”的自我沉默形式。如果不解决文化代码转换的社会动态特征,人工智能系统可能会扩大机会差距,进一步巩固社会不平等,从而对已经被边缘化的社会群体产生负面影响。
2021-12-15 cs.AI cs.CL cs.CY