LinCE: A Centralized Benchmark for Linguistic Code-switching Evaluation
University of Houston（休斯顿大学）
NLP研究的最新趋势引起了人们对语言代码转换（CS）的兴趣;现代方法已经被提出来解决多种语言对上的各种NLP任务。不幸的是，这些方法很难推广到不同的代码切换语言。此外，目前还不清楚模型架构是否适用于不同的任务，同时仍然与代码切换设置兼容。这主要是因为缺乏一个集中的基准和稀疏的语料库，研究人员根据他们的具体需求和兴趣。为了促进这一方向的研究，我们提出了一个集中的语言语码转换评估（LinCE）基准，该基准结合了十个语料库，涵盖四个不同的语码转换语言对（即，西班牙语-英语、尼泊尔语-英语、印地语-英语和现代标准阿拉伯语-埃及阿拉伯语）和四项任务（即，语言识别、命名实体识别、词性标记和情感分析）。作为基准集中化工作的一部分，我们在ritual.uh.edu/lince提供了一个在线平台，研究人员可以在与其他人进行实时比较的同时提交他们的结果。此外，我们还提供了不同流行模型的评分，包括LSTM、ELMo和多语言BERT，以便NLP社区可以与最先进的系统进行比较。LinCE是一个持续的努力，我们将用更多的低资源语言和任务来扩展它。
2020-05-09 cs.CL
The Annotation Scarcity Paradox in Low-Resource NLP Evaluation: A Decade of Acceleration and Emerging Constraints
DSFSI & AfriDSAI, University of Pretoria（DSFSI与AfriDSAI， Pretoria大学）
本文探讨了低资源NLP评估中由于标注资源不足导致的矛盾，分析了过去十年中评估方法的发展阶段，并提出了新的解决方案以提升评估的公平性和有效性。
2026-07-01 cs.CL
A Survey of Code-switched Arabic NLP: Progress, Challenges, and Future Directions
MBZUAI（Mohamed bin Zayed 人工智能大学）；German International University, Egypt（德国国际大学）；University of Stuttgart（斯图加特大学）；University of Houston（休斯顿大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）
本文综述阿拉伯语代码转换NLP领域，涵盖阿拉伯世界多语与双重语体背景下的代码转换现象，总结现有工作、挑战与研究空白，并提出未来研究方向建议。
2025-01-23 cs.CL
Teaching NLP outside Linguistics and Computer Science classrooms: Some challenges and some opportunities
National Research Council, Canada（加拿大国家研究委员会）
在过去的十年里，NLP的影响范围远远超出了计算机科学研究和软件应用程序的开发。我们看到人们在从亚洲研究到临床肿瘤学的一系列学科中使用NLP方法。我们还注意到NLP作为一个模块出现在常规大学内外的大多数数据科学课程中。这些课程由来自不同背景的学生参加。本文根据我的课堂经验，仔细研究了与向这些不同受众教授NLP相关的一些问题，并确定了教师面临的一些挑战，特别是当学生没有相关课程的生态系统时。在这个过程中，它还为NLP研究人员和工具开发人员确定了一些挑战领域。
2021-05-03 cs.CL
Decade of Natural Language Processing in Chronic Pain: A Systematic Review
Emory University（埃默里大学）
本综述分析了2014至2024年间26项研究，发现RoBERTa和BERT等NLP技术在慢性疼痛分类任务中表现优异，但存在数据集多样性有限等挑战，未来需探索多模态数据验证和标准化评估指标。
2024-12-19 cs.CL
NLP for The Greek Language: A Longer Survey
FORTH-ICS；University of Crete（克里特大学）
针对希腊语NLP资源匮乏的现状，本文系统梳理了三十年来希腊语自动处理的研究、资源与工具，覆盖现代希腊语、古希腊语及方言，为相关研究者提供参考。
2024-08-20 cs.CL
Computational Approaches to Arabic-English Code-Switching
Media Engineering and Technology Faculty（媒体工程技术学院）；German University in Cairo（开罗德国大学）
本文针对阿拉伯语-英语语码转换数据提出并应用最先进的命名实体识别技术，构建首个标注语料库，并通过上下文嵌入、数据增强和词内语言识别方法提升NER性能。
2024-10-17 cs.AI cs.CL
A Decade of Knowledge Graphs in Natural Language Processing: A Survey
Technical University of Munich（慕尼黑工业大学）；Mila Quebec AI Institute（米拉魁北克人工智能研究所）；McGill University（麦吉尔大学）；King’s College London（伦敦国王学院）
随着人工智能研究领域的发展，知识图谱（KGs）已经引起了学术界和工业界的极大兴趣。作为实体之间语义关系的表示，KG已被证明与自然语言处理（NLP）特别相关，近年来经历了快速传播和广泛采用。鉴于这一领域的研究工作越来越多，NLP研究界已经调查了几种与知识生成相关的方法。然而，一个全面的研究，分类既定的主题和审查的成熟度，个别研究流仍然缺乏到今天。为了缩小这一差距，我们系统地分析了507篇关于NLP中KG的文献。我们的调查包括任务，研究类型和贡献的多方面审查。因此，我们提出了一个结构化的研究景观的概述，提供了一个分类的任务，总结我们的研究结果，并强调未来的工作方向。
2022-09-30 cs.AI cs.CL
Universal Dependency Parsing for Hindi-English Code-switching
LTRC, IIIT-H（印度国际信息技术研究所海得拉巴语言技术研究中心）；Interaction Labs（交互实验室）
语码转换是两种或两种以上语言的语法结构在不同的社会制约条件下混合使用的现象。语码转换数据与自然语言处理领域的基准语料库有很大的不同，标准技术对这些数据的应用大大降低了它们的性能。与标准语料库不同，这些数据通常需要经过额外的过程，如语言识别，规范化和/或回译，以提高处理效率。在本文中，我们调查这些必不可少的过程和其他相关的句法分析的代码转换数据的问题，并提出了方法，以减轻其影响。特别是，我们研究的依存句法分析的代码转换数据的印地语和英语多语种的发言者从Twitter的。我们提出了一个树库的印地语-英语代码切换推文下的通用mendencies计划，并提出了一个神经堆栈模型的解析，有效地利用部分的语音标签和语法树注释的代码切换树库和预先存在的印地语和英语树库。我们还提出了规范化和回音译模型的解码过程中量身定制的代码切换数据。结果表明，我们的神经堆叠解析器比增强解析模型好1.5%LAS点，我们的解码过程比第一最佳归一化和/或回译提高了3.8%LAS点。
2018-04-24 cs.CL
PESTO: Switching Point based Dynamic and Relative Positional Encoding for Code-Mixed Languages
IIIT Sri City（印度信息技术学院斯里城）；UCLA（加州大学洛杉矶分校）；Wipro AI Labs（威普罗人工智能实验室）；AI Institute, University of South Carolina（南卡罗来纳大学人工智能研究所）
代码混合（CM）或混合语言文本的NLP应用最近获得了显著的发展势头，主要原因是在印度，墨西哥，欧洲，美国部分地区等多语言社会的社交媒体通信中语言混合的流行。词嵌入是当今任何NLP系统的基本构建块，然而，CM语言的词嵌入是一个未开发的领域。CM词嵌入的主要瓶颈是切换点，即语言切换的地方。这些位置缺乏上下文，并且由于所见示例中的高方差，统计系统无法对这种现象进行建模。在本文中，我们提出了我们的初步观察应用切换点为基础的位置编码技术的CM语言，特别是印度式英语（印地语-英语）。结果仅略好于SOTA，但很明显，位置编码可以是训练CM文本的位置敏感语言模型的有效方法。
2021-11-12 cs.AI cs.CL cs.LG
Speaker Information Can Guide Models to Better Inductive Biases: A Case Study On Predicting Code-Switching
Carnegie Mellon University（卡内基梅隆大学）；University of Haifa（海法大学）；University of Pittsburgh（匹兹堡大学）；University of Washington（华盛顿大学）
在人工生成的数据上训练的自然语言处理（NLP）模型可能是不可靠的，因为在没有任何约束的情况下，它们可以从与任务无关的虚假相关性中学习。我们假设，以一种受控的、有教养的方式用说话者信息丰富模型，可以引导它们发现相关的归纳偏见。对于扬声器驱动的任务，预测代码转换点在英语-西班牙语双语对话，我们表明，添加社会语言学接地扬声器功能作为前置提示显着提高准确性。我们发现，通过向输入中添加有影响力的短语，说话者知情模型可以学习有用且可解释的语言信息。据我们所知，我们是第一个将说话者特征纳入神经模型进行代码转换的人，更一般地说，我们朝着开发透明的、个性化的模型迈出了一步，这些模型以受控的方式使用说话者信息。
2022-03-16 cs.CL
Charting a Decade of Computational Linguistics in Italy: The CLiC-it Corpus
CNR（意大利国家研究理事会）；University of Pisa（比萨大学）；CoLingLab（语言学协作实验室）
本文通过构建 CLiC-it 语料库，分析意大利 CL/NLP 会议十年论文，揭示研究趋势从词汇语义资源转向语言建模与多模态，为社区提供发展洞察。
2025-09-24 cs.CL
Chinese Word Segmentation: Another Decade Review (2007-2017)
Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）；City University of Hong Kong（香港城市大学）
本文回顾了中文分词（CWS）在2007-2017年的发展。特别关注已经渗透到自然语言处理（NLP）大部分领域的深度学习技术。我们得出的基本观点是，与传统的监督学习方法相比，基于神经网络的方法没有表现出任何优越的性能。最关键的挑战仍然在于平衡词汇表内（IV）和词汇表外（OOV）单词的识别。然而，由于神经模型有潜力捕捉自然语言的基本语言结构，我们对不久的将来可能取得的重大进展持乐观态度。
2019-01-18 cs.CL
Bridging Gaps in Natural Language Processing for Yorùbá: A Systematic Review of a Decade of Progress and Prospects
Department of Computer Science and Information Systems, University of Limerick（计算机科学与信息系统系，利默里克大学）
本文通过系统综述分析了近十年约鲁巴语NLP的发展，揭示了资源匮乏、声调复杂性等挑战，并总结了基于规则等主要技术，旨在推动该语言在NLP中的应用进展。
2026-02-24 cs.AI cs.CL
Leveraging Pretrained Word Embeddings for Part-of-Speech Tagging of Code Switching Data
The George Washington University（乔治华盛顿大学）；AWS, Amazon AI（亚马逊云科技亚马逊人工智能）
语码转换（英语：Linguistic Code Switching，CS）是一种多语言使用者在一次对话中在两种或多种语言/方言之间交替使用的现象。考虑到最先进的单语NLP技术，处理CS数据在内部数据中尤其具有挑战性，因为这些技术一次只处理一种语言。在本文中，我们解决的问题，词性标注（POS）的语言代码转换（CS）的背景下。我们探索利用多个神经网络架构来衡量不同的预训练嵌入方法对POS标记CS数据的影响。我们调查了四个CS语言对，西班牙语-英语，印度语-英语，现代标准阿拉伯语-埃及阿拉伯语方言（MSA-EGY）和现代标准阿拉伯语-黎凡特阿拉伯语方言（MSA-LEV）的景观。我们的研究结果表明，多语言嵌入（例如，MSA-EGY和MSA-LEV）帮助密切相关的语言（EGY/LEV），但增加了噪音的语言是遥远的（SPA/HIN）。最后，我们表明，我们提出的模型优于最先进的CS标记MSA-EGY语言对。
2019-05-31 cs.CL
Code-switching Language Modeling With Bilingual Word Embeddings: A Case Study for Egyptian Arabic-English
The German University in Cairo（开罗德国大学）；University of Stuttgart（斯图加特大学）；Raisa Energy LLC（赖萨能源有限责任公司）
语码转换是双语和多语社会中普遍存在的现象。CS资源的缺乏阻碍了许多NLP任务的执行。在这项工作中，我们探索双语词嵌入在低资源埃及阿拉伯语-英语语言中用于代码切换（CS）语言建模（LM）的潜在用途。我们评估了不同的国家的最先进的双语词嵌入的方法，需要跨语言的资源在不同的水平，并提出了一个创新的，但简单的方法，共同学习双语单词表示，而不使用任何并行数据，只依赖于单语和少量的CS数据。虽然所有的表示都提高了CS LM，但我们的表现最好，相对于基线提高了33.5%的困惑度。
2019-09-24 cs.CL
A comprehensive study of on-device NLP applications -- VQA, automated Form filling, Smart Replies for Linguistic Codeswitching
Columbia University（哥伦比亚大学）
本文提出三类设备端NLP新体验：屏幕理解中的视觉问答与自动表单填写，以及支持语码转换的智能回复，旨在连接前沿研究与实际应用。
2024-09-23 cs.AI cs.CL cs.LG
Systematic Inequalities in Language Technology Performance across the World's Languages
Harvard University（哈佛大学）；George Mason University（乔治梅森大学）；Carnegie Mellon University（卡内基梅隆大学）
自然语言处理（NLP）系统已经成为通信、教育、医学、人工智能以及许多其他研究和开发领域的核心技术。虽然NLP方法的性能在过去十年中有了巨大的增长，但这一进展仅限于世界上6,500种语言中的一小部分。我们介绍了一个框架，估计语言技术的全球效用，揭示了在一个全面的快照，最近的出版物在自然语言处理。我们的分析涉及整个领域，但也更深入地研究了面向用户的技术（机器翻译，语言理解，问答，文本到语音合成）以及更多的语言NLP任务（依存句法分析，形态变化）。在这个过程中，我们（1）量化NLP研究现状中的差异，（2）探索一些相关的社会和学术因素，（3）为旨在促进更全球化和公平的语言技术的循证决策提供量身定制的建议。
2021-10-13 cs.CL
taz2024full: Analysing German Newspapers for Gender Bias and Discrimination across Decades
Faculty for Computer Science and Mathematics, Hochschule München University of Applied Sciences（计算机科学与数学系，慕尼黑应用科学大学）；Department of Statistics, LMU Munich（统计学系，慕尼黑大学）；Munich Center for Machine Learning (MCML), LMU Munich（慕尼黑机器学习中心（MCML），慕尼黑大学）
本文发布德国最大报纸语料库taz2024full（1980-2024年、超180万篇），并基于该语料分析四十年性别代表性，发现男性过度呈现但近年趋于均衡，为德语NLP偏见研究提供基础资源。
2025-06-03 cs.CL
From SPMRL to NMRL: What Did We Learn (and Unlearn) in a Decade of Parsing Morphologically-Rich Languages (MRLs)?
Bar Ilan University（巴伊兰大学）
自SPMRL成立以来，已经整整十年了。SPMRL是一个研究计划，旨在解决形态丰富语言的统计解析（MRL）的特殊挑战。在这里，我们回顾了这十年来解析MRL的情况，重点介绍了前神经时代的架构，建模和词汇挑战的解决方案和经验教训，并认为类似的挑战再次出现在MRL的神经架构中。然后，我们的目标是提供一个高潮，这表明将SPMRL术语中提出的象征性思想融入到当今的神经架构中，有可能将MRL的NLP推向一个新的水平。我们勾画了设计MRL神经模型（NMRL）的策略，并通过调查希伯来语（一种形态丰富，高度融合的语言）中的多标记任务来展示对这些策略的初步支持
2020-05-04 cs.CL
From English to Code-Switching: Transfer Learning with Strong Morphological Clues
University of Houston（休斯顿大学）
语言语码转换（CS）在自然语言处理中仍然是一个未充分研究的现象。NLP社区主要关注单语和多语言场景，但很少关注CS。这部分是因为缺乏资源和注释数据，尽管它在社交媒体平台上的出现越来越多。在本文中，我们的目标是适应单语模型的代码转换文本在各种任务。具体来说，我们将英语知识从预先训练的ELMo模型转移到不同的代码切换语言对（即，尼泊尔语-英语、西班牙语-英语和印地语-英语）使用语言识别任务。我们的方法，CS-ELMo，是ELMo的扩展，在其字符卷积内具有简单而有效的位置感知注意力机制。我们通过优于多语言BERT和同源的CS不知道ELMo模型，并在CS任务中建立一个新的最先进的状态，如NER和POS标记，来展示这种迁移学习步骤的有效性。我们的技术可以扩展到更多的英语配对代码切换语言，为CS社区提供更多的资源。
2020-05-01 cs.CL
Foundations and Evaluations in NLP
本文提出了一种基于对齐的评估框架，用于解决NLP预处理任务中的挑战，同时为形态丰富的语言如韩语提供了新的标注方法和评估技术。
2026-02-13 cs.CL
Why Current XAI Is Not Enough for Arabic NLP: A Critical Survey of the Explainability Gap
University of Luxembourg（卢森堡大学）；University of Alicante（阿利坎特大学）
该研究通过批判性综述指出当前阿拉伯语NLP的XAI存在方法、任务、语言学三方面差距，提出涵盖多维度的分类体系并给出基于语言学的阿拉伯语XAI研究议程。
2026-08-28 cs.CL
Building Arabic NLP from the Ground Up: Twenty Years of Lessons, Failures, and Open Problems
Northwestern University in Qatar（卡塔尔西北大学）
本文总结了过去二十年阿拉伯语NLP资源和研究基础设施建设的经验，指出构建数据集是社会和技术过程的结合，社区围绕共享任务形成比任务本身更重要，从语言资源到计算社会科学暴露了传统NLP训练无法解决的挑战。
2026-05-20 cs.CL
Crowdsourcing Universal Part-Of-Speech Tags for Code-Switching
Columbia University（哥伦比亚大学）
语码转换是双语者在交际过程中在多种语言之间转换的现象。考虑到大量人口经常进行代码转换，开发代码转换数据的语言技术的重要性是巨大的。高质量的语言注释对于任何NLP任务都是非常有价值的，并且性能通常受到高质量标记数据量的限制。然而，很少有这样的数据存在语码转换。在本文中，我们描述了众包通用的词性标记的迈阿密班戈语料库的西班牙语-英语代码切换语音。我们将注释任务分为三个子任务：一个是自动标记标记的一个子集，一个是专门设计用于消除高频词子集歧义的问题，以及一个更通用的级联方法，用于剩余数据，其中问题按照决策树结构显示给工作人员。每个子任务都经过扩展并适应多语言环境和通用标记集。注释过程的质量通过使用黄金标签注释的隐藏检查问题来衡量。对于三个标签，黄金标准标签和多数投票之间的总体一致性在0.95到0.96之间，而词性标签的平均召回率在0.87到0.99之间，具体取决于任务。
2017-03-24 cs.CL
PingPong: A Natural Benchmark for Multi-Turn Code-Switching Dialogues
Institut Teknologi Bandung（万隆理工学院）；Monash University Indonesia（莫纳什大学印度尼西亚分校）；University of Edinburgh（爱丁堡大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Capital One（第一资本）；Imperial College London（帝国理工学院）；Cardiff University（卡迪夫大学）；Bayero University Kano（卡诺贝耶罗大学）
PingPong基准通过多语言多轮对话数据，评估代码切换场景下语言模型的性能，揭示其在处理真实多语言交流时的不足。
2026-01-24 cs.CL
CodeSwitch-Reddit: Exploration of Written Multilingual Discourse in Online Discussion Forums
University of Toronto（多伦多大学）
与几十年来对口语语码转换的研究不同，对多语言书面语的研究直到最近才引起人们的兴趣。关于书面语码转换的社会语言学基础仍然存在许多悬而未决的问题，而且由于缺乏适当的资源，进展受到限制。我们介绍了一个新颖的，大型的，多样化的书面代码转换产品数据集，从Reddit讨论平台上的多个双语社区的主题线程中策划，并探讨了迄今为止主要在口语环境中解决的问题。我们调查的结果，在口头语码转换的内容和风格，以及扬声器的熟练程度，是否结转到书面语码转换的讨论论坛。发布的数据集可以进一步促进一系列研究和实践活动。
2019-08-30 cs.CL
Challenges and Opportunities of NLP for HR Applications: A Discussion Paper
Coburg University of Applied Sciences（科堡应用技术大学）；University of Sheffield（谢菲尔德大学）
本文梳理了人力资源管理领域文本分析的已落地及潜在应用场景，分析了自然语言技术在该领域应用的机遇与风险。
2024-05-13 cs.AI cs.CL
A Survey of Cognitive Distortion Detection and Classification in NLP
Department of Informatics, King’s College London（信息学院，伦敦国王学院）
本文首次系统综述了NLP领域二十年来的38项认知扭曲检测与分类研究，统一了分类体系与任务设置，并提供评估指标、数据表模板和伦理流程图等实用资源，以提升研究的可比性与可复现性。
2025-09-22 cs.CL
Emotion Analysis in NLP: Trends, Gaps and Roadmap for Future Directions
Bocconi University（博科尼大学）；University of Leeds（利兹大学）
本文回顾154篇NLP情感分析文献，梳理任务定义、框架、主观性与应用趋势，指出人口文化缺失、理论不匹配、术语不统一及跨学科不足四大空白，为未来研究提供路线图。
2024-03-18 cs.CL
A Resource for Computational Experiments on Mapudungun
Carnegie Mellon University（卡内基梅隆大学）；Wake Forest University（维克森林大学）
我们提出了一个资源的计算实验Mapudungun，一个多合成的土著语言在智利与超过20万的扬声器。我们提供142小时的医疗领域的文化重要对话。对话内容全部转录并翻译成西班牙语。转录还包括代码切换和非标准发音的注释。我们还提供了三个核心NLP任务的基线结果：语音识别，语音合成，以及西班牙语和Mapudungun之间的机器翻译。我们进一步探讨语料库将适合的其他应用，包括语码转换的研究，历史正字法的变化，语言结构，社会学和人类学研究。
2020-04-05 cs.CL
What is the social benefit of hate speech detection research? A Systematic Review
University of Canterbury（坎特伯雷大学）；Geospatial Research Institute（地理空间研究所）
本文通过系统审查37篇文献中的48个仇恨言论检测系统，指出伦理框架缺失导致NLP研究与政策实践脱节，提出采用适当伦理框架可释放仇恨言论研究的社会影响潜力。
2024-09-26 cs.CL
An Empirical Survey of Data Augmentation for Limited Data Learning in NLP
Georgia Institute of Technology（佐治亚理工学院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
在过去的十年中，通过使用神经模型和大型标记数据集，NLP取得了很大的进步。对大量数据的依赖阻止了NLP模型应用于低资源环境或新任务，这些任务需要大量的时间，金钱或专业知识来标记大量的文本数据。最近，数据增强方法已经被探索作为提高NLP中的数据效率的手段。到目前为止，还没有系统的经验概述数据增强的NLP在有限的标记数据设置，很难理解哪些方法在哪些设置工作。在本文中，我们提供了一个实证调查的最新进展数据增强的NLP在有限的标记数据设置，总结了景观的方法（包括标记级增强，扩展级增强，对抗性增强，隐藏空间增强），并进行了实验，11个数据集涵盖主题/新闻分类，推理任务，释义任务，单句任务。基于这些结果，我们得出了几个结论，以帮助从业者在不同的环境中选择适当的增强，并讨论了NLP中有限数据学习的当前挑战和未来方向。
2021-06-14 cs.AI cs.CL
EuskañolDS: A Naturally Sourced Corpus for Basque-Spanish Code-Switching
HiTZ Center - Ixa, University of the Basque Country UPV/EHU（巴斯克大学UPV/EHU HiTZ中心 - Ixa）
本文提出首个自然来源的巴斯克语-西班牙语语码转换语料库EuskañolDS，通过语言识别模型筛选并人工验证现有语料中的语码转换实例，以缓解该语言对语码转换数据匮乏的问题。
2025-02-05 cs.AI cs.CL
The Rise of AfricaNLP: A Survey of Contributions, Contributors, Community Impact, and Bibliometric Analysis
Instituto Politécnico Nacional（国立理工学院）；University of Gondar（贡德尔大学）；Northwest University Kano（卡诺西北大学）；Bayero University Kano（巴耶罗大学卡诺分校）；University of Huddersfield（哈德斯菲尔德大学）；iCog Labs（iCog实验室）；Pennsylvania State University（宾夕法尼亚州立大学）；University of Pretoria（比勒陀利亚大学）；Masakhane；University of Hamburg（汉堡大学）；Imperial College London（伦敦帝国理工学院）
本文通过分析非洲NLP领域近20年的研究进展，探讨了出版物、主题、任务、数据、方法和贡献者等方面的变化，提出了非洲NLP研究的趋势分析工具。
2026-04-07 cs.CL
Code-Switched Language Models Using Neural Based Synthetic Data from Parallel Sentences
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心）；The Hong Kong University of Science and Technology（香港科技大学）
由于缺乏数据和语法结构的复杂性，训练码转换语言模型是困难的。几十年来，语言约束理论一直被用来生成人工语码转换句子来解决这个问题。然而，这需要外部单词对齐或选区解析器，这会在遥远的语言上产生错误的结果。我们提出了一个序列到序列的模型，使用复制机制来生成代码转换数据，利用并行单语翻译从有限的代码转换数据源。该模型学习如何从平行句子中组合单词，并确定何时将一种语言切换到另一种语言。此外，它通过关注和对齐输入中的单词来捕获语码转换约束，而不需要任何外部知识。基于实验结果，用生成的句子训练的语言模型达到了最先进的性能，并提高了端到端的自动语音识别。
2019-09-18 cs.CL
A Panoramic Survey of Natural Language Processing in the Arab World
术语自然语言指的是任何符号交流系统（口语，签名或书面），没有故意的人类规划和设计。这将阿拉伯语和日语等自然语言与世界语或Python等人工构建的语言区分开来。自然语言处理（NLP）是人工智能（AI）的子领域，专注于对自然语言建模以构建应用程序，如语音识别和合成、机器翻译、光学字符识别（OCR）、情感分析（SA）、问答、对话系统等。数学和其他。一些最早的人工智能应用程序是在NLP中（例如，机器翻译）;特别是在过去的十年（2010-2020年），质量有了令人难以置信的提高，与此同时，公众对过去可能看起来像科幻小说的东西的认识、使用和期望也有所提高。NLP研究人员以开发可应用于所有人类语言的独立于语言的模型和工具而自豪，例如，可以使用相同的基本机制和模型为各种语言构建机器翻译系统。然而，现实情况是，一些语言确实得到了更多的关注（例如，英语和中文）比其他（例如，印地语和斯瓦希里语）。阿拉伯语是阿拉伯世界的主要语言，也是数百万非阿拉伯穆斯林的宗教语言，处于这一连续体的中间。尽管阿拉伯语NLP面临许多挑战，但它已经取得了许多成功和发展。接下来，我们讨论阿拉伯语的主要挑战作为必要的背景，我们提出了阿拉伯语NLP的简史。然后，我们调查了它的一些研究领域，并结束了阿拉伯语NLP的未来的关键讨论。
2021-09-27 cs.CL
A Deep Generative Model for Code-Switched Text
Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）
语码转换，即两种或两种以上语言在一个句子或话语中的交错，在多语言社会中普遍存在。准确的语码转换文本语言模型是自然语言处理任务的关键。最先进的数据密集型神经语言模型很难从稀缺的语言标记的代码转换文本中很好地进行训练。一个潜在的解决方案是使用深度生成模型来合成大量真实的代码转换文本。虽然生成对抗网络和变分自编码器可以从连续的潜在空间合成合理的单语文本，但由于其非正式的风格和组成语言之间复杂的相互作用，它们无法充分解决代码转换文本。我们介绍VACS，一种新的变分自编码器架构，专门针对代码切换现象。VACS编码和解码从一个两级的分层表示，模型的语法上下文信号在较低的水平，和语言切换信号在上层。从先验知识中取样并解码，产生了结构良好、多样化的代码转换句子。大量的实验表明，使用合成码转换文本与自然单语数据的结果显着下降（33.06%）的困惑。
2019-06-21 cs.CL
Beyond modeling: NLP Pipeline for efficient environmental policy analysis
Omdena；Data Science for Social Good（数据科学促进社会公益）；World Resources Institute（世界资源研究所）；veritree
在我们进入联合国生态系统恢复十年之际，为森林和景观恢复建立有效的激励机制比以往任何时候都更加重要。政策分析对于决策者了解参与恢复的行为者和规则是必要的，以便将经济和财政激励措施转移到正确的地方。传统的政策分析是资源密集型和复杂的，缺乏全面的中央信息源，并容易出现管辖权重叠。我们提出了一个基于自然语言处理（NLP）技术的知识管理框架，可以解决这些挑战并自动化重复性任务，将政策分析过程从数周缩短到几分钟。我们的框架是与政策分析专家合作设计的，并与平台、语言和政策无关。在本文中，我们描述了NLP管道的设计，回顾了其每个组件的最新方法，并讨论了在构建面向政策分析的框架时所面临的挑战。
2022-01-08 cs.CL cs.LG
DIVERS-Bench: Evaluating Language Identification Across Domain Shifts and Code-Switching
Mila - Quebec AI Institute & McGill University（魁北克AI研究所与麦吉尔大学）
本文提出DIVERS-BENCH评估框架和DIVERS-CS语码转换基准，揭示现有语言识别模型在领域偏移和混合语言场景下性能显著下降的问题。
2025-09-22 cs.AI cs.CL cs.LG
Conflicts of Interest in Published NLP Research 2000-2024
Tilburg University（蒂尔堡大学）；University College London（伦敦大学学院）
本研究评估2000-2024年NLP论文，发现27.65%含产业作者，2024年超三分之一，顶级会议为主要驱动，并提出建议。
2025-02-22 cs.CL cs.IR cs.SI
On Behalf of the Stakeholders: Trends in NLP Model Interpretability in the Era of LLMs
Faculty of Data and Decision Sciences, Technion（以色列理工学院数据与决策科学学院）
本文从利益相关者视角出发，通过大规模文献分析和LLM辅助刻画，系统审视了LLM时代NLP模型可解释性研究的需求、对象与方法，揭示了开发者与非开发者用户及不同领域之间的显著差异，为面向多元利益相关者的可解释性方法设计提供指导。
2025-02-04 cs.AI cs.CL
KoACD: The First Korean Adolescent Dataset for Cognitive Distortion Analysis via Role-Switching Multi-LLM Negotiation
Gachon University College of IT Convergence（嘉泉大学IT融合学院）；Yonsei University College of Medicine（延世大学医学院）
本文提出首个韩国青少年认知扭曲大规模数据集KoACD，采用角色切换多LLM协商方法优化分类，并结合认知澄清与认知平衡生成合成数据，为认知扭曲检测研究提供基础。
2025-09-20 cs.AI cs.CL
Processamento de linguagem natural em Português e aprendizagem profunda para o domínio de Óleo e Gás
COPPE/Universidade Federal do Rio de Janeiro (UFRJ)（里约热内卢联邦大学科佩研究所）
在过去的几十年里，世界各地的机构都面临着处理以非结构化格式捕获的大量信息的挑战，特别是文本文档。所谓的数字化转型时代，其特征是重要的技术进步和人工智能颠覆性方法的出现，为更好地利用这些信息提供了机会。自然语言处理（NLP）中的最新技术与深度学习方法允许有效地处理大量数据，以便获得相关信息，识别模式，分类文本以及其他应用。在这种情况下，石油和天然气（O&G）领域的高度技术性词汇对这些NLP算法来说是一个挑战，其中术语可能具有与常识理解非常不同的含义。寻找合适的数学表示和特定的模型需要大量的O&G领域的代表性语料库。然而，在科学文献中，公众获取这种材料的机会很少，特别是考虑到葡萄牙语。本文介绍了深度学习NLP的主要技术及其在葡萄牙语O&G领域的主要应用。
2019-08-10 cs.CL
A Survey of Code-switched Speech and Language Processing
Microsoft Research India（微软印度研究院）；Carnegie Mellon University（卡内基梅隆大学）
语码转换是一种常见的语言交际现象，在世界多语言社会中普遍存在。本文综述了码转换语音和自然语言处理的计算方法。我们激励为什么处理代码转换的文本和语音是必不可少的智能代理和系统，与用户在多语言社区。由于代码转换的数据和资源是稀缺的，我们列出了什么是可用的各种代码转换语言对的语言处理任务，他们可以用来。我们回顾了各种语音和NLP应用中的语码转换研究，包括语言处理工具和端到端系统。我们的结论与未来的方向和开放的问题在该领域。
2020-07-22 cs.CL cs.LG stat.ML
Applications and Challenges of Sentiment Analysis in Real-life Scenarios
Surrey Institute for People-centred AI, United Kingdom（英国萨里以人为本人工智能研究所）
情感分析得益于几十年来研究所创建的词典和基准数据集的可用性。然而，它在现实世界中的应用是SA研究的驱动力。本章将介绍其中一些应用程序以及现实生活中的相关挑战。在本章中，我们重点介绍了SA的五个应用：健康，社会政策，电子商务，数字人文和NLP的其他领域。本章旨在让NLP研究人员了解SA应用的“什么”，“为什么”和“如何”：应用是什么，为什么它是重要的和具有挑战性的，以及SA当前的研究如何处理应用。我们注意到，虽然深度学习技术的使用是跨越这些应用程序的流行范例，但围绕数据集的隐私和选择偏差的挑战是几个应用程序中反复出现的主题。
2023-01-24 cs.CL
Natural Language Processing in the Legal Domain
Singapore Management University（新加坡管理大学）；CodeX, Stanford University, USA（CodeX，斯坦福大学，美国）；Illinois Tech - Chicago Kent College of Law, USA（伊利诺伊理工学院—芝加哥肯特法学院，美国）；Bucerius Law School, Germany（伯克勒尔法学院，德国）；IIT-Bhubaneswar（IIT-巴纳拉斯瓦尔）
本文综述了NLP与法律领域的现状，分析了过去十年中相关论文数量、任务和语言的增加，以及方法的复杂性提升，指出该领域正逐步达到通用NLP的方法论水平和数据可用性标准。
2026-05-11 cs.AI cs.CL
EdgeBERT: Sentence-Level Energy Optimizations for Latency-Aware Multi-Task NLP Inference
Harvard University（哈佛大学）；Tufts University（塔夫茨大学）；Hugging Face；Arm Research（Arm研究院）；Cornell University（康奈尔大学）
诸如BERT之类的基于转换器的语言模型为大量自然语言处理（NLP）任务提供了显著的准确性改进。然而，它们巨大的计算和内存需求使其难以部署到具有严格延迟要求的资源受限边缘平台。我们提出了EdgeBERT，这是一种深入的算法-硬件协同设计，用于多任务NLP的延迟感知能量优化。EdgeBERT采用基于熵的提前退出预测，以便在句子粒度上执行动态电压频率缩放（DVFS），以实现最小的能量消耗，同时遵守规定的目标延迟。通过采用自适应注意广度、选择性网络修剪和浮点量化的校准组合，进一步减轻了计算和内存占用开销。此外，为了最大限度地发挥这些算法在始终在线和中间边缘计算环境中的协同效益，我们专门设计了一个12 nm可扩展硬件加速器系统，集成了快速开关低压差稳压器（LDO），全数字锁相环（ADPLL），以及，高密度嵌入式非易失性存储器（eNVM），其中仔细存储共享多任务参数的稀疏浮点位编码。总而言之，与Nvidia Jetson Tegra X2移动GPU上的无提前停止的传统推理、无延迟提前退出方法和CUDA适配相比，EdgeBERT硬件系统上的延迟感知多任务NLP推理加速分别产生高达7倍、2.5倍和53倍的能量。
2021-09-06 cs.AR cs.CL
Meta-Embeddings for Natural Language Inference and Semantic Similarity tasks
单词表示是几乎所有高级自然语言处理（NLP）应用程序（如文本挖掘，问答和文本摘要等）的核心组件。在过去的二十年中，人们进行了大量的研究，以提出一个单一的模型来解决所有主要的NLP任务。目前的主要问题是，不同的NLP任务有太多的选择。因此，对于NLP从业者来说，选择正确的模型本身就成了一个挑战。因此，结合多个预训练的词嵌入并形成Meta嵌入已成为改进处理NLP任务的可行方法。Meta嵌入学习是从给定的一组预先训练的输入词嵌入中产生单个词嵌入的过程。在本文中，我们建议使用来自少数最先进（SOTA）模型的Meta Embedding来有效地处理主流NLP任务，如分类，语义相关性和文本相似性。我们比较了集成和动态变量，以确定一个有效的方法。所获得的结果表明，即使是最好的国家的最先进的模型可以更好。从而向我们展示了元嵌入可以通过利用几个单独表示的力量来用于几个NLP任务。
2020-12-01 cs.AI cs.CL cs.IR
GeNRe: A French Gender-Neutral Rewriting System Using Collective Nouns
University of Strasbourg（斯特拉斯堡大学）
本文提出首个使用集合名词的法语性别中立改写系统GeNRe，包含基于规则的系统和微调语言模型，并探索指令模型以提升性能。
2025-05-29 cs.CL
Linguistics Theory Meets LLM: Code-Switched Text Generation via Equivalence Constrained Large Language Models
Boston University（波士顿大学）；Deccan AI（德干人工智能公司）；Monash University Indonesia（莫纳什大学印度尼西亚分校）；Capital One（第一资本金融公司）
本研究提出融合等价约束理论与大语言模型的EZSwitch框架，生成符合语言学规则的流畅语码转换文本，构建CSPref人类偏好数据集，验证了语言学约束可提升生成质量与人类对齐度。
2024-10-30 cs.CL
Domain-specific Pretraining Profile and Transformer Performance: Evidence from Modeling Digital Pragmatics in Arabic-English Code-switching
King Saud University（沙特国王大学）；Ibb University（伊卜大学）
本研究通过阿拉伯语-英语语码转换数字语用分类任务，证明领域特定预训练特征比多语言覆盖更能决定Transformer性能，MARBERT显著优于XLM-R。
2026-09-15 cs.CL
CodeMixBench: Evaluating Code-Mixing Capabilities of LLMs Across 18 Languages
NUC（南京大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出CodeMixBench基准，覆盖8项任务和18种语言，评估LLM的语码混合能力，并引入词替换与GPT-4提示的合成数据生成方法，发现LLM表现不足，增大数据、模型和少样本学习可改善。
2025-09-07 cs.CL
Enhancing Multilingual Language Models for Code-Switched Input Data
MIT（麻省理工学院）
本文研究通过在Spanglish推文上预训练mBERT，提升模型在词性标注、情感分析、命名实体识别和语言识别等任务上的表现，并发现英语和西班牙语嵌入更同质化，验证了多语言模型适配语码转换输入的潜力。
2025-03-11 cs.CL
