Use of Formal Ethical Reviews in NLP Literature: Historical Trends and Current Practices
Microsoft Research（微软研究院）；Plaksha University（普拉卡沙大学）
近年来，语言技术研究的伦理问题引起了人们的广泛关注。标准做法是由机构的专业伦理委员会/董事会审查和批准涉及人类受试者的研究。我们在NLP研究中经常看到伦理批准吗？哪些类型的研究或研究的哪些方面通常需要进行此类审查？随着对NLP伦理的关注和讨论的不断增加，我们是否也观察到对NLP研究的正式伦理审查的增加？如果是这样，这是否意味着人们对以前缺乏的道德问题的认识有所提高？我们的目标是通过对ACL选集进行详细的定量和定性分析来解决这些问题，并将我们领域的趋势与其他相关学科的趋势进行比较，如认知科学，机器学习，数据采掘和系统。
2021-06-02 cs.CL
When Low Resource NLP Meets Unsupervised Language Model: Meta-pretraining Then Meta-learning for Few-shot Text Classification
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Frontier Technology Research Center（阿里巴巴-浙江大学前沿技术研究中心）；The First Affiliated Hospital of Zhejiang University（浙江大学医学院附属第一医院）；Alibaba Group（阿里巴巴集团）；Carnegie Mellon University（卡内基梅隆大学）；Oxford University（牛津大学）
文本分类往往是困难的，当数据不足或当它需要适应看不见的类。在这种具有挑战性的情况下，最近的研究经常使用元学习来模拟Few-Shot任务，从而否定了跨任务的隐含共同语言特征。本文使用元学习和无监督语言模型来解决这些问题。我们的方法是基于这样的见解，即从几个例子中获得良好的泛化依赖于通用模型初始化和使该模型适应新出现的任务的有效策略。我们表明，我们的方法不仅简单，而且在一个经过充分研究的情感分类数据集上产生了最先进的性能。因此，可以进一步建议，预训练可能是许多其他NLP任务的少样本学习的有前途的解决方案。用于重复实验的代码和数据集可在https://github.com/zxlzr/FewShotNLP上获得。
2019-11-21 cs.CL cs.IR
The Rediscovery Hypothesis: Language Models Need to Meet Linguistics
NAVER LABS Europe（NAVER LABS 欧洲）；Nazarbayev University（纳扎尔巴耶夫大学）
在NLP社区中有一个正在进行的辩论，即现代语言模型是否包含通过所谓的探针恢复的语言知识。在本文中，我们研究语言知识是否是现代语言模型，我们称之为\textit{rediscovery hypothesis}的良好性能的必要条件。首先，我们表明，语言模型，显着压缩，但表现良好的预训练目标保持良好的成绩时，探测语言结构。这一结果支持了再发现假说，并导致我们的论文的第二个贡献：一个信息理论框架，语言建模目标与语言信息。该框架还提供了一个度量标准来衡量语言信息对单词预测任务的影响。我们加强我们的分析结果与各种实验，无论是在合成和真正的NLP任务的英语。
2022-01-03 cs.CL
When Explainability Meets Privacy: An Investigation at the Intersection of Post-hoc Explainability and Differential Privacy in the Context of Natural Language Processing
本文针对自然语言处理中可解释性与隐私的交叉点缺乏研究的问题，基于差分隐私和事后可解释性方法实证调查了隐私-可解释性权衡，揭示了两者间复杂关系，并提出了共存潜力及未来研究的实用建议。
2025-08-15 cs.CL
Towards Process-Oriented, Modular, and Versatile Question Generation that Meets Educational Needs
University of Michigan（密歇根大学）
基于自然语言处理的问题自动生成技术在节省教师的时间和帮助学生学习方面具有巨大的教学潜力。然而，QG系统至今尚未在教室中广泛采用。在这项工作中，我们的目标是找出关键的障碍，并研究如何通过了解教师如何构建问题和识别接触点来提高自动QG技术在教育目的中的可用性，以增强底层的NLP模型。我们与7所不同大学的11名教师进行了深入的需求发现研究，并总结了他们在创建问题时的思维过程和需求。虽然教师对使用NLP系统来支持问题设计表现出极大的兴趣，但他们中没有一个人在实践中使用过这样的工具。他们求助于多种信息来源，从领域知识到学生的误解，所有这些都是今天的QG系统所缺少的。我们认为，建立有效的人类NLP协作QG系统，强调教师的控制和可解释性是现实世界的采用势在必行。我们要求QG系统提供面向过程的支持，使用模块化设计，并处理不同的输入源。
2022-04-30 cs.CL cs.HC
NLP meets psychotherapy: Using predicted client emotions and self-reported client emotions to measure emotional coherence
Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心（hessian.AI））；Bar-Ilan University（巴伊兰大学）
情绪是通过各种反应系统体验和表达的。情感体验和情感表达之间的一致性被认为对客户的福祉很重要。到目前为止，情绪连贯性（EC）已被研究在一个单一的时间点使用基于实验室的任务相对较小的数据集。没有研究探讨情绪的主观体验和情绪表达之间的EC治疗或这种一致性是否与客户的幸福感。自然语言处理（NLP）方法已被应用于从心理治疗对话中识别情绪，这可以被实施以在更大范围内研究情绪过程。然而，这些方法还没有被用来研究治疗过程中情绪体验和情绪表达之间的一致性，以及它是否与客户的幸福感有关。这项工作提出了一个端到端的方法，我们使用我们的Transformer为基础的情感识别模型的情感预测，研究情绪的连贯性及其诊断潜力的心理治疗研究。我们首先采用我们的Transformer为基础的方法对希伯来语的心理治疗数据集自动标记客户的情绪在话语水平的心理治疗对话。随后，我们调查了客户的自我报告的情绪状态和我们的基于模型的情绪预测之间的情绪一致性。我们还研究了情感连贯性和客户的幸福感之间的关联。我们的研究结果表明，在心理治疗过程中，客户的自我报告的情绪和口头表达的积极和消极情绪之间存在显着的相关性。积极情绪的一致性也与客户的幸福感高度相关。这些结果说明了NLP如何应用于识别心理治疗中的重要情感过程，以改善患有心理健康问题的客户的诊断和治疗。
2022-11-22 cs.AI cs.CL cs.HC
torchdistill Meets Hugging Face Libraries for Reproducible, Coding-Free Deep Learning Studies: A Case Study on NLP
University of California, Irvine（加利福尼亚大学欧文分校）
本文提出torchdistill框架的重大升级版，通过与Hugging Face库集成实现免编码的深度学习研究复现，成功复现BERT在GLUE基准上的结果并发布27个微调模型，同时扩展支持计算机视觉任务。
2023-10-26 cs.CL cs.CV cs.LG
Federated Learning Meets Natural Language Processing: A Survey
Deakin University（迪肯大学）
联邦学习旨在从多个分散的边缘设备（例如手机）或服务器学习机器学习模型，而不会牺牲本地数据隐私。最近的自然语言处理技术依赖于深度学习和大型预训练语言模型。然而，大型深度神经和语言模型都是用大量数据训练的，这些数据通常位于服务器端。由于文本数据广泛来源于最终用户，在这项工作中，我们研究了最近的NLP模型和技术，使用联邦学习作为学习框架。我们的调查讨论了联邦自然语言处理的主要挑战，包括算法挑战，系统挑战以及隐私问题。我们还对现有的联邦NLP评估方法和工具进行了严格的审查。最后，我们强调了目前的研究差距和未来的发展方向。
2021-07-27 cs.AI cs.CL cs.DC
Evaluation of the NLP Components of the OVIS2 Spoken Dialogue System
挪威世界教育组织优先方案语言和语音技术是一项为期5年的研究方案，旨在开发口语信息系统。在该方案中，并行开发了两个备选的自然语言处理模块：一个基于语法的模块（常规的、基于规则的）和一个面向数据的模块（基于存储器的、随机的、DOP）。为了比较自然语言处理模式，在方案开始三年后进行了正式评估。本文介绍了评价过程和评价结果。在这个比较中，基于语法的组件比面向数据的组件性能更好。
1999-06-14 cs.CL
Machine Learning Meets Natural Language Processing -- The story so far
International Hellenic University（国际希腊大学）
自然语言处理（NLP）在过去十年中有了显著的发展。本文强调了这一时期最重要的里程碑，同时试图确定每个模型和算法对整体进展的贡献。此外，它侧重于仍然有待解决的问题，强调了Transformers，BERT和所有类似的基于注意力的模型的突破性建议。
2021-03-27 cs.AI cs.CL cs.LG
A Material Lens on Coloniality in NLP
Georgia Institute of Technology（佐治亚理工学院）；Stanford University（斯坦福大学）
本文提出NLP数据、算法和软件中隐含并放大了殖民性，通过行动者网络理论进行定量分析，证明殖民边界的不平等随NLP发展加剧，并呼吁消除基础数据与算法中的殖民积累。
2023-11-14 cs.CL
How to Enable Effective Cooperation Between Humans and NLP Models: A Survey of Principles, Formalizations, and Beyond
Sichuan University（四川大学）；Singapore Management University（新加坡国立大学）；York University（约克大学）；Engineering Research Center of Machine Learning and Industry Intelligence, Ministry of Education, China（机器学习与产业智能工程研究中心，教育部，中国）；National University of Singapore（新加坡国立大学）
本文综述了人类与NLP模型合作的新范式，提出统一分类法总结现有方法，并探讨前沿挑战，为未来研究奠定基础。
2025-05-22 cs.AI cs.CL cs.HC
Grounding 'Grounding' in NLP
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
NLP社区最近对基础感兴趣，以促进语言技术与世界之间的互动。然而，作为一个社区，我们广泛地使用这个术语来指代文本与数据或非文本模态的任何链接。相比之下，认知科学更正式地将“基础”定义为建立两个对话者之间成功沟通所需的互信息的过程--这一定义可能隐含了NLP的用法，但在意图和范围上有所不同。我们调查了这些定义之间的差距，并寻求以下问题的答案：（1）NLP任务中缺少哪些方面的基础？在这里，我们提出的协调，权限和限制的层面。(2)在目前的研究中如何使用“接地”一词？我们研究了最近NLP会议中介绍的数据集，域和任务的趋势。最后，（3）如何推进我们目前的定义，以弥合与认知科学的差距？我们提出了创建新任务或重新利用现有任务的方法，以实现更完整的接地感。
2021-06-04 cs.CL
WHEN FLUE MEETS FLANG: Benchmarks and Large Pre-trained Language Model for Financial Domain
Georgia Institute of Technology（佐治亚理工学院）；JPMorgan AI Research（摩根大通人工智能研究院）；Stanford University（斯坦福大学）
预训练的语言模型在各种任务和领域中表现出令人印象深刻的性能。以往的金融语言模型研究通常采用通用的训练方案来训练标准模型架构，而没有完全利用金融数据的丰富性。提出了一种新的领域特定金融语言模型（FLANG），该模型利用金融关键词和短语进行更好的掩蔽，并结合跨边界目标和填充目标。此外，外地的评价基准有限。为此，我们贡献了金融语言理解评估（FLUE），这是一套针对金融领域的开源综合基准。其中包括金融领域5个NLP任务的新基准以及以前研究中使用的常见基准。在这些基准上的实验表明，我们的模型在各种NLP任务上的性能优于先前文献中的模型。我们的模型、代码和基准测试数据在Github和Huggingface上公开。
2022-10-31 cs.AI cs.CL cs.LG
Exploring the Reliability of Large Language Models as Customized Evaluators for Diverse NLP Tasks
The University of Hong Kong（香港大学）；Tencent AI lab（腾讯AI实验室）
本研究考察LLM作为NLP任务评估器的可靠性，发现其在通用标准上表现良好但在复杂标准上存在不足，且LLM预起草可减少人类评估的主观性。
2025-01-18 cs.CL
Large Language Models Meet Knowledge Graphs to Answer Factoid Questions
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Universität Hamburg（汉堡大学）；Nazarbayev University（纳扎尔巴耶夫大学）；ISP RAS（俄罗斯科学院信息安全问题研究所）；Artificial Intelligence Research Institute（人工智能研究院）
本研究提出结合知识图谱信息的事实性问答方法，通过子图提取、线性化及答案重排序，将预训练Text-to-Text语言模型的Hits@1得分提升4-6%。
2023-10-03 cs.CL
Towards Semantic Modeling of Contradictions and Disagreements: A Case Study of Medical Guidelines
UNC Charlotte（北卡罗来纳大学夏洛特分校）；U. of Central Florida（中佛罗里达大学）
我们引入了一个正式的区别矛盾和分歧之间的自然语言文本，动机是需要正式的原因矛盾的医疗指南。这是一个新的和潜在的非常有用的区别，到目前为止还没有在NLP和逻辑中讨论过。我们还描述了一个自然语言处理系统能够自动发现矛盾的医疗指南，该系统使用的文本分析和信息检索模块的组合。我们还报告了一个小语料库的相互矛盾的医疗建议的积极评价结果。
2017-08-02 cs.CL
SMOTExT: SMOTE meets Large Language Models
Wrocław University of Science and Technology（沃拉夫大学科学与技术学院）；University of Notre Dame（诺特大学）
针对NLP模型训练中的数据稀缺与类别不平衡问题，提出结合SMOTE过采样思想与xRAG架构的SMOTExT文本数据增强方法，在少样本场景及隐私保护机器学习中展现出应用潜力。
2025-05-19 cs.CL
Requirement Formalisation using Natural Language Processing and Machine Learning: A Systematic Review
University of Roehampton（罗汉普顿大学）；University of Sheffield（谢菲尔德大学）
软件开发方法的改进吸引了开发人员在需求工程（RE）领域的自动需求形式化（RF）。在不同的研究中报告了应用自然语言处理（NLP）和机器学习（ML）在减少用自然语言编写的需求的模糊性和不完整性方面的潜在优势。本文的目标是调查和分类现有的工作自然语言处理和ML RF，确定在这个领域的挑战，并提供有前途的未来研究方向。为了实现这一目标，我们进行了系统的文献综述，通过从常用的图书馆中选择257篇论文，概述了RF中NLP和ML技术的最新发展。通过定义纳入和排除标准对检索结果进行筛选，并选择了2012年至2022年间的47项相关研究。我们发现，启发式NLP方法是用于自动RF的最常见的NLP技术，主要操作结构化和半结构化数据。这项研究还表明，深度学习（DL）技术并没有得到广泛应用，相反，经典的ML技术在调查研究中占主导地位。更重要的是，我们发现，由于缺乏RF的标准基准案例，很难比较不同方法的性能。
2023-03-18 cs.AI cs.CL cs.LG
T5 meets Tybalt: Author Attribution in Early Modern English Drama Using Large Language Models
Cornell University（康奈尔大学）
本文研究大型语言模型在早期现代英语戏剧作者归属中的应用，发现微调后的 t5-large 在小段落归属上优于逻辑回归、线性核 SVM 和 cosine delta 等基线，但模型存在自信误判及预训练数据作者偏差等隐患。
2023-10-27 cs.CL cs.LG
Formality Style Transfer in Persian
Shahid Beheshti University（沙希德·贝赫什提大学）；Queen Mary University of London（伦敦玛丽女王大学）
本研究提出基于Fa-BERT架构并结合一致性学习与动态加权的新模型Fa-BERT2BERT，通过新指标评估证明其在波斯语正式风格转换任务上优于传统方法，显著提升了NLP应用的准确性与功能。
2024-06-02 cs.AI cs.CL
A Grid Based Architecture for High-Performance NLP
我们描述了一个可扩展的，基于组件的自然语言工程应用程序的软件体系结构的设计和早期实现的接口与高性能的分布式计算服务。该架构利用现有的语言资源描述和发现机制的基础上元数据描述，结合这些在一个兼容的方式与其他软件定义抽象。在这种体系结构中，应用程序设计非常灵活，允许组合不同的组件以适应整个应用程序功能，并独立于处理问题进行正式描述。应用程序规约语言提供编程环境的抽象，并允许通过代理与高性能计算网格轻松接口。
2003-08-05 cs.CL cs.DC
Co-creation for Sign Language Processing and Machine Translation
1 Lisa Lepp: 2 Dimitar Shterionov: 3 Mirella De Sisto: 4 Grzegorz Chrupa a
本文针对手语机器翻译中共创缺乏正式定义的问题，提出了一种关系类型学，评估了110篇文章中手语用户的参与情况，并推导出考虑项目生命周期动态特性的共创指南。
2025-03-03 cs.CL
ALCUNA: Large Language Models Meet New Knowledge
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Center for Data Science, Peking University（北京大学数据科学中心）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
针对现有基准无法充分评估LLMs处理新知识能力的问题，提出KnowGen方法生成人工实体构建ALCUNA基准，评估模型知识理解、区分与关联能力，发现模型在新知识推理上表现不佳。
2023-10-23 cs.CL
Analyzing and Interpreting Neural Networks for NLP: A Report on the First BlackboxNLP Workshop
Tilburg University（蒂尔堡大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
EMNLP 2018研讨会BlackboxNLP致力于专门开发的资源和技术，用于分析和理解语言神经模型获得的内部工作和表示。办法包括：系统地操纵神经网络的输入并调查对其性能的影响，测试可解释的知识是否可以从神经网络获得的中间表示中解码，提出对神经网络架构的修改以使其知识状态或生成的输出更可解释，并检查简化或形式语言上的网络性能。在这里，我们回顾了每个类别中的一些代表性研究。
2019-04-05 cs.CL stat.ML
Formal Aspects of Language Modeling
Stanford University（斯坦福大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本研究针对大语言模型的普及现状，配套苏黎世联邦理工学院大语言模型课程的理论部分，从形式化理论视角讲解语言模型的构成，助力开发者与研究者掌握其数学基础与实现方法。
2024-04-17 cs.CL
Grammar Engineering Meets LLMs: Development of Cantonese and Irish ParGram Treebanks
该研究开发了粤语与爱尔兰语ParGram树库，探究多语言LLMs在语法工程中的应用，发现其翻译表现差、跨语言抽象任务效果不佳，但可提供参考，凸显其潜力与专家分析的重要性。
2026-08-10 cs.CL
Natural Language Processing for Requirements Formalization: How to Derive New Approaches?
ifak - Institut für Automation und Kommunikation e.V.（ifak自动化与通信研究所）
本文探讨如何利用现代NLP尤其是预训练模型与可迭代规则集，将自然语言功能需求半自动形式化为伪代码模型，并通过汽车和铁路工业用例验证其低工作量与领域适配性。
2023-09-23 cs.CL cs.SE
State of NLP in Kenya: A Survey
Maseno University（马塞诺大学）；University of Cape Town（开普敦大学）；African Institute for Mathematical Sciences - AIMS（非洲数学科学研究所）；United States International University-Africa（美国国际大学非洲分校）；Zindi（津迪平台）；Jomo Kenyatta University of Agriculture and Technology - JKUAT（乔莫·肯雅塔农业技术大学）；The University of Minnesota, Twin Cities（明尼苏达大学双城分校）；University of Manchester（曼彻斯特大学）；Songhai（松海机构）；University of Groningen（格罗宁根大学）；Stellenboch University（斯泰伦博斯大学）；Jumia Group（朱米亚集团）；Adventist University of Africa（非洲基督复临大学）；University of Nairobi（内罗毕大学）；Deep Learning Indaba（深度学习印达巴组织）；Karadeniz Technical University（卡拉德尼兹技术大学）；Datawise Africa（非洲数据智能机构）；Kisii University（基西大学）；Future Africa - University of Pretoria（比勒陀利亚大学未来非洲中心）
本调查评估了肯尼亚自然语言处理现状，揭示了本土语言在数据集与模型方面的资源缺口，并分析了关键应用及政策法规，提出了加速技术发展的战略路线图。
2024-10-13 cs.AI cs.CL
Linguistics Theory Meets LLM: Code-Switched Text Generation via Equivalence Constrained Large Language Models
Boston University（波士顿大学）；Deccan AI（德干人工智能公司）；Monash University Indonesia（莫纳什大学印度尼西亚分校）；Capital One（第一资本金融公司）
本研究提出融合等价约束理论与大语言模型的EZSwitch框架，生成符合语言学规则的流畅语码转换文本，构建CSPref人类偏好数据集，验证了语言学约束可提升生成质量与人类对齐度。
2024-10-30 cs.CL
Correlating and Predicting Human Evaluations of Language Models from Natural Language Processing Benchmarks
Stanford Computer Science（斯坦福大学计算机科学系）；Meta GenAI（元宇宙生成式人工智能研究院）；University College London（伦敦大学学院）
本研究通过大规模对比160个NLP基准与人类对Chat Llama 2模型的评价，发现多数基准可可靠预测人类偏好，并利用回归模型跨规模预测评价，凸显经典基准的持续价值。
2025-02-24 cs.CL cs.LG
A Quantum-Inspired Analysis of Human Disambiguation Processes
University College London（伦敦大学学院）
本研究将量子力学的互文性、因果性等形式体系应用于语言学歧义研究，复现了人类消歧相关的心理语言学结果，其用于预测人类行为的表现优于现有NLP方法，为探索NLP领域的量子优势提供了新方向。
2024-08-14 cs.AI cs.CL cs.LO
NLP in Human Rights Research -- Extracting Knowledge Graphs About Police and Army Units and Their Commanders
Columbia University（哥伦比亚大学）；Security Force Monitor, Human Rights Institute, Columbia Law School（哥伦比亚法学院人权研究所安全部队监测）
在这份工作文件中，我们探讨了使用自然语言处理系统，以协助安全部队监察员（SFM）的工作。可持续森林管理创建关于警察、军队和其他安全部队的组织结构、指挥人员和行动的数据，协助人权研究人员、记者和诉讼律师开展工作，帮助查明被指控犯有侵犯人权和违反国际刑法行为的具体单位和人员，并追究其责任。本工作文件提出了一个NLP系统，从英语新闻报道中提取安全部队单位的名称及其人员的传记细节，并推断它们之间的正式关系。与这篇工作论文一起发布的是系统的代码和训练数据集。我们发现，实验NLP系统执行的任务在一个公平的良好的水平。其性能足以证明进一步发展成为一个实时工作流程的合理性，这将使人们深入了解其性能是否转化为时间和资源的节省，从而使其成为一种有效的技术干预。
2022-01-13 cs.CL cs.CY
Parsing Thai Social Data: A New Challenge for Thai NLP
King Mongkut’s Institute of Technology Ladkrabang（蒙kut国王理工学院）；Chiang Mai University（清迈大学）；Kasikorn Labs（开泰实验室）
依存句法分析（DP）是分析文本的句法结构和词与词之间关系的任务。DP被广泛用于改进诸如英语等许多语言中的自然语言处理（NLP）应用。以前的DP工作一般适用于正式书面语言。然而，它们并不适用于非正式语言，如在社交网络中使用的语言。因此，DP必须用这样的社交网络数据进行研究和探索。在本文中，我们探索并确定了一个DP模型，适合泰国的社交网络数据。之后，我们将识别适当的语言单位作为输入。实验结果表明，基于转换的改进的Elkared依赖分析器在UAS为81.42%的情况下优于其他依赖分析器。
2020-03-06 cs.AI cs.CL
What is wrong with style transfer for texts?
Yandex；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）
最近的一些机器学习论文使用文本的自动风格转换，并且与直觉相反，表明这个NLP任务没有共识。不同的研究人员提出了不同的算法，数据集和目标指标来解决它。这篇简短的观点文章旨在讨论这个NLP任务的可能形式化，以期待它进一步增长的兴趣。
2018-08-13 cs.AI cs.CL
Language Model Meets Prototypes: Towards Interpretable Text Classification Models through Prototypical Networks
Drexel University（德雷塞尔大学）
本文围绕预训练语言模型的黑盒问题，提出结合原型网络、图注意力与对比学习的可解释文本分类框架，在保持性能的同时提供基于实例的决策解释。
2024-12-04 cs.AI cs.CL
Comparative Evaluation of ChatGPT and DeepSeek Across Key NLP Tasks: Strengths, Weaknesses, and Domain-Specific Performance
Princess Sumaya University for Technology（普里incess苏玛亚技术大学）
本研究在情感分析、主题分类、文本摘要、机器翻译和文本蕴含五个关键NLP任务上全面评估了ChatGPT和DeepSeek，发现DeepSeek在分类稳定性和逻辑推理上占优，而ChatGPT更擅长需细微理解和灵活性的任务。
2025-07-05 cs.AI cs.CL
When Large Language Models Meet Optical Networks: Paving the Way for Automation
State Key Laboratory of Information Photonics and Optical Communications（信息光子学与光通信国家重点实验室）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出了一种由LLM赋能的光网络框架，通过部署在控制层的AI-Agent结合领域知识库与提示词工程，实现物理层智能控制与应用层高效交互，并在2,400个测试场景中验证了其在告警分析和性能优化任务上的潜力。
2024-06-25 cs.AI cs.CL cs.NI
On the Linguistic Capacity of Real-Time Counter Automata
Allen Institute for AI（艾伦人工智能研究所）
计数器机器与自然语言处理（NLP）领域有了新的关联：最近的研究表明，一些性能强大的递归神经网络利用它们的记忆作为计数器。因此，理解这些网络成功的一个潜在方法是重新审视计数器计算理论。因此，我们研究了实时的【形】计数器机器作为形式语法的能力，重点是与NLP模型相关的形式属性。我们首先表明，几个变种的计数器机收敛表示同一类的形式语言。我们还证明了计数器语言在补，并，交和许多其他常见的集合运算下是封闭的。接下来，我们证明计数器机器不能评估布尔表达式，即使它们可以弱验证它们的语法。这对神经网络系统的可解释性和评估有影响：成功匹配语法模式并不能保证计数器记忆准确地编码组合语义。最后，我们考虑计数器语言是否是半线性的。这项工作的一般贡献的形式语言的理论是潜在的兴趣，了解循环神经网络。
2021-09-09 cs.CL cs.FL
When Text Embedding Meets Large Language Model: A Comprehensive Survey
School of Computer Science and Engineering, Beihang University（计算机科学与工程学院，北京航空航天大学）
本文综述 LLM 与文本嵌入的融合研究，按“LLM 增强嵌入、LLM 作为嵌入器、LLM 理解嵌入”三类系统梳理进展，并指出遗留挑战、新兴障碍与未来方向。
2025-10-21 cs.AI cs.CL cs.IR
Challenges and Opportunities of Using Transformer-Based Multi-Task Learning in NLP Through ML Lifecycle: A Survey
doXray B.V.（doXray有限公司）
本文综述 NLP 中基于 Transformer 的多任务学习方法，并从数据工程、开发、部署到监控的机器学习生命周期分析其挑战与机遇，同时倡导结合持续学习。
2023-08-16 cs.AI cs.CL cs.LG
Sample Attackability in Natural Language Adversarial Attacks
University of Cambridge（剑桥大学）
本研究正式定义NLP攻击中的样本可攻击性/鲁棒性，实验表明深度学习检测器优于样本不确定性方法，但不同攻击方法间可攻击性共识低，影响检测方法可移植性。
2023-06-21 cs.AI cs.CL
Citation Amnesia: On The Recency Bias of NLP and Other Academic Fields
University of Göttingen（哥廷根大学）；National Research Council（国家研究委员会）；University of Alberta（阿尔伯塔大学）
本研究基于2.4亿篇论文分析20个学科43年的引用趋势，发现普遍存在“引用年龄衰退”现象，NLP领域最显著，且该现象并非由发表量增长直接驱动，引发对忽视早期文献问题的关注。
2024-12-13 cs.CL cs.DL
A New Semantic Theory of Natural Language
形式语义学和分布语义学是自然语言处理中两个重要的语义框架。认知语义学属于认知语言学运动，它建立在当代认知科学的基础之上。每个框架都能处理一些意义现象，但没有一个能满足应用程序提出的所有要求。建立一个统一的语义理论来描述所有重要的语言现象具有重要的理论意义和实践意义，然而，尽管近年来人们进行了许多尝试，但迄今为止还没有一个理论能够实现这一目标。本文介绍了一种新的语义理论，它有可能描述自然语言的大多数重要意义现象，并满足哲学分析和自然语言处理应用的大多数必要要求。该理论以信息的统一表示为基础，构建了一种称为认知模型的数学模型，以组合的方式解释自然语言表达式。它接受了认知语义学的经验假设，克服了形式语义学和分布语义学的大部分缺点。然而，该理论不是现有理论的简单组合，而是对经典逻辑和形式语义学的广泛概括。它继承了形式语义学几乎所有的优点，并为对象和事件提供尽可能细的描述内容，描述内容代表了人类认知的结果。
2017-09-10 cs.CL cs.LO
Lean Meets Theoretical Computer Science: Scalable Synthesis of Theorem Proving Challenges in Formal-Informal Pairs
D-CHAB, ETH Zurich, Zurich, Switzerland.；D-INFK, ETH Zurich, Zurich, Switzerland.；ETH AI Center, Zurich, Switzerland.；University of Pennsylvania, PA, USA.；Independent Researcher.
本文提出利用理论计算机科学作为可扩展的严谨证明问题来源，通过算法定义自动生成大量挑战性定理-证明对，展示了在Busy Beaver问题和混合布尔算术问题上的应用，并揭示了自动定理证明在复杂问题上的局限性。
2026-05-18 cs.AI cs.CL cs.LG
When Gradient Descent Meets Derivative-Free Optimization: A Match Made in Black-Box Scenario
East China Normal University（华东师范大学）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；National University of Singapore（新加坡国立大学）
针对黑盒场景下PLMs梯度不可用且现有无导数微调方法性能落后的问题，本文提出GDFO方法，通过知识蒸馏引入梯度下降并结合DFO协同优化连续提示，显著提升了性能。
2023-05-17 cs.AI cs.CL
Automated Literature Review Using NLP Techniques and LLM-Based Retrieval-Augmented Generation
Military Institute of Science and Technology（军事科学技术学院）
针对人工文献综述因研究论文激增面临的挑战，本研究提出并比较了基于NLP技术（如spaCy、Simple T5）和LLM（GPT-3.5-turbo）检索增强生成的自动化文献综述方法，GPT-3.5-turbo系统获最高ROUGE-1分数0.364并开发了图形界面。
2024-11-27 cs.AI cs.CL cs.IR
When Federated Learning Meets Pre-trained Language Models' Parameter-Efficient Tuning Methods
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Lab（鹏城实验室）；Tencent（腾讯）；Meta AI；Monash University（莫纳什大学）
本文将参数高效微调方法引入联邦学习，系统评估其在不同数据异构性、数据规模和FL场景下的表现，并提出FedPETuning框架以降低通信与本地适配成本。
2023-06-02 cs.CL cs.LG
A Survey on Out-of-Distribution Detection in NLP
Alibaba Group（阿里巴巴集团）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文首次系统综述NLP中的分布外检测，按数据可用性将方法分为三类，并介绍数据集、应用与指标，总结现状并展望未来方向。
2023-12-27 cs.AI cs.CL cs.LG
AI Meets Austen: Towards Human-Robot Discussions of Literary Metaphor
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；University of North Texas（北德克萨斯大学）
人工智能正在彻底改变正规教育，这得益于学习评估、内容生成和教学交付方面的创新。非正式的终身学习环境受到的关注较少。我们提供了一个概念验证的体现书讨论伴侣，旨在刺激与读者的对话，特别是在小说文学创造性的隐喻。我们收集了26名参与者的评分，他们每个人都在一个或多个会话中与机器人讨论简·奥斯汀的《傲慢与偏见》，并发现参与者对他们的互动评价很高。这表明，伴侣机器人可能是一个有趣的入口，促进终身学习和认知锻炼在未来的应用。
2019-04-07 cs.CL cs.HC
Linguistic Laws Meet Protein Sequences: A Comparative Analysis of Subword Tokenization Methods
Boğaziçi University（博阿齐奇大学）
本研究比较分析BPE、WordPiece和SentencePiece三种子词分词方法在不同词汇量下处理蛋白质序列的效果，发现其在结构域保留和语言定律遵循上存在差异，强调需开发蛋白质专用分词策略。
2024-11-26 cs.CL q-bio.QM
MetaXT: Meta Cross-Task Transfer between Disparate Label Spaces
Microsoft（微软）；Microsoft Research（微软研究院）
尽管预训练的语言模型具有普遍的代表性，但将它们适应特定的NLP任务仍然需要大量的标记数据。有效的任务微调遇到的挑战时，只有少数标记的例子是目前的任务。在本文中，我们的目标是解决问题的Few Shot任务学习的开发和转移，从不同的任务，承认一个相关的，但不同的标签空间。具体来说，我们设计了一个标签传输网络（LTN），将标签从源任务转换到目标任务进行训练。LTN和任务预测模型都是通过一个双层优化框架学习的，我们称之为MetaXT。MetaXT提供了一个原则性的解决方案，通过从源任务转移知识，使预训练的语言模型最好地适应目标任务。通过对两种不同类型的标签空间差异的四个NLP任务的跨任务迁移设置的实证评估，证明了MetaXT的有效性，特别是当目标任务中的标签数据有限时。
2021-09-09 cs.CL cs.LG
Natural Language Processing: Structure and Complexity
本文介绍了一种分析自然语言处理任务复杂度的方法，以及预测新的自然语言处理任务难度的方法。我们的复杂性措施来自Kolmogorov复杂性的一类自动机- { \it的意思是自动机}，其目的是提取相关的信息片段的句子。自然语言语义的定义仅与自动机可以回答的问题集相关。本文展示了各种NLP程序和任务的复杂性估计的例子，以及复杂性管理的一些方法。它将自然语言处理定位为软件工程的一个子领域，并奠定了其形式化的基础。
1996-07-13 cmp-lg cs.CL
Quantum Natural Language Processing: A Comprehensive Review of Models, Methods, and Applications
Victoria University（维多利亚大学）
该综述针对深度学习在NLP中资源需求大的问题，梳理量子自然语言处理（QNLP）的编码技术、任务模型与优化方法，按量子原理等分类模型，指出当前QNLP仍限于小数据集、研究模型少但关注度上升的现状。
2025-10-22 cs.AI cs.CL
