Energy and Carbon Considerations of Fine-Tuning BERT
Haverford College（哈维福德学院）；Carnegie Mellon University（卡内基梅隆大学）；Allen Institute for AI（艾伦人工智能研究所）；Hugging Face
本文对NLP中微调的计算成本进行实证研究，对比了其与预训练和推理的能源及碳排放，并为提高微调能效提供了建议。
2024-10-16 cs.CL cs.LG
Natural Language Processing for Policymaking
Max Planck Institute（马克斯·普朗克研究所）；ETH Zürich（苏黎世联邦理工学院）；University of Michigan（密歇根大学）
语言是许多政治活动的媒介，从竞选到新闻报道。自然语言处理（NLP）使用计算工具将文本解析为决策所需的关键信息。在本章中，我们介绍了NLP的常用方法，包括文本分类，主题建模，事件提取和文本缩放。然后，我们通过四个主要的应用，包括数据汇集的循证决策，政治决策的解释，政策沟通，政策效果的调查，这些方法可以用于政策制定概述。最后，我们强调了使用NLP进行决策时的一些潜在限制和伦理问题。本文摘自《政策计算社会科学手册》（2023年）第7章（第141-162页）。Springer上的开放获取：https://doi.org/10.1007/978-3-031-16624-2
2023-02-07 cs.AI cs.CL cs.CY
Design considerations for a hierarchical semantic compositional framework for medical natural language understanding
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对医学NLP难以逻辑解释临床文本的问题，论文提出受认知机制启发、以HSCM为核心的层级语义组合框架，并设计生成式语义模型与语义解析器。
2022-04-05 cs.AI cs.CL
Human-Centric NLP or AI-Centric Illusion?: A Critical Investigation
Faculty of Arts, CU（朱拉隆功大学文学院）；Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心）
本文批判性调查发现以人为本的自然语言处理实践存在以AI为中心的偏差，提出需重新定义该领域，强调跨学科合作与真实世界效用。
2024-12-14 cs.AI cs.CL cs.CY
Internal and External Impacts of Natural Language Processing Papers
Texas A&M University（德克萨斯A&M大学）
本研究分析1979-2024年顶级NLP会议论文的引用，发现语言建模影响最广，而伦理等主题在政策文件中受关注但学术引用少，外部领域偏好各异。
2025-05-21 cs.CL cs.DL
Improving a sequence-to-sequence nlp model using a reinforcement learning policy algorithm
Sidi Mohamed Ben Abdallah University（西迪·穆罕默德·本·阿卜杜拉大学）
目前，对话生成（聊天机器人）的神经网络模型显示出很大的希望，为聊天代理生成答案。但他们是短视的，因为他们一次预测一个话语，而忽略了它们对未来结果的影响。对对话的未来方向进行建模对于生成连贯、有趣的对话至关重要，这一需求导致了依赖于强化学习的传统NLP对话模型。在本文中，我们将解释如何通过使用深度强化学习来预测聊天机器人对话中的未来奖励，从而将这些目标结合起来。该模型模拟两个虚拟代理之间的对话，与策略梯度的方法来奖励序列，表现出三个有用的会话特征：流动的非正式性，连贯性和简单的响应（相关的前瞻性功能）。我们根据其多样性，长度和人类的复杂性来评估我们的模型。在对话模拟中，评估表明，所提出的模型产生更多的互动响应，并鼓励更持续的成功对话。这项工作是为了纪念在对话的长期成功的基础上开发神经对话模型的初步步骤。
2022-12-28 cs.AI cs.CL cs.LG
Prompt Injection Detection and Mitigation via AI Multi-Agent NLP Frameworks
XCALLY；Linux Foundation AI & Data（Linux基金会AI与数据部门）；Conversational Technologies（对话技术公司）；Polytechnic University of Turin（都灵理工大学）
本文提出一种多智能体 NLP 框架，通过分层检测、输出净化与策略执行机制防御提示词注入，并基于 500 个注入提示词验证其可降低攻击成功率与违规率。
2025-03-14 cs.AI cs.CL cs.MA
Representing Numbers in NLP: a Survey and a Vision
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
NLP系统很少特别考虑文本中的数字。这与神经科学的共识形成鲜明对比，神经科学认为，在大脑中，数字与文字的表现方式不同。我们将最近关于计算能力的NLP工作整理成一个全面的任务和方法分类。我们将算术的主观概念分解为7个子任务，沿着两个维度排列：粒度（精确与近似）和单位（抽象与接地）。我们分析了无数的代表性的选择，由18个以前出版的数字编码器和解码器。我们综合了在文本中表示数字的最佳实践，并阐述了NLP中整体计算能力的愿景，包括设计权衡和统一评估。
2021-03-24 cs.AI cs.CL cs.LG
How Chinese are Chinese Language Models? The Puzzling Lack of Language Policy in China's LLMs
评估中国公司预训练的六个开源多语言LLM发现，其在18种语言上的表现与国际模型无异，且技术报告和政策中均缺乏针对语言多样性的明确策略，揭示了语言模型中语言政策的缺失。
2025-08-10 cs.CL
Uncertainty Quantification with Pre-trained Language Models: A Large-Scale Empirical Analysis
Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）；University of Cambridge（剑桥大学）；Stanford University（斯坦福大学）
预训练的语言模型（PLM）由于其在各种自然语言处理（NLP）任务中引人注目的预测性能而越来越受欢迎。在为NLP任务制定基于PLM的预测管道时，管道最大限度地减少校准误差也至关重要，特别是在安全关键型应用中。也就是说，管道应该可靠地指示我们何时可以信任它的预测。特别是，管道背后有各种考虑因素：（1）PLM的选择和（2）PLM的大小，（3）不确定性量化器的选择，（4）微调损耗的选择等等。虽然先前的工作已经研究了其中的一些考虑因素，他们通常得出结论的基础上有限的范围内的实证研究。对于如何构建一个校准良好的基于PLM的预测管道，仍然缺乏整体分析。为了填补这一空白，我们根据三个流行的NLP分类任务和域转移的设置，比较了各种流行的选项。作为回应，我们建议如下：（1）使用ELECTRA进行PLM编码，（2）如果可能，使用更大的PLM，（3）使用Temp Scaling作为不确定性量化器，以及（4）使用Focal Loss进行微调。
2022-10-14 cs.CL cs.LG stat.ML
Pre-Training BERT on Arabic Tweets: Practical Considerations
Qatar Computing Research Institute（卡塔尔计算研究所）；HBKU（卡塔尔哈马德·本·哈利法大学）
为下游NLP任务预训练来自Transformers的双向编码器表示（BERT）是一项非常重要的任务。我们预训练了5个BERT模型，这些模型在训练集的大小、正式和非正式阿拉伯语的混合以及语言预处理方面有所不同。所有这些都旨在支持阿拉伯方言和社交媒体。实验突出了数据多样性的中心地位和语言感知分割的有效性。他们还强调，更多的数据或更多的训练步骤并不需要更好的模型。我们的新模型在多个下游任务上实现了新的最先进的结果。由此产生的模型以QARiB的名义发布给社区。
2021-02-21 cs.AI cs.CL
Large Language Models: A New Approach for Privacy Policy Analysis at Scale
ETSI Telecomunicación Universidad Politécnica de Madrid Spain（马德里理工大学电信工程学院）；School of Computer Science Carnegie Mellon University（计算机科学学院卡内基梅隆大学）
本文提出利用大型语言模型进行大规模隐私政策分析，通过高效提取隐私实践，实现高准确率和低资源消耗。
2024-05-31 cs.CL cs.CY
Uncertainty Measures in Neural Belief Tracking and the Effects on Dialogue Policy Performance
Heinrich Heine Universität Düsseldorf（海因里希·海涅杜塞尔多夫大学）；Yandex Research（Yandex研究院）；HSE University（高等经济学院）
识别和解决不确定性的能力对于对话系统的鲁棒性至关重要。事实上，这已经在利用贝叶斯方法进行对话信念跟踪的系统上得到了经验证实。然而，此类系统仅考虑置信度估计，并且难以扩展到更复杂的设置。另一方面，神经对话系统很少考虑不确定性。因此，他们对自己的决定过于自信，不够稳健。此外，跟踪任务的性能通常是孤立评估的，而不考虑其对下游政策优化的影响。我们提出了使用不同的不确定性措施在神经信念跟踪。这些措施对下游任务的政策优化的影响进行评估，通过添加选定的措施的不确定性的特征空间的政策和培训政策，通过与用户模拟器的交互。人类和模拟用户的结果表明，将这些措施导致的下游对话政策的性能和鲁棒性的改善。这突出了开发考虑不确定性的神经对话信念跟踪器的重要性。
2021-09-09 cs.CL
Energy Considerations of Large Language Model Inference and Efficiency Optimizations
Carnegie Mellon University（卡内基梅隆大学）；Hugging Face
本研究系统分析LLM推理效率优化在不同工作负载下的能源影响，提出基于装箱策略的建模方法，发现优化可降低总能耗高达73%，为可持续部署提供依据。
2025-04-24 cs.CL cs.LG
Deep Learning for Political Science
University of Essex（埃塞克斯大学）；Hertie School（赫蒂学院）
政治科学和一般的社会科学传统上一直使用计算方法来研究投票行为，政策制定，国际冲突和国际发展等领域。最近，越来越多的可用数据与改进的算法和负担得起的计算资源相结合，以预测，学习和发现来自大量和各种数据的新见解。机器学习、深度学习、自然语言处理（NLP）以及更普遍的人工智能（AI）领域的新发展正在为测试理论以及以更动态和有效的方式评估干预措施和计划的影响开辟新的机会。使用大量结构化和非结构化数据的应用在政府和工业中越来越普遍，在社会科学研究中也越来越普遍。本章从政治学的角度对这些方法进行了介绍。本章重点关注这些领域中方法的优势与挑战相吻合的领域，首先介绍了人工智能及其核心技术-机器学习，以及快速发展的深度学习子领域。深度神经网络的讨论是用与政治学相关的NLP任务来说明的。本文还综述了自然语言处理领域深度学习方法的最新进展，以及它们在政治学文本信息抽取和模式识别方面的潜力。
2020-05-13 cs.CL cs.LG
From Explainable to Interpretable Deep Learning for Natural Language Processing in Healthcare: How Far from Reality?
School of Computer Science and Electronic Engineering, University of Essex（埃塞克斯大学计算机科学与电子工程学院）；Harvard Medical School（哈佛医学院）；Boston Children’s Hospital（波士顿儿童医院）；University of Southampton（南安普顿大学）；Athena Research Centre（雅典娜研究中心）
本文综述了医疗NLP中可解释与可解释性深度学习（XIAI），发现注意力机制是主流IAI技术，指出当前挑战并呼吁整合LLMs与领域模型以推动应用。
2024-10-16 cs.AI cs.CL cs.LG
