Advancing NLP Security by Leveraging LLMs as Adversarial Engines
Center for AI Security Research(人工智能安全研究中心)
本文提出将 LLM 用作多样化对抗攻击生成引擎,扩展词级攻击至补丁、通用扰动和定向攻击,以发现漏洞并提升 NLP 系统安全性。
2024-10-23 cs.AI cs.CL
Beyond Black-Box Labels: Interpretable Criteria for Diagnosing Subjective NLP Tasks
CReSTIC, Université de Reims Champagne-Ardenne(里摩日香槟-阿登大学CReSTIC研究中心);Chochoy Conseil(Chochoy咨询公司)
本文提出一种在确定金标签前审计注释方案的可解释诊断方法,用于识别主观NLP任务中分歧的根源,通过分析多注释者标准判断,发现分歧集中在少数标准上,且近半数句子激活多个类别。
2026-04-30 cs.AI cs.CL
skweak: Weak Supervision Made Easy for NLP
Norwegian Computing Center(挪威计算中心);University of Oslo(奥斯陆大学)
我们介绍了skweak,一个多功能的,基于Python的软件工具包,使NLP开发人员能够将弱监督应用于广泛的NLP任务。弱监督是一种新兴的机器学习范式,它基于一个简单的想法:我们使用来自领域知识的标签函数来自动获取给定数据集的注释,而不是手动标记数据点。然后,将得到的标签与生成模型聚合,该生成模型估计每个标签函数的准确性(和可能的混淆)。skweak工具包可以很容易地在文本数据上实现大量的标签功能(如分类、地名词典、神经模型或语言约束),将它们应用于语料库,并以完全无监督的方式聚合它们的结果。skweak是专门为促进弱监督用于NLP任务而设计的,例如文本分类和序列标签。我们说明了使用skweak的NER和情感分析。skweak是在开放源码许可下发布的,可在https://github.com/NorskRegnesentral/skweak上获得
2021-04-19 cs.AI cs.CL cs.LG
LIMIT: Less Is More for Instruction Tuning Across Evaluation Paradigms
Princeton University(普林斯顿大学);MosaicML;Databricks
本研究探究指令微调中数据规模与多样性的影响,发现1k-6k条样本足以在传统NLP基准和基于模型的评估上取得良好性能,且混合教科书式与开放式问答数据可优化两种范式下的表现。
2023-11-22 cs.AI cs.CL cs.LG
Why Low-Resource NLP Needs More Than Cross-Lingual Transfer: Lessons Learned from Luxembourgish
SnT, University of Luxembourg(卢森堡大学SnT学院);Luxembourg Institute of Science and Technology(卢森堡科学技术研究院)
本文探讨了低资源语言处理中跨语言迁移与语言特定努力的互补性,指出两者需结合以构建可持续的NLP流程。
2026-05-11 cs.AI cs.CL
TARGET: Template-Transferable Backdoor Attack Against Prompt-based NLP Models via GPT4
Jinan University(暨南大学);Guangzhou Xuanyuan Research Institute Co., Ltd.(广州轩辕研究院有限公司);The Hong Kong Polytechnic University(香港理工大学)
本文提出TARGET方法,利用GPT4生成语气强烈模板作为后门触发器,并生成语气相似模板实现可迁移攻击,在多个NLP数据集和BERT模型上验证了其优于基线方法的攻击性能与隐蔽性。
2023-11-29 cs.AI cs.CL
From Sentences to Sequences: Rethinking Languages in Biological System
Zhejiang University(浙江大学)
本文重新审视生物系统中“语言”的概念,将生物分子三维结构作为语义内容,强调结构评估的重要性,并证明自回归范式适用于蛋白质、RNA和DNA等生物序列建模。
2025-07-03 cs.AI q-bio.BM
Solving the Right Problem is Key for Translational NLP: A Case Study in UMLS Vocabulary Insertion
The Ohio State University(俄亥俄州立大学);National Library of Medicine(美国国家医学图书馆)
本研究以UMLS词汇插入为例,提出贴合真实任务的新设定、数据集与强基线,并开发规则增强生物医学语言模型,证明正确的问题设定对转化型NLP至关重要。
2023-11-25 cs.CL
SEMFED: Semantic-Aware Resource-Efficient Federated Learning for Heterogeneous NLP Tasks
Military College of Signals (MCS) National University of Sciences and Technology (NUST)(军事信号学院(MCS)国立科学与技术大学(NUST))
本文提出SEMFED框架,通过语义感知客户端选择、自适应模型架构和语义特征压缩技术,解决异构NLP任务中的联邦学习挑战,在保持98%以上准确率的同时降低80.5%通信成本。
2025-05-26 cs.AI cs.CL cs.LG
How to Enable Effective Cooperation Between Humans and NLP Models: A Survey of Principles, Formalizations, and Beyond
Sichuan University(四川大学);Singapore Management University(新加坡国立大学);York University(约克大学);Engineering Research Center of Machine Learning and Industry Intelligence, Ministry of Education, China(机器学习与产业智能工程研究中心,教育部,中国);National University of Singapore(新加坡国立大学)
本文综述了人类与NLP模型合作的新范式,提出统一分类法总结现有方法,并探讨前沿挑战,为未来研究奠定基础。
2025-05-22 cs.AI cs.CL cs.HC
Natural Language Processing for Cardiology: A Narrative Review
本综述系统梳理2014-2025年心脏病学领域NLP研究,筛选265篇文献从多维度分析,揭示从规则系统到LLM的方法演进,指出可解释LLM、多模态融合等未来方向,是该领域迄今最全面的综述。
2025-10-22 cs.AI cs.CL
Towards Open-Ended Discovery for Low-Resource NLP
McGill University(麦吉尔大学);Mila Quebec AI Institute(魁北克人工智能研究所);École de technologie supérieure (ÉTS)(高等技术学院)
本文呼吁转向互动性语言发现,通过人机协作动态学习低资源语言,推动参与式共适应学习。
2026-02-08 cs.AI cs.CL
Data Augmentation using Large Language Models: Data Perspectives, Learning Paradigms and Challenges
Nanyang Technological University(南洋理工大学);Princeton University(普林斯顿大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Salesforce AI
该综述从数据与学习视角系统梳理利用 LLM 进行数据增强的策略、训练范式及开放挑战,旨在呈现 LLM 带来的范式转变并指导相关研究与实践。
2024-07-02 cs.AI cs.CL
A Quantum-Inspired Analysis of Human Disambiguation Processes
University College London(伦敦大学学院)
本研究将量子力学的互文性、因果性等形式体系应用于语言学歧义研究,复现了人类消歧相关的心理语言学结果,其用于预测人类行为的表现优于现有NLP方法,为探索NLP领域的量子优势提供了新方向。
2024-08-14 cs.AI cs.CL cs.LO
Simpson's Bias in NLP Training
Rakuten Institute of Technology(乐天技术研究所);Microsoft Research(微软研究院);Rakuten, Inc.(乐天株式会社)
在大多数机器学习任务中,我们通过测量群体级别度量$F(S;M)$来评估给定数据群体$S$上的模型$M$。这样的评估度量$F$的示例包括用于(二进制)识别的精确度/召回率、用于多类分类的F1分数以及用于语言生成的BLEU度量。另一方面,通过在每个学习步骤$t$处优化样本级损失$G(S_t;M)$来训练模型$M$,其中$S_t$是$S$的子集(也称为$S$)。小批量)。$G$的流行选择包括交叉熵损失、骰子损失和重复级别BLEU分数。该范例背后的基本假设是,如果在所有可能的样本上求平均,则样本级损失$G$的平均值应该有效地表示任务的群体级度量$F$,例如,$\mathbb{E}[ G(S_t;M) ] \approx F(S;M)$。在本文中,我们系统地研究了上述假设在几个NLP任务。我们在理论和实验上都表明,样本级损失$G$的一些流行设计可能与任务的真实群体级度量$F$不一致,因此,经过训练以优化前者的模型可能基本上是后者的次优,我们称之为辛普森偏差的现象,由于它与统计学和社会科学中的经典悖论辛普森反转悖论有着深刻的联系。
2021-03-13 cs.AI cs.CL cs.LG
Corex: Pushing the Boundaries of Complex Reasoning through Multi-Model Collaboration
Shanghai AI Laboratory(上海人工智能实验室);The University of Hong Kong(香港大学);Fudan University(复旦大学);East China Normal University(华东师范大学)
Corex提出多模型协作策略(辩论、审查、检索模式),将LLMs转化为自主智能体,以增强推理的事实性和可靠性,在四类推理任务上显著优于现有方法。
2024-08-21 cs.AI cs.CL
Fabricator: An Open Source Toolkit for Generating Labeled Training Data with Teacher LLMs
Humboldt University of Berlin(柏林洪堡大学);deepset GmbH(deepset有限公司)
Fabricator是一个开源Python工具包,利用教师大语言模型生成标注训练数据,支持多种下游NLP任务,旨在促进可复现的数据集生成实验和模型训练。
2024-02-02 cs.AI cs.CL
Recitation-Augmented Language Models
Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个新的范例,以帮助大语言模型(LLM)生成更准确的事实知识,而无需从外部语料库检索,称为RECITation-augmented gEneration(RECITE)。与在生成输出之前检索相关文档的检索增强语言模型不同,给定输入,RECITE首先通过采样从LLM自己的记忆中背诵一个或多个相关段落,然后生成最终答案。我们表明,RECITE是知识密集型NLP任务的一个强大的范例。具体来说,我们表明,通过利用背诵作为中间步骤,背诵和回答方案可以实现新的国家的最先进的性能在各种闭卷问答(CBQA)任务。在实验中,我们验证了\method ~在四个预训练模型(PaLM,UL 2,OPT和Codex)和三个CBQA任务(自然问题,TriviaQA和HotpotQA)上的有效性。我们的代码可以在“https://github.com/Edward-Sun/RECITE“上找到。
2023-02-16 cs.AI cs.CL
RAG and RAU: A Survey on Retrieval-Augmented Language Model in Natural Language Processing
East China University of Science and Technology(东华大学);Peking University(北京大学)
本综述系统梳理了检索增强语言模型(RALMs)在NLP中的研究,涵盖RAG与RAU两大范式,分析其组件、分类、应用及评估方法,并指出当前局限与未来方向。
2025-06-29 cs.AI cs.CL
The Evolution of Natural Language Processing: How Prompt Optimization and Language Models are Shaping the Future
RPTU Rheinland-Pfälzische Technische Universität Kaiserslautern-Landau(莱茵-普法尔茨理工大学);German Research Centre for Artificial Intelligence(德国人工智能研究中心)
本文综述提示优化策略,将其分为11类,分析工作范式、应用任务及评估基准,旨在填补全面分析空白,为未来比较研究和创新预测器开发奠定基础。
2025-06-21 cs.AI cs.CL
Online Training of Large Language Models: Learn while chatting
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
针对大语言模型现有交互范式灵活性不足、定制化难、缺乏持续学习的问题,本文提出“基于外部交互的在线训练”新范式,融合实时持续更新与个性化定制优势。
2024-03-04 cs.AI cs.CL
Automated ICD Classification of Psychiatric Diagnoses: From Classical NLP to Large Language Models
Department of Sistemas Informáticos, Universidad Politécnica de Madrid, Spain(西班牙马德里理工大学信息系统系);KNODIS Research Group, Universidad Politécnica de Madrid, Spain(西班牙马德里理工大学KNODIS研究组);CIBERSAM ISCIII, Spain(西班牙ISCIII CIBERSAM);Department of Legal Medicine, Psychiatry and Pathology. Complutense University of Madrid, Spain(西班牙马德里康普顿斯大学法医学、精神病学与病理学系);Hospital Universitario de Móstoles, Universidad Rey Juan Carlos, Spain(西班牙雷阿尔皇家卡洛斯大学莫斯特oles大学医院);Department of Psychiatry, University Hospital Jimenez Díaz Fundation, Madrid, Spain(西班牙圣地亚哥· jiménez Díaz基金会精神病科部);Department of Psychiatry, University Hospital Rey Juan Carlos, Móstoles, Spain(西班牙雷阿尔皇家卡洛斯大学莫斯特oles医院精神病科部);Department of Psychiatry, General Hospital of Villalba, Madrid, Spain(西班牙维拉尔巴医院精神病科部);Department of Psychiatry, University Hospital Infanta Elena, Madrid, Spain(西班牙伊菲格尼亚医院精神病科部);Department of Psychology, Universidad Catolica del Maule, Talca, Chile(智利马尔学院心理学系);Department of Psychiatry, Madrid Autonomous University, Madrid, Spain(西班牙马德里自治大学精神病科部)
本研究提出利用NLP和机器学习技术将自由文本描述映射到国际疾病分类(ICD),以自动化精神病诊断分析,通过评估从经典频率模型到先进大语言模型的多种文本表示方法,展示了transformer嵌入在捕捉隐含语义线索和细致医学术语方面的优势。
2026-05-20 cs.AI cs.CL cs.LG
Continual Learning of Natural Language Processing Tasks: A Survey
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本综述全面回顾了NLP中持续学习的最新进展,涵盖所有设置、灾难性遗忘预防、知识迁移及任务间类别分离挑战,并提出了未来研究方向。
2023-05-11 cs.AI cs.CL cs.LG
Two Contrasting Data Annotation Paradigms for Subjective NLP Tasks
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所);Bocconi University(博科尼大学)
标记数据是大多数自然语言处理任务的基础。然而,标记数据是困难的,并且对于正确的数据标签应该是什么,通常存在不同的有效信念。到目前为止,数据集创建者已经承认了注释者的主观性,但很少在注释过程中积极管理它。这导致了部分主观的数据集无法为明确的下游用途服务。为了解决这个问题,我们提出了两个对比的数据注释范例。描述性范式鼓励注释者的主观性,而规定性范式则不鼓励这种主观性。描述性注释允许对不同的信念进行调查和建模,而规定性注释则允许训练始终应用一种信念的模型。我们讨论了实现这两种范式的好处和挑战,并认为数据集创建者应该明确针对其中一个或另一个,以促进其数据集的预期用途。最后,我们使用仇恨言论数据进行注释实验,说明两种范式之间的对比。
2022-04-29 cs.CL
A Diachronic Analysis of Paradigm Shifts in NLP Research: When, How, and Why?
IBM Research Europe, Ireland(IBM欧洲研究院(爱尔兰));National Research Council Canada(加拿大国家研究委员会)
本文提出基于因果发现和推断的系统框架,分析NLP研究主题演变,发现任务和方法是主要驱动力,数据集次之,指标影响极小。
2023-10-25 cs.CL
The Natural Language Decathlon: Multitask Learning as Question Answering
Salesforce Research(赛富时研究院)
深度学习提高了许多自然语言处理(NLP)任务的性能。然而,一般的NLP模型不能出现在一个专注于单一指标,数据集和任务的特殊性的范式中。我们介绍了自然语言十项全能(decaNLP),这是一个跨越十项任务的挑战:问答,机器翻译,摘要,自然语言推理,情感分析,语义角色标注,zero-shot关系抽取,面向目标的对话,语义解析和常识代词解析。我们将所有任务都转换为上下文上的问答。此外,我们提出了一个新的多任务问答网络(MQAN)联合学习decaNLP中的所有任务,在多任务设置中没有任何特定于任务的模块或参数。MQAN在机器翻译和命名实体识别的迁移学习、情感分析和自然语言推理的领域自适应以及文本分类的zero-shot功能方面有所改进。我们证明了MQAN的多指针生成器解码器是成功的关键,并且通过反课程训练策略进一步提高了性能。尽管是为decaNLP设计的,MQAN也在单任务设置中实现了WikiSQL语义解析任务的最新结果。我们还发布了用于获取和处理数据、训练和评估模型以及复制decaNLP所有实验的代码。
2018-06-20 cs.AI cs.CL cs.LG
Why Should Adversarial Perturbations be Imperceptible? Rethink the Research Paradigm in Adversarial NLP
Tsinghua University(清华大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Alibaba Group(阿里巴巴集团);Chongqing University(重庆大学)
文本对抗样本在NLP研究的多个子领域中发挥着重要作用,包括安全性,评估,可解释性和数据增强。然而,大多数工作混合了所有这些角色,模糊了安全角色的问题定义和研究目标,旨在揭示NLP模型的实际问题。本文对安全场景中文本对抗样本的研究范式进行了重新思考。我们讨论了以前工作中的不足之处,并提出我们的建议,面向安全的对抗性NLP(SoadNLP)的研究应该:(1)评估他们的安全任务的方法,以证明现实世界的关注;(2)考虑现实世界的攻击者的目标,而不是开发不切实际的方法。为此,我们首先收集、处理并发布一个安全数据集集合Advbench。然后,我们重新形式化的任务,并调整SoadNLP中不同目标的重点。接下来,我们提出了一种基于启发式规则的简单方法,可以很容易地实现实际的对抗目标来模拟现实世界的攻击方法。我们在Advbench上对攻击方和防御方进行了实验。实验结果表明,该方法具有较高的实用价值,表明SoadNLP的研究范式可以从我们的新基准开始。Advbench的所有代码和数据都可以在\url{https://github.com/thunlp/Advbench}上获得。
2022-10-19 cs.CL cs.CR cs.LG
A Word-to-Word Model of Translational Equivalence
许多多语言NLP应用程序需要在不同语言之间翻译单词,但无法承担诱导或应用完整翻译模型的计算费用。对于这些应用程序,我们设计了一个快速算法估计的部分翻译模型,占翻译等价只在字的水平。该模型的精度/召回率的权衡可以通过一个阈值参数直接控制。这个特性使得模型更适合于不完全统计的应用。模型的隐藏参数可以很容易地根据模型的外部信息进行调节,从而提供了一种简单的方法来集成预先存在的知识,例如词性、词典、词序等。我们的模型可以连接平行文本中的单词标记以及文献中的其他翻译模型。与其他翻译模型不同,它可以自动生成字典大小的翻译词典,并且准确率超过99%。
1997-06-24 cmp-lg cs.CL
Evaluating neural network explanation methods using hybrid documents and morphological agreement
Center for Information and Language Processing(信息与语言处理中心);LMU Munich(慕尼黑大学)
深度神经网络(DNN)的行为很难理解。这就需要探索事后解释方法。我们对NLP的解释方法进行了第一次全面评估。为此,我们设计了两个新的评估范式,涵盖两个重要的NLP问题:小背景和大背景的问题。这两种范例都不需要手动注释,因此具有广泛的适用性。我们还介绍了LIMSSE,这是一种受LIME启发的解释方法,专为NLP设计。我们的经验表明,LIMSSE,LRP和DeepLIFT是最有效的解释方法,并推荐它们用于解释NLP中的DNN。
2019-05-06 cs.CL
To Build Our Future, We Must Know Our Past: Contextualizing Paradigm Shifts in Natural Language Processing
Carnegie Mellon University(卡内基梅隆大学);Cornell University(康奈尔大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本文通过26名NLP研究人员的长篇访谈和ACL Anthology的定量分析,探讨了塑造NLP领域的文化、激励和基础设施因素,揭示了周期性模式与基准文化等新转变,旨在促进对社区隐性规范的知情讨论以有意识地塑造未来。
2023-10-11 cs.CL cs.CY
Rethinking Network Pruning -- under the Pre-train and Fine-tune Paradigm
The Pennsylvania State University(宾夕法尼亚州立大学);Moffett AI(墨菲特人工智能公司)
近年来,基于transformer的预训练语言模型显著提高了各种自然语言处理(NLP)任务的性能。虽然这些模型有效且普遍,但对于资源有限的部署场景来说,它们通常过于庞大。因此,一个研究思路一直致力于在NLP中广泛采用的预训练然后微调范式下应用网络修剪技术。然而,现有的基准Transformers,如BERT,修剪结果并不显着的卷积神经网络(CNN)的文献中的修剪结果。特别地,修剪CNN的常识指出,稀疏修剪技术比通过减少通道和层的数量获得的模型压缩得更多(Elsen等人,二○二○年; Zhu和Gupta,2017年),而现有的关于BERT稀疏修剪的工作产生的结果不如其小密度对应物,如Tiny BERT(Jiao等人,2020年)。在这项工作中,我们的目标是通过研究知识如何在预训练,微调和修剪过程中转移和丢失来填补这一空白,并提出一个知识感知的稀疏修剪过程,实现了比现有文献更好的结果。我们首次表明,稀疏修剪压缩的BERT模型显着超过减少其通道和层的数量。在GLUE基准测试的多个数据集上的实验表明,该方法在20倍的权重/FLOPs压缩率和可忽略的预测精度损失下,优于领先的竞争对手。
2022-01-16 cs.AI cs.CL
Few-Shot Learning for Clinical Natural Language Processing Using Siamese Neural Networks
University of Pittsburgh(匹兹堡大学)
临床自然语言处理(NLP)已成为医疗保健领域的一项新兴技术,它利用电子健康记录(EHR)中的大量自由文本数据来改善患者护理,支持临床决策,并促进临床和转化科学研究。最近,深度学习在许多临床NLP任务中取得了最先进的性能。然而,训练深度学习模型通常需要大型带注释的数据集,这些数据集通常不公开,并且在临床领域中构建可能非常耗时。在临床NLP中,使用较小的注释数据集是典型的,因此,确保深度学习模型表现良好对于模型在现实世界中的应用至关重要。一种被广泛采用的方法是微调现有的预训练语言模型(PLM),但当训练数据集只包含少量注释样本时,这些尝试就显得不够了。少样本学习(FSL)最近被研究来解决这个问题。连体神经网络(SNN)作为一种FSL方法在计算机视觉中得到了广泛的应用,但在自然语言处理中还没有得到很好的研究。此外,关于其在临床领域应用的文献很少。在本文中,我们提出了两种基于SNN的临床NLP FSL方法,包括预训练SNN(PT-SNN)和SNN与二阶嵌入(SOE-SNN)。我们评估了两个临床任务,即临床文本分类和临床命名实体识别所提出的方法。我们测试了三种Few-Shot设置,包括4次、8次和16次学习。两个临床NLP任务都使用三个PLM进行基准测试,包括BERT、BioBERT和BioClinicalBERT。实验结果验证了所提出的基于SNN的FSL方法在两个NLP任务中的有效性。
2022-10-26 cs.CL
Evaluating the Diversity, Equity and Inclusion of NLP Technology: A Case Study for Indian Languages
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
本文提出从多样性、公平性和包容性三个维度评估NLP技术的范式,引入基尼系数衡量语言间公平性,揭示印度语言技术的困境,并提出区域化建模与微调资源优化分配方法。
2023-04-12 cs.CL
Robustness Gym: Unifying the NLP Evaluation Landscape
Stanford University(斯坦福大学);Salesforce Research(赛富时研究院);UNC-Chapel Hill(北卡罗来纳大学教堂山分校)
尽管在标准基准测试中表现出色,但深度神经网络在部署到现实世界的系统中时往往很脆弱。因此,最近的研究集中在测试这些模型的鲁棒性上,从而产生了从对抗攻击到基于规则的数据转换的各种评估方法。在这项工作中,我们确定了评估NLP系统的挑战,并提出了一个解决方案,鲁棒性健身房(RG)的形式,一个简单的和可扩展的评估工具包,统一了4个标准的评估范式:子群,转换,评估集,和对抗攻击。通过提供一个通用的评估平台,Robustness Gym使从业者只需点击几下就可以比较所有4种评估范式的结果,并使用内置的一组抽象轻松开发和共享新的评估方法。为了验证Robustness Gym对从业者的实用性,我们与情感建模团队进行了一个真实的案例研究,揭示了18%以上的性能下降。为了验证健壮健身房可以帮助新的研究分析,我们进行了第一次研究的国家的最先进的商业和学术命名实体链接(NEL)系统,以及细粒度分析的国家的最先进的摘要模型。对于NEL来说,商业系统很难链接稀有实体,并落后于学术同行10%以上,而最先进的摘要模型在需要抽象和蒸馏的示例上很难,降低了9%以上。鲁棒性健身房可以在https://robustnessgym.com/上找到
2021-01-13 cs.AI cs.CL cs.LG
Librarian-in-the-Loop: A Natural Language Processing Paradigm for Detecting Informal Mentions of Research Data in Academic Literature
University of Michigan(密歇根大学);ICPSR(校际政治与社会研究联盟)
数据引用为研究数据影响提供了基础。数据引文的收集与管理是档案学和学术交流的一个新领域。然而,研究数据引用的发现和管理是劳动密集型的。引用唯一标识符(即DOI)的数据引用很容易找到;然而,对研究数据的非正式提及更难推断。我们提出了一个自然语言处理(NLP)的范例,以支持人类的任务,确定非正式提到的研究数据集。发现非正式数据提及的工作目前由跨大学政治和社会研究联盟(ICPSR)的图书馆员及其工作人员执行,这是一个大型社会科学数据档案馆,维护着大量与数据相关的文献书目。NLP模型是从ICPSR的图书馆员积极收集的数据引用中引导出来的。该模型将模式匹配与人类注释的多次迭代相结合,以学习用于检测非正式数据提及的其他规则。然后使用这些示例来训练NLP管道。图书馆员在循环范式以ICPSR图书馆员执行的数据工作为中心,支持更广泛的努力,以建立更全面的数据相关文献书目,反映研究数据用户的学术社区。
2022-03-10 cs.CL cs.DL cs.HC
Defining a New NLP Playground
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Northwestern University(西北大学);Dataminr, Inc.(Dataminr公司);University of Melbourne(墨尔本大学)
针对大语言模型冲击下NLP领域同质化与资源密集化、博士生处境不利的问题,本文提出20余个博士论文级别的研究方向,以定义新的NLP研究空间。
2023-10-31 cs.CL
Recent Advances in Multimodal Affective Computing: An NLP Perspective
Guangdong University of Technology(广东工业大学);Stony Brook University(石溪大学);University of Bologna(博洛尼亚大学);Peking University(北京大学);Nanyang Technological University(南洋理工大学);Arizona State University(亚利桑那州立大学)
本文从自然语言处理视角系统回顾了多模态情感计算的最新进展,聚焦于多模态情感分析、对话中多模态情绪识别、基于方面的多模态情感分析及多标签情绪识别等四个任务,提出统一视角并探讨相关方向与挑战。
2026-04-07 cs.CL
Commonsense Knowledge, Ontology and Ordinary Language
American Institutes for Research(美国研究院);University of Windsor(温莎大学);American University of Beirut(贝鲁特美国大学);AT&T Bell Labs(AT&T贝尔实验室);MetLife(大都会人寿);Cognos, Inc.(科格斯公司)
二十多年前,一场“相当大的革命”压倒性地取代了自然语言处理(NLP)中基于知识的方法,取而代之的是定量(例如,统计的、基于语料库的、机器学习)方法。虽然我们坚信,纯粹的定量方法不能是NLP的唯一范式,但对NLP构建大型知识库的纯粹工程方法的不满在某种程度上是合理的。在本文中,我们希望证明,这两种趋势都是部分误导和时间已经到了丰富的逻辑语义与本体论结构,反映了我们的常识世界观和我们在日常语言中谈论的方式。在本文中,它将被证明,假设这样一个本体结构的自然语言的语义(例如,借代、内涵、重叠、名词性复合词等)都可以得到适当和统一的处理。
2008-08-08 cs.AI cs.CL
Uncertainty in Natural Language Processing: Sources, Quantification, and Applications
Nankai University(南开大学);Tsinghua University(清华大学);Tencent AI Lab(腾讯人工智能实验室)
本文综述 NLP 中模型不确定性的来源、量化方法与应用,将其来源分为输入、系统和输出三类,并指出未来挑战。
2023-06-05 cs.CL
Automated essay scoring using efficient transformer-based language models
Cambium Assessment, Inc.(坎比姆评估公司);University of Colorado, Boulder(科罗拉多大学博尔德分校)
自动作文评分(AES)是一项跨学科的工作,涉及教育,语言学和自然语言处理(NLP)。AES中NLP模型的有效性测试了它评估长期依赖性和推断含义的能力,即使文本写得很差。大型预训练的基于transformer的语言模型在许多NLP任务中占据了主导地位,然而,这些模型的计算要求使得它们在实践中部署起来非常昂贵。本文的目标是挑战NLP中的范式,即AES越大越好。为此,我们评估了几个微调的预训练NLP模型的性能,这些模型在AES数据集上具有适度数量的参数。通过集成我们的模型,我们比大多数基于transformer的预训练模型使用更少的参数获得了出色的结果。
2021-02-25 cs.CL cs.LG
From Triage to Discharge: A Survey of NLP Tasks, Methods, and Open Challenges in the Emergency Department
University of New South Wales(新南威尔士大学)
本综述分析46篇论文,梳理急诊部门分诊、诊断、处置阶段的NLP任务与方法,指出模型从特定架构向预训练语言模型转变等趋势,明确泛化能力有限等开放挑战,为相关研究提供方向。
2026-08-26 cs.CL
Synergizing Machine Learning & Symbolic Methods: A Survey on Hybrid Approaches to Natural Language Processing
School of Electronic Engineering and Computer Science, Queen Mary University of London(伦敦大学玛丽女王学院电子工程与计算机科学学院)
本文综述了结合机器学习与符号方法的混合NLP技术,涵盖理解、生成与推理任务,并总结现有资源、挑战及未来研究方向。
2024-03-18 cs.CL
Logical Reasoning over Natural Language as Knowledge Representation: A Survey
Nanyang Technological University(南洋理工大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文综述了以自然语言作为知识表示、预训练语言模型作为推理器的逻辑推理新范式,涵盖其优势、基准、挑战及未来方向,该范式有效缓解了形式表示的瓶颈并优于端到端神经方法。
2024-02-16 cs.AI cs.CL
A Systematic Review of NLP for Ghanaian Languages: Datasets, Models, and a Research Roadmap
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
该综述系统梳理加纳NLP研究,揭示资源严重偏向契维语、其余语言几乎空白,并提出针对区域限制和基础设施缺失的优先研究路线图。
2026-09-17 cs.CL
Applied Sociolinguistic AI for Community Development (ASA-CD): A New Scientific Paradigm for Linguistically-Grounded Social Intervention
本文提出ASA-CD,一种通过语言基础AI干预解决社区问题的新范式,引入语言生物标记物、开发导向的NLP和五阶段干预协议,以实现社区赋权。
2026-01-30 cs.AI cs.CL cs.CY
Natural Language Reasoning, A Survey
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Halmstad University(哈尔姆斯塔德大学)
本综述为NLP中的自然语言推理提供清晰定义与分类,全面回顾经典逻辑推理、自然语言推断、多跳问答和常识推理,并强调反向推理与可废止推理作为未来方向。
2023-05-13 cs.CL
Unsupervised Morphological Paradigm Completion
Carnegie Mellon University(卡内基梅隆大学);Johns Hopkins University(约翰斯·霍普金斯大学);University of Colorado(科罗拉多大学)
我们提出了无监督形态范式完成的任务。仅给定原始文本和词元列表,任务包括生成形态范例,即,所有的词形变化形式。从自然语言处理(NLP)的角度来看,这是一项具有挑战性的无监督任务,高性能系统有潜力改进低资源语言的工具或帮助语言注释者。从认知科学的角度来看,这可以揭示儿童如何获得形态知识。我们进一步介绍了一个系统的任务,通过以下步骤生成形态范式:(i)编辑树检索,(ii)额外的引理检索,(iii)范式大小发现,(iv)变形生成。我们对14种不同类型的语言进行了评估。我们的系统轻松地超越了平凡的基线,对于某些语言,甚至比最低监督系统获得了更高的准确性。
2020-05-20 cs.CL
Tokenization and Morphological Fidelity in Uralic NLP: A Cross-Lingual Evaluation
University of Eastern Finland(东芬兰大学);AI-Bio Convergence Research Institute(人工智能-生物融合研究所);Soongsil University(崇实大学)
本文通过比较三种子词方法在六个乌拉尔语中的表现,发现OBPE在形态对齐和标注准确性上优于传统方法,尤其在拉丁字母语中表现突出。
2026-02-14 cs.CL
A Large and Diverse Arabic Corpus for Language Modeling
New York University Abu Dhabi(纽约大学阿布扎比分校);Inception Institute of AI(人工智能初创研究院);Saudi Aramco(沙特阿美公司);Kyndryl(金杜睿尔)
本文构建了超过500GB的阿拉伯语清洗文本语料库,用于训练大型阿拉伯语语言模型,在多个NLP任务上相比mBERT提升4.5%至8.5%,是目前最大的干净多样化阿拉伯语语料库。
2023-05-08 cs.AI cs.CL
What We Talk About When We Talk About LMs: Implicit Paradigm Shifts and the Ship of Language Models
Cornell University(康奈尔大学)
针对“语言模型(LMs)”术语指代随时间隐性更新的“语言模型之船”问题,本文基于NLP出版物构建数据基础设施并开展文本分析,揭示科学话语中系统与理论的相互影响,为科学进步研究提供新视角。
2025-02-09 cs.AI cs.CL
Trojaning Language Models for Fun and Profit
Pennsylvania State University(宾夕法尼亚州立大学);Zhejiang University(浙江大学)
近年来,出现了一种构建自然语言处理(NLP)系统的新范式:通用的预训练语言模型(LM)由简单的下游模型组成,并针对各种NLP任务进行微调。这种范式转变大大简化了系统开发周期。然而,由于许多LM是由不受信任的第三方提供的,它们缺乏标准化或监管会带来深刻的安全影响,这在很大程度上是未知的。为了弥合这一差距,这项工作研究了恶意LM对NLP系统构成的安全威胁。具体来说,我们提出了特洛伊-LM,一类新的木马攻击,恶意制作的LM触发主机NLP系统以高度可预测的方式发生故障。通过在一系列安全关键的NLP任务(有毒评论检测、问答、文本完成)中实证研究三种最先进的LM(BERT、GPT-2、XLNet)以及在众包平台上的用户研究,我们证明了TROJAN-LM具有以下特性:(i)灵活性-对手能够灵活地确定逻辑组合(例如,“and”、“or”、“xor”)任意单词作为触发器,(ii)功效-当存在嵌入触发器的输入时,主机系统很有可能按照对手的期望进行不当行为,(iii)特异性-特洛伊木马LM的功能与干净输入上的良性对应物无法区分,以及(iv)流畅性-嵌入语音的输入表现为流畅的自然语言并且与它们周围的上下文高度相关。我们提供了分析理由的实用性TROJAN-LM,并进一步讨论潜在的对策和他们的挑战,这导致几个有前途的研究方向。
2021-03-10 cs.CL cs.CR cs.LG
An Open Natural Language Processing Development Framework for EHR-based Clinical Research: A case demonstration using the National COVID Cohort Collaborative (N3C)
Mayo Clinic(妙佑医疗国际);Tufts Clinical and Translational Science Institute(塔夫茨临床与转化科学研究所);Tufts Medical Center(塔夫茨医疗中心);University of Kentucky(肯塔基大学);University of Kansas Medical Center(堪萨斯大学医学中心);University of Minnesota at Twin Cities(明尼苏达大学双城分校);University of Florida(佛罗里达大学);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);University of Michigan Medical School(密歇根大学医学院);Wake Forest Baptist Medical Center(维克森林浸信会医疗中心);Johns Hopkins University(约翰斯·霍普金斯大学);Stony Brook University(石溪大学);Sage Bionetwork(Sage生物网络)
虽然我们关注临床自然语言处理(NLP)的最新进展,但我们可以注意到,由于透明度、可解释性和可用性有限,临床和转化研究社区对采用NLP模型存在一些阻力。在这项研究中,我们提出了一个开放的自然语言处理开发框架。我们通过为国家COVID队列协作(N3 C)实施NLP算法对其进行了评估。基于对从COVID-19相关临床记录中提取信息抽取的兴趣,我们的工作包括1)使用COVID-19体征和症状作为用例的开放数据注释过程,2)社区驱动的规则组成平台,以及3)合成文本数据生成工作流程,以生成用于信息抽取任务的文本,而不涉及人类受试者。语料库来自三个不同的机构(梅奥诊所,肯塔基大学,明尼苏达大学)的文本。金标准注释与一个单一的机构(梅奥)的规则进行了测试。这导致Mayo、Minnesota和Kentucky测试数据集的F分数分别为0.876、0.706和0.694。该研究作为N3 C NLP子组的联盟努力,证明了创建联合NLP算法开发和基准测试平台以加强多机构临床NLP研究和采用的可行性。虽然我们在这项工作中使用COVID-19作为用例,但我们的框架足够通用,可以应用于临床NLP的其他感兴趣领域。
2022-03-21 cs.CL cs.IR
Generative Input: Towards Next-Generation Input Methods Paradigm
University of Science and Technology of China(中国科学技术大学);State Key Laboratory of Cognitive Intelligence, iFLYTEK Research(认知智能国家重点实验室,科大讯飞研究院);iFLYTEK AI Research(科大讯飞人工智能研究院)
本文提出生成式输入范式GeneInput,通过提示统一处理输入场景并利用用户反馈实现个性化,首次在FK2C任务上达到最优性能,并在智能联想与对话辅助上超越GPT-4。
2023-11-02 cs.AI cs.CL
The Annotation Scarcity Paradox in Low-Resource NLP Evaluation: A Decade of Acceleration and Emerging Constraints
DSFSI & AfriDSAI, University of Pretoria(DSFSI与AfriDSAI, Pretoria大学)
本文探讨了低资源NLP评估中由于标注资源不足导致的矛盾,分析了过去十年中评估方法的发展阶段,并提出了新的解决方案以提升评估的公平性和有效性。
2026-07-01 cs.CL