Adapting Feature Attenuation to NLP
University of Michigan(密歇根大学);University of Colorado Colorado Springs(科罗拉多州立大学)
本文将特征衰减假设从计算机视觉移植到NLP,评估了COSTARR等方法在文本开放集识别中的表现,发现其在不重新训练的情况下效果有限,但指出了需要更大模型和定制策略的改进方向。
2026-01-02 cs.AI cs.LG
Putting Humans in the Natural Language Processing Loop: A Survey
College of Computing, Georgia Institute of Technology(佐治亚理工学院计算学院)
我们如何设计能够从人类反馈中学习的自然语言处理(NLP)系统?越来越多的人在回路(HITL)NLP框架的研究机构不断整合人类反馈以改进模型本身。HITL NLP研究是新兴的,但五花八门-解决各种NLP问题,从不同的人那里收集不同的反馈,并应用不同的方法从收集的反馈中学习。我们对机器学习(ML)和人机交互(HCI)社区的HITL NLP工作进行了调查,突出了其短暂但鼓舞人心的历史,并彻底总结了最近的框架,重点是他们的任务,目标,人类交互和反馈学习方法。最后,我们讨论了在NLP开发循环中整合人类反馈的未来方向。
2021-03-06 cs.AI cs.CL cs.HC
Fault-tolerant foundation models
MIT(麻省理工学院)
本文证明大型语言模型可训练以容忍硬件不可靠性,且规模增大时错误韧性增强,基于修正缩放定律推测其可能形式容错,为低能耗硬件上的AI推理提供节能路径。
2026-10-08 cs.AI cs.AR cs.LG
ANTONIO: Towards a Systematic Method of Generating NLP Benchmarks for Verification
Heriot-Watt University(赫瑞-瓦特大学);University of Edinburgh(爱丁堡大学);University of Birmingham(伯明翰大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文分析 NLP 模型难以用现有神经网络验证方法处理的技术原因,提出数据集与模型准备方法,并实现连接 ERAN 和 Marabou 的 Python 库 ANTONIO,用 R-U-A-Robot 数据集评估以支持 NLP 验证基准构建。
2023-08-15 cs.AI cs.CL cs.LG
NAS-Bench-NLP: Neural Architecture Search Benchmark for Natural Language Processing
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);National Research University Higher School of Economics(国立研究型大学高等经济学院)
神经结构搜索(NAS)是一个很有前途和快速发展的研究领域。训练大量的神经网络需要大量的计算能力,这使得NAS对于那些无法访问或无法访问高性能集群和超级计算机的研究人员来说是无法实现的。最近引入了一些具有预先计算的神经架构性能的基准测试来克服这个问题,并确保更多的可重复实验。然而,这些基准测试仅适用于计算机视觉领域,因此是从图像数据集和卷积衍生架构构建的。在这项工作中,我们走出计算机视觉领域,利用语言建模任务,这是自然语言处理(NLP)的核心。我们的主要贡献如下:我们在文本数据集上提供了递归神经网络的搜索空间,并在其中训练了14 k架构;我们使用语义相关性和语言理解评估数据集对训练模型进行了内在和外在评估;最后,我们测试了几种NAS算法,以证明如何利用预先计算的结果。我们相信我们的研究结果对NAS和NLP社区都有很高的使用潜力。
2020-06-12 cs.CL cs.LG stat.ML
Evaluating the Faithfulness of Importance Measures in NLP by Recursively Masking Allegedly Important Tokens and Retraining
Mila – Quebec AI Institute(米拉-魁北克人工智能研究所);Polytechnique Montréal(蒙特利尔综合理工学院);McGill University(麦吉尔大学);Facebook(脸书)
为了解释NLP模型,一种流行的方法是使用重要性度量,例如注意力,它告知输入令牌对于进行预测很重要。然而,一个悬而未决的问题是,这些解释在多大程度上准确地反映了模型的逻辑,即所谓的忠实性。为了回答这个问题,我们提出了递归ROAR,一个新的忠诚度度量。这是通过递归地屏蔽所谓的重要标记,然后重新训练模型来实现的。其原理是,与屏蔽随机令牌相比,这将导致更差的模型性能。结果是给定掩蔽比的性能曲线。此外,我们还提出了一个使用相对曲线间面积(RACU)的总结指标,该指标可以轻松比较论文、模型和任务。我们在8个不同的数据集上评估了4种不同的重要性度量,使用了LSTM注意力模型和RoBERTa模型。我们发现重要性度量的忠实性既依赖于模型又依赖于任务。这一结论与之前在计算机视觉和注意力忠实性文献中的评价相矛盾。
2022-10-31 cs.AI cs.CL cs.LG
Deep Learning Approaches for Improving Question Answering Systems in Hepatocellular Carcinoma Research
Virginia Tech(弗吉尼亚理工大学);Northeastern University(东北大学);University of Southern California(南加州大学);Miami University(迈阿密大学);Northern Arizona University(北亚利桑那大学)
本文探讨了基于BERT、GPT-3等大规模预训练模型的NLP问答系统在肝细胞癌研究中的应用现状与发展前景,旨在推动该领域的进一步探索。
2024-02-25 cs.AI cs.CL cs.LG
lambeq: An Efficient High-Level Python Library for Quantum NLP
Cambridge Quantum Computing(剑桥量子计算公司)
我们介绍了lambeq,第一个用于量子自然语言处理(QNLP)的高级Python库。这个开源工具包提供了一个详细的模块和类层次结构,实现了将句子转换为字符串图、张量网络和量子电路的管道的所有阶段,可以在量子计算机上使用。Lambeq支持句法分析、字符串图的重写和简化、语法创建和操作、以及用于准备句子的量子友好表示的多个组合模型,采用不同程度的语法敏感性。我们提出了通用的体系结构,并详细描述了最重要的模块,演示了使用说明性的例子。此外,我们在实践中测试工具包,使用它来执行一些简单的NLP任务的实验,实现经典和量子管道。
2021-10-08 cs.AI cs.CL quant-ph
A Survey of Methods for Addressing Class Imbalance in Deep-Learning Based Natural Language Processing
Bosch Center for Artificial Intelligence(博世人工智能中心);Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心)
许多自然语言处理(NLP)任务自然是不平衡的,因为某些目标类别比现实世界中的其他目标类别出现得更频繁。在这种情况下,当前的NLP模型在不太频繁的类上仍然表现不佳。解决NLP中的类不平衡是一个活跃的研究课题,然而,为特定的任务和不平衡场景找到一个好的方法是困难的。通过这项调查,我们首次对基于深度学习的NLP中的类不平衡进行了概述,为NLP研究人员和实践者处理不平衡数据提供了指导。我们首先讨论各种类型的控制和现实世界的阶级不平衡。然后,我们的调查涵盖了为类不平衡的NLP任务明确提出的方法,或者起源于计算机视觉社区的方法,已经对其进行了评估。我们组织的方法,无论是基于采样,数据增强,选择损失函数,分阶段学习,或模型设计。最后,我们讨论了开放的问题,如处理多标签场景,并提出系统的基准和报告,以推动这个问题作为一个社区。
2023-02-22 cs.AI cs.CL
End-To-End Anomaly Detection for Identifying Malicious Cyber Behavior through NLP-Based Log Embeddings
Laboratory for Advanced Cybersecurity Research(高级网络安全研究实验室);National Security Agency(国家安全局)
基于规则的入侵检测系统正被更强大的神经网络入侵检测系统所取代,在网络安全领域显示出巨大的潜力。然而,这些机器学习方法仍然依赖于ad-hoc特征工程技术,这些技术缺乏以与发现异常网络活动完全相关的方式对输入进行矢量化的能力。我们提出了一个深端到端的框架与NLP启发的组件,用于识别企业计算机网络上的潜在恶意行为。我们还证明了这种技术在最近发布的DARPA OpTC数据集上的有效性。
2021-08-27 cs.AI cs.CR
Learned in Translation: Contextualized Word Vectors
Salesforce(赛富时)
计算机视觉受益于使用在ImageNet等大型监督训练集上预训练的权重初始化多个深层。自然语言处理(NLP)通常只使用预训练的词向量初始化最低层的深度模型。在本文中,我们使用来自为机器翻译(MT)训练的注意序列到序列模型的深度LSTM编码器来对词向量进行上下文化。我们发现,添加这些上下文向量(CoVe)可以在各种常见的NLP任务上仅使用无监督的单词和字符向量来提高性能:情感分析(SST,IMDb),问题分类(TREC),蕴涵(SNLI)和问答(SQuAD)。对于细粒度的情感分析和蕴涵,CoVe将我们的基线模型的性能提高到最先进的水平。
2018-06-20 cs.AI cs.CL cs.LG
PerturbScore: Connecting Discrete and Continuous Perturbations in NLP
Fudan University(复旦大学)
本文提出PerturbScore,通过回归任务学习离散与连续扰动的相关性,以理解NLP模型鲁棒性,实验证明其优于现有方法且泛化性强。
2023-10-13 cs.CL
A Scoping Review of Publicly Available Language Tasks in Clinical Natural Language Processing
University of Wisconsin(威斯康星大学);Loyola University Chicago(芝加哥洛约拉大学);George Mason University(乔治梅森大学)
目的:提供关于临床自然语言处理(NLP)任务的论文的范围审查,这些任务使用来自一组患者的公开电子健康记录数据。材料和方法:检索了6个数据库,包括生物医学研究和计算机科学文献数据库。由两名评审员进行一轮标题/摘要筛选和全文筛选。我们的方法遵循系统性综述和荟萃分析(PRISMA)指南的首选报告项目。结果:2007年至2021年,共有35篇论文,47项临床NLP任务符合纳入标准。我们根据NLP问题的类型对任务进行了分类,包括名称实体识别,摘要和其他NLP任务。以药物滥用、表型分析、临床试验队列选择等临床决策支持应用为主题,介绍了一些任务。我们通过出版物和数据集信息总结了任务。讨论:随着NLP领域随着语言系统的进步而发展,临床NLP任务的广度不断增长。然而,在一般领域NLP社区和临床信息学社区之间的不同利益以及数据源的可概括性方面存在差距。我们还发现了数据选择和准备方面的问题,包括缺乏对时间敏感的数据,以及问题规模和评估的无效性。结论:现有的临床NLP任务涵盖了广泛的主题,该领域将继续增长,并吸引更多来自一般领域NLP和临床信息学社区的关注。我们鼓励未来的工作纳入多学科合作,报告透明度和数据准备的标准化。
2021-12-07 cs.AI cs.CL
FewJoint: A Few-shot Learning Benchmark for Joint Language Understanding
Harbin Institute of Technology(哈尔滨工业大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室)
少样本学习(FSL)是机器学习未来的关键步骤之一,并引起了广泛的关注。然而,与计算机视觉等其他领域的快速发展相比,自然语言处理领域的FSL的发展要缓慢得多。其中一个主要原因是缺乏公共基准。NLP FSL研究总是在自己构建的Few-Shot数据集上报告新的结果,这在结果比较中是相当低效的,从而阻碍了累积进展。在本文中,我们提出了FewJoint,一个新的NLP少样本学习基准。与大多数NLP FSL研究仅关注简单的N-分类问题不同,我们的基准测试引入了Few-Shot联合对话语言理解,它还涵盖了结构预测和多任务依赖问题。这使得我们的基准测试能够反映出超越简单N分类的真实NLP复杂性。我们的基准测试用于SMP 2020-ECDT task-1的少样本学习竞赛。我们还提供了一个兼容的FSL平台,以简化实验设置。
2020-12-13 cs.AI cs.CL
Efficient Agent Training for Computer Use
Shanghai Jiao Tong University(上海交通大学);SII;GAIR
本文提出PC Agent-E,通过结合人类标注数据与Claude 3.7 Sonnet生成的数据,实现了计算机使用代理的高效训练,取得显著性能提升。
2026-03-03 cs.AI cs.CL cs.LG
Time to Embrace Natural Language Processing (NLP)-based Digital Pathology: Benchmarking NLP- and Convolutional Neural Network-based Deep Learning Pipelines
University of Science and Technology of China(中国科学技术大学);UNSW Sydney(新南威尔士大学);Genmab Inc.(Genmab公司)
基于NLP的计算机视觉模型,特别是视觉Transformer,在许多成像任务中表现优于CNN模型。然而,大多数数字病理学人工智能模型基于CNN架构,这可能是由于缺乏有关病理学图像的NLP模型的数据。在这项研究中,我们开发了数字病理学管道,以基准测试最近提出的五种NLP模型(视觉Transformer(ViT),Swin Transformer,MobileViT,CMT和Sequencer2D)和四种流行的CNN模型(ResNet18,ResNet50,MobileNetV2和EfficientNet),以预测结直肠癌的生物标志物(微卫星不稳定性,CpG岛甲基化表型和BRAF突变)。来自分子和细胞肿瘤学和癌症基因组图谱的苏木精和伊红染色的全载玻片图像分别用作训练和外部验证数据集。交叉研究外部验证显示,基于NLP的模型在生物标志物预测任务中显著优于基于CNN的模型,将总体预测和精度分别提高了约10%和26%。值得注意的是,与当前文献中使用大型训练数据集的现有模型相比,我们的NLP模型使用相对较小的训练数据集实现了所有三种生物标志物的最新预测,这表明大型训练数据集不是NLP模型或Transformers的先决条件,NLP可能更适合于通常收集小型训练数据集的临床研究。Sequencer2D的优越性能表明,在数字病理学领域,有必要对Transformer和双向长短期记忆架构进行进一步的研究…
2023-02-21 cs.CL cs.CV cs.LG
Survey of Natural Language Processing for Education: Taxonomy, Systematic Review, and Future Trends
School of Data Science and Engineering, East China Normal University(数据科学与工程学院,东华大学)
本综述系统回顾了NLP在教育领域的应用,构建了涵盖问答、问题构建、自动评估和错误纠正等任务的分类体系,探讨了前沿技术及LLM方法,并指出了五个未来研究方向。
2025-10-11 cs.AI cs.CL
Towards AGI in Computer Vision: Lessons Learned from GPT and Large Language Models
Huawei Inc.(华为公司)
本文分析计算机视觉领域实现AGI的困境,借鉴大语言模型经验,提出核心短板是缺乏环境学习范式,构想了智能体在可交互环境中预训练+指令微调的路径,并展望了未来研究方向。
2023-06-14 cs.AI cs.CV
Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing
Rutgers University, New Brunswick(罗格斯大学新布朗斯维克分校);Tencent America(腾讯美国)
本文提出NLP分类任务基准DEIM与切片检测模型Edisa,自动发现并解释表现不佳的数据点群体,在不调整模型参数的情况下直接提升模型性能。
2023-09-10 cs.AI cs.CL cs.LG
Fine-Tuning BERT for Domain-Specific Question Answering: Toward Educational NLP Resources at University Scale
Dept. of Electronic & Computer Engineering, University of Limerick(电子与计算机工程系,利默里克大学)
本研究通过微调BERT模型,针对大学课程材料开发了首个领域特定问答系统,展示了基础模型在教育领域的应用潜力。
2025-12-04 cs.AI cs.CL
NLP Verification: Towards a General Methodology for Certifying Robustness
Heriot-Watt University(赫瑞瓦特大学);University of Southampton(南安普顿大学);University of Birmingham(伯明翰大学);University of Western Australia(西澳大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文针对NLP模型形式化验证缺乏通用方法论的问题,提出分析嵌入间隙的通用框架及量化方法,并给出利用更精确几何语义相似度估计来训练和验证神经网络的通用方法。
2025-01-24 cs.AI cs.CL cs.LG
An Automated Multiple-Choice Question Generation Using Natural Language Processing Techniques
Nnamdi Azikiwe University(纳姆迪·阿齐基韦大学)
选择题自动生成是自然语言处理中一个重要而又具有挑战性的课题。它是从文本数据自动生成正确和相关问题的任务。尽管它的有用性,手动创建相当大的,有意义的和相关的问题是一个耗时和具有挑战性的任务,教师。本文提出了一个基于自然语言处理技术的计算机辅助考试(CBTE)自动阅卷系统,该系统利用自然语言处理技术抽取出教材中的关键词。为了验证该系统是不是反常的,五个教训的材料被用来检查系统的有效性和效率。将教师手工提取的关键词与自动生成的关键词进行比较,结果表明,该系统能够从教材中提取关键词设置考试题。这一结果以用户友好的界面呈现,便于查阅。
2021-03-26 cs.AI cs.CL
Analyzing Bias in Swiss Federal Supreme Court Judgments Using Facebook's Holistic Bias Dataset: Implications for Language Model Training
Otto von Guericke University Magdeburg(马格德堡奥托·冯·格里克大学);Leibniz Institute for Educational Media | Georg Eckert Institute(莱布尼茨教育媒体研究所(格奥尔格·埃克特研究所))
本研究借助 Holistic Bias 社会偏见描述符与注意力可视化分析 SJP-Dataset,揭示法律判决预测数据中的偏见及其对模型行为的影响。
2025-01-06 cs.AI cs.CL
Molecular Representations for AI in Chemistry and Materials Science: An NLP Perspective
Center for Computational Engineering and Networking (CEN)(计算工程与网络中心);Amrita Vishwa Vidyapeetham(阿姆里塔大学)
本文从自然语言处理视角探讨分子表示在化学和材料科学中AI应用,介绍基于NLP的分子表示方法及其在化学信息学中的应用。
2026-02-24 cs.AI cs.CE physics.chem-ph
Generative User-Experience Research for Developing Domain-specific Natural Language Processing Applications
Georg-August University of Göttingen(哥廷根大学);Eschbach GmbH(埃施巴赫有限公司)
本文提出将生成式UX研究融入领域NLP应用开发的方法论,通过流程工业语义搜索全周期案例验证其可兼顾数据与用户需求并增强专家信任。
2024-08-05 cs.AI cs.CL cs.HC
Evaluating Saliency Explanations in NLP by Crowdsourcing
Kyoto University(京都大学);University of Yamanashi(山梨大学)
针对NLP显著性解释方法的评估结果是否符合人类认知的问题,该研究提出众包评估方法,招募800名工作者在两个数据集上评估七种方法,对比自动评估结果并指出NLP与CV领域使用显著性方法的差异,公开了实验数据与复现代码。
2024-05-17 cs.AI cs.HC
NLU on Data Diets: Dynamic Data Subset Selection for NLP Classification Tasks
Nuance Communications(Nuance通信公司)
本文提出面向 NLP 分类的动态数据剪枝课程,扩展 EL2N 至联合意图与槽位分类,在 GLUE 和四个 NLU 数据集上以更少样本保持或接近原准确率并显著降低微调成本。
2023-06-05 cs.AI cs.CL
Partially Recentralization Softmax Loss for Vision-Language Models Robustness
本文提出部分重校正softmax损失,通过限制top K softmax输出提升预训练多模态模型的对抗鲁棒性,实验显示细调后模型对主流攻击更具鲁棒性。
2026-03-13 cs.AI cs.CL
Corpus-Based Approaches to Igbo Diacritic Restoration
The University of Sheffield(谢菲尔德大学)
本研究提出基于语料库的伊戈语重标点恢复方法,通过三种模型开发灵活的数据集生成框架,以解决低资源语言的重标点恢复问题。
2026-01-26 cs.CL cs.CY cs.IR
Automatic Generation of Labeled Data for Video-Based Human Pose Analysis via NLP applied to YouTube Subtitles
Technische Universität Darmstadt(达姆施塔特工业大学)
针对健身类标注姿态数据集稀缺的问题,提出利用NLP分析YouTube健身视频字幕,自动生成带三类标注的姿态分析数据集,并验证了不同类别在关节可见度、姿态上的显著差异。
2023-05-02 cs.CV cs.LG eess.IV
Teaching NLP outside Linguistics and Computer Science classrooms: Some challenges and some opportunities
National Research Council, Canada(加拿大国家研究委员会)
在过去的十年里,NLP的影响范围远远超出了计算机科学研究和软件应用程序的开发。我们看到人们在从亚洲研究到临床肿瘤学的一系列学科中使用NLP方法。我们还注意到NLP作为一个模块出现在常规大学内外的大多数数据科学课程中。这些课程由来自不同背景的学生参加。本文根据我的课堂经验,仔细研究了与向这些不同受众教授NLP相关的一些问题,并确定了教师面临的一些挑战,特别是当学生没有相关课程的生态系统时。在这个过程中,它还为NLP研究人员和工具开发人员确定了一些挑战领域。
2021-05-03 cs.CL
Continual Learning of Natural Language Processing Tasks: A Survey
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本综述全面回顾了NLP中持续学习的最新进展,涵盖所有设置、灾难性遗忘预防、知识迁移及任务间类别分离挑战,并提出了未来研究方向。
2023-05-11 cs.AI cs.CL cs.LG
CSR-Bench: Benchmarking LLM Agents in Deployment of Computer Science Research Repositories
University of California, Los Angeles(加州大学洛杉矶分校);Amazon Web Services(亚马逊网络服务)
针对计算机科学研究仓库部署需求,提出CSR-Bench基准测试与CSR-Agents框架,多维度评估LLMs处理复杂代码开发任务的能力,初步验证其可优化部署流程并提升开发者生产力。
2025-02-11 cs.AI cs.LG cs.SE
SqueezeBERT: What can computer vision teach NLP about efficient neural networks?
UC Berkeley(加州大学伯克利分校)
人类每天阅读和编写数千亿条信息。此外,由于大型数据集、大型计算系统和更好的神经网络模型的可用性,自然语言处理(NLP)技术在理解、校对和组织这些消息方面取得了重大进展。因此,在无数应用程序中部署NLP以帮助Web用户,社交网络和企业是一个重要的机会。特别是,我们认为智能手机和其他移动设备是大规模部署NLP模型的关键平台。然而,当今高精度的NLP神经网络模型,如BERT和RoBERTa,计算成本非常高,BERT-base需要1.7秒才能在Pixel 3智能手机上对文本片段进行分类。在这项工作中,我们观察到分组卷积等方法为计算机视觉网络带来了显着的加速,但其中许多技术尚未被NLP神经网络设计者采用。我们演示了如何用分组卷积替换自注意层中的几个操作,并在一种名为SqueezeBERT的新型网络架构中使用这种技术,该架构在Pixel 3上的运行速度比BERT-base快4.3倍,同时在GLUE测试集上实现了有竞争力的准确性。SqueezeBERT代码将被释放。
2020-06-19 cs.CL cs.CV cs.LG
Comprehensive Implementation of TextCNN for Enhanced Collaboration between Natural Language Processing and System Recommendation
Northern Arizona University(北亚利桑那大学);Stevens Institute of Technology(斯蒂文斯理工学院);University of Sydney(悉尼大学);Univeristy of California, Irvine(加利福尼亚大学尔湾分校);Trine University(特莱恩大学)
本文分析深度学习在NLP核心任务中的应用,并通过与TextCNN结合的交互式集成训练实证验证了文本分类性能的显著提升。
2024-03-12 cs.AI cs.CL
Machine Learning for Tangible Effects: Natural Language Processing for Uncovering the Illicit Massage Industry & Computer Vision for Tactile Sensing
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院);School of Engineering and Applied Sciences(工程与应用科学学院)
本文利用NLP技术监控美国非法按摩业并生成合成金融数据以打击人口贩卖,同时开发改造型触觉传感器Digger Finger和低成本六轴力矩传感器,实现计算机视觉在触觉感知中的应用。
2023-09-07 cs.CL cs.CY cs.SI
CADgpt: Harnessing Natural Language Processing for 3D Modelling to Enhance Computer-Aided Design Workflows
University of Derby(德比大学)
本文提出CADgpt插件,将GPT-4自然语言处理能力集成到Rhino3D中,使用户通过自然语言命令完成三维建模,降低CAD学习门槛并推动设计教育普及。
2024-01-10 cs.AI cs.GR cs.HC
NLP and CALL: integration is working
Université Stendhal de Grenoble(格勒诺布尔第三大学);Université catholique de Louvain(鲁汶天主教大学)
在本文的第一部分,我们探讨了计算机辅助学习的背景,从十九世纪初开始,第一台教学机器,建立在学习理论的基础上,在二十世纪初。随着计算机的到来,它成为可能提供语言学习者不同类型的语言活动,如理解任务,模拟等,但是,这些限制,不能克服没有一些贡献领域的自然语言处理(NLP)。在下文中,我们将研究将NLP整合到CALL中所面临的挑战和提出的问题。我们希望证明,成功地将NLP整合到CALL中的关键是在计算机专家,语言学家,语言教师,教学家和NLP专家之间的多学科工作中找到。
2013-02-20 cs.CL
Deep Learning applied to NLP
University of Colorado Colorado Springs(科罗拉多大学科罗拉多泉分校)
卷积神经网络(CNN)通常与计算机视觉相关联。CNN负责图像分类的重大突破,是当今大多数计算机视觉系统的核心。最近,CNN已经被应用于自然语言处理中的问题,并得到了一些有趣的结果。在本文中,我们将尝试解释CNN的基础知识,它的不同变体以及它们如何应用于NLP。
2017-03-09 cs.CL
Large Language Models Meet Computer Vision: A Brief Survey
Tahakom(塔哈科姆)
本文综述了大型语言模型与计算机视觉的交叉研究,分析了Transformer及视觉Transformer的演进,比较了主流付费与开源LLM的性能,梳理了用于视觉任务的方法和训练数据集,并指出了未来研究方向。
2023-11-28 cs.AI cs.CV
QNLP in Practice: Running Compositional Models of Meaning on a Quantum Computer
Quantinuum LLC(Quantinuum有限责任公司)
该研究利用组合语义模型与量子理论的形式相似性,首次在NISQ量子计算机上完成超百句数据集的NLP句子分类实验,验证了模型收敛性,并为实用QNLP发展铺垫基础。
2023-05-04 cs.AI cs.CL cs.LG
Grammar-aware sentence classification on quantum computers
Quantinuum(昆蒂努姆);University of Oxford(牛津大学)
自然语言处理(NLP)处于当代人工智能巨大进步的最前沿,可以说是该领域最具挑战性的领域之一。与此同时,在量子计算(QC)领域,随着量子硬件的稳步增长和量子算法实现的显著改进,我们正在接近一个时代,量子计算机可以执行传统计算机无法完成的任务。这为人工智能,特别是NLP提供了一系列新的机会。在这项工作中,我们使用自然语言意义的分类分布组成(DiscoCat)模型,其基础数学基础使其适合量子实例化。容错量子算法的早期工作已经证明了NLP的潜在量子优势,特别是使用DisCoCat。在这项工作中,我们专注于有噪声的中间尺度量子(NISQ)硬件的能力,并使用DisCoCat框架在NISQ处理器上执行NLP任务的第一个实现。句子被实例化为参数化的量子线路;使用参数化的量子电路将词义嵌入量子态中,并且句子的语法结构忠实地表现为将词电路组成一个量子电路的纠缠操作模式。在二进制分类的监督NLP任务中使用经典优化器训练电路的参数。我们的新型QNLP模型显示出了可扩展性的具体前景,因为量子硬件的质量在不久的将来会得到提高,并在QC和AI的交叉点上巩固了实验研究的一个新分支。
2023-02-14 cs.CL quant-ph
Natural Language Processing 4 All (NLP4All): A New Online Platform for Teaching and Learning NLP Concepts
Aarhus University(奥胡斯大学);Interacting Minds Center(互动心智中心);ScienceAtHome(居家科学中心)
自然语言处理为几乎所有学科和领域的语言数据提供了新的见解,并使我们能够证实和/或挑战现有的知识。扩大参与和使用这些新的研究工具的主要障碍是,第一,在整个K-16学生缺乏编码技能,并在广大人口,第二,缺乏知识的NLP方法可以用来回答语言学和/或计算机科学以外的学科感兴趣的问题。为了扩大对NLP的参与并提高NLP素养,我们引入了一个新的工具-基于Web的工具,称为自然语言处理4 All(NLP 4All)。NLP 4All的目的是帮助教师通过提供易于使用的NLP方法,数据和分析界面来促进NLP的学习,使非程序员和新手程序员能够交互式地学习NLP概念。
2021-05-28 cs.CL
Transforming Scholarly Landscapes: Influence of Large Language Models on Academic Fields beyond Computer Science
Ubiquitous Knowledge Processing Lab (UKP Lab)(普适知识处理实验室(UKP实验室));Hessian Center for AI (hessian.AI)(黑森人工智能中心);IBM Research Europe(IBM欧洲研究院);National Research Council Canada(加拿大国家研究委员会)
本文通过整理106个LLMs并分析约148k篇引用论文,系统考察了LLMs对NLP以外领域的影响,发现其在非计算机科学领域日益普及且使用不均,语言学与工程学合计占约45%引用,且多数领域主要采用无需微调的任务无关LLMs来解决领域问题。
2024-09-29 cs.CL
Universal Domain Adaptation for Robust Handling of Distributional Shifts in NLP
Seoul National University(首尔国立大学);NAVER Cloud(NAVER云);NAVER AI Lab(NAVER人工智能实验室);KAIST(韩国科学技术院);IntelliSys(智能系统研究院);Hanyang University(汉阳大学)
本文提出一个针对自然语言的通用域适应(UniDA)全面基准,涵盖多难度数据集,验证并发现计算机视觉中的UniDA方法可有效迁移至自然语言领域,且适应难度显著影响模型性能。
2023-10-23 cs.CL
torchdistill Meets Hugging Face Libraries for Reproducible, Coding-Free Deep Learning Studies: A Case Study on NLP
University of California, Irvine(加利福尼亚大学欧文分校)
本文提出torchdistill框架的重大升级版,通过与Hugging Face库集成实现免编码的深度学习研究复现,成功复现BERT在GLUE基准上的结果并发布27个微调模型,同时扩展支持计算机视觉任务。
2023-10-26 cs.CL cs.CV cs.LG
Development of Deep Learning Based Natural Language Processing Model for Turkish
Kahramanmaraş Sütçüimam Üniversitesi(卡赫拉曼马拉什叙特屈伊玛目大学);Gazi Üniversitesi(加齐大学)
自然语言是人类区别于其他生物的最基本的特征之一,也是人类进行交流的基础。语言是一种工具,它使人们能够表达自己的感情和思想,并将文化代代相传。文本和音频是日常生活中自然语言的例子。在自然语言中,许多词随着时间的推移而消失,另一方面又派生出新的词。因此,尽管自然语言处理(NLP)的处理即使对于人来说也是复杂的,但是在计算机系统中难以处理。语言学研究人们如何使用语言。自然语言处理在人机交互中扮演着重要的角色,它需要语言学家和计算机科学家的合作。随着人工智能技术在语言学领域的应用,自然语言处理的研究也越来越多。随着作为人工智能研究领域之一的深度学习方法的发展,正在开发接近自然语言的平台。用于语言理解、机器翻译和词性(POS)标记的开发平台受益于深度学习方法。递归神经网络(RNN)是深度学习架构之一,优选用于处理诸如文本或音频数据的顺序数据。本文利用RNN的双向长短期记忆(BLSTM)模型,提出了土耳其语词性标注模型。提出的词性标注模型提供给自然语言研究人员一个平台,允许他们执行和使用自己的分析。在使用BLSTM开发的平台的开发阶段,POS标注器的错误率已通过采取与专家意见的反馈来降低。
2019-05-07 cs.CL cs.LG
Large Language Models on Wikipedia-Style Survey Generation: an Evaluation in NLP Concepts
University of Tokyo(东京大学);Tokyo Institute of Technology(东京工业大学);MIT(麻省理工学院);National University of Singapore(新加坡国立大学);Northwestern University(西北大学);Bielefeld University(比勒费尔德大学);University College Dublin(都柏林大学学院);Moveworks
本研究评估了大型语言模型在生成NLP领域维基百科式综述文章的能力,发现GPT-4优于前代模型,但存在细节遗漏和事实错误,且GPT评估存在系统性偏差。
2024-05-23 cs.CL
SemEval-2023 Task 11: Learning With Disagreements (LeWiDi)
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);Heriot-Watt University(赫瑞瓦特大学);Queen Mary University of London(伦敦大学玛丽皇后学院);Università di Torino(都灵大学);Università Bocconi(博科尼大学);University of Munich(慕尼黑大学)
本文介绍SemEval-2023的LeWiDi共享任务,该任务聚焦NLP主观任务,提供分歧数据集的统一训练与软评估框架,推动保留标注分歧的模型开发,本届共收到13篇投稿。
2023-04-28 cs.CL
Universal Language Model Fine-tuning for Text Classification
University of San Francisco(旧金山大学);Insight Centre, NUI Galway(爱尔兰国立高威大学洞察中心);Aylien Ltd., Dublin(Aylien有限公司(都柏林))
归纳迁移学习极大地影响了计算机视觉,但NLP中的现有方法仍然需要针对特定任务的修改和从头开始的训练。我们提出了通用语言模型微调(ULMFiT),一种有效的迁移学习方法,可应用于NLP中的任何任务,并介绍了微调语言模型的关键技术。我们的方法在六个文本分类任务上的表现明显优于最先进的方法,在大多数数据集上将错误减少了18-24%。此外,只有100个标记的示例,它可以匹配100倍以上数据的从头开始训练的性能。我们开源我们的预训练模型和代码。
2018-05-23 cs.CL cs.LG stat.ML
CLICKER: A Computational LInguistics Classification Scheme for Educational Resources
Tata Consultancy Services Limited(塔塔咨询服务有限公司);Yale University(耶鲁大学);University of Waterloo(滑铁卢大学)
一个科学主题的分类方案提供了其知识体系的概述。它还可以用来方便访问与该主题有关的研究文章和其他材料。例如,ACM Computing Classification System(CCS)用于ACM数字图书馆搜索界面,也用于索引计算机科学论文。我们观察到,像CCS或数学主题分类(MSC)这样的综合分类系统并不存在于计算语言学(CL)和自然语言处理(NLP)中。我们提出了一个分类方案- CLICKER CL/NLP的基础上分析了77个大学课程在线讲座在这个问题上。目前提出的分类法包括334个主题,并侧重于CL/NLP的教育方面;它主要基于但不限于NLP课程的讲义。我们讨论了这样的分类可以帮助在各种现实世界中的应用,包括辅导平台,资源检索,资源推荐,先决条件链学习,和调查生成。
2021-12-16 cs.CL
Contextual Word Representations: A Contextual Introduction
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
这篇介绍旨在讲述我们如何将文字输入计算机的故事。它是人工智能的一个分支自然语言处理(NLP)领域故事的一部分。它的目标受众广泛,对计算机编程有基本的了解,但避免了详细的数学处理,也没有提出任何算法。它也不关注NLP的任何特定应用,如翻译,问答或信息抽取。这里提出的想法是由许多研究人员在几十年中发展起来的,所以引用并不详尽,而是引导读者阅读一些论文,在作者看来,这些论文是开创性的。阅读本文档后,您应该对词向量(也称为词嵌入)有一个大致的了解:它们为什么存在,它们解决了什么问题,它们来自哪里,它们如何随着时间的推移而变化,以及关于它们的一些开放性问题是什么。对于已经熟悉词向量的读者,建议跳到第5节来讨论最新的进展,上下文词向量。
2020-04-17 cs.CL
A Natural Language Processing Pipeline of Chinese Free-text Radiology Reports for Liver Cancer Diagnosis
School of Biomedical Engineering, Capital Medical University(首都医科大学生物医学工程学院);Beijing Friendship Hospital, Capital Medical University(首都医科大学附属北京友谊医院);Tsinghua University(清华大学)
尽管自然语言处理(NLP)在电子病历(EMR)中的应用发展迅速,但由于语料有限和特定的语法特征,中文EMR的处理仍然具有挑战性,特别是对于放射学报告。在这项研究中,我们设计了一个NLP管道,用于从中文放射学报告中直接提取临床相关特征,这是计算机辅助放射学诊断的第一个关键步骤。该流水线由命名实体识别、同义词规范化和关系提取组成,最终得到由一个或多个术语组成的放射学特征。在命名实体识别中,我们将词典纳入深度学习模型双向长短期记忆-条件随机场(BiLSTM-CRF),该模型最终取得了93.00%的F1分数。利用提取的影像学特征,采用最小绝对收缩和选择算子以及机器学习方法(支持向量机、随机森林、决策树和逻辑回归)构建肝癌预测分类器。对于肝癌诊断,随机森林在肝癌诊断中具有最高的预测性能(F1得分86.97%,准确率87.71%,召回率86.25%)。本研究是一项综合性的NLP研究,重点关注中国放射学报告以及NLP在癌症风险预测中的应用。所提出的用于放射学特征提取的NLP流水线可以很容易地在其他类型的中文临床文本和其他疾病预测任务中实现。
2020-10-13 cs.CL
A Neural Few-Shot Text Classification Reality Check
Université Jean Monnet(让·莫内大学);Meetic(Meetic公司)
现代分类模型往往在注释数据量不足时会遇到困难。为了克服这个问题,出现了几种神经Few-Shot分类模型,随着时间的推移,在计算机视觉和自然语言处理方面都取得了重大进展。在后者中,在Transformers出现之前,这些模型通常依赖于固定的词嵌入。此外,计算机视觉中使用的一些模型还有待在NLP应用程序中进行测试。在本文中,我们比较了所有这些模型,首先将图像处理领域中的模型应用于NLP,然后为它们提供Transformers器。然后,我们在意图检测任务中测试这些配备了相同的基于transformer的编码器的模型,这些模型以具有大量的类而闻名。我们的研究结果表明,虽然方法在ARSC数据集上的表现几乎相同,但意图检测任务的情况并非如此,其中最新和最好的竞争对手的表现比旧的和更简单的竞争对手差(尽管所有人都可以访问Transformers)。我们还表明,一个简单的基线是惊人的强大。所有新开发的模型以及评价框架都公开提供。
2021-01-28 cs.CL