Bias Out-of-the-Box: An Empirical Analysis of Intersectional Occupational Biases in Popular Generative Language Models
University of Oxford(牛津大学)
在过去的几年里,在大规模数据上训练的自然语言模型的能力大大提高了。HuggingFace等开源库使这些模型易于获得和访问。虽然以前的研究已经确定了偏见的大语言模型,本文认为偏见包含在最流行的版本,这些模型时,适用于“开箱即用”的下游任务。我们专注于生成语言模型,因为它们非常适合提取从训练数据继承的偏差。具体来说,我们对GPT-2进行了深入分析,这是HuggingFace上下载量最大的文本生成模型,每月下载量超过50万次。我们通过将性别与宗教、性取向、种族、政治派别和大陆名称来源交叉,评估与不同受保护类别的职业协会相关的偏见。使用基于模板的数据汇集管道,我们收集了GPT-2完成的396 K句子,并发现:(i)机器预测的工作对女性来说没有那么多样化,而且比男性更刻板,特别是交叉点;(ii)交叉点相互作用与职业协会高度相关,我们通过拟合262个逻辑模型来量化。(iii)对于大多数职业,GPT-2反映了美国劳工局数据中发现的性别和种族分布的倾斜,甚至在其预测偏离实际劳动力市场观察的情况下,将社会倾斜的分布拉向性别平等。这就提出了一个规范性的问题,即语言模型应该学习什么--它们是否应该反映或纠正现有的不平等。
2021-10-27 cs.AI cs.CL
Opening the Black Box: A Survey on the Mechanisms of Multi-Step Reasoning in Large Language Models
Peking University(北京大学);Stanford University(斯坦福大学);Tsinghua University(清华大学);University of Arizona(亚利桑那大学);National University of Singapore(新加坡国立大学)
本文综述了大语言模型多步推理机制,探讨了隐式和显式推理过程,并提出了未来研究方向。
2026-01-02 cs.AI cs.CL
Survey on Reasoning Capabilities and Accessibility of Large Language Models Using Biology-related Questions
School of Computing, The University of Georgia(佐治亚大学计算学院)
本文回顾了生物医学与大型语言模型的进展及自然语言处理的整合,通过引入新问题列表调查排名前两位的语言模型,量化评估了LLM推理能力的改进及用户感知,并扩展了生物文献检索研究。
2024-05-11 cs.AI cs.CL
A Survey of Large Language Models for Arabic Language and its Dialects
iWAN Research Group(iWAN研究组);College of Computer and Information Sciences(计算机与信息科学学院);King Saud University(沙特国王大学)
本文综述了针对阿拉伯语言及其方言设计的大型语言模型,涵盖关键架构、预训练数据集以及单语、双语和多语模型在下游任务中的性能,同时讨论了阿拉伯LLM的开放性及其对未来研究的挑战与机遇。
2025-02-24 cs.AI cs.CL
Pretraining Exposure Explains Popularity Judgments in Large Language Models
University of Innsbruck(因斯布鲁克大学)
研究通过分析预训练数据中的暴露统计,发现大型语言模型对流行实体的偏好主要受预训练暴露影响,而非外部流行度信号,揭示了数据暴露在驱动流行度偏差中的核心作用。
2026-05-12 cs.CL
A Comprehensive Survey of Compression Algorithms for Language Models
Seoul National University(首尔大学)
该综述针对语言模型规模过大的痛点,系统梳理剪枝、量化等六类语言模型压缩算法,分析代表性算法与发展趋势,探讨低成本压缩算法特性并提出未来研究方向。
2024-01-27 cs.AI cs.CL
A Comprehensive Survey of Accelerated Generation Techniques in Large Language Models
Amirkabir University of Technology(阿米尔卡比尔理工大学);Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院);Columbia University(哥伦比亚大学);Amazon GenAI(亚马逊生成式AI部门)
本文综述了大型语言模型中加速文本生成的技术,分类探讨推测解码、早期退出和非自回归方法,旨在降低推理延迟并指导未来研究。
2024-05-24 cs.AI cs.CL
A Survey on Model Compression for Large Language Models
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
本文综述了大语言模型的模型压缩技术,涵盖量化、剪枝和知识蒸馏等方法及基准评估策略,旨在提升其在资源受限环境中的效率与适用性。
2024-07-30 cs.AI cs.CL
Recent Advances in Natural Language Processing via Large Pre-Trained Language Models: A Survey
Raytheon BBN Technologies(雷神BBN技术公司);Harvard University(哈佛大学);University of Pennsylvania(宾夕法尼亚大学);University of Oregon(俄勒冈大学);University of the Basque Country (UPV/EHU)(巴斯克大学 (UPV/EHU))
像BERT这样的大型、预先训练的基于transformer的语言模型已经彻底改变了自然语言处理(NLP)领域。我们对最近的工作进行了调查,这些工作使用这些大语言模型通过预训练,然后微调,提示或文本生成方法来解决NLP任务。我们还提出了使用预训练的语言模型来生成用于训练增强或其他目的的数据的方法。最后,我们讨论的局限性和建议的未来研究方向。
2021-11-01 cs.AI cs.CL cs.LG
Large Language Models as Recommender Systems: A Study of Popularity Bias
Amazon Music(亚马逊音乐);Amazon Web Services(亚马逊网络服务)
本研究探讨了大型语言模型(LLMs)在推荐系统中是否会加剧或缓解流行度偏差,提出了一种新的衡量指标,并发现基于LLM的推荐器即使不进行明确缓解也表现出更少的流行度偏差。
2024-06-03 cs.AI cs.IR cs.LG
A Survey on Model Compression and Acceleration for Pretrained Language Models
University of California, San Diego(加州大学圣地亚哥分校)
尽管在许多NLP任务上实现了最先进的性能,但高能量成本和长推理延迟阻止了基于transformer的预训练语言模型(PLM)被更广泛地采用,包括边缘和移动计算。高效的NLP研究旨在全面考虑NLP整个生命周期的计算,时间和碳排放,包括数据准备,模型训练和推理。在本次调查中,我们重点关注推理阶段,并回顾了预训练语言模型的模型压缩和加速的现状,包括基准测试,指标和方法。
2022-11-29 cs.AI cs.CL cs.LG
Federated Learning Meets Natural Language Processing: A Survey
Deakin University(迪肯大学)
联邦学习旨在从多个分散的边缘设备(例如手机)或服务器学习机器学习模型,而不会牺牲本地数据隐私。最近的自然语言处理技术依赖于深度学习和大型预训练语言模型。然而,大型深度神经和语言模型都是用大量数据训练的,这些数据通常位于服务器端。由于文本数据广泛来源于最终用户,在这项工作中,我们研究了最近的NLP模型和技术,使用联邦学习作为学习框架。我们的调查讨论了联邦自然语言处理的主要挑战,包括算法挑战,系统挑战以及隐私问题。我们还对现有的联邦NLP评估方法和工具进行了严格的审查。最后,我们强调了目前的研究差距和未来的发展方向。
2021-07-27 cs.AI cs.CL cs.DC
A Survey on Dynamic Neural Networks for Natural Language Processing
University of California, San Diego(加州大学圣地亚哥分校)
有效地缩放大型Transformer模型是自然语言处理最新进展的主要驱动力。动态神经网络作为一个新兴的研究方向,能够通过基于输入动态地调整其计算路径来扩展神经网络,其计算量和时间都呈次线性增长。动态神经网络可能是预训练语言模型参数数量不断增长的一个有前途的解决方案,它允许使用数万亿参数进行模型预训练,并在移动设备上进行更快的推理。本文综述了自然语言处理中三种类型的动态神经网络的研究进展:略读、混合专家模型和提前退出。我们还强调了当前动态神经网络的挑战和未来的研究方向。
2023-02-24 cs.AI cs.CL cs.LG
AMMU : A Survey of Transformer-based Biomedical Pretrained Language Models
National Institute of Technology Trichy(蒂鲁吉拉伯利国立理工学院)
基于transformer的预训练语言模型(PLM)开创了现代自然语言处理(NLP)的新纪元。这些模型结合了Transformers、迁移学习和自监督学习(SSL)的强大功能。随着这些模型在一般领域的成功,生物医学研究界开发了各种领域内的PLM,从BioBERT到最新的BioELECTRA和BioALBERT模型。我们坚信需要一份调查论文,可以对各种基于transformer的生物医学预训练语言模型(BPLM)进行全面调查。在本调查中,我们首先简要概述了自监督学习、嵌入层和Transformer编码器层等基础概念。我们讨论了基于transformer的PLM的核心概念,如预训练方法,预训练任务,微调方法,以及特定于生物医学领域的各种嵌入类型。我们介绍了一个基于transformer的BPLM分类,然后讨论所有的模型。我们将讨论各种挑战并提出可能的解决方案。最后,我们强调了一些开放的问题,这将推动研究界进一步改善基于transformer的BPLM。
2021-09-02 cs.AI cs.CL cs.LG
AI-Augmented Surveys: Leveraging Large Language Models and Surveys for Opinion Prediction
Department of Sociology(社会学系);University of Chicago(芝加哥大学);New York University(纽约大学);Chicago, IL(伊利诺伊州芝加哥市);New York, NY(纽约州纽约市)
本文提出了一种基于大型语言模型的框架,通过结合问题、受访者和调查时期的嵌入表示,预测重复横断面调查中缺失的响应,从而弥补传统调查在捕捉历史变化方面的不足。
2026-05-19 cs.AI cs.CL cs.LG
Questioning the Survey Responses of Large Language Models
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ELLIS Institute Tübingen(ELLIS图宾根研究所);Tübingen AI Center(图宾根人工智能中心)
该研究基于美国社区调查检验用问卷研究大语言模型的方法,发现模型回答受排序和标签偏差影响,校正偏差后回答趋均匀随机,质疑了此前通过调查推断模型代表性的结论。
2024-12-09 cs.CL
VideoGameBench: Can Vision-Language Models complete popular video games?
Princeton University(普林斯顿大学)
VideoGameBench通过10款经典游戏测试视觉-语言模型在无辅助信息下的实时游戏完成能力,发现前沿模型受推理延迟限制,仅能完成极少量游戏内容。
2026-05-14 cs.AI cs.CL cs.CV
Natural Language Processing for Dialects of a Language: A Survey
University of New South Wales(新南威尔士大学);National Institute of Information and Communications Technology(信息通信技术研究所);University of Surrey(萨里大学);Monash University(莫纳什大学)
该综述聚焦方言NLP领域,从数据集和方法梳理相关研究,划分NLU和NLG任务类别,覆盖多语言,介绍经典与深度学习方法,为构建公平语言技术提供参考。
2024-12-06 cs.CL
SurveyX: Academic Survey Automation via Large Language Models
Renmin University of China(中国人民大学);Northeastern University(东北大学);Institute for Advanced Algorithms Research(先进算法研究院);The University of Sydney(悉尼大学)
针对现有自动化综述生成受限于上下文窗口、内容深度不足等问题,提出SurveyX系统,通过两阶段分解、在线检索、AttributeTree预处理和润色,提升内容与引用质量,接近人类专家水平。
2025-02-27 cs.CL
Prompt Perturbations Reveal Human-Like Biases in Large Language Model Survey Responses
University of Mannheim(曼海姆大学);GESIS – Leibniz Institute for the Social Sciences(社会科学研究莱比锡研究所);Complexity Science Hub(复杂科学中心)
本研究通过十种扰动测试九个LLM在世界价值观调查中的响应,发现所有模型均表现出近因偏差,且对语义变化敏感,强调提示设计与稳健性测试的重要性。
2025-10-16 cs.AI cs.CL cs.CY
Commonsense Knowledge Reasoning and Generation with Pre-trained Language Models: A Survey
虽然常识知识获取和推理传统上是知识表示和推理社区的核心研究课题,但近年来,自然语言处理社区对开发预训练模型并测试其解决各种新设计的常识知识推理和生成任务的能力的兴趣激增。本文介绍了这些任务的调查,讨论了最先进的预训练模型的优势和劣势,这些任务所揭示的常识推理和生成,并反映在未来的研究方向。
2022-01-28 cs.CL
A Survey of Robotic Language Grounding: Tradeoffs between Symbols and Embeddings
UT Austin(德克萨斯大学奥斯汀分校);Brown University(布朗大学);The AI Institute(人工智能研究院)
该综述梳理机器人语言基础研究,将相关方法分为基于人工形式化符号表示与基于高维嵌入映射两类,分析二者的优势与权衡,并提出融合两类方法优势的未来研究方向。
2024-06-22 cs.AI cs.CL cs.RO
Semantic Homogenization in Italian Popular Music: A Diachronic Analysis
Centro Ricerche, Innovazione Tecnologica e Sperimentazione(研究中心、技术创新与实验)
研究意大利圣雷莫音乐节决赛歌曲歌词语义变化,开发灵活高效方法,结合多种分析及技术,发现语义渐趋统一,凸显自然语言处理工具价值。
2026-07-07 cs.CL
A Survey of Large Language Models for European Languages
The University of Turku(图尔库大学);Institute of Business Management(商业管理学院)
本文综述了针对欧洲联盟官方语言的大型语言模型,介绍了LLaMA、PaLM、GPT和MoE等模型家族,总结了相关创建增强方法及预训练数据集。
2024-08-28 cs.CL
Survey Response Generation: Generating Closed-Ended Survey Responses In-Silico with Large Language Models
University of Mannheim(曼海姆大学);LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);University of Maryland, College Park(马里兰大学学院公园分校);GESIS Cologne(科隆社会研究所);CSH Vienna(维也纳认知科学研究所)
本文研究了不同调查回应生成方法对模拟调查回应的影响,发现受限生成方法效果最佳,推理输出不总能提升对齐度。
2026-04-24 cs.CL cs.CY
Exploring the Nexus of Large Language Models and Legal Systems: A Short Survey
Renmin University of China(中国人民大学)
本文综述了大语言模型在法律领域的应用、挑战、微调模型与数据集,并展望了未来研究方向。
2024-04-01 cs.CL
A Comprehensive Survey of Large Language Models and Multimodal Large Language Models in Medicine
School of Artificial Intelligence, Chongqing University of Technology(重庆理工大学人工智能学院)
本文系统综述了医学领域大语言模型和多模态大语言模型的发展、构建评估方法、应用场景及挑战,并提出未来方向,旨在推动智能医疗系统发展。
2024-12-30 cs.CL
A Survey of Uncertainty Estimation Methods on Large Language Models
Rutgers, The State University of New Jersey(新泽西州立大学拉特格斯分校)
本文综述了大型语言模型不确定性估计的四个主要途径,并在多种方法和数据集上进行了广泛实验评估,为该领域提供了关键的未来研究方向。
2025-05-28 cs.CL
Knowledge Enhanced Pretrained Language Models: A Compreshensive Survey
AWS AI
预训练的语言模型(PLM)通过在大规模文本语料库上学习信息性的上下文化表示建立了一种新的范式。这种新的范式彻底改变了整个自然语言处理领域,并为各种NLP任务设置了新的最先进的性能。然而,尽管PLM可以存储来自训练语料库的某些知识/事实,但它们的知识感知仍然远远不能令人满意。为了解决这个问题,将知识集成到PLM中最近已经成为一个非常活跃的研究领域,并开发了各种方法。在本文中,我们提供了一个全面的调查,这一新兴的和快速增长的领域-知识增强预训练语言模型(KE-PLMs)的文献。我们引入三个分类法来分类现有的工作。此外,我们还调查了各种NLU和NLG应用程序,KE-PLM在这些应用程序上表现出优于普通PLM的性能。最后,我们讨论了KE-PLM面临的挑战,也有前途的未来研究方向。
2021-10-16 cs.CL
Transformer-based Korean Pretrained Language Models: A Survey on Three Years of Progress
Soongsil University(崇实大学)
随着2017年在翻译模型中使用的Transformer的出现,基于注意力的架构开始受到关注。此外,在BERT(它加强了NLU特定的编码器部分,这是Transformer的一部分)和GPT架构(它加强了NLG特定的解码器部分)出现之后,各种用于学习预训练语言模型的方法、数据和模型开始出现。此外,在过去的三年中,出现了各种专门针对韩语的预训练语言模型。在本文中,我们打算从数量和质量上比较和分析各种韩国PLM发布给公众。
2021-11-25 cs.CL
Language Generation Models Can Cause Harm: So What Can We Do About It? An Actionable Survey
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学);George Mason University(乔治梅森大学)
大语言模型生成类人文本的能力的最新进展导致它们在面向用户的设置中的采用增加。与此同时,这些改进也引发了一场激烈的讨论,围绕着它们所带来的社会危害的风险,无论是无意的还是恶意的。一些研究已经探索了这些危害,并呼吁通过开发更安全,更公平的模型来减轻这些危害。除了列举危害的风险,这项工作提供了一个调查的实用方法,以解决潜在的威胁和社会危害的语言生成模型。我们借鉴了几个以前的作品的语言模型风险的分类,提出了一个结构化的概述策略,用于检测和改善不同类型的风险/危害的语言生成器。这项调查旨在为LM研究人员和从业人员提供实用指南,并解释不同缓解策略的动机,其局限性以及未来研究的开放问题。
2023-02-21 cs.CL
Are Large Language Models Chameleons? An Attempt to Simulate Social Surveys
International School for Advanced Studies (SISSA)(国际高等研究院(SISSA));UT Arlington(得克萨斯大学阿灵顿分校);Imperial College London(伦敦帝国学院)
本文通过数百万次模拟探究LLMs能否模拟社会调查,发现提示会引发显著文化、年龄和性别偏差,并提出基于Jaccard相似度的新度量以比较LLM回答与ESS数据的差异,强调使用前须分析提示的鲁棒性与变异性。
2024-10-21 cs.AI cs.CL cs.CY
Training Data Extraction From Pre-trained Language Models: A Survey
Nikkei Inc.(日经公司)
本文首次系统综述了从预训练语言模型中提取训练数据的安全问题,梳理了记忆定义分类、攻击与防御方法及实证发现,并提出未来研究方向。
2023-05-25 cs.CL
History, Development, and Principles of Large Language Models-An Introductory Survey
Florida International University(佛罗里达国际大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
本综述追溯语言模型从统计模型到大型语言模型的历史演进,阐明其底层原理与关键发展因素,旨在为缺乏背景知识的从业者提供易于理解的理论概览,并指出未来研究方向。
2024-09-23 cs.CL
Language Model Behavior: A Comprehensive Survey
UC San Diego(加州大学圣迭戈分校)
该综述梳理250余项微调前英文Transformer语言模型行为研究,分析其基础能力的敏感性与现存弱点的成因,为相关应用及跨领域研究提供参考。
2023-08-26 cs.CL
Trajectory Prediction Meets Large Language Models: A Survey
Department of Electrical and Computer Engineering, Northeastern University(电气与计算机工程系,东北大学)
本综述系统梳理了大型语言模型在轨迹预测中的五大应用方向,涵盖语言建模、场景理解、数据生成与推理可解释性,旨在统一视角并指明开放挑战。
2025-10-07 cs.CL cs.CV
Large Language Models for Subjective Language Understanding: A Survey
College of Intelligence and Computing(智能与计算学院);Tianjin University(天津大学);School of Nursing(护理学院);The Hong Kong Polytechnic University(香港理工大学)
本综述全面回顾了大型语言模型在情感分析、讽刺检测等八项主观语言理解任务中的最新进展、架构演进、挑战与未来方向,为相关交叉领域研究提供了宝贵资源。
2025-08-11 cs.CL
Continual Lifelong Learning in Natural Language Processing: A Survey
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
持续学习(CL)旨在使信息系统能够从跨时间的连续数据流中学习。然而,现有的深度学习架构很难在学习新任务的同时不忘记之前获得的知识。此外,CL对于语言学习特别具有挑战性,因为自然语言是模糊的:它是离散的,组合的,并且它的含义依赖于上下文。在这项工作中,我们通过各种NLP任务的镜头来看待CL问题。我们的调查讨论了CL的主要挑战和当前应用于神经网络模型的方法。我们还对NLP中现有的CL评估方法和数据集进行了严格的审查。最后,我们对未来的研究方向提出了展望。
2020-12-17 cs.AI cs.CL cs.LG
Language Model Fine-Tuning on Scaled Survey Data for Predicting Distributions of Public Opinions
University of California, Berkeley(加州大学伯克利分校);Microsoft Research(微软研究院)
本文通过微调大型语言模型,利用调查数据的结构特性提升对公众意见分布的预测能力,实验显示在多种子群体中模型预测与人类响应的匹配度显著提高,且能泛化到未见过的调查和子群体。
2026-04-16 cs.CL
Several categories of Large Language Models (LLMs): A Short Survey
Cardinal Health(卡地纳健康)
本综述梳理了金融、多语言、生物医学临床、视觉、代码等五类大语言模型的方法、数据集等进展,指出聊天机器人开发的现存问题,为相关研究者与从业者提供参考与方向。
2023-07-05 cs.CL cs.LG
Information Anxiety in Large Language Models
Indian Institute of Technology, Delhi(印度理工学院德里分校);University of Copenhagen(哥本哈根大学);Yardi School of Artificial Intelligence, Indian Institute of Technology, Delhi(印度理工学院德里分校亚尔迪人工智能学院)
本文通过分析LLMs的内部推理与检索机制,发现随着查询流行度增加,模型检索准确度下降且难以理清参数记忆中的事实,提出并探讨了“信息焦虑”现象,呼吁对高频实体进行更全面的评估。
2024-11-16 cs.CL
From Structure to Synergy: A Survey of Vision-Language Perception Paradigm Evolution in Multimodal Large Language Models
School of Computer Science, Sichuan University(四川大学计算机学院);School of Electronic and Computer Engineering, Peking University Shenzhen Graduate School(北京大学深圳研究生院电子与计算机工程学院);Institute of Artificial Intelligence (TeleAI), China Telecom and Northwestern Polytechnical University(中国电信与西北工业大学人工智能研究院(TeleAI))
本文系统综述多模态大语言模型中统一视觉-语言感知的范式演进,提出五阶段分类法,梳理各阶段代表性方法,并指出开放挑战与未来方向。
2026-06-26 cs.AI cs.CL cs.CV
A Survey of Large Language Models in Cybersecurity
Universidade Federal de Santa Catarina - UFSC(圣卡塔琳娜联邦大学(UFSC))
本文综述了大型语言模型在网络安全中的应用现状、使用方式与局限性,并提出改进方向及未来展望。
2024-02-26 cs.AI cs.CR
SurveyGen: Quality-Aware Scientific Survey Generation with Large Language Models
Nanjing University of Science and Technology(南京理工大学);University of Alberta(阿尔伯塔大学)
针对自动科学综述生成缺乏标准化评估数据集的问题,提出SurveyGen大规模数据集及QUAL-SG质量感知框架,系统评估不同人类参与度下LLMs的性能,发现半自动生成具部分竞争力但全自动仍存引用质量低等问题。
2025-08-25 cs.CL cs.DL cs.IR
Large Language Models for Crash Detection in Video: A Survey of Methods, Datasets, and Challenges
Department of Computer Science, Iowa State University(计算机科学系,爱荷华州立大学);Department of Civil, Construction and Environmental Engineering, Iowa State University(土木、建设与环境工程系,爱荷华州立大学)
本文综述了利用大型语言模型从视频中进行碰撞检测的方法,提出了融合策略分类法,总结了数据集、模型架构和性能基准,并讨论了挑战与机遇,为该交叉领域未来研究奠定基础。
2026-11-03 cs.AI cs.CV
A Survey on Hardware Accelerators for Large Language Models
University of West Attica(西阿提卡大学)
本文综述GPU、FPGA及定制架构等LLM硬件加速器,从架构、性能与能效方面分析,为优化实际部署提供参考。
2024-01-18 cs.AR cs.CL cs.LG
Measuring Fairness with Biased Rulers: A Survey on Quantifying Biases in Pretrained Language Models
KU Leuven(鲁汶大学);University of Antwerp(安特卫普大学);TU Berlin(柏林工业大学)
随着人们对自然语言处理资源(如BERT)中有偏模式的认识不断提高,许多度量标准开始量化“偏”和“公平”。但是,比较不同指标的结果和用这些指标评估的作品仍然很困难,如果不是完全不可能的话。我们调查了现有的文献公平性指标的预训练语言模型和实验评估兼容性,包括在语言模型的偏见,在他们的下游任务。我们采用传统的文献调查和相关分析相结合的方法,并进行了实证评估。我们发现,许多指标是不兼容的,高度依赖于(i)模板,(ii)属性和目标种子和(iii)嵌入的选择。这些结果表明,公平性或偏见评估仍然具有挑战性的上下文语言模型,如果不是至少高度主观。为了改善未来的比较和公平性评估,我们建议避免基于嵌入的度量,并专注于下游任务中的公平性评估。
2021-12-14 cs.CL cs.CY cs.LG
A Survey on Pretrained Language Models for Neural Code Intelligence
EPFL(洛桑联邦理工学院);UCLA(加州大学洛杉矶分校)
随着现代软件的复杂性不断升级,软件工程已成为一项日益艰巨和容易出错的工作。近年来,神经代码智能(NCI)领域已经成为一个有前途的解决方案,利用深度学习技术的力量来处理源代码的分析任务,目标是提高编程效率并最大限度地减少软件行业中的人为错误。预训练的语言模型已成为NCI研究中的主导力量,在广泛的任务中持续提供最先进的结果,包括代码摘要,生成和翻译。在本文中,我们对NCI领域进行了全面的调查,包括对预训练技术,任务,数据集和模型架构的全面审查。我们希望本文将作为自然语言和程序设计语言社区之间的桥梁,为这个快速发展的领域的未来研究提供见解。
2022-12-20 cs.CL cs.LG cs.SE
Exploring Vulnerabilities and Protections in Large Language Models: A Survey
Zscaler, Inc.(奇安信公司)
本综述系统考察了大型语言模型在提示词攻击和对抗性攻击两大领域的安全漏洞,探讨了各类威胁的原理与影响,并提出了相应的防御策略与稳健框架,为构建能抵御复杂攻击的弹性AI系统提供了重要参考。
2024-06-01 cs.CL cs.CR cs.LG
Large Language Models for EEG: A Comprehensive Survey and Taxonomy
Department of Computer Science and Engineering, Indian Institute of Technology Patna(计算机科学与工程系,印度理工学院帕纳布分校);Infocomm Technology Cluster, Singapore Institute of Technology(信息通信技术集群,新加坡理工学院)
本文综述LLM在EEG分析中的最新进展,提出涵盖基础模型、EEG到语言解码、跨模态生成及临床应用的分类体系,并总结相关建模策略与系统设计。
2025-06-02 cs.AI cs.ET cs.HC
The Curse of Popularity: Popular Entities have Catastrophic Side Effects when Deleting Knowledge from Language Models
Tohoku University(东北大学);RIKEN(理化学研究所);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文研究语言模型知识删除的副作用,发现删除与热门实体相关的知识会引发灾难性后果,并首次在合成知识图谱训练的模型上开展受控实验分析。
2024-06-10 cs.CL
Common Sense Beyond English: Evaluating and Improving Multilingual Language Models for Commonsense Reasoning
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
常识推理的研究迄今仅限于英语。我们的目标是评估和改进流行的多语言语言模型(ML-LM),以帮助推进常识推理(CSR)超越英语。我们收集了米奇语料库,包括11种不同语言的561 k句子,可用于分析和改进ML-LM。我们提出了米奇探测器,一种语言无关的探测任务,用于公平地评估不同语言中流行的ML-LM的常识。此外,我们还创建了两个新的数据集,X-CSQA和X-CODAH,通过将其英文版本翻译为其他15种语言,以便我们可以评估流行的ML-LM跨语言常识推理。为了提高英语以外的性能,我们提出了一种简单而有效的方法--多语言对比预训练(MCP)。它显著增强了句子表示,在两个基准测试中都获得了很大的性能增益。
2021-06-13 cs.AI cs.CL
Investigating Robustness of Dialog Models to Popular Figurative Language Constructs
Carnegie Mellon University(卡内基梅隆大学);University of California San Diego(加州大学圣地亚哥分校)
人类经常在交流中使用比喻语言,包括在与对话系统交互期间。因此,对于现实世界的对话系统来说,能够处理流行的比喻语言结构(如隐喻和隐喻)是很重要的。在这项工作中,我们分析了现有的对话模型的性能的情况下,输入对话上下文展示使用比喻语言。我们观察到在处理比喻语言的两个开放域对话数据集上评估模型时存在很大的差距。当面对由比喻语言组成的对话上下文时,与没有比喻语言的上下文相比,一些模型显示出非常大的性能下降。我们鼓励未来的研究在对话建模单独分析和报告结果的比喻语言,以更好地测试模型功能相关的现实世界的使用。最后,我们提出了轻量级的解决方案,以帮助现有的模型变得更加强大的比喻语言,简单地使用外部资源翻译比喻语言的字面(非比喻)的形式,同时保留的意义,以最大限度地。
2021-10-01 cs.CL
A Survey of Embedding Space Alignment Methods for Language and Knowledge Graphs
Drexel University(德雷塞尔大学);College of Computing and Informatics(计算与信息学院)
神经嵌入方法已经成为计算机视觉、自然语言处理以及最近的图形分析领域的主要方法。考虑到这些算法的普遍性,自然的问题变成了如何利用嵌入空间来映射或对齐不同数据源的嵌入。为此,我们综述了目前的研究景观字,句子和知识图谱嵌入算法。我们提供了相关的对齐技术的分类,并讨论了在这一领域的研究中使用的基准数据集。通过将这些不同的方法收集到一个单一的调查中,我们希望进一步激发对不同数据类型和来源的嵌入空间对齐的研究。
2020-10-26 cs.AI cs.CL