Analyzing Gender Representation in Multilingual Models
University of Washington(华盛顿大学);Bar Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
多语言语言模型被证明允许跨脚本和语言的非平凡传输。在这项工作中,我们研究的内部表示,使这种转移的结构。我们专注于性别差异的代表性作为一个实际的案例研究,并检查在何种程度上的性别概念编码在不同的语言共享子空间。我们的分析表明,性别表征包括几个突出的组件,这些组件是跨语言共享的,以及语言特定的组件。语言独立和语言特定的组件的存在提供了一个有趣的经验观察,我们作出的解释:虽然性别分类转移以及跨语言,性别去除的干预措施,在一个单一的语言培训,不容易转移到其他人。
2022-08-12 cs.CL
Analyzing the Structure of Attention in a Transformer Language Model
Palo Alto Research Center(帕洛阿尔托研究中心)
Transformer是一种完全基于注意力的递归网络替代方案,在一系列NLP任务中取得了最先进的结果。在本文中,我们分析了Transformer语言模型,GPT-2小型预训练模型的注意力结构。我们可视化的个别实例的注意力,并在一个大型语料库中分析注意力和语法之间的相互作用。我们发现,注意力针对模型中不同层深度的不同部分,并且注意力与中间层中最强烈的依赖关系保持一致。我们还发现,模型的最深层捕捉了最遥远的关系。最后,我们提取的例句,揭示了高度具体的模式,针对特定的注意头。
2019-06-18 cs.CL cs.LG stat.ML
EnTaCs: Analyzing the Relationship Between Sentiment and Language Choice in English-Tamil Code-Switching
University of Colorado, Boulder(科罗拉多大学博尔德分校)
本文研究英语-泰米尔语混合文本中话语情感与语言选择的关系,采用机器学习和统计建模方法,发现积极话语中英语比例更高,混合情感话语中语言切换频率更高。
2026-03-27 cs.CL
The Constant in HATE: Analyzing Toxicity in Reddit across Topics and Languages
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文基于Reddit上481个社区、六种语言、80个主题的150万条评论线程,系统分析了毒性语言在不同主题和语言社区中的分布规律,发现部分主题的毒性激增模式跨语言一致,而特定语言社区内部则存在显著差异。
2024-04-29 cs.CL
To Know or Not To Know? Analyzing Self-Consistency of Large Language Models under Ambiguity
LMU Munich(慕尼黑大学);Faculty of Philological and Cultural Studies, University of Vienna(维也纳大学语言与文化学院);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);UniVie Doctoral School Computer Science(维也纳大学计算机博士学院)
本文针对大语言模型在实体类型歧义下的自洽性问题,提出区分知识掌握与知识应用的评估协议,在49个歧义实体上测试并揭示LLMs准确率有限且存在系统性不一致,强调需解决实体歧义以提升模型可信度。
2024-10-04 cs.CL cs.LG
Analyzing Emotions in Bangla Social Media Comments Using Machine Learning and LIME
Ahsanullah University of Science and Technology(阿沙努拉科学与技术大学)
本研究针对低资源语言孟加拉语的情感识别需求,基于EmoNoBa数据集测试多种机器学习与深度学习模型,并用LIME解释AdaBoost分类器预测,为孟加拉语社交媒体评论情感分析提供高效技术方案。
2025-06-11 cs.CL cs.LG
Embedding Style Beyond Topics: Analyzing Dispersion Effects Across Different Language Models
LIP6, Sorbonne University, CNRS(法国国家科学研究中心-索邦大学LIP6实验室);Infopro Digital(英富普罗数字公司)
本文研究写作风格对多个最先进语言模型嵌入向量离散度的影响,通过法英双语文学语料库比较模型敏感性,以提升语言模型对风格信息的处理与可解释性。
2025-01-01 cs.AI cs.CL
Analyzing the Evaluation of Cross-Lingual Knowledge Transfer in Multilingual Language Models
University of Amsterdam(阿姆斯特丹大学)
本文质疑多语言模型零样本跨语言性能评估的有效性,通过多语言实例实验证明高性能多源于任务与表面知识而非真实语言转移,呼吁改进评估设置。
2024-02-03 cs.AI cs.CL cs.LG
Analyzing The Language of Visual Tokens
University of California, Berkeley(加利福尼亚大学伯克利分校);The University of Tokyo(东京大学)
本文通过自然语言分析视角,揭示离散视觉语言虽遵循齐普夫分布但缺乏语法结构,其标记创新带来高熵低压缩,与自然语言对齐较弱,为改进视觉模型设计提供依据。
2024-11-07 cs.AI cs.CL cs.CV
Analyzing Similarity Metrics for Data Selection for Language Model Pretraining
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究)
该研究提出评估框架验证了通用现成嵌入模型不适配预训练数据构建场景,其表现弱于同语料训练模型提取的极简嵌入,为预训练专用嵌入设计奠定基础。
2025-10-21 cs.CL cs.LG
Analyzing values about gendered language reform in LLMs' revisions
University of Toronto(多伦多大学);University of British Columbia(不列颠哥伦比亚大学)
本文研究了 LLMs 在文本修订中对性别角色名词的修改行为,评估其与女性主义及跨性别包容性语言改革的一致性,并证实其对语境效应敏感,为价值对齐提供了启示。
2025-05-27 cs.CL
Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models
University of Washington(华盛顿大学);Meta AI Research(Meta人工智能研究院)
多语言预训练模型中出现的跨语言迁移引发了人们对研究其行为的极大兴趣。然而,由于这些分析都集中在完全训练的多语言模型上,因此对多语言预训练过程的动态知之甚少。我们调查了这些模型何时通过使用一套语言任务探测从整个XLM-R预训练中获取的检查点来获得语言和跨语言能力。我们的分析表明,该模型在早期实现了较高的语言性能,在更复杂的语言技能之前获得了较低水平的语言技能。相比之下,当模型学习跨语言迁移时,预训练的点在不同的语言对之间是不同的。有趣的是,我们还观察到,在许多语言和任务中,最终模型层随着时间的推移表现出显着的性能下降,而语言知识传播到网络的较低层。总的来说,这些见解突出了多语言预训练的复杂性,以及随着时间的推移,不同语言的不同行为。
2022-10-22 cs.CL
Analyzing machine-learned representations: A natural language case study
Harvard University(哈佛大学);Stanford University(斯坦福大学)
随着现代深度网络变得越来越复杂,并且在某些领域越来越接近人类的能力,问题就出现了,它们学习的表示和决策规则如何与人类的表示和决策规则进行比较。在这项工作中,我们研究表示的句子在这样一个人工系统的自然语言处理。首先,我们提出了一个诊断测试数据集,检查程度的抽象组合结构表示。分析这些诊断测试的表现表明,缺乏系统性的陈述和决策规则,并揭示了一组启发式策略。然后,我们研究了训练分布对学习这些启发式策略的影响,并研究了这些表示与训练集的各种增强的变化。我们的研究结果揭示了与人类相似的表征。我们发现,这些系统可以学习抽象规则,并在某些情况下将其推广到新的上下文-类似于人类的zero-shot推理。然而,我们也注意到这种泛化行为的一些缺点-类似于人类的判断错误,如信念偏见。研究这些相似之处为理解人类心理现象提供了新的方法,并为构建具有类似人类语言理解的人工智能提供了最佳策略。
2019-09-12 cs.CL cs.LG stat.ML
Match the Script, Adapt if Multilingual: Analyzing the Effect of Multilingual Pretraining on Cross-lingual Transferability
AWS AI Labs(AWS人工智能实验室);University of Maryland(马里兰大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
预训练的多语言模型即使对于看不见的语言也可以实现零样本学习,并且可以通过在微调之前进行自适应来进一步提高性能。然而,目前还不清楚预训练语言的数量如何影响模型对预训练期间未看到的语言的零样本学习。为了填补这一空白,我们提出了以下研究问题:(1)预训练语言的数量如何影响对看不见的目标语言的zero-shot性能?(2)这个问题的答案会随着模型的适应而改变吗?(3)如果用于预训练的语言都是相关的,我们第一个问题的结果会改变吗?我们对相关语言进行预训练的实验表明,选择一组不同的语言至关重要。令人惊讶的是,在没有模型自适应的情况下,增加预训练语言的数量会产生更好的结果,直到添加相关语言,然后性能稳定下来。相比之下,通过持续的预训练进行模型自适应,在大量语言上进行预训练通常会得到进一步的改进,这表明模型自适应对于利用其他预训练语言至关重要。
2022-03-21 cs.CL
In What Languages are Generative Language Models the Most Formal? Analyzing Formality Distribution across Languages
Huawei Turkey R&D Center(华为土耳其研发中心);Nisum Latam(Nisum拉美公司);Banco de Crédito e Inversiones(智利信贷与投资银行);North South University(南北大学);Sorbonne Université(索邦大学)
多语言生成语言模型(LM)在各种语言中越来越流利。他们接受过多种语言语料库连接的训练,能够从高资源语言到低资源语言进行强大的转换。然而,在这些模型的预测中,文化偏见是什么仍然是未知的。在这项工作中,我们专注于一个高度受文化影响的语言属性:正式。我们分析了XGLM和BLOOM的预测,两个流行的生成式多语言语言模型,在5种语言的正式分布。我们将每种语言的1,200代分为正式的、非正式的或无凝聚力的,并测量了即时正式对预测的影响。总的来说,我们观察到跨模型和语言的行为多样性。例如,XGLM在非正式提示的条件下生成阿拉伯语和孟加拉语的非正式文本,比BLOOM多得多。此外,即使这两个模型是高度偏向于正式的风格时,提示中立,我们发现,即使在正式的文本提示模型产生了大量的非正式的预测。我们发布了6,000个带注释的样本,为将来的生成多语言LM的正式工作铺平了道路。
2023-02-23 cs.CL
Memorization Without Overfitting: Analyzing the Training Dynamics of Large Language Models
Meta AI Research(Meta人工智能研究院)
尽管它们被广泛采用,但非常大语言模型的潜在训练和记忆动态并没有得到很好的理解。我们实证研究因果和掩蔽语言建模中的精确记忆,跨模型大小和整个训练过程。我们测量了数据集大小、学习率和模型大小对记忆的影响,发现较大的语言模型在所有设置中都能更快地记忆训练数据。令人惊讶的是,我们发现较大的模型可以在过度拟合之前记住更大部分的数据,并且在整个训练过程中忘记的数据较少。我们还分析了不同的语音部分的记忆动态,发现模型首先记忆名词和数字;我们假设并提供了经验证据,名词和数字作为记忆个人训练样本的唯一标识符。总之,这些发现提出了另一个更广泛的难题,即试图理解随着模型变大,实际上会改善什么。
2022-11-02 cs.CL
Towards Interpretable Sequence Continuation: Analyzing Shared Circuits in Large Language Models
Apart Research(阿帕特研究机构);University of Oxford(牛津大学)
本研究通过回路可解释性分析,在GPT-2 Small和Llama-2-7B中发现负责序列续写的共享关键子回路,揭示语义相关序列依赖同功能子图,为模型行为预测、错误识别及安全编辑提供机制性理解。
2024-10-04 cs.AI cs.CL cs.LG
Tracking, exploring and analyzing recent developments in German-language online press in the face of the coronavirus crisis: cOWIDplus Analysis and cOWIDplus Viewer
Leibniz Institute for the German Language(莱布尼茨德语语言研究所)
冠状病毒大流行可能是自第二次世界大战以来世界不得不面临的最大危机。它也对作为我们主要交流工具的语言产生了影响,这并不奇怪。我们提出了三个相互关联的资源,旨在捕捉和说明这些影响的一个子集的德语:德语新闻源的RSS语料库(免费提供未截断的单字频率列表),一个静态但不断更新的HTML页面,跟踪所使用词汇的多样性,以及一个Web应用程序,使其他研究人员和更广泛的公众能够在没有任何或对语料库表示/探索或统计分析知之甚少。
2023-03-21 cs.CL
Steering into New Embedding Spaces: Analyzing Cross-Lingual Alignment Induced by Model Interventions in Multilingual Language Models
Georgia Institute of Technology(佐治亚理工学院);Apple(苹果公司)
本文研究通过模型干预而非微调来增强多语言大语言模型的跨语言对齐,发现操控特定神经元可改变嵌入空间并提升跨语言检索性能,top-1准确率最高提升2倍。
2025-07-21 cs.AI cs.CL cs.LG
Teach me with a Whisper: Enhancing Large Language Models for Analyzing Spoken Transcripts using Speech Embeddings
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校);IBM Research AI(IBM研究院人工智能部门)
提出一种音频-语言知识蒸馏方法,利用Whisper语音嵌入增强语言模型分析口语转录文本,无需测试时音频输入,性能优于传统模型。
2023-11-13 cs.CL cs.SD eess.AS
Analyzing FOMC Minutes: Accuracy and Constraints of Language Models
University of St. Gallen(圣加仑大学);Korea University(高丽大学)
本研究分析FOMC官方声明语言,发现其避免情感并采用模板,利用VADER、FinBERT及GPT-4测试,FinBERT在负面情绪预测上表现最佳,同时指出NLP分析局限及改进方向。
2024-02-19 cs.CL
Analyzing the Roles of Language and Vision in Learning from Limited Data
Princeton University(普林斯顿大学)
本文通过消融视觉-语言模型的认知组件,研究语言与视觉在有限数据新任务学习中的作用,发现语言模型可借助先验知识与推理恢复 VLM 的大部分性能。
2024-05-10 cs.AI cs.CL cs.CV
Analyzing Large Language Models for Classroom Discussion Assessment
University of Pittsburgh(匹兹堡大学)
本文研究了任务表述、上下文长度和少样本示例对两个大型语言模型课堂讨论评估性能的影响,并推荐了一种兼顾性能、效率与一致性的评估方法。
2024-06-12 cs.CL
Analyzing the Role of Context in Forecasting with Large Language Models
University of Innsbruck(因斯布鲁克大学)
本研究构建含600余个二元预测问题及配套新闻的数据集,探究不同上下文提示对大语言模型预测性能的影响,发现加入新闻可提升效果、少样本会降低准确率,且大模型表现更优,展现其在自动化预测中的潜力。
2025-01-11 cs.CL cs.IR
SOI Matters: Analyzing Multi-Setting Training Dynamics in Pretrained Language Models via Subsets of Interest
University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of British Columbia(不列颠哥伦比亚大学);Stony Brook University(石溪大学);University of Tehran(德黑兰大学)
本文提出兴趣子集(SOI)框架以分析预训练语言模型在多任务、多语言和多源设置下的训练动态,发现多源学习可提升分布外性能达7%,并设计了基于SOI子集选择的两阶段微调方法以进一步优化模型性能。
2025-07-21 cs.CL cs.LG
Analyzing And Editing Inner Mechanisms Of Backdoored Language Models
Stanford University(斯坦福大学)
本文研究后门语言模型的内部机制,发现早期层 MLP 模块与初始嵌入投影对后门行为最关键,并提出基于主成分的低秩替换方法 PCP 消融,用于移除、插入和修改后门,同时通过在微调时局部约束模块提升模型对数据投毒的后门鲁棒性。
2024-05-04 cs.AI cs.CL cs.LG
Understanding and Analyzing Inappropriately Targeting Language in Online Discourse: A Comparative Annotation Study
本文通过整合众包、专家与ChatGPT标注,比较分析在线对话中的不当针对性语言,揭示语境关键作用并发现新类别,为改进内容审核提供见解。
2025-05-22 cs.CL
Analyzing COVID-19 Tweets with Transformer-based Language Models
ASRC Federal(ASRC联邦公司);University of Maryland Baltimore County(马里兰大学巴尔的摩分校)
本文描述了一种使用基于转换器的语言模型(TLM)来理解社交媒体帖子中的公众舆论的方法。在这种方法中,我们在几个COVID-19推文语料库上训练了一组GPT模型,这些语料库反映了具有独特观点的用户群体。然后,我们使用基于查询的查询来探测这些模型,以揭示用户的偏见和意见。我们展示了如何使用这种方法来产生类似于对不同的社会,政治和公共卫生问题进行民意调查的结果。对COVID-19推文数据的研究结果表明,Transformer语言模型是很有前途的工具,可以帮助我们大规模地了解社交媒体上的公众意见。
2021-05-06 cs.CL cs.CY
Natural Language Multitasking: Analyzing and Improving Syntactic Saliency of Hidden Representations
ETH Zurich(苏黎世联邦理工学院)
我们训练多任务自动编码器的语言任务和分析学习隐藏的句子表示。当添加翻译和词性解码器时,表示显著改变。一个模型使用的解码器越多,它就越能根据句子的句法相似性对句子进行聚类,因为表示空间变得越不复杂。我们通过在句子之间插值来探索表示空间的结构,这产生了有趣的伪英语句子,其中许多句子具有可识别的句法结构。最后,我们指出了我们的模型的一个有趣的特性:两个句子之间的差异向量可以被添加,以有意义的方式改变具有相似特征的第三个句子。
2018-01-18 cs.AI cs.CL cs.LG
MaiNLP at SemEval-2024 Task 1: Analyzing Source Language Selection in Cross-Lingual Textual Relatedness
MaiNLP(迈NLP);Center for Information and Language Processing(信息与语言处理中心);LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
该研究面向零样本跨语言语义文本相关性任务,在 XLM-R 与 Furina 上比较单源、多源及数据增强等源语言选择策略,并在 C8 卢旺达语测试集取得第一名。
2024-04-03 cs.CL
Analyzing Bias in False Refusal Behavior of Large Language Models for Hate Speech Detoxification
TU Dresden(德累斯顿理工大学)
研究分析了大型语言模型在仇恨言论净化中的虚假拒绝偏见,并提出通过中英互译策略减少此类拒绝行为。
2026-01-13 cs.CL
On the Pitfalls of Analyzing Individual Neurons in Language Models
Technion – Israel Institute of Technology(以色列理工学院)
虽然许多研究表明,语言信息是以隐藏的单词表征编码的,但很少有人研究单个神经元,以显示它是如何以及在哪些神经元中编码的。其中,常见的方法是使用一个外部的探针排名神经元根据其相关性的一些语言属性,并评估所获得的排名使用相同的探针,产生it.We显示两个陷阱,在这种方法:1。它混淆了不同的因素:探测质量和排名质量。我们将它们分开,并对每一个得出结论。2.它关注编码的信息,而不是模型使用的信息。我们表明,这些是不一样的。我们比较了两个最近的排名方法和一个简单的,我们介绍,并评估他们在这两个方面。
2022-08-01 cs.CL
When Relations Break: Analyzing Relation Hallucination in Vision-Language Model Under Rotation and Noise
The Pennsylvania State University(宾夕法尼亚州立大学)
研究探讨了旋转和噪声对视觉语言模型关系推理的影响,发现轻微扰动显著降低模型性能,提示需更鲁棒的几何感知模型。
2026-05-10 cs.CL cs.CV
A Computational Approach to Analyzing Disrupted Language in Schizophrenia: Integrating Surprisal and Coherence Measures
Institute for System Research, Department of Electrical;Computer Engineering, University of Maryland, College Park, USA
本研究利用惊奇度和语义连贯性两种计算语言学度量,分析精神分裂症患者与健康对照组的语言差异,并揭示语言紊乱随症状严重程度的变化规律,为客观诊断提供依据。
2025-11-05 cs.CL eess.AS eess.SP
Analyzing Bias in Swiss Federal Supreme Court Judgments Using Facebook's Holistic Bias Dataset: Implications for Language Model Training
Otto von Guericke University Magdeburg(马格德堡奥托·冯·格里克大学);Leibniz Institute for Educational Media | Georg Eckert Institute(莱布尼茨教育媒体研究所(格奥尔格·埃克特研究所))
本研究借助 Holistic Bias 社会偏见描述符与注意力可视化分析 SJP-Dataset,揭示法律判决预测数据中的偏见及其对模型行为的影响。
2025-01-06 cs.AI cs.CL
LM Transparency Tool: Interactive Tool for Analyzing Transformer Language Models
Meta;University College London(伦敦大学学院);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
本研究推出开源交互式工具LM-TT,可完整透明化Transformer语言模型预测过程,支持细粒度行为回溯、组件归因与功能解读,助力大模型可解释性研究与应用。
2024-04-10 cs.CL
Analyzing the relationships between pretraining language, phonetic, tonal, and speaker information in self-supervised speech models
Institute for Phonetics and Speech Processing(语音处理研究所);School of Informatics(信息学院)
本研究突破自监督语音模型分析多聚焦英语的局限,通过探测分类器与几何分析考察多语言wav2vec2的信息表征,发现其表征结构基本独立于预训练语音材料。
2025-06-12 cs.CL eess.AS
Analyzing the Language of Food on Social Media
University of Arizona(亚利桑那大学)
我们调查了社交媒体上食物语言背后的预测能力。我们从Twitter上收集了超过300万条与食物相关的帖子,并证明了许多潜在的人口特征可以直接从这些数据中预测:超重率,糖尿病率,政治倾向和作者的家庭地理位置。对于所有任务,我们基于语言的模型都显著优于多数类基线。通过更复杂的自然语言处理(如主题建模),性能得到了进一步提高。我们分析了哪些文本特征对这些数据集具有最强的预测能力,从而深入了解食物语言、地理位置和社区特征之间的联系。最后,我们设计并实现了一个在线的数据集的实时查询和可视化系统。可视化工具,如地理参考热图,语义保留词云和时间直方图,使我们能够发现反映在食物语言中的更复杂的全球模式。
2014-09-11 cs.CL cs.CY cs.SI
Analyzing Encoded Concepts in Transformer Language Models
Qatar Computing Research Institute(卡塔尔计算研究所);HBKU(哈马德·本·哈利法大学);Steven Institute of Technology(史蒂文斯理工学院)
我们提出了一个新的框架ConceptX,分析潜在的概念是如何编码的表示内预先训练的语言模型学习。它使用聚类来发现编码的概念,并通过与大量人类定义的概念对齐来解释它们。我们对七个Transformer语言模型的分析揭示了有趣的见解:i)学习表示中的潜在空间在不同程度上与不同的语言概念重叠,ii)模型中的较低层由词汇概念主导(例如,词缀),而核心语言概念(例如,形态或句法关系)在中间层和更高层中得到更好的表示,iii)一些编码概念是多方面的,并且不能使用现有的人类定义的概念来充分解释。
2022-06-27 cs.AI cs.CL
Analyzing and Improving Cross-lingual Knowledge Transfer for Machine Translation
本研究分析并改进了机器翻译中的跨语言知识迁移,探讨了语言相似性、检索辅助监督及平行数据微调对翻译效果的影响,以提升多语言NLP系统的鲁棒性和泛化能力。
2026-01-07 cs.CL
Analyzing and Adapting Large Language Models for Few-Shot Multilingual NLU: Are We There Yet?
University of Cambridge(剑桥大学)
本文系统比较SFT、SIT和ICL在多语言少样本NLU中的性能与成本,发现SIT权衡最佳,并揭示标准目标语言适配难以提升ICL语言理解。
2024-03-04 cs.CL
Analyzing Language Learned by an Active Question Answering Agent
Google(谷歌公司)
我们分析了通过强化学习训练的代理学习的语言,作为ActiveQA系统的一个组成部分[Buck et al.,2017年]。在ActiveQA中,问答被构建为一个强化学习任务,其中代理位于用户和黑盒问题回答系统之间。代理学习重新制定用户的问题,以得出最佳答案。它使用通过序列到序列问题重构模型生成的问题的许多版本来探测系统,然后聚合返回的证据以找到最佳答案。此过程是\emph{machine-machine}通信的一个实例。问题重构模型必须调整其语言以提高返回的答案的质量,匹配问答系统的语言。我们发现,代理不学习转换,符合语义直觉,但发现通过学习经典的信息检索技术,如tf-idf重新加权和词干。
2018-01-23 cs.AI cs.CL
Analyzing LLMs' Knowledge Boundary Cognition Across Languages Through the Lens of Internal Representations
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Department of Computer Science, Durham University(杜伦大学计算机科学系);Hupan Lab, Hangzhou, China(杭州实验室)
本研究首次通过内部表示探测分析LLMs跨语言的知识边界认知,发现其编码于中间层且语言差异呈线性结构,提出无需训练的对齐方法和双语微调以提升跨语言边界识别,降低幻觉风险。
2025-06-24 cs.CL
Analyzing the Correlation Between Hallucinations and Knowledge Conflicts in Large Language Models
University of Bari Aldo Moro(巴里阿尔多莫罗大学)
通过探针技术分析LLM内部表示,发现幻觉激活模式不能完全归因于知识冲突,但探针可提升模型可解释性。
2026-06-07 cs.CL
Visually Analyzing Contextualized Embeddings
Vanderbilt University(范德堡大学)
在本文中,我们介绍了一种可视化分析基于深度神经网络的语言模型产生的上下文化嵌入的方法。我们的方法受到了自然语言处理的语言探测器的启发,其中任务被设计为探测语言结构的语言模型,例如词性和命名实体。然而,这些方法在很大程度上是验证性的,仅使用户能够测试先验已知的信息。在这项工作中,我们避免监督探测任务,并提倡无监督探测,加上视觉探索技术,以评估语言模型学到了什么。具体来说,我们集群上下文嵌入产生的大型文本语料库,并介绍了基于此聚类和文本结构的可视化设计-集群同现,集群跨度,集群词成员资格-以帮助引出的功能,和之间的关系,个别集群。用户反馈突出了我们的设计在发现不同类型的语言结构方面的优势。
2020-09-05 cs.CL cs.HC
Analyzing and Reducing the Performance Gap in Cross-Lingual Transfer with Fine-tuning Slow and Fast
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Microsoft Research Asia(微软亚洲研究院);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文分析了多语言模型跨语言迁移中的性能差距问题,发现影响性能的关键网络权重,并提出包含四种训练策略的Fine-tuning slow and fast方法,通过减少遗忘有效缩小差距,显著优于基线方法。
2023-05-19 cs.CL
Quantifying and Analyzing Entity-level Memorization in Large Language Models
Beijing University of Posts and Telecommunications(北京邮电大学);University of Michigan(密歇根大学)
该研究针对现有大语言模型记忆量化方法的局限性,提出细粒度实体级记忆量化定义与敏感实体高效提取方法,实验证实模型实体级记忆能力强且能理解实体关联,为隐私风险防控提供依据。
2023-11-05 cs.CL
Analyzing and Mitigating Object Hallucination in Large Vision-Language Models
UNC-Chapel Hill(北卡罗来纳大学教堂山分校);Rutgers University(罗格斯大学);Columbia University(哥伦比亚大学);Stanford University(斯坦福大学)
提出LURE算法,基于共现、不确定性和对象位置统计分析,事后修正LVLM对象幻觉,在六个开源模型上提升23%并排名第一。
2024-03-16 cs.CL cs.CV cs.LG
#InsTag: Instruction Tagging for Analyzing Supervised Fine-tuning of Large Language Models
Alibaba DAMO Academy(阿里巴巴达摩院)
本文提出开放集细粒度指令标注器InsTag,用以量化SFT数据的多样性与复杂性,并据此选择6K样本训练TagLM,在MT-Bench上超越使用更多数据的开源模型。
2023-08-15 cs.AI cs.CL cs.LG
Analyzing Individual Neurons in Pre-trained Language Models
Qatar Computing Research Institute(卡塔尔计算研究所);HBKU Research Complex(哈马德·本·哈利法大学研究中心);MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
虽然已经进行了大量的分析来证明在深度NLP模型中学习的表示所捕获的语言知识,但很少关注单个神经元。我们使用预测形态,语法和语义的核心语言任务对预训练的语言模型进行神经元级分析,问题如下:i)预训练模型中的单个神经元是否捕获语言信息?(2)网络的哪些部分对某些语言现象了解更多?(三)信息的分布和重点如何?以及iv)不同的体系结构在学习这些属性方面有何不同?我们发现了小的神经元子集来预测语言任务,与预测语法的高级任务相比,较低级别的任务(例如形态学)位于更少的神经元中。我们的研究还揭示了有趣的跨架构比较。例如,我们发现XLNet中的神经元在预测属性时比BERT和其他神经元更局部化和不相交,在其他神经元中它们更分散和耦合。
2020-10-06 cs.CL
evaluating bert and parsbert for analyzing persian advertisement data
Newcastle University(纽卡斯尔大学);Kent State University(肯特州立大学)
本研究以伊朗在线平台Divar的波斯语汽车广告数据集为对象,使用Hazm库处理文本,对比mBERT与ParsBERT的性能,梳理数据挖掘流程与机器学习相关方法,为低资源语言文本分析提供参考。
2023-05-03 cs.CL
Analyzing the Effect of Linguistic Similarity on Cross-Lingual Transfer: Tasks and Experimental Setups Matter
Munich Center for Machine Learning(慕尼黑机器学习中心);Apple(苹果公司)
该研究针对263种多语系语言和三类NLP任务分析跨语言迁移,发现语言相似性对迁移性能的影响受任务类型、输入表示形式及相似性定义等因素制约。
2025-05-21 cs.CL
Analyzing Generalization of Vision and Language Navigation to Unseen Outdoor Areas
Heidelberg University(海德堡大学)
视觉和语言导航(VLN)是一个具有挑战性的视觉基础的语言理解任务。给定一个自然语言导航指令,一个可视化代理与一个基于图形的环境进行交互,该环境配备有全景图像,并试图遵循所描述的路线。大多数先前的工作都是在室内场景中进行的,在室内场景中,在与训练路线类似的路线上导航获得了最佳结果,在看不见的环境中测试时性能急剧下降。我们专注于室外场景中的VLN,并发现与室内VLN相比,室外VLN对看不见的数据的大部分增益是由于特定于相应环境图的连接类型嵌入或标题三角洲等功能,而图像信息在将VLN推广到看不见的室外区域中起着非常小的作用。这些研究结果表明,城市环境的图形表示的具体偏见,要求VLN任务的规模和地理环境的多样性增长。
2022-03-25 cs.AI cs.CL cs.CV
JBBQ: Japanese Bias Benchmark for Analyzing Social Biases in Large Language Models
The University of Tokyo(东京大学);Riken(理化学研究所);Hokkaido University(北海道大学)
本研究构建了日语偏见基准数据集JBBQ以分析日语大语言模型的社会偏见,发现大参数量开源日语LLM准确率提升但偏见得分上升,偏见警示提示与思维链提示可降低偏见影响,日语上下文证据提取仍有改进空间。
2025-06-13 cs.CL