Analyzing values about gendered language reform in LLMs' revisions
University of Toronto(多伦多大学);University of British Columbia(不列颠哥伦比亚大学)
本文研究了 LLMs 在文本修订中对性别角色名词的修改行为,评估其与女性主义及跨性别包容性语言改革的一致性,并证实其对语境效应敏感,为价值对齐提供了启示。
2025-05-27 cs.CL
Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models
University of Washington(华盛顿大学);Meta AI Research(Meta人工智能研究院)
多语言预训练模型中出现的跨语言迁移引发了人们对研究其行为的极大兴趣。然而,由于这些分析都集中在完全训练的多语言模型上,因此对多语言预训练过程的动态知之甚少。我们调查了这些模型何时通过使用一套语言任务探测从整个XLM-R预训练中获取的检查点来获得语言和跨语言能力。我们的分析表明,该模型在早期实现了较高的语言性能,在更复杂的语言技能之前获得了较低水平的语言技能。相比之下,当模型学习跨语言迁移时,预训练的点在不同的语言对之间是不同的。有趣的是,我们还观察到,在许多语言和任务中,最终模型层随着时间的推移表现出显着的性能下降,而语言知识传播到网络的较低层。总的来说,这些见解突出了多语言预训练的复杂性,以及随着时间的推移,不同语言的不同行为。
2022-10-22 cs.CL
Match the Script, Adapt if Multilingual: Analyzing the Effect of Multilingual Pretraining on Cross-lingual Transferability
AWS AI Labs(AWS人工智能实验室);University of Maryland(马里兰大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
预训练的多语言模型即使对于看不见的语言也可以实现零样本学习,并且可以通过在微调之前进行自适应来进一步提高性能。然而,目前还不清楚预训练语言的数量如何影响模型对预训练期间未看到的语言的零样本学习。为了填补这一空白,我们提出了以下研究问题:(1)预训练语言的数量如何影响对看不见的目标语言的zero-shot性能?(2)这个问题的答案会随着模型的适应而改变吗?(3)如果用于预训练的语言都是相关的,我们第一个问题的结果会改变吗?我们对相关语言进行预训练的实验表明,选择一组不同的语言至关重要。令人惊讶的是,在没有模型自适应的情况下,增加预训练语言的数量会产生更好的结果,直到添加相关语言,然后性能稳定下来。相比之下,通过持续的预训练进行模型自适应,在大量语言上进行预训练通常会得到进一步的改进,这表明模型自适应对于利用其他预训练语言至关重要。
2022-03-21 cs.CL
In What Languages are Generative Language Models the Most Formal? Analyzing Formality Distribution across Languages
Huawei Turkey R&D Center(华为土耳其研发中心);Nisum Latam(Nisum拉美公司);Banco de Crédito e Inversiones(智利信贷与投资银行);North South University(南北大学);Sorbonne Université(索邦大学)
多语言生成语言模型(LM)在各种语言中越来越流利。他们接受过多种语言语料库连接的训练,能够从高资源语言到低资源语言进行强大的转换。然而,在这些模型的预测中,文化偏见是什么仍然是未知的。在这项工作中,我们专注于一个高度受文化影响的语言属性:正式。我们分析了XGLM和BLOOM的预测,两个流行的生成式多语言语言模型,在5种语言的正式分布。我们将每种语言的1,200代分为正式的、非正式的或无凝聚力的,并测量了即时正式对预测的影响。总的来说,我们观察到跨模型和语言的行为多样性。例如,XGLM在非正式提示的条件下生成阿拉伯语和孟加拉语的非正式文本,比BLOOM多得多。此外,即使这两个模型是高度偏向于正式的风格时,提示中立,我们发现,即使在正式的文本提示模型产生了大量的非正式的预测。我们发布了6,000个带注释的样本,为将来的生成多语言LM的正式工作铺平了道路。
2023-02-23 cs.CL
Memorization Without Overfitting: Analyzing the Training Dynamics of Large Language Models
Meta AI Research(Meta人工智能研究院)
尽管它们被广泛采用,但非常大语言模型的潜在训练和记忆动态并没有得到很好的理解。我们实证研究因果和掩蔽语言建模中的精确记忆,跨模型大小和整个训练过程。我们测量了数据集大小、学习率和模型大小对记忆的影响,发现较大的语言模型在所有设置中都能更快地记忆训练数据。令人惊讶的是,我们发现较大的模型可以在过度拟合之前记住更大部分的数据,并且在整个训练过程中忘记的数据较少。我们还分析了不同的语音部分的记忆动态,发现模型首先记忆名词和数字;我们假设并提供了经验证据,名词和数字作为记忆个人训练样本的唯一标识符。总之,这些发现提出了另一个更广泛的难题,即试图理解随着模型变大,实际上会改善什么。
2022-11-02 cs.CL
Analyzing FOMC Minutes: Accuracy and Constraints of Language Models
University of St. Gallen(圣加仑大学);Korea University(高丽大学)
本研究分析FOMC官方声明语言,发现其避免情感并采用模板,利用VADER、FinBERT及GPT-4测试,FinBERT在负面情绪预测上表现最佳,同时指出NLP分析局限及改进方向。
2024-02-19 cs.CL
Analyzing Large Language Models for Classroom Discussion Assessment
University of Pittsburgh(匹兹堡大学)
本文研究了任务表述、上下文长度和少样本示例对两个大型语言模型课堂讨论评估性能的影响,并推荐了一种兼顾性能、效率与一致性的评估方法。
2024-06-12 cs.CL
Understanding and Analyzing Inappropriately Targeting Language in Online Discourse: A Comparative Annotation Study
本文通过整合众包、专家与ChatGPT标注,比较分析在线对话中的不当针对性语言,揭示语境关键作用并发现新类别,为改进内容审核提供见解。
2025-05-22 cs.CL
MaiNLP at SemEval-2024 Task 1: Analyzing Source Language Selection in Cross-Lingual Textual Relatedness
MaiNLP(迈NLP);Center for Information and Language Processing(信息与语言处理中心);LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
该研究面向零样本跨语言语义文本相关性任务,在 XLM-R 与 Furina 上比较单源、多源及数据增强等源语言选择策略,并在 C8 卢旺达语测试集取得第一名。
2024-04-03 cs.CL
Analyzing Bias in False Refusal Behavior of Large Language Models for Hate Speech Detoxification
TU Dresden(德累斯顿理工大学)
研究分析了大型语言模型在仇恨言论净化中的虚假拒绝偏见,并提出通过中英互译策略减少此类拒绝行为。
2026-01-13 cs.CL
On the Pitfalls of Analyzing Individual Neurons in Language Models
Technion – Israel Institute of Technology(以色列理工学院)
虽然许多研究表明,语言信息是以隐藏的单词表征编码的,但很少有人研究单个神经元,以显示它是如何以及在哪些神经元中编码的。其中,常见的方法是使用一个外部的探针排名神经元根据其相关性的一些语言属性,并评估所获得的排名使用相同的探针,产生it.We显示两个陷阱,在这种方法:1。它混淆了不同的因素:探测质量和排名质量。我们将它们分开,并对每一个得出结论。2.它关注编码的信息,而不是模型使用的信息。我们表明,这些是不一样的。我们比较了两个最近的排名方法和一个简单的,我们介绍,并评估他们在这两个方面。
2022-08-01 cs.CL
LM Transparency Tool: Interactive Tool for Analyzing Transformer Language Models
Meta;University College London(伦敦大学学院);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
本研究推出开源交互式工具LM-TT,可完整透明化Transformer语言模型预测过程,支持细粒度行为回溯、组件归因与功能解读,助力大模型可解释性研究与应用。
2024-04-10 cs.CL
Embedding Style Beyond Topics: Analyzing Dispersion Effects Across Different Language Models
LIP6, Sorbonne University, CNRS(法国国家科学研究中心-索邦大学LIP6实验室);Infopro Digital(英富普罗数字公司)
本文研究写作风格对多个最先进语言模型嵌入向量离散度的影响,通过法英双语文学语料库比较模型敏感性,以提升语言模型对风格信息的处理与可解释性。
2025-01-01 cs.AI cs.CL
Analyzing and Improving Cross-lingual Knowledge Transfer for Machine Translation
本研究分析并改进了机器翻译中的跨语言知识迁移,探讨了语言相似性、检索辅助监督及平行数据微调对翻译效果的影响,以提升多语言NLP系统的鲁棒性和泛化能力。
2026-01-07 cs.CL
Analyzing and Adapting Large Language Models for Few-Shot Multilingual NLU: Are We There Yet?
University of Cambridge(剑桥大学)
本文系统比较SFT、SIT和ICL在多语言少样本NLU中的性能与成本,发现SIT权衡最佳,并揭示标准目标语言适配难以提升ICL语言理解。
2024-03-04 cs.CL
Analyzing LLMs' Knowledge Boundary Cognition Across Languages Through the Lens of Internal Representations
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Department of Computer Science, Durham University(杜伦大学计算机科学系);Hupan Lab, Hangzhou, China(杭州实验室)
本研究首次通过内部表示探测分析LLMs跨语言的知识边界认知,发现其编码于中间层且语言差异呈线性结构,提出无需训练的对齐方法和双语微调以提升跨语言边界识别,降低幻觉风险。
2025-06-24 cs.CL
Analyzing the Correlation Between Hallucinations and Knowledge Conflicts in Large Language Models
University of Bari Aldo Moro(巴里阿尔多莫罗大学)
通过探针技术分析LLM内部表示,发现幻觉激活模式不能完全归因于知识冲突,但探针可提升模型可解释性。
2026-06-07 cs.CL
Analyzing and Reducing the Performance Gap in Cross-Lingual Transfer with Fine-tuning Slow and Fast
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Microsoft Research Asia(微软亚洲研究院);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文分析了多语言模型跨语言迁移中的性能差距问题,发现影响性能的关键网络权重,并提出包含四种训练策略的Fine-tuning slow and fast方法,通过减少遗忘有效缩小差距,显著优于基线方法。
2023-05-19 cs.CL
Quantifying and Analyzing Entity-level Memorization in Large Language Models
Beijing University of Posts and Telecommunications(北京邮电大学);University of Michigan(密歇根大学)
该研究针对现有大语言模型记忆量化方法的局限性,提出细粒度实体级记忆量化定义与敏感实体高效提取方法,实验证实模型实体级记忆能力强且能理解实体关联,为隐私风险防控提供依据。
2023-11-05 cs.CL
Analyzing Individual Neurons in Pre-trained Language Models
Qatar Computing Research Institute(卡塔尔计算研究所);HBKU Research Complex(哈马德·本·哈利法大学研究中心);MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
虽然已经进行了大量的分析来证明在深度NLP模型中学习的表示所捕获的语言知识,但很少关注单个神经元。我们使用预测形态,语法和语义的核心语言任务对预训练的语言模型进行神经元级分析,问题如下:i)预训练模型中的单个神经元是否捕获语言信息?(2)网络的哪些部分对某些语言现象了解更多?(三)信息的分布和重点如何?以及iv)不同的体系结构在学习这些属性方面有何不同?我们发现了小的神经元子集来预测语言任务,与预测语法的高级任务相比,较低级别的任务(例如形态学)位于更少的神经元中。我们的研究还揭示了有趣的跨架构比较。例如,我们发现XLNet中的神经元在预测属性时比BERT和其他神经元更局部化和不相交,在其他神经元中它们更分散和耦合。
2020-10-06 cs.CL
Analyzing Bagging Methods for Language Models
New York University(纽约大学)
现代语言模型利用越来越多的参数来实现自然语言理解任务的性能。将这些模型集成到下游任务的特定配置中,可以进一步提高性能。在本文中,我们进行了装袋语言模型的分析,并比较单一的语言模型装袋合奏是大致相等的最终模型的大小。我们探索了一系列用于自然语言理解任务的模型装袋配置,最终集成大小从300 M参数到1.5 B参数不等,并确定我们的集成方法充其量大致相当于单个LM基线。我们注意到其他积极的影响,装袋和修剪在特定的情况下,根据我们的实验结果,如方差减少和轻微的性能改善。
2022-07-19 cs.CL cs.LG
evaluating bert and parsbert for analyzing persian advertisement data
Newcastle University(纽卡斯尔大学);Kent State University(肯特州立大学)
本研究以伊朗在线平台Divar的波斯语汽车广告数据集为对象,使用Hazm库处理文本,对比mBERT与ParsBERT的性能,梳理数据挖掘流程与机器学习相关方法,为低资源语言文本分析提供参考。
2023-05-03 cs.CL
Analyzing the Effect of Linguistic Similarity on Cross-Lingual Transfer: Tasks and Experimental Setups Matter
Munich Center for Machine Learning(慕尼黑机器学习中心);Apple(苹果公司)
该研究针对263种多语系语言和三类NLP任务分析跨语言迁移,发现语言相似性对迁移性能的影响受任务类型、输入表示形式及相似性定义等因素制约。
2025-05-21 cs.CL
JBBQ: Japanese Bias Benchmark for Analyzing Social Biases in Large Language Models
The University of Tokyo(东京大学);Riken(理化学研究所);Hokkaido University(北海道大学)
本研究构建了日语偏见基准数据集JBBQ以分析日语大语言模型的社会偏见,发现大参数量开源日语LLM准确率提升但偏见得分上升,偏见警示提示与思维链提示可降低偏见影响,日语上下文证据提取仍有改进空间。
2025-06-13 cs.CL
Analyzing Roles of Classifiers and Code-Mixed factors for Sentiment Identification
SRM University(SRM大学);Jadavpur University(贾达普大学)
多语言使用者经常在不同语言之间切换,以在社交平台上表达自己。有时,语言的原始脚本会被保留,而由于方便,使用所有语言的通用脚本也很受欢迎。在这种情况下,多种语言与不同的语法规则混合,使用相同的脚本,这使得即使在准确的情感识别的情况下,自然语言处理也是一项具有挑战性的任务。在本文中,我们报告的结果进行了各种实验的电影评论数据集具有这种代码混合属性的两种语言,英语和孟加拉语,都键入罗马脚本。我们已经测试了各种机器学习算法,这些算法只在我们的代码混合数据上训练英语特征,并且使用朴素贝叶斯(NB)模型实现了59.00%的最大准确率。我们还测试了各种模型训练的代码混合数据,以及英语功能和最高的准确率为72.50%的支持向量机(SVM)模型。最后,我们分析了错误分类的片段,并讨论了为了提高准确性而需要解决的挑战。
2018-03-15 cs.CL
How Green are Neural Language Models? Analyzing Energy Consumption in Text Summarization Fine-tuning
Jadavpur University(贾达普大学);Indian Association for the Cultivation of Science(印度科学促进会);Techno India University(印度技术大学)
本文针对文本摘要微调任务,比较T5-base、BART-base与LLaMA-3-8B的碳足迹和多项指标性能,发现LLaMA-3-8B环境成本最高,凸显节能AI的必要性。
2025-03-14 cs.CL
Analyzing Effect of Repeated Reading on Oral Fluency and Narrative Production for Computer-Assisted Language Learning
Indian Institute of Information Technology, Allahabad(印度理工学院安拉阿巴德分校)
重复阅读(RR)可以帮助那些几乎没有流利阅读经验的学习者获得自信,速度和自动处理单词。重复阅读的好处包括帮助所有学习者回忆事实,帮助识别学习者的主要思想和词汇,提高理解力,加快阅读速度,提高单词识别的准确性,并帮助学习者从逐字阅读过渡到更有意义的措辞。因此,叙述性语言最终有助于提高学习者的口语流利性和叙述性产出。然而,有没有开放的音频数据集提供的口头回应的学习者的基础上,他们的RR实践。因此,在本文中,我们提出了我们的数据集,讨论其属性,并提出了一种方法来评估口语流利性和叙事生产的英语学习者使用声学,韵律,词汇和句法特征。结果表明,计算机辅助语言学习系统可以用来评估学习者口语流利性和叙述性产出的提高。
2020-06-25 cs.CL
Analyzing Sentiment Polarity Reduction in News Presentation through Contextual Perturbation and Large Language Models
IIT Kharagpur(印度理工学院卡哈拉格普尔分校)
本文提出通过对抗攻击式扰动和基于ChatGPT的提示方法,结合束搜索算法降低新闻文本情感极性,实验证明该方法在保持文本质量的同时有效减少情感偏见,促进客观报道。
2024-02-03 cs.CL
Analyzing Syntactic Generalization Capacity of Pre-trained Language Models on Japanese Honorific Conversion
The University of Tokyo(东京大学)
本文构建考虑社会关系的日语敬语转换数据集,评估 GPT-3 在微调和提示学习下的句法泛化能力,发现微调整体更优,但难泛化到含直接引语的复合敬语句。
2023-06-05 cs.CL
From sunblock to softblock: Analyzing the correlates of neology in published writing and on social media
Vector Institute for Artificial Intelligence(向量人工智能研究所);Carnegie Mellon University(卡内基梅隆大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of California, San Diego(加利福尼亚大学圣地亚哥分校)
本文通过扩展分布语义方法,分析了出版物和社交媒体中新词形成的差异及其影响因素。
2026-02-13 cs.CL
Bias A-head? Analyzing Bias in Transformer-Based Language Model Attention Heads
University of Notre Dame(圣母大学)
本文提出偏见分析框架,识别BERT和GPT中导致刻板印象偏见的少数注意力头,并通过实验揭示其行为机制,为模型公平性评估与偏见缓解提供依据。
2024-06-16 cs.CL
ClimateNLP: Analyzing Public Sentiment Towards Climate Change Using Natural Language Processing
Applied NLP Research Lab(应用自然语言处理研究实验室);School of Digital Sciences(数字科学学院)
本文提出ClimateNLP框架,利用自然语言处理技术及微调模型ClimateBERT分析社交媒体推文,量化公众对气候变化的情感与认知,为政策制定提供数据支持。
2023-10-19 cs.CL
Analyzing and learning the language for different types of harassment
University of Leipzig(莱比锡大学);Wright State University(莱特州立大学);University of Dayton(代顿大学)
免责声明:本文关注的是暴力在线骚扰。为了在适当的现实水平上描述这个主题,我们收集的推文的例子涉及种族,性,政治,外表和智力骚扰背景下的暴力,威胁,粗俗和仇恨的言论语言。用户生成的内容中存在大量骚扰及其负面影响,需要强大的自动检测方法。这要求我们能够识别不同形式或类型的骚扰。早期的研究将骚扰性语言分为伤害性、辱骂性、情感性和亵渎性。然而,为了更准确地识别和理解骚扰,必须确定代表它们发生的相互关联条件的背景。在本文中,我们介绍了上下文类型的概念,骚扰涉及五个类别:(一)性,(二)种族,(三)外观相关,(四)智力和(五)政治。我们利用Twitter的注释语料库区分这些类型的骚扰。为了研究每种类型的语境,揭示语言的意义,解释和分布,我们进行了两条调查线:广泛的语言分析,和一元语法的统计分布。然后,我们建立类型件分类器来自动识别特定类型的骚扰。我们的实验表明,这些分类器为识别和分析社交媒体上的骚扰提供了具有竞争力的准确性。我们提出了广泛的讨论和主要意见的有效性类型感知分类器使用详细的比较设置提供洞察类型相关功能的作用。
2019-07-10 cs.CL
Analyzing the Role of Context in Forecasting with Large Language Models
University of Innsbruck(因斯布鲁克大学)
本研究构建含600余个二元预测问题及配套新闻的数据集,探究不同上下文提示对大语言模型预测性能的影响,发现加入新闻可提升效果、少样本会降低准确率,且大模型表现更优,展现其在自动化预测中的潜力。
2025-01-11 cs.CL cs.IR
Identifying and Analyzing Performance-Critical Tokens in Large Language Models
Mila
本文针对大语言模型ICL机制不明确的问题,将提示token分为三类,通过注意力消融实验识别性能关键token,分析其特征与作用,深化对ICL学习机制的理解。
2025-11-14 cs.CL
Analyzing Temporal Complex Events with Large Language Models? A Benchmark towards Temporal, Long Context Understanding
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Singapore Management University(新加坡管理大学);Fudan University(复旦大学);National University of Singapore(新加坡国立大学)
本文针对时序复杂事件(TCE)的分析需求,提出利用大语言模型提取事件链,并构建TCELongBench基准评估LLMs在阅读理解、时序排序和未来事件预测任务上的时序与长文本理解能力,实验表明RAG方法与长上下文窗口模型表现相当。
2024-06-04 cs.CL
Teach me with a Whisper: Enhancing Large Language Models for Analyzing Spoken Transcripts using Speech Embeddings
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校);IBM Research AI(IBM研究院人工智能部门)
提出一种音频-语言知识蒸馏方法,利用Whisper语音嵌入增强语言模型分析口语转录文本,无需测试时音频输入,性能优于传统模型。
2023-11-13 cs.CL cs.SD eess.AS
Analyzing COVID-19 Tweets with Transformer-based Language Models
ASRC Federal(ASRC联邦公司);University of Maryland Baltimore County(马里兰大学巴尔的摩分校)
本文描述了一种使用基于转换器的语言模型(TLM)来理解社交媒体帖子中的公众舆论的方法。在这种方法中,我们在几个COVID-19推文语料库上训练了一组GPT模型,这些语料库反映了具有独特观点的用户群体。然后,我们使用基于查询的查询来探测这些模型,以揭示用户的偏见和意见。我们展示了如何使用这种方法来产生类似于对不同的社会,政治和公共卫生问题进行民意调查的结果。对COVID-19推文数据的研究结果表明,Transformer语言模型是很有前途的工具,可以帮助我们大规模地了解社交媒体上的公众意见。
2021-05-06 cs.CL cs.CY
Analyzing Information Leakage of Updates to Natural Language Models
Microsoft(微软);University of Melbourne(墨尔本大学)
为了不断提高质量并反映数据的变化,机器学习应用程序必须定期重新训练和更新其核心模型。我们表明,差异分析的语言模型快照之前和之后的更新可以揭示一个令人惊讶的数量的详细信息的变化,在训练数据。我们提出了两个新的度量- \emph{differential score}和\emph{differential rank} -用于分析由于自然语言模型更新而导致的泄漏。我们使用这些指标对使用不同方法和配置在几个不同数据集上训练的模型进行泄漏分析。我们讨论我们的研究结果的隐私影响,提出缓解策略,并评估其效果。
2021-08-05 cs.CL cs.CR cs.LG
Time Course MechInterp: Analyzing the Evolution of Components and Knowledge in Large Language Models
Center for Information and Language Processing, LMU Munich(信息与语言处理中心,慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文通过追踪OLMo-7B预训练过程中注意力头和FFNs的角色演化,发现组件从通用走向专业化并存在自适应重利用,且FFNs比注意力头更稳定,揭示了LLMs事实知识形成的机制。
2025-06-03 cs.CL
The Elephant in the Room: Analyzing the Presence of Big Tech in Natural Language Processing Research
Institute for Better Health(健康促进研究所);University of Göttingen(哥廷根大学);Université Paris-Saclay(巴黎萨克雷大学);Sorbonne Université(索邦大学);LORIA(洛里亚实验室);National Research Council(国家研究委员会)
本研究通过分析78,187篇论文和701份简历,量化了NLP领域产业存在随时间的变化,发现近年来产业参与显著增长,并呼吁提高产业影响的透明度。
2024-07-16 cs.CL
LMEnt: A Suite for Analyzing Knowledge in Language Models from Pretraining Data to Representations
Tel Aviv University(特拉维夫大学);Mila – Quebec AI Institute & McGill University(蒙特利尔AI研究所 & 蒙特利尔大学)
LMEnt是一个包含知识丰富语料库、高效检索方法和12个预训练模型的套件,用于分析语言模型从预训练数据到知识表示的学习过程,并揭示实体共现与提及形式对知识获取及可编辑性的影响。
2026-09-18 cs.CL
Analyzing Information-Seeking Behaviors in a Hakka AI Chatbot: A Cognitive-Pragmatic Study
United Link Co., Ltd.(联合链接有限公司)
本研究以客家AI聊天机器人TALKA为对象,采用布卢姆认知分类与对话行为分类结合的双层框架,分析7077条用户话语,揭示对话行为与认知意图的关联,为低资源语言保护及AI辅助语言学习提供实证依据。
2025-10-04 cs.CL
When Relations Break: Analyzing Relation Hallucination in Vision-Language Model Under Rotation and Noise
The Pennsylvania State University(宾夕法尼亚州立大学)
研究探讨了旋转和噪声对视觉语言模型关系推理的影响,发现轻微扰动显著降低模型性能,提示需更鲁棒的几何感知模型。
2026-05-10 cs.CL cs.CV
Translation Deserves Better: Analyzing Translation Artifacts in Cross-lingual Visual Question Answering
KAIST AI(韩国科学技术院人工智能学院);KT Corporation(KT公司)
本文分析了跨语言视觉问答任务中机器翻译文本产生的翻译伪影对模型性能的影响,并提出一种简单的数据增强策略以缓解其不利影响。
2024-06-04 cs.CL
Towards Realistic Practices In Low-Resource Natural Language Processing: The Development Set
New York University(纽约大学)
对于真正的低资源语言,获得开发集是不切实际的,因为使用所有可用的数据进行训练通常更有效。然而,开发集被广泛用于那些声称要处理低资源自然语言处理(NLP)的研究论文中。在这里,我们的目标是回答以下问题:与更现实的替代方案相比,在低资源环境中使用早期停止的开发集是否会影响结果,其中训练时期的数量是根据开发语言调整的?它是否会导致对业绩的高估或低估?我们重复了最近针对低资源NLP的神经模型工作中的多个实验,并比较了通过使用和不使用开发集训练获得的模型的结果。平均而言,不同语言之间的绝对准确度差异高达1.4%。然而,对于某些语言和任务,差异高达18.0%的准确率。我们的研究结果强调了现实的实验设置在低资源NLP研究结果的出版中的重要性。
2019-09-15 cs.CL
Analyzing Language Bias Between French and English in Conventional Multilingual Sentiment Analysis Models
本文通过SVM和朴素贝叶斯模型探讨法语和英语在多语言情感分析中的偏差,发现法语在准确性、召回率和F1分数上表现更优,但SVM模型在公平性指标上接近平衡,而朴素贝叶斯模型存在明显差异。
2026-04-01 cs.CL
Unveiling Cultural Blind Spots: Analyzing the Limitations of mLLMs in Procedural Text Comprehension
Sharif University of Technology(谢里夫理工大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出 CAPTex 基准,从多语言、文化领域和提问方式评估 mLLM 的文化程序性文本理解,揭示其在低资源语言和特定文化场景中的明显不足。
2025-02-20 cs.CL
Analyzing Bias in Swiss Federal Supreme Court Judgments Using Facebook's Holistic Bias Dataset: Implications for Language Model Training
Otto von Guericke University Magdeburg(马格德堡奥托·冯·格里克大学);Leibniz Institute for Educational Media | Georg Eckert Institute(莱布尼茨教育媒体研究所(格奥尔格·埃克特研究所))
本研究借助 Holistic Bias 社会偏见描述符与注意力可视化分析 SJP-Dataset,揭示法律判决预测数据中的偏见及其对模型行为的影响。
2025-01-06 cs.AI cs.CL
Unveiling Gender Bias in Terms of Profession Across LLMs: Analyzing and Addressing Sociological Implications
Indian Institute of Technology Bhilai(印度理工学院比莱分校)
本研究通过对比GPT-2与GPT-3.5,分析大语言模型在职业术语中的性别偏见,揭示其社会学影响,并提出算法与数据增强等缓解策略,旨在推动更公平的AI系统。
2023-08-31 cs.CL
Analyzing the relationships between pretraining language, phonetic, tonal, and speaker information in self-supervised speech models
Institute for Phonetics and Speech Processing(语音处理研究所);School of Informatics(信息学院)
本研究突破自监督语音模型分析多聚焦英语的局限,通过探测分类器与几何分析考察多语言wav2vec2的信息表征,发现其表征结构基本独立于预训练语音材料。
2025-06-12 cs.CL eess.AS
GLUScope: A Tool for Analyzing GLU Neurons in Transformer Language Models
LMU Munich and Munich Center for Machine Learning (MCML)(慕尼黑大学和慕尼黑机器学习中心)
GLUScope是一种用于分析Transformer语言模型中GLU神经元符号组合的开源工具,通过展示不同符号组合的文本示例和出现频率,帮助研究人员获得新的可解释性洞察。
2026-10-22 cs.CL cs.LG
Analyzing Encoded Concepts in Transformer Language Models
Qatar Computing Research Institute(卡塔尔计算研究所);HBKU(哈马德·本·哈利法大学);Steven Institute of Technology(史蒂文斯理工学院)
我们提出了一个新的框架ConceptX,分析潜在的概念是如何编码的表示内预先训练的语言模型学习。它使用聚类来发现编码的概念,并通过与大量人类定义的概念对齐来解释它们。我们对七个Transformer语言模型的分析揭示了有趣的见解:i)学习表示中的潜在空间在不同程度上与不同的语言概念重叠,ii)模型中的较低层由词汇概念主导(例如,词缀),而核心语言概念(例如,形态或句法关系)在中间层和更高层中得到更好的表示,iii)一些编码概念是多方面的,并且不能使用现有的人类定义的概念来充分解释。
2022-06-27 cs.AI cs.CL
LLM-POTUS Score: A Framework of Analyzing Presidential Debates with Large Language Models
School of Computing, University of Georgia(佐治亚大学计算学院);State University of New York at Albany(纽约州立大学奥尔巴尼分校)
本研究提出LLM-POTUS Score框架,通过大语言模型从3P-3I匹配度量化评估美国总统辩论表现,为政治分析提供新工具,也助力公民独立判断、提升民主参与质量。
2024-09-12 cs.CL