Target-Agnostic Gender-Aware Contrastive Learning for Mitigating Bias in Multilingual Machine Translation
Seoul National University(首尔大学);Microsoft Research Asia(微软亚洲研究院)
针对多语言机器翻译中的性别偏见,提出目标语言无关的性别感知对比学习(GACL),通过微调预训练模型提升性别准确性且不损害翻译性能,并验证其跨语言迁移性和模型规模适用性。
2023-11-10 cs.CL
Filipino Benchmarks for Measuring Sexist and Homophobic Bias in Multilingual Language Models from Southeast Asia
School of Computer Science, University of Birmingham(英国伯明翰大学计算机科学学院);Department of Information Systems and Computer Science, Ateneo de Manila University(马尼拉亚托大学信息系统与计算机科学系)
研究引入 Filipino CrowS-Pairs 和 Filipino WinoQueer 基准,评估处理菲律宾语的多语言模型中的性别与反酷儿偏见,发现模型偏见程度受预训练数据量影响,为未来偏见分析奠定基础。
2024-12-11 cs.CL
Investigating Bias in Multilingual Language Models: Cross-Lingual Transfer of Debiasing Techniques
KU Leuven(鲁汶大学);IESEG School of Management(IESEG管理学院);University of Applied Sciences Darmstadt(达姆施塔特应用科学大学);University of Southampton(南安普顿大学)
本研究探究多语言模型中去偏技术的跨语言迁移,利用mBERT验证其在英法德荷四种语言上的可行性,发现SentenceDebias效果最佳,平均降低偏见13%,且无性能损失,为多语言偏见缓解提供指导。
2023-10-16 cs.CL
Gender Lost In Translation: How Bridging The Gap Between Languages Affects Gender Bias in Zero-Shot Multilingual Translation
Maastricht University(马斯特里赫特大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文研究零样本多语言神经机器翻译中的性别偏见,发现语言无关表示可减轻男性偏见,且桥接语言性别屈折程度越高,枢轴翻译在性别保留公平性上越优于零样本翻译。
2023-05-26 cs.CL
Transformer-Encoder Trees for Efficient Multilingual Machine Translation and Speech Translation
Worcester Polytechnic Institute(沃斯特理工学院)
本文提出Transformer-编码树(TET),通过共享相似语言的中间表示提升低资源语言准确率,减少计算冗余,实现单次前向传递生成所有目标语言,比传统多语言设计减少66%参数和60%推理计算。
2026-09-01 cs.AI cs.CL
Towards Massive Multilingual Holistic Bias
FAIR, Meta(FAIR,Meta)
本文提出大规模多语言整体偏见数据集MMHB及自动构建方法,通过占位符和系统化翻译高效扩展多语言句子,并揭示机器翻译中的性别偏见与附加毒性问题。
2024-06-29 cs.CL
The Best of Both Worlds: Combining Human and Machine Translations for Multilingual Semantic Parsing with Active Learning
Monash University(莫纳什大学)
提出一种结合人工与机器翻译的主动学习方法,通过聚合获取标准迭代选择话语进行人工翻译,显著降低翻译误差与偏差,提升多语言语义解析器准确率。
2023-05-22 cs.AI cs.CL
Cross-Lingual Stability and Bias in Instruction-Tuned Language Models for Humanitarian NLP
University of North Texas(北卡罗来纳大学达顿分校);Davidson College(戴维森学院)
本研究首次系统比较商业与开源权重LLM在七种语言的人权侵犯检测中的表现,提出四种跨语言可靠性指标,发现指令对齐而非模型规模决定跨语言稳定性,为资源受限组织提供部署指导。
2025-10-26 cs.AI cs.CL
Multilingual Mix: Example Interpolation Improves Multilingual Neural Machine Translation
Google Research(谷歌研究院)
多语言神经机器翻译模型被训练以最大化从多个语言对提取的示例的混合的可能性。应用于这些模型的主要归纳偏差是跨语言的共享词汇和共享参数集;从不同语言对提取的示例对应的输入和标签可能仍然驻留在不同的子空间中。在本文中,我们介绍了多语言交叉编码器-解码器(mXEncDec)融合语言对在一个实例级。我们的方法插值实例从不同的语言对联合“交叉的例子”,以鼓励共享输入和输出空间的语言。为了确保更好地融合的例子在多语言环境中,我们提出了几种技术,以提高不同语言的例子插值下严重的数据不平衡。在大规模WMT多语言数据集上的实验表明,我们的方法显着提高了英语到许多,多到英语和zero-shot翻译任务的质量(从+0.5 BLEU点到+5.5 BLEU点)。代码切换集的结果证明了我们的方法能够提高模型对非分布多语言示例的泛化能力。我们还进行定性和定量的代表性比较,分析我们的方法在代表性水平的优势。
2022-03-15 cs.AI cs.CL
On the Shortcut Learning in Multilingual Neural Machine Translation
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
本研究将多语言神经机器翻译的脱靶问题归因于语言映射捷径的过拟合,并提出一种利用模型遗忘特性在训练后期移除特定实例的训练策略,无需额外成本即可显著提升零样本翻译性能。
2024-11-15 cs.AI cs.CL
Enabling Zero-shot Multilingual Spoken Language Translation with Language-Specific Encoders and Decoders
TALP Research Center, Universitat Politècnica de Catalunya(加泰罗尼亚理工大学TALP研究中心);Telefónica I+D(西班牙电信研发部)
目前的端到端口语翻译(Spoken Language Translation,缩写为多语)方法依赖于有限的培训资源,尤其是在多语言环境中。另一方面,多语言神经机器翻译(MultiNMT)方法依赖于更高质量和更大规模的数据集。我们所提出的方法扩展了多NMT架构的基础上,特定语言的编码器-解码器的任务,多语种翻译(多语种翻译)。我们的方法完全消除了对MultiNMT数据的依赖性,并且能够在仅对ASR和MultiNMT数据进行训练时进行翻译。我们在四种不同语言上的实验表明,将语音编码器耦合到MultiNMT架构,与双语基线($\pm 0.2$ BLEU)相比,可以产生类似质量的翻译,同时有效地允许zero-shot Multiplexer。此外,我们建议使用适配器模块耦合的语音输入。此适配器模块在建议的架构上产生了+6 BLEU点的一致改进,在端到端基线上产生了+1 BLEU点。
2021-09-15 cs.CL
What Do Compressed Multilingual Machine Translation Models Forget?
NAVER LABS Europe(NAVER欧洲实验室);IDIAP Research Institute(IDIAP研究所);EPFL(洛桑联邦理工学院)
本文研究了压缩技术对多语言神经机器翻译模型的影响,发现压缩虽对平均 BLEU 指标影响微小,却导致低资源语言性能显著下降,并放大了性别与语义偏见。
2023-06-27 cs.AI cs.CL cs.LG
MauBERT: Universal Phonetic Inductive Biases for Few-Shot Acoustic Units Discovery
ENS, PSL Research University, EHESS, CNRS, Paris, France(巴黎高等师范学院,PSL研究大学,法国社会科学高等研究院,法国国家科学研究中心,法国巴黎);Univ. Grenoble Alpes, CNRS, Grenoble INP, GIPSA-lab, Grenoble, France(格勒诺布尔-阿尔卑斯大学,法国国家科学研究中心,格勒诺布尔国立理工学院,GIPSA-lab,法国格勒诺布尔);Meta AI Research, France(Meta AI研究,法国)
MauBERT通过多语言数据学习语音到发音特征的映射,实现跨语言语音表示学习,提升模型在少样本下的语音单元发现能力。
2026-08-26 cs.CL eess.AS
Causes and Cures for Interference in Multilingual Translation
Tel Aviv University(特拉维夫大学);Meta AI
本研究系统探究了多语言机器翻译中干扰现象的主要成因,发现干扰主要由模型规模、数据规模及各语言对比例决定,并提出通过使用十亿参数以下标准transformer配置及调节采样温度来有效缓解干扰、促进协同并提升整体性能。
2023-05-19 cs.AI cs.CL cs.LG
Synergistic Approach for Simultaneous Optimization of Monolingual, Cross-lingual, and Multilingual Information Retrieval
University of Minnesota(明尼苏达大学);GE HealthCare(GE医疗);University of Waterloo(滑铁卢大学);Vectara(维克塔拉科技公司)
提出混合批次训练策略,同时优化单语、跨语言和多语言零样本检索,减轻语言偏差,并在多个基准上取得优于单一训练的结果。
2024-08-20 cs.CL cs.IR
Multilingual Multi-Domain Adaptation Approaches for Neural Machine Translation
Osaka University(大阪大学);National Institute of Information and Communications Technology(国立信息与通信技术研究所)
本文针对纯注意神经机器翻译(NMT)模型,提出了两种新的领域自适应方法,Transformer。我们的方法专注于通过学习领域专门的隐藏状态表示或每个领域的预测偏差来训练多个领域的单个翻译模型。我们将我们的方法与以前提出的称为混合微调,这是已知的是非常有效的领域自适应的黑箱方法相结合。此外,我们将多语言纳入领域自适应框架。实验表明,多语言多领域自适应可以显著改善资源贫乏的域内翻译和资源丰富的域外翻译,并且我们的方法与混合微调的组合实现了最佳性能。
2019-06-20 cs.CL
Translationese as a Language in "Multilingual" NMT
University of Rochester(罗切斯特大学);Google Research(谷歌研究院)
机器翻译有一个不受欢迎的倾向,即产生“伪像”,这可能导致更高的BLEU分数,同时不太受人类评分者的喜欢。基于此,我们在多语言模型中将中文和原始(即自然)文本建模为单独的语言,并提出问题:我们可以在原始源文本和原始目标文本之间执行zero-shot翻译吗?由于不存在具有原始源和原始目标的数据,因此我们训练训练语义级分类器来区分语义和原始目标文本,并使用该分类器为NMT模型标记训练数据。使用这种技术,我们使模型在测试时产生更自然的输出,从而在准确性和流畅性方面获得人类评估分数。此外,我们还证明了有可能对模型进行偏置,以产生警告和游戏BLEU分数,增加它,同时降低人类评级的质量。我们分析这些模型使用指标来衡量输出中的谨慎程度,并提出了一个分析的随机性的训练数据标记。
2020-07-09 cs.CL
Multilingual Verifier Bias in RLVR: Benchmark, Rollout Diagnosis, and the Cross-Lingual Selection Bottleneck
School of Engineering, Institute of Science Tokyo(科学东京大学工程学院);College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院);Department of Electrical and Computer Engineering, National University of Singapore(新加坡国立大学电气与计算机工程学院)
研究发现多语言RLVR中存在验证器偏差,引入审计协议定位到最终答案接口的机制,提出跨语言选择瓶颈,rule-GRPO可提升可信准确率。
2026-08-24 cs.CL cs.LG
EuroGEST: Investigating gender stereotypes in multilingual language models
University of Edinburgh(爱丁堡大学);Warsaw University of Technology(华沙技术大学);Aveni
EuroGEST研究多语言语言模型中的性别刻板印象,通过跨29种欧洲语言的数据集揭示了性别刻板印象的普遍性及模型对刻板印象的编码强度。
2026-02-23 cs.CL
I Wish I Would Have Loved This One, But I Didn't -- A Multilingual Dataset for Counterfactual Detection in Product Reviews
Amazon(亚马逊);University of Liverpool(利物浦大学)
反事实陈述描述的是没有或不可能发生的事件。我们考虑产品评论中的反事实检测(CFD)问题。为此,我们从亚马逊产品评论中注释了一个多语言CFD数据集,涵盖了用英语,德语和日语编写的反事实陈述。该数据集是独一无二的,因为它包含多种语言的反事实,涵盖了电子商务评论的新应用领域,并提供了高质量的专业注释。我们使用不同的文本表示方法和分类器训练CFD模型。我们发现,这些模型是强大的选择性偏见,由于线索短语为基础的句子选择。此外,我们的CFD数据集与以前的数据集兼容,可以合并以学习准确的CFD模型。将机器翻译应用于英语反事实示例以创建多语言数据的表现很差,这表明了这个问题的语言特异性,到目前为止一直被忽视。
2021-09-15 cs.AI cs.CL cs.LG
Analyzing the Evaluation of Cross-Lingual Knowledge Transfer in Multilingual Language Models
University of Amsterdam(阿姆斯特丹大学)
本文质疑多语言模型零样本跨语言性能评估的有效性,通过多语言实例实验证明高性能多源于任务与表面知识而非真实语言转移,呼吁改进评估设置。
2024-02-03 cs.AI cs.CL cs.LG
Lingua Franca or Probing Artifact? Rethinking Latent Language in Multilingual LLMs
EPFL(洛桑联邦理工学院)
该研究探究多语言大语言模型中不同潜在语言探测的差异,发现两类探测结果分歧,提示需谨慎解读潜在语言识别,其揭示多语言处理的不同方面而非单一内部通用语。
2026-09-02 cs.AI cs.CL cs.LG
NLP-CUET@LT-EDI-EACL2021: Multilingual Code-Mixed Hope Speech Detection using Cross-lingual Representation Learner
Chittagong University of Engineering and Technology(吉大港工程技术大学)
近年来,已经开发了几个系统来规范负面信息的传播,并从在线平台上消除攻击性,攻击性或辱骂性的内容。然而,为确定积极、鼓励和支持的内容而进行的研究数量有限。在这项工作中,我们的目标是确定社交媒体帖子/评论是否包含希望言论。我们提出了三种不同的模式,以确定希望在英语,泰米尔语和马拉雅拉姆语的讲话,以达到这一目的。为了实现这一目标,我们采用了各种机器学习(支持向量机,逻辑回归,集成),深度学习(卷积神经网络+长短期记忆)和基于Transformer(m-BERT,Indic-BERT,XLNet,XLM-Roberta)的方法。结果表明,XLM-Roberta优于所有其他技术获得加权$f_1$ -分数的$0.93$,$0.60$和$0.85$分别为英语,泰米尔语和马拉雅拉姆语。我们的团队在这三项任务中分别获得了$1^{st}$、$2^{nd}$和$1^{st}$等级。
2021-02-28 cs.CL
The Impact of Positional Encodings on Multilingual Compression
University of Oslo(奥斯陆大学);University of Copenhagen(哥本哈根大学)
为了在非自回归设置中保留词序信息,Transformer架构倾向于通过(例如)向令牌嵌入添加位置编码来包括位置知识。在原始Transformer架构中使用的正弦位置编码上已经提出了几种修改;例如,这些修改包括分离位置编码和标记嵌入,或者基于单词对之间的距离直接修改注意力权重。我们首先表明,令人惊讶的是,虽然这些修改往往会改善单语语言模型,没有一个更好的多语言语言模型的结果。然后我们回答为什么:正弦编码被明确设计为通过允许在任意时间步长上的线性投影来促进组合性。多语言训练分布的差异越大,就需要更高的压缩,在这种情况下,组合性就变得不可或缺。学习的绝对位置编码(例如,在mBERT中)倾向于在多语言环境中近似正弦嵌入,但更复杂的位置编码架构缺乏有效学习组合性和跨语言对齐的归纳偏差。换句话说,虽然正弦位置编码最初是为单语应用设计的,但它们在多语言语言模型中特别有用。
2021-09-11 cs.CL
The Geometry of Multilingual Language Models: An Equality Lens
PICT(普纳计算机技术学院);NSUT(内塔吉·苏巴斯科技大学)
本研究通过几何分析多语言模型的表示,发现语言按语系聚类但可分离,并引入跨语言相似性指数,揭示低资源语言表示质量普遍低于高资源语言。
2023-05-13 cs.CL
Iterative Multilingual Spectral Attribute Erasure
University of Cambridge(剑桥大学);University of Edinburgh(爱丁堡大学);NVIDIA Research(NVIDIA研究)
IMSAE通过迭代SVD截断在多语言中减轻联合偏见子空间,优于传统单语言和跨语言去偏方法。
2025-12-26 cs.CL
An Efficient Multilingual Language Model Compression through Vocabulary Trimming
Cardiff University(卡迪夫大学)
提出词表裁剪(VT)方法,通过删除无关词元将多语言语言模型压缩至目标语言,在保持模型性能的同时减小模型体积,兼顾单语模型的小尺寸与多语言模型的广泛覆盖能力。
2023-10-19 cs.CL
Cross-Lingual Consensus: Aligning Multilingual Cultural Knowledge via Multilingual Self-Consistency
SAP;School of Computing, National University of Singapore(国立新加坡大学计算机学院)
提出一种自监督框架,利用多语言自一致性和自我批评机制,从本地语言表示中提取文化知识并迁移到英语,以缩小跨语言文化知识差距,在BLEnD基准上平均提升英语查询性能5.03%。
2026-05-25 cs.CL
Controlled Evaluation of Syntactic Knowledge in Multilingual Language Models
MIT(麻省理工学院)
该研究针对三种低资源语言开发句法评估测试,评估五款多语言Transformer语言模型的句法泛化能力,揭示了不同任务的难度差异及部分公开模型的性能问题。
2024-12-12 cs.CL
Effective Strategies in Zero-Shot Neural Machine Translation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
在本文中,我们提出了两个策略,可以应用于多语言神经机器翻译系统,以更好地解决zero-shot的情况下,即使没有任何平行语料库。实验结果表明,该算法在性能和计算资源方面都是有效的,尤其是在零资源条件下对不平衡数据的多语种翻译时,能够有效缓解语言偏见问题。
2017-11-22 cs.CL
Do Llamas Work in English? On the Latent Language of Multilingual Transformers
EPFL(洛桑联邦理工学院)
本文以 Llama-2 为对象,通过追踪多语言 Transformer 中间嵌入,发现其推理经历输入空间、概念空间和输出空间三阶段,且概念空间更接近英语,揭示其以英语为内部枢轴语言的倾向及潜在偏见来源。
2024-06-08 cs.CL cs.CY
Mitigating Translationese Bias in Multilingual LLM-as-a-Judge via Disentangled Information Bottleneck
本文提出DIBJudge框架,通过解耦信息瓶颈缓解多语言LLM的翻译偏差问题,有效提升多语言评估的公平性和准确性。
2026-03-11 cs.AI cs.CL
False positive bias in AI-powered speech-based cognitive screening for multilingual English speakers in the UK
本研究发现,尽管AI模型整体表现良好,但对英国少数族裔背景的多语使用者存在偏见,且可能错误判断特定口音群体的认知状况。
2026-09-14 cs.AI cs.CL
A Survey on Multilingual Large Language Models: Corpora, Alignment, and Bias
School of Information Science and Technology, Beijing Foreign Studies University(北京外国语大学信息科学与技术学院)
本文针对多语言大语言模型面临的语言不平衡、对齐及偏差等挑战,从模型概述、训练语料与数据集、多语言表示、偏差问题及未来方向等方面展开全面综述分析。
2024-12-09 cs.AI cs.CL
Bias Beyond Borders: Political Ideology Evaluation and Steering in Multilingual LLMs
School of Computing, Macquarie University, Australia(麦考瑞大学计算机学院);Microsoft, USA(微软公司);University of Western Australia, Australia(西澳大学)
本文提出跨语言对齐引导框架,用于评估和减轻多语言LLM中的政治偏见,通过跨语言对齐意识形态表示以实现公平性与多样性的平衡。
2026-02-11 cs.AI cs.CL
Framing Political Bias in Multilingual LLMs Across Pakistani Languages
School of Computing, Macquarie University(计算机学院,麦考瑞大学)
研究评估了巴基斯坦五种语言中13种先进LLM的政治偏见,发现其在区域语言中表现出更集权的框架,强调文化适应的偏见审计框架的重要性。
2026-01-30 cs.AI cs.CL
Bias in, Bias out: Annotation Bias in Multilingual Large Language Models
Manchester Metropolitan University(曼彻斯特 Metropolitan 大学);Hubei University(湖北大学)
该研究针对多语言大语言模型开发中的标注偏差问题,提出分类框架,梳理检测方法与新兴技术,给出缓解策略,还贡献了偏差类型学、检测指标综述、适配多语言的集成缓解方法及伦理分析,助力构建公平且贴合文化的标注流程。
2025-11-18 cs.CL
Sina at FigNews 2024: Multilingual Datasets Annotated with Bias and Propaganda
Birzeit University(比尔宰特大学);Palestine Technical University-Khadoorie(巴勒斯坦技术大学-哈杜里);amleh Center(7amleh中心);ÖREBRO University(厄勒布鲁大学)
本研究构建了含12000条多语言Facebook帖子的偏见与宣传标注语料库,作为FigNews 2024共享任务的一部分,标注质量达标,团队在相关子任务中表现优异,语料库已开源。
2024-07-12 cs.AI cs.CL
Do Multilingual Large Language Models Mitigate Stereotype Bias?
Conversational AI and Social Analytics (CAISA) Lab, University of Bonn(波恩大学);Fraunhofer Institute for Intelligent Analysis and Information Systems (IAIS)(弗劳恩霍夫智能分析与信息系统研究所);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习和人工智能研究所)
本研究通过训练6个同规模同架构的单/多语言大语言模型并开展跨语言偏见评估,证实多语言训练可有效缓解刻板印象偏见,且能同时提升模型预测准确率。
2024-07-09 cs.CL
Mapping the Multilingual Margins: Intersectional Biases of Sentiment Analysis Systems in English, Spanish, and Arabic
Columbia University(哥伦比亚大学)
随着自然语言处理系统变得越来越普遍,有必要解决其实施和部署中的公平性问题,以确保其对社会的负面影响得到理解和最小化。然而,使用多语言和交叉框架或下游任务研究公平性的工作有限。在本文中,我们介绍了四个多语种的公平评估语料库,补充测试集,旨在衡量社会偏见,和一个新的统计框架,研究自然语言处理中的单一和交叉的社会偏见。我们使用这些工具来测量性别,种族,民族和跨部门的社会偏见,在英语,西班牙语和阿拉伯语的情绪回归任务训练的五个模型。我们发现,许多系统表现出统计上显着的单一和交叉的社会偏见。
2022-04-07 cs.CL
On Evaluating and Mitigating Gender Biases in Multilingual Settings
Microsoft Research India(微软印度研究院)
本文针对多语言环境下性别偏见评估与缓解的挑战,构建了基于人工标注的印度语言偏见评估基准,扩展多种去偏方法并验证其在多语言模型上的效果。
2023-07-04 cs.CL
Purdah and Patriarchy: Evaluating and Mitigating South Asian Biases in Open-Ended Multilingual LLM Generations
George Mason University(乔治·马歇尔大学)
本研究针对南亚多语种LLM评估中文化交叉偏见被忽略的问题,构建涵盖多维度的文化偏见词典,分析10种南亚语言生成内容中的父权制相关偏见,并验证两种自我去偏见策略的效果,拓展了文化偏见研究的视角与范围。
2026-05-06 cs.CL
Comparing Biases and the Impact of Multilingual Training across Multiple Languages
University of California, Santa Barbara(加州大学圣巴巴拉分校);AWS AI Labs(AWS人工智能实验室)
本文比较了五种语言在情感分析任务中的偏见表现,发现多语言微调比预训练更易放大受保护群体间的预测差异,且各语言文化均偏爱主导群体。
2023-05-18 cs.CL
BiasLab: A Multilingual Dual-Framing Framework for LLM Bias Measurement, Applied to Workplace and HR Contexts
Tsinghua University(清华大学);Federal University of Rio de Janeiro(里约热内卢联邦大学)
研究针对大语言模型在工作场所和人力资源领域的偏差问题,提出BiasLab多语言双框架框架,结合多种方法对十个模型在六个主题上评估,发现模型有一致方向性偏好,为模型偏差测量提供标准化工具助组织审查。
2026-07-14 cs.AI cs.CL
Easy Adaptation to Mitigate Gender Bias in Multilingual Text Classification
University of Memphis(孟菲斯大学)
现有的方法,以减轻人口偏见的单语数据进行评估,但是,多语种数据尚未进行检查。在这项工作中,我们将性别视为域(例如,男性与女性)的区别,并提出了一个标准的领域自适应模型,以减少性别偏见,提高文本分类器在多语言环境下的性能。我们评估我们的方法在两个文本分类任务,仇恨言论检测和评级预测,并证明我们的方法的有效性与三个公平意识的基线。
2022-04-12 cs.CL cs.SI
Multi-EuP: The Multilingual European Parliament Dataset for Analysis of Bias in Information Retrieval
School of Computing & Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
Multi-EuP是一个包含22K文档、覆盖24种语言的多语言基准数据集,用于分析信息检索中的语言和人口统计偏差,并验证其作为单语和多语IR基准的有效性。
2023-11-03 cs.AI cs.CL cs.IR
A Multilingual Perspective on Probing Gender Bias
University of Copenhagen(哥本哈根大学)
本论文从多语言视角研究性别偏见在语言及语言技术中的表达,采用跨学科方法结合自然语言处理与政治学、历史学,以探测并理解社会偏见。
2024-03-15 cs.CL
SeaEval for Multilingual Foundation Models: From Cross-Lingual Alignment to Cultural Reasoning
Nanyang Technological University(南洋理工大学);Institute for Infocomm Research (IR), A*STAR(新加坡科技研究局信息通信研究所);Centre for Frontier AI Research (CFAR), A*STAR(新加坡科技研究局前沿人工智能研究中心)
本研究提出多语言基础模型基准SeaEval,从语义、多语言脆弱性及文化理解等维度测试开源与闭源模型,发现模型存在指令改写敏感、暴露偏差、多语言表现不一致等问题,为多语言多文化模型研究提供评估基础。
2024-07-11 cs.AI cs.CL
Assessing Agentic Large Language Models in Multilingual National Bias
National Institute of Informatics, Japan(日本信息机构国家研究所);University of Wisconsin—Madison, USA(美国威斯康星大学麦迪逊分校);Kyoto University, Japan(日本京都大学)
本研究首次系统评估大语言模型在多语言决策中的国家偏见,发现本地语言偏见普遍存在,GPT-4和Sonnet虽减少英语国家偏见但未实现多语言对齐。
2025-08-06 cs.CL
Location Not Found: Exposing Implicit Local and Global Biases in Multilingual LLMs
Google Research(谷歌研究)
本文通过LocQA测试集研究多语言模型的本地和跨语言偏见,发现模型对美国本地信息有全球偏见,并在指令微调模型中更显著,同时在同一种语言内优先考虑人口多的地区。
2026-04-21 cs.AI cs.CL
Smoothie-Qwen: Post-Hoc Smoothing to Reduce Language Bias in Multilingual LLMs
提出轻量级事后方法Smoothie-Qwen,通过调整词元输出概率抑制多语言模型的语言偏差,在Qwen上减少95%以上非预期中文输出且保持任务准确率。
2025-07-08 cs.CL
Investigating Language and Retrieval Bias in Multilingual Previously Fact-Checked Claim Detection
Brno University of Technology(布拉格技术大学);Kempelen Institute of Intelligent Technologies(智能技术研究所);University of Copenhagen(哥本哈根大学)
本文面向 PFCD 任务,基于 AMC-16K 评估六个开源多语言 LLM 在20种语言中的表现,并分析多语言嵌入检索的频率偏差,揭示语言与检索不公平现象及改进方向。
2025-09-29 cs.CL
Multilingual Bias Detection and Mitigation for Indian Languages
IIIT Hyderabad(海得拉巴国际信息技术学院);Microsoft(微软)
针对印度语言维基百科内容的中立性偏见问题,构建两个覆盖8种语言的大型数据集,并利用多语言Transformer模型进行偏见检测与缓解,公开代码与数据。
2023-12-23 cs.CL
Average Is Not Enough: Caveats of Multilingual Evaluation
Kempelen Institute of Intelligent Technologies(凯姆佩伦智能技术研究所)
这份立场文件讨论了多语言评价的问题。使用简单的统计数据,如平均语言表现,可能会在评估方法中注入有利于主导语言家族的语言偏见。我们认为,定性分析通知比较语言学是需要多语言的结果,以检测这种偏见。我们在案例研究中表明,在已发表的作品的结果确实可以在语言上有偏见,我们表明,基于URIEL类型数据库的可视化可以检测到它。
2023-01-03 cs.CL