HateBERT: Retraining BERT for Abusive Language Detection in English
University of Groningen(格罗宁根大学);University of Turin(都灵大学);University of Passau(帕绍大学)
在本文中,我们介绍了HateBERT,一个再训练的BERT模型,在英语中的滥用语言检测。该模型是在RAL-E上训练的,RAL-E是一个大规模的Reddit英语评论数据集,这些评论来自我们收集并向公众提供的被禁止攻击,辱骂或仇恨的社区。我们提出了一个一般的预训练的语言模型和滥用倾向的版本之间的详细比较的结果,通过重新训练与来自被禁止的社区的帖子对三个英语数据集的进攻,辱骂性语言和仇恨言论检测任务。在所有数据集上,HateBERT的性能都优于相应的一般BERT模型。我们还讨论了一组实验,比较了通用预训练语言模型及其相应的滥用语言倾向的对应物在数据集上的可移植性,表明可移植性受到注释现象的兼容性的影响。
2021-02-04 cs.CL
Enhancing Non-English Capabilities of English-Centric Large Language Models through Deep Supervision Fine-Tuning
Harbin Institution of Technology(哈尔滨工业大学);Pengcheng Laboratory(鹏城实验室);Huawei Technologies Co., Ltd(华为技术有限公司)
本文提出深度监督微调方法(DFT),通过在LLaMA-2和Gemma-2的底层和中间层分别引入logits与feature监督信号,约束非英语向英语的转换与推理,显著提升了以英语为中心的大语言模型的非英语能力。
2025-03-05 cs.CL
Pruning Multilingual Large Language Models for Multilingual Inference
Tokyo Metropolitan University(东京都立大学);Tohoku University(东北大学);Hitotsubashi University(一桥大学)
本文提出利用多语言大语言模型的跨语言对齐能力,识别并保留翻译关键大幅度特征对应权重、剪枝其余权重,从而提升其非英语零样本推理性能。
2024-10-02 cs.CL
MindMerger: Efficient Boosting LLM Reasoning in non-English Languages
Nanjing University(南京大学);Carnegie Mellon University(卡内基梅隆大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对LLM非英语推理能力不足的问题,提出MindMerger方法,融合多语言模型的外部语言理解能力与LLM内建推理能力,通过两步训练提升多语言推理性能,实验显示在低资源语言上显著优于基线。
2024-05-27 cs.AI cs.CL
Language Identification of Hindi-English tweets using code-mixed BERT
Jamia Millia Islamia(贾米亚·米利亚伊斯兰大学);Aligarh Muslim University(阿里加尔穆斯林大学)
社交媒体文本的语言识别近年来一直是一个有趣的研究问题。社交媒体信息主要是在非英语国家混合的代码。通过预训练上下文嵌入的现有知识已经显示了一系列下游任务的最新结果。最近,诸如BERT之类的模型已经表明,使用大量未标记的数据,预训练的语言模型对于学习公共语言表示更加有益。本文提出了利用迁移学习和微调BERT模型来识别Twitter上的语言的广泛实验。这项工作利用了一个数据汇集的印地语-英语-乌尔都语代码混合文本的语言预训练和印地语-英语代码混合为随后的词级语言分类。结果表明,在混合数据上预训练的表示产生更好的结果,由他们的单语对应。
2021-07-02 cs.CL cs.LG
Systematic Analysis of Large Language Models and Transformer-Based Machine Translation for English-Tamil and Tamil-English Across Diverse Datasets
研究针对泰米尔语等低资源语言机器翻译挑战,在多数据集上评估多种模型,用BLEU等指标分析其性能,通过注意力分析增强可解释性,证明上下文提示可实现少样本翻译并与监督方法比较,揭示数据集及领域匹配对模型性能的影响。
2026-07-29 cs.CL
Sentence-level Feedback Generation for English Language Learners: Does Data Augmentation Help?
Georgetown University(乔治城大学)
在本文中,我们提出了强大的基线的任务,反馈意见生成写作学习。给定一个句子和一个错误跨度,任务是生成一个解释错误的反馈评论。句子和反馈意见都是英文的。我们使用LLM进行实验,并为任务创建多个伪数据集,研究它如何影响我们系统的性能。我们提出了我们的研究结果的任务,以及广泛的分析所产生的评论,以帮助未来的研究反馈评论生成的英语语言学习者的目的。
2022-12-18 cs.CL
Cross-Lingual Bias in Large Language Models: A Comparative Analysis of English and Swahili
本研究通过对比GPT-5.2与Gemini 2.5 Flash在英语和斯瓦希里语上的9类人口统计偏见表现,发现偏见会转变而非转移,仅英语偏见审计无法覆盖多语言部署需求。
2026-08-05 cs.CL
English is Not All You Need: Systematically Exploring the Role of Multilinguality in LLM Post-Training
UC Santa Barbara(加州大学圣巴巴拉分校);Amazon(亚马逊)
研究通过220次监督微调实验,探讨训练语言覆盖、模型规模和任务领域间的相互作用,发现增加后训练语言覆盖对各任务和模型规模均有益,低资源语言受益最大,高资源语言趋于稳定。单语种多语言性可提升英语表现和跨语言泛化,英语独占后训练效果不佳。
2026-09-22 cs.AI cs.CL
Toward LLMs Beyond English-Centric Development
CyberAgent
研究发现语言模型对英语存在显著偏见,持续预训练并非优于从头训练的低成本方案,未来需加强多语言投入。
2026-05-15 cs.CL
Entropy of Ukrainian
Polish-Japanese Academy of Information Technology(波兰-日本信息科技学院);University of the National Education Commission in Kraków(克拉科夫国家教育委员会大学)
本文通过招募184名志愿者预测乌克兰语句子中下一个字符,计算出其熵上限为1.201 bits/character,并与现有大语言模型进行对比。
2026-04-30 cs.CL
Cross-Dialect Sentence Transformation: A Comparative Analysis of Language Models for Adapting Sentences to British English
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
本研究比较了不同语言模型将美式、印度和爱尔兰英语方言转换为英式英语的能力,发现印度和爱尔兰英语翻译与英式英语相似度较高,而美式英语略低;Llama-2-70b表现最佳,强调了模型选择对翻译质量的关键作用。
2023-11-05 cs.AI cs.CL
GECKO: Generative Language Model for English, Code and Korean
Korea Institute of Finance and Artificial Intelligence(KIFAI)(韩国金融与人工智能研究院(KIFAI))
GECKO是一个针对韩语、英语和代码优化的双语大语言模型,采用LLaMA架构,在平衡语料上预训练,虽词汇量小但生成效率高,在KMMLU上表现优异,开源供社区使用。
2024-05-24 cs.AI cs.CL
Contrastive Analysis of Constituent Order Preferences Within Adverbial Roles in English and Chinese News: A Large-Language-Model-Driven Approach
School of Humanities, Beijing University of Posts and Telecommunications(北京邮电大学人文学院)
本文以LLM标注的可比英汉语新闻语料为基础,从状语角色功能块视角对比英汉语新闻语序偏好,揭示了两者在核心信息叙事顺序、SVO结构中功能块分布及共现时灵活性的差异,为英汉语信息结构对比研究提供新实证支持。
2025-08-08 cs.CL
Performance Comparison of Large Language Models on VNHSGE English Dataset: OpenAI ChatGPT, Microsoft Bing Chat, and Google Bard
Eastern International University(东方国际大学)
该研究对比了ChatGPT、BingChat、Bard三款大语言模型在VNHSGE英语数据集的表现,发现BingChat性能最优,三者均优于越南学生,可作为高中英语教学工具,也为越南提供了ChatGPT的替代方案。
2023-07-20 cs.CL cs.HC
Thematic Analysis with Large Language Models: does it work with languages other than English? A targeted test in Italian
Abertay University(阿伯泰大学)
本研究针对预训练大语言模型能否在非英语场景下完成高质量主题分析的问题,通过意大利语半结构化访谈开放数据集测试,验证了模型用意大利语提示生成的主题与人类研究结果相似度高,可支持多语言分析。
2024-04-12 cs.CL
Do Large Language Models Have an English Accent? Evaluating and Improving the Naturalness of Multilingual LLMs
Apple(苹果公司);Inria Paris(巴黎国家信息与自动化研究所);École Polytechnique(巴黎高等理工学院);Sapienza University of Rome(罗马萨皮恩扎大学)
针对多语言LLM输出带有英语中心偏差的问题,本文提出语料库级词汇与句法自然度指标,并通过简单有效的对齐方法在法语和中文场景中持续提升自然度且不损害通用性能。
2025-07-25 cs.AI cs.CL
Bridging the Gap: Transfer Learning from English PLMs to Malaysian English
School of Information Technology, Monash University Malaysia(墨尔本大学马来西亚分校信息科技学院)
针对马来西亚英语的低资源克里奥尔语特性,通过微调预训练语言模型MENmBERT和MENBERT,在命名实体识别和关系抽取任务上分别提升1.52%和26.27%的性能。
2026-05-30 cs.CL
Lost in Translation: Large Language Models in Non-English Content Analysis
本文阐释多语言大语言模型的工作原理、能力与局限,分析其用于非英语内容分析的挑战,并为相关主体的研发部署提供建议。
2023-06-12 cs.AI cs.CL
Does the Judge Prefer English? Evaluating Language-Switching Invariance in LLM-as-a-Judge
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
提出Judge-LS协议,通过语言切换变体评估LLM作为自动法官的可靠性,发现语言切换导致10.7-14.4%偏好翻转,但翻译等价测试未显示系统英语偏好。
2026-06-15 cs.CL
CS-UM6P at SemEval-2022 Task 6: Transformer-based Models for Intended Sarcasm Detection in English and Arabic
Mohammed VI Polytechnic University(穆罕默德六世理工大学)
讽刺是比喻语言的一种形式,其中一个句子的预期含义与其字面意思不同。这对几个自然语言处理(NLP)应用(如情感分析、意见挖掘和作者分析)提出了严峻的挑战。在本文中,我们提出了我们的参与系统,在英语和阿拉伯语的预定讽刺检测任务。我们的系统\footnote{The source code of our system is available at \url{https://github.com/AbdelkaderMH/iSarcasmEval}}由三个基于深度学习的模型组成,利用了两个现有的阿拉伯语和英语的预训练语言模型。我们参与了所有的子任务。我们的正式提交在阿拉伯语的子任务A中表现最好,在子任务B中排名第二。对于子任务C,我们的系统在阿拉伯语和英语数据集上分别排名第7和第11位。
2022-06-16 cs.CL
Can Code-Switched Texts Activate a Knowledge Switch in LLMs? A Case Study on English-Korean Code-Switching
Yonsei University(延世大学);Soongsil University(崇实大学)
本研究通过EnKoQA数据集探讨代码切换是否能激活LLMs中的知识,发现其在低资源语言任务中具有潜力。
2025-11-24 cs.CL
Translating the Translator: Decomposing the Cost of English-Forced Inter-Agent Communication
Åbo Akademi University(奥博学术大学);Anglia Ruskin University(安格利亚鲁斯金大学)
本研究评估多智能体LLM架构中英语强制通信的代价,发现其显著降低非英语任务性能,提出母语路由可减少翻译损失。
2026-09-15 cs.AI cs.CL cs.MA
What talking you?: Translating Code-Mixed Messaging Texts to English
Carnegie Mellon University(卡内基梅隆大学)
本研究针对新加坡式英语(Singlish)到正式英语的翻译,采用多步骤提示方案在五个大型语言模型上进行语言检测与翻译,发现模型表现不佳,并发布数据集以促进语码混合语言翻译研究。
2024-11-08 cs.CL
Rethinking the Multilingual Reasoning Gap with Layer Swap
LightOn;Inria(法国国家科学研究中心)
本文通过构建多语言推理数据集并微调专家模型,发现本地推理与英语枢轴推理的性能差距远小于先前报道,并提出层交换方法将英语专家的推理中间层迁移到本地专家,以缩小差距。
2026-08-27 cs.CL
Fine-Tuning Large Language Models with QLoRA for Offensive Language Detection in Roman Urdu-English Code-Mixed Text
Instituto Politécnico Nacional (IPN), Centro de Investigación en Computación (CIC)(墨西哥国立理工学院(IPN),计算研究中心(CIC))
本文提出基于QLoRA的微调框架,利用英语翻译的罗马乌尔都语-英语代码混合数据,通过微调多种大语言模型,实现高效冒犯性语言检测,其中Meta LLaMA 3 8B达到最高F1分数91.45。
2025-10-10 cs.CL
Towards Large Language Model driven Reference-less Translation Evaluation for English and Indian Languages
IIIT Hyderabad(印度国际信息技术研究院(海得拉巴));LTRC(语言技术研究中心)
本文提出用大语言模型模拟人类直接评估,构建英语及印度语言的无参考翻译评分任务,并通过零样本、上下文学习和微调验证LLaMA-2-13B可比或优于现有指标。
2024-04-03 cs.CL
Extrapolating Large Language Models to Non-English by Aligning Languages
Nanjing University(南京大学);Peking University(北京大学);Shanghai AI Lab(上海人工智能实验室);The University of Hong Kong(香港大学);University of California, Santa Barbara(加州大学圣巴巴拉分校)
针对大语言模型因训练数据不平衡导致的非英语能力较弱的问题,本文提出跨语言与多语言指令微调方法构建语义对齐,推导缩放定律优化数据分配,在多个基准上显著提升了非英语任务表现。
2023-10-09 cs.CL
Lost in Translation: Measuring the Effect of Non-Native English on End User Performance of Large Language Models
University of Michigan(密歇根大学)
本研究通过构建FABLE数据集,评估34个开源大语言模型对非母语英语提示的响应,发现模型虽不传播拼写错误,但会镜像用户的修辞和词汇质量,导致非母语用户获得质量更低、流利度更差的答案。
2026-09-30 cs.CL
Native Design Bias: Studying the Impact of English Nativeness on Language Model Performance
Research Centre for Information Systems Engineering (LIRIS), KU Leuven(信息系统工程研究中心(LIRIS),库勒文大学);IESEG School of Management(IESEG管理学院);Department of Decision Analytics and Risk, University of Southampton(决策分析与风险系,南安普顿大学)
本研究探讨英语母语身份对LLM响应质量的影响,发现非英语母语者及非西方国家英语母语者从LLMs获得的响应质量更低,且模型识别用户母语身份时会产生锚定效应进一步降低响应质量,为LLM的公平性研究提供了新视角。
2025-11-18 cs.CL
LangLingual: A Personalised, Exercise-oriented English Language Learning Tool Leveraging Large Language Models
本文介绍LangLingual,一个基于LangChain和大型语言模型的对话代理,提供实时语法反馈、上下文感知练习和进度跟踪,评估显示可用性强、学习效果积极。
2025-10-27 cs.CL cs.CY
Do Multilingual LLMs Think In English?
University of Oxford(牛津大学);Google DeepMind(谷歌DeepMind)
本研究通过logit lens探究多语言LLM的内部表征,发现其无论输入输出语言,关键决策与推理都在接近英语的表征空间进行,且英语计算的激活转向效果更优,揭示了多语言LLM受英语主导的内部机制。
2025-02-21 cs.AI cs.CL cs.LG
Non-native speakers of English or ChatGPT: Who thinks better?
Ibb University(伊卜大学);University of Cyprus(塞浦路斯大学)
本研究通过比较非英语母语者与ChatGPT在处理中心嵌套英语结构的能力,发现人类大脑在语言处理上仍具独特优势。
2024-11-30 cs.CL
ALLaM: Large Language Models for Arabic and English
National Center for AI (NCAI)(国家人工智能中心);Saudi Data and AI Authority (SDAIA)(沙特数据与人工智能管理局)
ALLaM是一系列阿拉伯语和英语大型语言模型,通过词汇扩展、混合预训练及平行数据实现语言对齐,并利用人类偏好对齐提升性能,在多个阿拉伯语基准上达到最先进水平。
2024-07-22 cs.AI cs.CL
Llama-GENBA-10B: A Trilingual Large Language Model for German, English and Bavarian
Leibniz Supercomputing Centre (LRZ)(莱布尼茨超算中心);Cerebras Systems(Cerebras系统)
本文提出Llama-GENBA-10B三语模型,基于Llama 3.1-8B扩展至100亿参数,通过多语预训练和统一tokenizer解决英语中心偏见,在巴伐利亚语上超越同类模型,为低资源语言模型提供蓝图。
2025-09-06 cs.AI cs.CL
Individual and Combined Effects of English as a Second Language and Typos on LLM Performance
Harvard University(哈佛大学)
研究探讨了英语作为第二语言和拼写错误对大语言模型性能的影响,发现两者结合时性能下降更显著,且在封闭式任务中表现更一致,而开放式任务结果更混杂。
2026-04-06 cs.AI cs.CL
Crosslingual Reasoning through Test-Time Scaling
Brown University(布朗大学);MBZUAI;Stanford University(斯坦福大学);University of Tübingen(图宾根大学);Capital One;Cohere Labs(Cohere实验室)
本文研究以英语为中心的推理语言模型通过测试时扩展实现跨语言泛化的潜力与机制,发现其能提升多语言数学推理、遵循“引用并思考”模式,并指出高资源语言推理更优而低资源及域外推理仍需改进。
2025-05-08 cs.AI cs.CL cs.LG
Could We Have Had Better Multilingual LLMs If English Was Not the Central Language?
Bandung Institute of Technology(万隆理工学院);University of Indonesia(印度尼西亚大学);Boston University(波士顿大学);Monash University Indonesia(莫纳什大学印度尼西亚分校)
该研究通过建模语言特征距离与 Llama2 翻译 BLEU 分数的线性关系,发现瑞典语、加泰罗尼亚语等语言在特定条件下可达到与英语相当的中心语言效果。
2024-04-05 cs.AI cs.CL
Evaluation Awareness Beyond English: Do LLMs Act Differently When Tested in Indic Languages?
Birla Institute of Technology and Science, Pilani(博拉理工学院皮拉尼分校)
该研究在英语及五种印度语言中测试四个指令调优模型,发现告知模型处于安全测试时,印度语言的有害请求拒绝率平均升14.4个百分点,与英语水平持平,但良性请求拒绝率也上升,相关数据已公开。
2026-10-16 cs.AI cs.CL
Entropy and Long range correlations in literary English
我们研究了两个文学文本中的长程相关性。梅尔维尔和格林的故事。该分析是基于计算的熵类量的互信息对字母和熵,平均不确定性,每个字母。我们进一步估计给定长度n的不同子字的数量。过滤的贡献,由于文本的有限长度的影响,我们发现的相关性范围为几百个字母。标度律的互信息(衰减与幂律),每个字母的熵(衰减与n的平方根的倒数)和单词的数量(拉伸指数增长与n和幂律的文本长度)被发现。
2002-04-04 cond-mat.dis-nn cond-mat.stat-mech