IndicGuard: A Multilingual Safety Guard Model and Dataset for Indic Languages
L3Cube-Labs, Pune(L3Cube实验室,浦那)
提出IndicGuard,一个针对10种印度主要语言的多语言安全数据集和基于Gemma-3-4B-IT微调的4B参数安全防护模型,在内容审核和跨语言泛化上优于现有基线CultureGuard。
2026-06-23 cs.CL cs.LG
L3Cube-IndicQuest v2: A Large-Scale Multilingual Benchmark for Evaluating Factual Knowledge of Large Language Models Across Indic Languages
Pune Institute of Computer Technology(浦那计算机技术学院);L3Cube Labs(L3Cube实验室);Indian Institute of Technology Madras(马德拉斯印度理工学院)
本研究构建了面向印度诸语言的大规模多语言问答基准L3Cube-IndicQuest v2,评估6种LLM的事实知识,发现前沿商业模型表现突出,开放权重模型Gemma4 31B优于Sarvam 30B。
2026-08-18 cs.CL cs.LG
IndicSentEval: How Effectively do Multilingual Transformer Models encode Linguistic Properties for Indic Languages?
IIIT Hyderabad(海德拉巴印度理工学院);University of Bonn(波恩大学);Microsoft(微软);Inria(法国国家信息与自动化技术研究院)
本文提出多语言基准数据集IndicSentEval,通过探测分析9个多语言Transformer模型在6种印度语系语言中8项语言特性的编码能力和13种扰动下的鲁棒性,发现通用模型鲁棒性更好而特定模型编码能力更强。
2025-11-01 cs.AI cs.CL cs.LG
CVQA: Culturally-diverse Multilingual Visual Question Answering Benchmark
MBZUAI
针对现有VQA数据集语言文化多样性不足、西方中心的问题,构建了覆盖31种语言、30国文化的CVQA基准,测试发现当前SOTA模型在其上表现有挑战,可用于评估模型文化能力与偏见。
2024-11-04 cs.AI cs.CL cs.CV
CCQA: A New Web-Scale Question Answering Dataset for Model Pre-Training
University of British Columbia(不列颠哥伦比亚大学);Meta AI
随着大规模预训练语言模型的兴起,开放域问答(ODQA)已成为自然语言处理领域的一个重要研究课题。基于流行的预训练微调方法,我们认为使用大规模,自然和多样化的问答(QA)数据集的额外域内预训练阶段可能对ODQA有益。因此,本文提出了一种新的QA数据集的基础上共同爬行项目。使用现成的schema.org注释,我们提取了大约1.3亿个多语言问答对,其中包括大约6000万个英语数据点。有了这个以前从未见过的自然QA对数量,我们对流行的语言模型进行了预训练,以展示问答任务的大规模域内预训练的潜力。在我们的实验中,我们发现在我们的通用爬行问题分类数据集(CCQA)上的预训练问答模型在多个任务、模型和基准测试中的zero-shot、低资源和微调设置中取得了令人满意的结果。
2022-05-02 cs.CL cs.LG
GermanQuAD and GermanDPR: Improving Non-English Question Answering and Passage Retrieval
deepset GmbH(deepset 公司)
面向问答(QA)的非英语机器阅读研究的一个主要挑战是缺乏标注数据集。在本文中,我们介绍了GermanQuAD,一个包含13,722个提取问题/答案对的数据集。为了提高数据集创建方法的可重复性,并促进对其他语言的QA研究,我们总结了经验教训,并评估了问题/答案对的重新表述,以加快注释过程。在GermanQuAD上训练的提取QA模型显著优于多语言模型,并且还表明机器翻译的训练数据不能完全替代目标语言中的手动注释训练数据。最后,我们展示了广泛的应用GermanQuAD通过适应GermanDPR,密集通道检索(DPR)的训练数据集,和训练和评估的第一个非英语DPR模型。
2021-04-26 cs.CL cs.LG
UQA: Corpus for Urdu Question Answering
LUMS(拉合尔管理科学大学);EMBL-EBI(欧洲分子生物学实验室-欧洲生物信息研究所)
本文提出乌尔都语问答数据集UQA,通过EATS技术翻译SQuAD2.0并保留答案跨度,评测了翻译模型并在多语言模型上取得优异结果,为低资源语言NLP提供了宝贵资源。
2024-07-22 cs.AI cs.CL cs.IR
The Multilingual Curse at the Retrieval Layer: Evidence from Amharic
Independent Researcher(独立研究者);University of Amsterdam(阿姆斯特丹大学)
针对零样本多语言检索在低资源形态丰富语言(如阿姆哈拉语)上表现不佳的问题,通过对比实验发现单语检索器显著优于多语言检索器,并揭示了多语言基准测试的局限性。
2026-05-23 cs.CL cs.IR cs.LG
Applying Multilingual Models to Question Answering (QA)
University of Copenhagen(哥本哈根大学);Yale-NUS College(耶鲁-新加坡国大学院);Technical University of Munich(慕尼黑工业大学)
我们研究了单语和多语言语言模型的性能问题回答(QA)的任务上的三种不同的语言:英语,芬兰语和日语。我们开发的模型的任务(1)确定一个问题是否是可回答的上下文和(2)使用IOB标记的上下文中识别答案文本。此外,我们试图评估一个预先训练的多语言编码器(多语言BERT)的跨语言零样本学习的可回答性和IOB序列分类器的有效性。
2022-12-04 cs.CL cs.LG
IndicVisionBench: Benchmarking Cultural and Multilingual Understanding in VLMs
Krutrim AI;OLA Electric
本文提出首个以印度次大陆为中心的大规模多语言多模态基准IndicVisionBench,覆盖10种印度语言和3类任务,通过评估8种模型揭示当前VLMs在文化多样场景中的显著性能差距。
2025-11-06 cs.AI cs.CV cs.LG
MORPHOGEN: A Multilingual Benchmark for Evaluating Gender-Aware Morphological Generation
SBILab, Indraprastha Institute of Information Technology Delhi(SBILab,印度理工学院信息技术研究所德里)
MORPHOGEN通过构建三门语法有性语言的合成数据集,评估15种多语言大模型在性别意识形态生成任务中的表现,揭示当前模型在处理形态性别时的不足。
2026-04-20 cs.AI cs.CL cs.LG
Investigating Information Inconsistency in Multilingual Open-Domain Question Answering
University of Maryland, College Park(马里兰大学帕克分校)
基于检索的开放域QA系统使用检索到的文档和对检索到的文档的答案跨度选择来找到最佳答案候选者。我们假设,多语言问答(QA)系统很容易出现信息不一致,当涉及到不同语言编写的文件,因为这些文件往往提供一个模型与不同的信息相同的主题。为了理解信息的可获得性偏差和文化影响的影响,我们分析了多语言开放域问答模型的行为,重点是检索偏差。我们分析如果不同的检索模型呈现不同的段落给定相同的问题在不同的语言上的TyDi QA和XOR-TyDi QA,两个多语言QA数据集。我们推测,跨语言文档的内容差异可能反映了文化差异和/或社会偏见。
2022-05-25 cs.AI cs.CL cs.IR
PSK at WMT 2026 MIST: Task-Specialized QLoRA Adapters for Multilingual Summarization and Question Answering
该研究针对WMT 2026多语言指令共享任务,基于Tiny Aya Global模型构建三个QLoRA适配器,分别适配摘要、段落问答、独立问答任务,对比验证了不同适配器的性能并提交含不同开放问答适配器的系统。
2026-08-24 cs.AI cs.CL cs.LG
On the Calibration of Multilingual Question Answering LLMs
University of Pennsylvania(宾夕法尼亚大学);IBM Research(IBM研究院)
该研究针对多语言问答大语言模型校准效果不明的问题,全面测试不同架构、规模的多语言LLM在多场景下的校准表现,探究优化策略,发现非英语语言校准较差,加入少量翻译样本可有效提升校准效果。
2024-04-15 cs.CL cs.LG
FAU at ImageCLEF 2026 Task on Multimodal Reasoning Robust Candidate Scoring and Concise Multilingual Visual Answering
Friedrich-Alexander-Universität Erlangen-Nürnberg(弗里德里希-亚历山大-埃尔兰根-纽伦堡大学)
FAU提交的多模态推理系统,未做任务特定模型训练,在2026年ImageCLEF竞赛中,获Visual MCQ第三名、Visual OpenQA第一名,凸显推理工程的实用价值。
2026-08-04 cs.CV cs.LG
PrimeQA: The Prime Repository for State-of-the-Art Multilingual Question Answering Research and Development
IBM Research AI(IBM研究院人工智能部门)
问答(QA)领域近年来取得了显著的进展,这要归功于大型预训练语言模型、更新的具有排行榜的真实基准数据集以及用于检索器和阅读器等关键组件的新颖算法的出现。在本文中,我们介绍PRIMEQA:一个一站式和开源的QA知识库,旨在民主化QA研究,并方便复制最先进的(SOTA)QA方法。PRIMEQA支持检索和阅读理解等核心QA功能,以及问题生成等辅助功能。它被设计为用于各种用例的端到端工具包:构建前端应用程序,在公共基准上复制SOTA方法,以及扩展现有方法。PRIMEQA可在https://github.com/primeqa上获得。
2023-01-25 cs.CL cs.IR cs.LG
Cascading Adaptors to Leverage English Data to Improve Performance of Question Answering for Low-Resource Languages
Dharmsinh Desai University(达尔明辛德赛大学)
本文研究利用预训练多语言模型提升低资源语言问答性能,通过级联语言与任务适配器并采用零样本迁移学习,在七种语言上验证了该方法能显著改善模型表现。
2021-12-18 cs.AI cs.CL cs.HC
Multilingual Non-Factoid Question Answering with Answer Paragraph Selection
Indraprastha Institute of Information Technology, Delhi(因德拉普拉斯信息技术学院德里校区);International Institute of Information Technology, Hyderabad(国际信息技术学院海得拉巴校区)
本文提出覆盖38种语言、含578K余问答对的非事实型多语言数据集MuNfQuAD,并通过微调APS模型验证其答案段落选择与跨语言泛化能力。
2025-02-19 cs.AI cs.CL cs.IR
MuCoT: Multilingual Contrastive Training for Question-Answering in Low-resource Languages
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
近年来,随着基于转换器的模型(例如,BERT)。这些模型是用大型英语文本语料库以自我监督的方式进行预训练的,并用大量英语QA数据集(例如,SQuAD)。然而,这种规模的QA数据集不适用于大多数其他语言。基于多语言BERT的模型(mBERT)通常用于将知识从高资源语言转移到低资源语言。由于这些模型是用包含多种语言的巨大文本语料库进行预训练的,因此它们通常会学习来自不同语言的标记的语言无关嵌入。然而,由于训练数据的缺乏,直接训练用于低资源语言的基于mBERT的QA系统是具有挑战性的。在这项工作中,我们使用翻译和音译来增强目标语言的QA样本,并使用增强的数据来微调基于mBERT的QA模型,该模型已经用英语进行了预训练。在Google ChAII数据集上的实验表明,使用来自同一语言家族的翻译对mBERT模型进行微调可以提高问答性能,而在跨语言家族的情况下,性能会下降。我们进一步表明,在微调过程中引入翻译的问题上下文特征对之间的对比损失,防止这种退化与跨语言的家庭翻译,并导致边际改善。这个工作的代码可以在https://github.com/gokulkarthik/mucot上找到。
2022-04-12 cs.AI cs.CL cs.LG
IndicTalk: A Large-Scale Persona-Based Multilingual Conversational Corpus for Indic Languages
针对印度语言高质量多语言代码混合对话资源稀缺问题,提出通过全自动管道生成IndicTalk语料库,涵盖多种印度语言变体,经多种评估表现良好,将发布该语料库支持相关人工智能开发评估。
2026-07-28 cs.CL cs.LG
Automated question generation and question answering from Turkish texts
OBSS AI(OBSS人工智能公司)
虽然考试式的问题是一个基本的教育工具,服务于各种目的,手动构建问题是一个复杂的过程,需要培训,经验和资源。自动问题生成(QG)技术可以用来满足不断提供新的问题,通过精简他们的生成的需要。然而,与自动问答(QA)相比,QG是一个更具挑战性的任务。在这项工作中,我们微调多语言T5(mT5)Transformer在多任务设置为QA,QG和答案提取任务使用土耳其QA数据集。据我们所知,这是第一个从土耳其文本自动生成文本到文本问题的学术工作。实验结果表明,在TQuADv1、TQuADv2数据集和XQuAD Turkish split数据集上,该多任务设置实现了最先进的土耳其语问答和问题生成性能.源代码和预训练模型可在https://github.com/obss/turkish-question-generation上获得。
2022-04-07 cs.LG
PaLI-X: On Scaling up a Multilingual Vision and Language Model
Google Research(谷歌研究院)
本文通过扩大模型组件规模和训练任务混合广度来扩展多语言视觉与语言模型 PaLI-X,在超过25个视觉与语言基准上取得最先进性能,并观察到复杂计数和多语言目标检测等涌现能力。
2023-05-29 cs.CL cs.CV cs.LG
L3Cube-IndicSBERT: A simple approach for learning cross-lingual sentence representations using multilingual BERT
MKSSS’ Cummins College of Engineering for Women(MKSSS康明斯女子工程学院);L3Cube Pune(浦那L3Cube);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
提出通过聚合翻译 NLI/STS 数据并微调普通多语言 BERT 的简单方法,构建并发布面向 10 种印度语言的 L3Cube-IndicSBERT,在跨语言与单语相似度任务上优于多个基线。
2023-04-22 cs.CL cs.LG
muBoost: An Effective Method for Solving Indic Multilingual Text Classification Problem
MiQ Digital(MiQ数字公司)
文本分类是许多自然语言处理任务的一个组成部分,例如讽刺检测,情感分析和许多类似的应用。许多电子商务网站,社交媒体/娱乐平台使用这种模型来增强用户体验,以产生流量,从而在其平台上产生收入。在本文中,我们提出了我们的解决方案,多语言辱骂性评论识别问题的Moj,印度视频共享社交网络服务,由ShareChat提供支持。这个问题涉及检测13种印度地区语言(如印地语、泰卢固语、卡纳达语等)的辱骂性评论,Moj平台上的视频。我们的解决方案利用了新的muBoost,一个集成的CatBoost分类器模型和印度语言的多语言表示(MURIL)模型,产生SOTA性能的印度文本分类任务。我们能够在测试数据上实现89.286的平均F1评分,比基线MURIL模型的F1评分87.48有所改善。
2022-06-21 cs.CL cs.LG
MediFact at MEDIQA-M3G 2024: Medical Question Answering in Dermatology with Multimodal Learning
National University of Computer and Emerging Sciences (NUCES-FAST)(国家计算机与新兴科学大学(NUCES-FAST))
本文提出一种弱监督多模态学习方法,结合VGG16-CNN-SVM与ViT-CLIP模型,解决皮肤病学多语言开放式医学问答问题,为临床决策支持系统提供支撑。
2024-04-27 cs.AI cs.CL cs.CV
Grounding Multilingual Multimodal LLMs With Cultural Knowledge
Carnegie Mellon University(卡内基梅隆大学)
本文提出以数据为中心的方法,利用Wikidata知识图谱构建了覆盖42国39种语言的2200万文化VQA对数据集CulturalGround,并训练开源模型CulturalPangea,在保持通用能力的同时显著提升了多模态LLM的文化理解能力。
2025-08-12 cs.CL cs.LG
Multilingual Needle in a Haystack: Investigating Long-Context Behavior of Multilingual Large Language Models
Indian Institute of Technology Delhi(德里印度理工学院)
该研究提出MLNeedle测试评估多语言LLM的长上下文信息检索能力,发现模型性能受语言类型、信息位置影响显著,且长上下文下跨语言检索表现不佳,为相关评估提供了参考。
2024-08-19 cs.CL cs.LG
Better To Ask in English? Evaluating Factual Accuracy of Multilingual LLMs in English and Low-Resource Languages
Pune Institute of Computer Technology(普纳计算机技术研究所);Indian Institute of Technology Madras(印度理工学院马德拉斯分校);L3Cube Labs, Pune(L3Cube实验室,普纳)
本研究使用IndicQuest数据集评估GPT-4o等LLM在英语和19种印度语系语言中的事实准确性,发现模型在英语中表现更优且低资源语言更易产生幻觉。
2025-09-14 cs.CL cs.LG
XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked Language Models
Meta AI
本文提出XLM-V,通过为各语言分配词汇容量并减少低重叠语言间的标记共享,构建百万级词汇的多语言模型,在多项任务上超越XLM-R,尤其显著提升低资源语言性能。
2023-10-13 cs.CL cs.LG
FewshotQA: A simple framework for few-shot learning of question answering tasks using pre-trained text-to-text models
Amazon Alexa AI(亚马逊Alexa人工智能部门)
仅从几个示例(称为Few-Shot设置)学习的任务对于现实世界的设置至关重要和相关。对于问答(QA),当前最先进的预训练模型通常需要对数万个示例进行微调才能获得良好的结果。在Few-Shot设置中(< 100个示例),它们的性能显着下降。为了解决这个问题,我们提出了一个简单的微调框架,该框架利用预训练的文本到文本模型,并直接与其预训练框架保持一致。具体来说,我们将输入构造为问题、表示答案跨度的掩码令牌和上下文的串联。给定此输入,使用与其预训练目标相同的目标对模型进行微调。通过对各种Few-Shot配置的实验研究,我们表明该公式在多个QA基准测试中带来了显着的收益(当只有16个训练样本时,平均绝对收益为34.2个F1点)。当使用更大的模型时,收益进一步扩大(例如:在SQuAD上使用BART-large只有32个示例的-72.3 F1),并且可以很好地转换为多语言设置。在多语言TydiQA基准测试中,我们的模型在Few-Shot设置(<= 64个训练样本)中的绝对优势高达40个F1点,平均33个F1点。我们进行详细的消融研究,以分析促成这些收益的因素。
2021-10-12 cs.AI cs.CL cs.LG
TransWiC at SemEval-2021 Task 2: Transformer-based Multilingual and Cross-lingual Word-in-Context Disambiguation
Birmingham City University(伯明翰城市大学);University of Wolverhampton(伍尔弗汉普顿大学)
识别一个词在两个上下文中的相同或不同含义是自然语言处理的一个重要研究领域,在问答、文档摘要、信息检索和信息抽取等应用中起着重要作用。这一领域以前的大多数工作都依赖于特定语言的资源,因此很难跨语言进行概括。考虑到这一限制,我们对SemEval-2021任务2的方法仅基于预训练的Transformer模型,不使用任何特定于语言的处理和资源。尽管如此,我们的最佳模型在英语-英语子任务中达到了0.90的准确率,与子任务的最佳结果0.93的准确率相比,这是非常兼容的。我们的方法也取得了令人满意的结果,在其他单语和跨语言的语言对。
2021-04-09 cs.AI cs.CL cs.LG
Learn Globally, Speak Locally: Bridging the Gaps in Multilingual Reasoning
Massachusetts Institute of Technology(麻省理工学院);Havard Univeristy(哈佛大学);LG CNS;Université de Montréal(蒙特利尔大学);Mila(米拉研究所);Google(谷歌);Stanford University(斯坦福大学)
本文提出M2A方法,通过多尺度对齐与语言一致性奖励提升多语言推理,并引入GeoFact-X基准,显著增强低资源语言推理保真度。
2025-09-26 cs.AI cs.CL cs.LG
MedAidDialog: A Multilingual Multi-Turn Medical Dialogue Dataset for Accessible Healthcare
University of Birmingham(布里斯托尔大学);Heritage Institute of Technology(遗产理工学院);Madan Mohan Malaviya University of Technology(马丹·莫汉·马尔维亚理工学院)
本文提出MedAidDialog数据集,用于模拟真实医患对话,通过生成合成对话扩展MDDial数据集,并开发MedAidLM模型以实现多轮对话和诊断推荐。
2026-03-25 cs.AI cs.CL cs.LG