Mintaka: A Complex, Natural, and Multilingual Dataset for End-to-End Question Answering
Amazon Alexa AI(亚马逊Alexa人工智能部门)
我们介绍了Mintaka,一个复杂的,自然的,多语言的数据集,旨在试验端到端的问答模型。Mintaka由20,000个英语问答对组成,使用维基数据实体进行注释,并翻译成阿拉伯语,法语,德语,印地语,意大利语,日语,葡萄牙语和西班牙语,共180,000个样本。Mintaka包括8种复杂的问题,包括最高级,交叉和多跳问题,这些问题自然是从人群工作者中引出的。我们在Mintaka上运行了基线,其中最好的一个在英语中达到了38%的命中率,在多语言中达到了31%的命中率,这表明现有的模型还有改进的空间。我们在https://github.com/amazon-research/mintaka发布Mintaka。
2022-10-04 cs.CL
Automatic Spanish Translation of the SQuAD Dataset for Multilingual Question Answering
TALP Research Center(TALP研究中心)
最近,多语言问答成为一个重要的研究课题,它正在收到越来越多的兴趣在NLP社区。然而,大规模数据集的不可用性使得训练多语言QA系统具有与英语系统相当的性能具有挑战性。在这项工作中,我们开发的翻译对齐(TAR)方法自动翻译斯坦福问答数据集(SQuAD)v1.1到西班牙语。然后,我们使用该数据集通过微调多语言BERT模型来训练西班牙语QA系统。最后,我们使用最近提出的跨语言提取QA的MLQA和XQuAD基准测试评估了我们的QA模型。实验结果表明,我们的模型优于以前的多语言BERT基线,在西班牙语MLQA语料库上实现了68.1个F1点的最新值,在西班牙语XQuAD语料库上实现了77.6个F1和61.8个精确匹配点。据我们所知,合成生成的SQuAD-es v1.1语料库几乎100%包含在原始英文版本中,是西班牙语的第一个大规模QA培训资源。
2019-12-12 cs.CL
XLQA: A Benchmark for Locale-Aware Multilingual Open-Domain Question Answering
Department of Artificial Intelligence, Korea University(人工智能系,韩国大学)
本文提出XLQA多语言开放域问答基准,覆盖八种语言并区分区域敏感问题,评估五种多语言LLMs,揭示其区域知识不足及训练数据分布差异对语言能力和区域意识的影响。
2025-08-22 cs.CL
Applying Multilingual Models to Question Answering (QA)
University of Copenhagen(哥本哈根大学);Yale-NUS College(耶鲁-新加坡国大学院);Technical University of Munich(慕尼黑工业大学)
我们研究了单语和多语言语言模型的性能问题回答(QA)的任务上的三种不同的语言:英语,芬兰语和日语。我们开发的模型的任务(1)确定一个问题是否是可回答的上下文和(2)使用IOB标记的上下文中识别答案文本。此外,我们试图评估一个预先训练的多语言编码器(多语言BERT)的跨语言零样本学习的可回答性和IOB序列分类器的有效性。
2022-12-04 cs.CL cs.LG
Multilingual Question Answering from Formatted Text applied to Conversational Agents
Worldline(源讯世界线)
语言模型的最新进展(例如BERT、XLNet等),在复杂的NLP任务(如阅读理解)上,然而,用于训练的标记数据集主要以英语提供,这使得很难用其他语言确认进展。幸运的是,模型现在已经在来自数百种语言的未标记数据上进行了预训练,并表现出从一种语言到另一种语言的有趣迁移能力。在本文中,我们表明,多语言的BERT是自然能够zero-shot转移提取问答任务(eQA)从英语到其他语言。更具体地说,它超过了以前已知的最好的转移到日语和法语的基线。此外,使用最近发布的大型eQA法语数据集,我们能够进一步证明:(1)zero-shot迁移提供的结果非常接近于目标语言的直接训练;(2)迁移和目标语言训练的组合是总体上最好的选择。最后,我们提出了一个实际的应用:一个多语言的会话代理称为凯特回答人力资源相关的问题,在几种语言直接从内部网页面的内容。
2021-02-01 cs.CL
Pivot Through English: Reliably Answering Multilingual Questions without Document Retrieval
University of Washington(华盛顿大学);Apple Inc.(苹果公司)
现有的开放检索问答方法在低资源语言(LRL)明显落后于英语。他们不仅遭受非英语文献检索的缺点,但依赖于特定语言的监督任务或翻译。我们制定了一个任务设置更现实的可用资源,绕过文档检索可靠地转移知识从英语到较低的资源语言。假设一个强大的英语问答模型或数据库,我们比较和分析的方法,以英语为中心:映射外国查询到英语,然后英语回答回目标语言的答案。在这个任务设置中,我们提出了重新排序的多语言最大内积搜索(RM-MIPS),类似于在英语训练集上进行重新排序的语义相似性检索,在XQuAD和MKQA上分别比最强基线高出2.7%和6.2%。分析表明,在具有挑战性的环境中,这种策略比最先进的替代方案具有特殊的功效:低资源语言,具有广泛的干扰数据和查询分布不一致。绕过检索,我们的分析表明,这种方法提供了快速的答案生成几乎任何现成的语言,而不需要任何额外的训练数据在目标语言。
2021-07-16 cs.CL
Unlocking Markets: A Multilingual Benchmark to Cross-Market Question Answering
University of Copenhagen(哥本哈根大学);Singapore Management University(新加坡管理大学);University of Amsterdam(阿姆斯特丹大学)
提出多语言跨市场基于产品问答任务MCPQA及大规模数据集McMarket,涵盖超700万问题和两个子任务,实验证明结合跨市场信息显著提升性能。
2024-09-24 cs.CL
Evaluating Robustness of LLMs in Question Answering on Multilingual Noisy OCR Data
University of Innsbruck(因斯布鲁克大学);University of La Rochelle(拉罗谢尔大学);University of Ljubljana(卢布尔雅那大学)
本文通过构建包含英法德三语5万问答对的MultiOCR-QA数据集,系统评估了OCR噪声对多语言问答系统中大语言模型性能的影响,揭示了现有模型对噪声文本的脆弱性,并强调需要更具鲁棒性的问答系统。
2025-09-19 cs.CL
MULTITAT: Benchmarking Multilingual Table-and-Text Question Answering
Harbin Institute of Technology(哈尔滨工业大学)
针对现有TATQA数据集仅限英语的局限,提出首个多语言TATQA数据集MULTITAT,涵盖10种语言,并开发基线模型Ours,实验显示非英语性能平均下降19.4%,Ours平均领先其他基线3.3。
2025-02-24 cs.CL
HistoryBankQA: Multilingual Temporal Question Answering on Historical Events
本文提出了包含1000万以上历史事件的多语言数据库HistoryBank,并构建了涵盖6种时序推理任务的问答基准,评估了多种流行语言模型在多语言历史事件时序推理上的表现。
2025-09-16 cs.CL
MST5 -- Multilingual Question Answering over Knowledge Graphs
Universität Paderborn(帕德博恩大学)
针对多语言知识图谱问答中SPARQL生成性能不足的问题,提出用单个多语言transformer统一融合语言上下文与实体信息的方法,并在QALD及新增中日语言上验证有效。
2024-07-08 cs.CL
M3TQA: Massively Multilingual Multitask Table Question Answering
CCSE, Beihang University(计算机科学与工程学院,北京航空航天大学);M-A-P(M-A-P研究所);Nanjing University(南京大学)
本文提出M3TQA基准,覆盖97种语言的多任务表格问答,通过LLM翻译流程构建并验证合成数据可显著提升低资源语言的跨语言表格推理性能。
2025-08-22 cs.CL
Bridging the Language Gap: Knowledge Injected Multilingual Question Answering
Tsinghua University(清华大学);Shandong University(山东大学)
本文提出一种广义跨语言迁移框架,通过组装多语言知识三元组并利用链接预测技术进行知识注入,增强模型跨语言理解与推理能力,在MLQA数据集上F1/EM平均提升13.18%/12.00%。
2023-04-06 cs.CL
BharatBBQ: A Multilingual Bias Benchmark for Question Answering in the Indian Context
IIT Bombay(印度理工学院博伊斯)
针对现有偏见基准侧重西方语境的局限,提出面向印度语境的多语言偏见评估基准BharatBBQ,覆盖8种语言与13个社会类别,评估发现多语言模型在印度语言中偏见显著且较英语常被放大。
2025-08-09 cs.CL
Simorgh at SemEval-2026 task 7: Region-Aware Hybrid Retrieval for Low-Resource Cultural Reasoning in Multilingual Question Answering
University of Tabriz(塔布里兹大学)
提出区域感知混合检索方法,结合BM25和稠密语义相似度与区域加权启发式,以提升多语言文化问答的跨语言稳定性。
2026-05-26 cs.CL
Not All Languages are Equal: Insights into Multilingual Retrieval-Augmented Generation
Tongyi Lab(通义实验室)
该研究构建了含八种语言平行文本的Futurepedia基准,评估六个多语言RALM发现语言不平等现象,并针对单语提取、跨语言迁移、多语言选择三方面提出改进建议,为多语言检索增强生成研究提供洞见。
2024-10-29 cs.CL
Investigating Information Inconsistency in Multilingual Open-Domain Question Answering
University of Maryland, College Park(马里兰大学帕克分校)
基于检索的开放域QA系统使用检索到的文档和对检索到的文档的答案跨度选择来找到最佳答案候选者。我们假设,多语言问答(QA)系统很容易出现信息不一致,当涉及到不同语言编写的文件,因为这些文件往往提供一个模型与不同的信息相同的主题。为了理解信息的可获得性偏差和文化影响的影响,我们分析了多语言开放域问答模型的行为,重点是检索偏差。我们分析如果不同的检索模型呈现不同的段落给定相同的问题在不同的语言上的TyDi QA和XOR-TyDi QA,两个多语言QA数据集。我们推测,跨语言文档的内容差异可能反映了文化差异和/或社会偏见。
2022-05-25 cs.AI cs.CL cs.IR
Question answering using deep learning in low resource Indian language Marathi
Pillai College of Engineering(皮莱工程学院)
本文针对低资源马拉地语问答,比较并微调MuRIL、MahaBERT和IndicBERT等模型,发现MuRIL在阅读理解数据集上表现最佳,EM为0.64、F1为0.74。
2023-09-27 cs.CL
Learning to Translate for Multilingual Question Answering
Comcast Labs(康卡斯特实验室);Raytheon BBN Technologies(雷神BBN科技公司)
在多语言问答中,需要将问题翻译成文档语言,或者反之亦然。除了方向之外,还有多种方法可以执行翻译,本文将探讨其中的四种方法:基于单词的,10最佳的,基于上下文的和基于语法的。我们为每个翻译方向和方法的组合构建一个特征,并训练一个学习最佳特征权重的模型。在一个由英语、阿拉伯语和中文帖子组成的大型论坛数据集上,我们新颖的学习翻译方法比强基线更有效(p<0.05):将所有文本翻译成英语,然后仅基于英语(原始或翻译)文本训练分类器。
2016-09-26 cs.AI cs.CL
DaPT: A Dual-Path Framework for Multilingual Multi-hop Question Answering
School of Computer Science and Engineering, Northeastern University, Shenyang, China(东北大学计算机科学与工程学院);NiuTrans Research, Shenyang, China(牛译科研)
本文提出DaPT框架,通过构建多语言多跳问答基准并采用双语检索与回答策略,解决多语言多跳问答中的基准缺失和语义依赖问题,实验表明其在MuSiQue基准上平均EM得分提升18.3%。
2026-03-19 cs.AI cs.CL
Enhancing Answer Boundary Detection for Multilingual Machine Reading Comprehension
University of Electronic Science and Technology of China(电子科技大学);Microsoft(微软);Microsoft Research Asia(微软亚洲研究院)
多语言预训练模型可以利用来自丰富源语言(如英语)的训练数据来提高低资源语言的性能。然而,多语言机器阅读理解(MRC)的迁移质量明显低于句子分类任务,这主要是由于MRC需要检测单词级别的答案边界。在本文中,我们提出了两个辅助任务,在微调阶段,以创建额外的短语边界监督:(1)混合MRC任务,将问题或段落翻译到其他语言,并建立跨语言的问题-段落对;(2)语言无关的知识掩蔽任务,利用知识挖掘的短语从Web。此外,在两个跨语言MRC数据集上的大量实验表明了该方法的有效性。
2020-05-08 cs.AI cs.CL
PSK at WMT 2026 MIST: Task-Specialized QLoRA Adapters for Multilingual Summarization and Question Answering
该研究针对WMT 2026多语言指令共享任务,基于Tiny Aya Global模型构建三个QLoRA适配器,分别适配摘要、段落问答、独立问答任务,对比验证了不同适配器的性能并提交含不同开放问答适配器的系统。
2026-08-24 cs.AI cs.CL cs.LG
Discrepancy Detection at the Data Level: Toward Consistent Multilingual Question Answering
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);University of Maryland, College Park(马里兰大学帕克分校)
本文提出MIND,一种用户参与的事实核查流程,用于检测多语言问答系统中的事实和文化差异,在母婴健康领域及其他数据集上验证了其有效性,以支持构建更一致且具文化意识的问答系统。
2025-10-13 cs.AI cs.CL
Leveraging Synthetic Data for Question Answering with Multilingual LLMs in the Agricultural Domain
CSIR-Central Scientific Instruments Organisation, India(印度CSIR-中央科学仪器组织);Academy of Scientific and Innovative Research (AcSIR), Ghaziabad, U.P, India(印度科学与创新研究院(AcSIR));School of Mathematical and Computational Sciences, Massey University, New Zealand(梅西大学数学与计算科学学院)
本研究针对通用多语言LLMs在农业领域问答中精准性不足的问题,利用印度农业文档生成多语言合成数据集微调LLMs,显著提升了模型的事实性、相关性与农业共识性。
2026-08-04 cs.AI cs.CL
Overview of the NLPCC 2025 Shared Task 4: Multi-modal, Multilingual, and Multi-hop Medical Instructional Video Question Answering Challenge
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究所,中国科学院);School of Computer Science and Technology, Beijing Institute of Technology(计算机科学与技术学院,北京理工大学);School of Engineering, Westlake University(工程学院,西湖大学)
本文介绍NLPCC 2025 M4IVQA挑战赛,设置单视频定位、视频语料检索和语料库定位三个赛道,推动面向医学教学视频的多模态、多语言、多跳问答研究。
2025-05-11 cs.AI cs.CL cs.CV
MedExpQA: Multilingual Benchmarking of Large Language Models for Medical Question Answering
University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU);HiTZ Center(HiTZ中心)
本文提出首个基于医学考试的多语言基准MedExpQA,包含医生撰写的参考解释,通过结合RAG方法评估LLMs在医学问答中的表现,发现其性能仍有改进空间。
2024-07-29 cs.CL
mLongT5: A Multilingual and Efficient Text-To-Text Transformer for Longer Sequences
Google Research(谷歌研究院)
本文提出mLongT5,通过结合LongT5架构、mT5多语言预训练数据与UL2任务,在多语言摘要和问答任务上优于mBART和M-BERT。
2023-10-26 cs.CL
M2QA: Multi-domain Multilingual Question Answering
University of Cambridge(剑桥大学);Cohere(科here公司);Technical University of Darmstadt(达姆施塔特工业大学);Google DeepMind(谷歌DeepMind)
本文提出多领域多语言问答基准 M2QA,涵盖德语、土耳其语、中文及三类领域,用于评估模型联合跨语言跨领域迁移能力,并揭示显著性能下降与适应挑战。
2024-07-01 cs.CL
Beyond Factual QA: Mentorship-Oriented Question Answering over Long-Form Multilingual Content
Santa Clara University(圣克拉拉大学)
本文提出MentorQA,首个多语言长形式视频指导型问答数据集和评估框架,通过对比不同架构发现Multi-Agent在复杂和低资源语言中表现更优。
2026-09-01 cs.AI cs.CL
ZusammenQA: Data Augmentation with Specialized Models for Cross-lingual Open-retrieval Question Answering System
University of Mannheim(曼海姆大学);University of Verona(维罗纳大学);University of Würzburg(维尔茨堡大学)
本文介绍了我们提出的跨语言开放检索问答(COQA)MIA共享任务系统。在这个具有挑战性的场景中,给定一个输入问题,系统必须从多语言池中收集证据文件,并从这些文件中生成问题语言的答案。我们设计了几种方法,将不同的模型变体结合起来,用于三个主要组件:数据增强、段落检索和答案生成。对于段落检索,我们根据基于多语言预训练语言模型(PLM)和共享任务基线变体的重新排序器集合评估了单语BM 25排名器,使用最近引入的对比损失从头开始重新训练,通过混合负样本在整个训练过程中保持强梯度信号。对于答案生成,我们通过对现有多语言编码器进行持续的语言模型(LM)预训练,专注于语言和领域的专业化。此外,对于段落检索和答案生成,我们使用从维基百科段落创建的自动生成的问答对来增强任务组织者提供的训练数据,以缓解数据稀缺的问题,特别是对于没有提供训练数据的低资源语言。我们的研究结果表明,语言和领域的专业化以及数据增强的帮助,特别是对低资源的语言。
2022-05-30 cs.CL
Meta-Learning for Effective Multi-task and Multilingual Modelling
Indian Institute of Technology Bombay(印度理工学院孟买分校);IBM India Research Lab(IBM印度研究实验室)
自然语言处理(NLP)任务(例如英语问答)受益于其他任务的知识(例如英语命名实体识别)和其他语言的知识(例如西班牙语问答)。这种共享表示通常是孤立地学习的,无论是跨任务还是跨语言。在这项工作中,我们提出了一个元学习的方法来学习任务和语言之间的相互作用。我们还研究了元学习过程中使用的不同采样策略的作用。我们提出了五个不同的任务和六种不同的语言从XTREME多语言基准数据集的实验。我们的元学习模型与竞争对手的基线模型(也包括多任务基线)相比,性能明显提高。我们还提出了zero-shot评价看不见的目标语言,以证明我们提出的模型的实用性。
2021-03-22 cs.CL
Better Decomposition, Free Aggregation: A Synthesizer-Folding Framework for Multilingual Multi-Hop Question Answering
School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);Kunming University of Science and Technology(昆明理工大学)
针对多语言多跳问答中现有方法的翻译噪声与错误放大问题,提出Syfer框架,通过推迟翻译、格式受限分解与质量检查实现性能与成本的良好平衡。
2026-08-14 cs.AI cs.CL
EXAMS: A Multi-Subject High School Examinations Dataset for Cross-Lingual and Multilingual Question Answering
Sofia University “St. Kliment Ohridski”(索非亚大学“圣克里门特·奥赫里德斯基”);Heidelberg University(海德堡大学);Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
我们提出了EXAMS --一个新的高中考试跨语言和多语言问答的基准数据集。我们收集了16种语言的24,000多道高质量高中考试题,涵盖8个语系和24个自然科学和社会科学等学科。EXAMS提供了一个跨多种语言和学科的细粒度评估框架,可以对各种模型进行精确的分析和比较。我们使用现有的性能最好的多语言预训练模型进行了各种实验,我们表明EXAMS提供了多个挑战,需要多个领域的多语言知识和推理。我们希望EXAMS将使研究人员能够探索具有挑战性的推理和知识转移方法,以及用于各种语言的学校问答的预训练模型,这在以前是不可能的。数据、代码、预训练模型和评估可在https://github.com/mhardalov/exams-qa上获得。
2020-11-05 cs.AI cs.CL cs.IR
CalibreNet: Calibration Networks for Multilingual Sequence Labeling
Jilin University(吉林大学);Microsoft(微软);Simon Fraser University(西蒙弗雷泽大学)
在低资源语言中缺乏训练数据给序列标记任务带来了巨大的挑战,例如命名实体识别(NER)和机器阅读理解(MRC)。一个主要的障碍是预测答案的边界上的错误。为了解决这个问题,我们提出了CalibreNet,它通过两个步骤预测答案。在第一步中,可以采用任何现有的序列标记方法作为基础模型来生成初始答案。在第二步中,CalibreNet细化初始答案的边界。为了解决低资源语言缺乏训练数据的挑战,我们专门开发了一种新的无监督短语边界恢复预训练任务,以增强CalibreNet的多语言边界检测能力。在两个跨语言基准数据集上的实验表明,该方法在zero-shot跨语言NER和MRC任务上均取得了SOTA结果。
2020-11-11 cs.CL cs.LG
QALD-9-plus: A Multilingual Dataset for Question Answering over DBpedia and Wikidata Translated by Native Speakers
Anhalt University of Applied Sciences(安哈尔特应用科学大学);Laboratoire Hubert Curien CNRS UMR 5516 Université de Lyon(里昂大学于贝尔·居里安实验室(CNRS UMR 5516));University of Hamburg(汉堡大学)
不同用户组具有相同体验的能力(即,可访问性)是基于Web的系统的最重要的特征之一。对于通过自然语言接口提供对语义Web数据的访问的知识图谱问答(KGQA)系统也是如此。在遵循我们关于KGQA系统可访问性的多语言方面的研究议程的同时,我们确定了几个持续的挑战。其中之一是缺乏多语言KGQA基准。在这项工作中,我们扩展了最流行的KGQA基准之一- QALD-9,通过引入高质量的问题翻译到母语人士提供的8种语言,并将QALD-9的SPARQL查询从DBpedia转移到Wikidata,s.t.,数据集的可用性和相关性大大增加。其中五种语言-亚美尼亚语,乌克兰语,立陶宛语,巴什基尔语和白俄罗斯语-据我们所知,KGQA研究界以前从未考虑过。后两种语言被联合国教科文组织列为“濒危”语言。我们将扩展数据集称为QALD-9-plus,并在https://github.com/Perevalov/qald_9_plus上提供。
2022-02-07 cs.CL cs.IR
FIND: Toward Multimodal Financial Reasoning and Question Answering for Indic Languages
Indian Institute of Technology Patna(印度理工学院帕纳分校);Microsoft(微软)
本文提出FinVQA基准和FIND框架,针对多语言印度语言金融推理挑战,通过多模态和数值推理提升金融决策准确性。
2026-05-13 cs.CL
Qtrade AI at SemEval-2022 Task 11: An Unified Framework for Multilingual NER Task
Qtrade AI Lab(Qtrade人工智能实验室);Guangdong Power Grid Corporation(广东电网公司)
本文介绍了我们的系统,在SemEval 2022任务11:MultiCoNER多语言复杂命名实体识别中,在多语言轨道(子任务11)中排名第三,在代码混合轨道(子任务12)中排名第四,在中文轨道(子任务9)中排名第七。本系统的主要贡献如下:1)对于多语言NER任务,我们提供了一个统一的框架,可以很容易地执行单语言或多语言NER任务,2)对于低资源代码混合的NER任务,人们可以很容易地通过实现几个简单的数据增强方法来增强他或她的数据集,3)对于中文任务,我们提出了一个可以捕获中文词汇语义的模型,词汇边界和词汇图结构信息。最后,在测试阶段,我们的系统在子任务11、12和9上分别获得了77.66、84.35和74.00的宏观f1分数。
2022-04-14 cs.AI cs.CL
mRAKL: Multilingual Retrieval-Augmented Knowledge Graph Construction for Low-Resourced Languages
UC Berkeley(伯克利大学);Apple(苹果公司)
本文提出mRAKL系统,将多语言知识图谱构建重构为问答任务,结合检索增强生成技术,在提格里尼亚语和阿姆哈拉语等低资源语言上显著提升链接预测准确率。
2025-07-21 cs.CL
MT6: Multilingual Pretrained Text-to-Text Transformer with Translation Pairs
Microsoft Research(微软研究院);Beijing Institute of Technology(北京理工大学)
多语言T5(mT5)在大量单语文本上预训练序列到序列模型,这在许多跨语言任务上显示出有希望的结果。在本文中,我们改进了多语言文本到文本传输Transformer与翻译对(mT6)。具体来说,我们探索了三个跨语言文本到文本的预训练任务,即,机器翻译,翻译对跨度腐败和翻译跨度腐败。此外,我们提出了一个部分非自回归目标的文本到文本的预训练。我们在八个多语言基准数据集上评估了这些方法,包括句子分类、命名实体识别、问答和抽象摘要。实验结果表明,建议mT6提高跨语言的可移植性mT5。
2021-09-13 cs.CL
IndicSQuAD: A Comprehensive Multilingual Question Answering Dataset for Indic Languages
First Author Affiliation(第一作者机构);Second Author Affiliation(第二作者机构)
本文构建涵盖九种印度语言的多语言抽取式问答数据集 IndicSQuAD,并通过单语 BERT 与 MuRIL-BERT 基线评估揭示低资源挑战。
2025-05-13 cs.CL cs.LG
Multilingual State Space Models for Structured Question Answering in Indic Languages
Santa Clara University(圣克拉拉大学);Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院);Stanford University(斯坦福大学)
本文首次将状态空间模型(SSMs)应用于印度语言问答任务,通过在多语言数据集上评估多种架构并优化框架,显著提升了低资源环境下的问答性能并建立了基础基准。
2025-10-31 cs.AI cs.CL
TableEval: A Real-World Benchmark for Complex, Multilingual, and Multi-Structured Table Question Answering
Beijing Wenge Technology Co., Ltd.(北京文格科技有限公司);State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, CAS, Beijing, China(多模态人工智能系统国家重点实验室,自动化研究所,中国,北京);School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences, China(中国科学院大学advanced interdisciplinary sciences学院,中国)
本文提出TableEval基准和SEAT评估框架,用于衡量大语言模型在真实世界多结构、多语言表格问答中的表现,并揭示现有模型的能力差距。
2025-09-21 cs.CL
Polyglot Prompt: Multilingual Multitask PrompTraining
NUS(新加坡国立大学);CMU(卡内基梅隆大学);Inspired Cognition(灵感认知公司)
本文旨在为多语言学习的潜在架构改进,并问:可以从不同的语言不同的任务在一个整体框架中建模,即没有任何任务/语言特定的模块?实现这一目标的好处可以为未来的多语言研究打开新的大门,包括允许在低资源下训练的系统得到其他语言和其他任务的进一步帮助。我们通过开发一个名为Polyglot Prompting的学习框架来实现这一目标,该框架利用多语言提示工程为不同的语言和任务学习统一的语义空间。我们对主题分类、情感分类、命名实体识别、问答、自然语言推理和摘要6个任务进行了综合评估,覆盖了24个数据集和49种语言。实验结果证明了多语言多任务基于学习的有效性,并导致了鼓舞人心的观察。我们还提出了一个可解释的多语言评估方法,并展示了所提出的框架,多语言多任务提示培训,工程。我们以最佳设置和代码发布所有提示的数据集。
2022-11-04 cs.CL
Beyond statistical significance: Quantifying uncertainty and statistical variability in multilingual and multitask NLP evaluation
Brandeis University(布兰迪斯大学);Middle East Technical University(中东技术大学)
本文提出基于重采样的方法,用于量化多语言和多任务NLP评估中的不确定性与统计变异,以提高评估结果的可靠性。
2025-12-17 cs.CL
Overview of FinMMEval 2026 Task 2: Multilingual Financial Short-Answer Question Answering
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);The Fin AI(金融人工智能公司);FMI, Sofia University “St. Kliment Ohridski”(索非亚大学“圣克莱门特·奥赫里德斯基”金融数学与信息学系);INSAIT, Sofia University “St. Kliment Ohridski”(索非亚大学“圣克莱门特·奥赫里德斯基”信息技术与自动化研究所);University of Arizona(亚利桑那大学);The University of Tokyo(东京大学);Linköping University(林雪平大学);McGill University(麦吉尔大学);Mila, Quebec AI Institute(魁北克人工智能研究所);Meiji Gakuin University(明治学院大学)
FinMMEval 2026任务2聚焦多语言金融简答题问答,通过特定配对和格式让系统答题,最终测试集含256个项目分两层级,依ROUGE-1 F1排名,最强系统差距小,还记录了多种相关策略。
2026-07-23 cs.AI cs.CE cs.CL
One Question Answering Model for Many Languages with Cross-lingual Dense Passage Retrieval
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
我们提出了跨语言开放检索答案生成(CORA),第一个统一的多对多问答(QA)模型,可以回答问题,在许多语言,即使是没有特定语言的注释数据或知识源。我们引入了一种新的密集通道检索算法,该算法经过训练可以针对一个问题跨语言检索文档。结合多语言自回归生成模型,CORA直接回答目标语言,没有任何翻译或语言检索模块,在以前的工作。我们提出了一种迭代训练方法,可以自动将仅在高资源语言中可用的注释数据扩展到低资源语言。我们的研究结果表明,CORA在26种语言的多语言开放QA基准测试中的表现大大优于以前的最先进水平,其中9种在训练过程中是不可见的。我们的分析表明,跨语言检索和生成在许多语言,特别是在低资源设置的意义。
2021-10-28 cs.CL
Learning Disentangled Semantic Representations for Zero-Shot Cross-Lingual Transfer in Multilingual Machine Reading Comprehension
Tianjin University(天津大学)
在机器阅读理解(MRC)中,多语言预训练模型能够将知识从资源丰富的语言zero-shot迁移到资源贫乏的语言。然而,不同语言之间固有的语言差异可能会使zero-shot迁移预测的答案跨度违反目标语言的句法约束。在本文中,我们提出了一种新的多语言MRC框架,该框架配备了Siamese Semantic Disentanglement Model(SSDM),可以将语义与多语言预训练模型学习的表示中的语法分离。为了明确地将语义知识转移到目标语言,我们提出了两组针对语义和句法编码和解纠缠的损失。在三个多语言MRC数据集上的实验结果(即,XQuAD,MLQA和TyDi QA)证明了我们提出的方法在基于mBERT和XLM-100的模型上的有效性。代码可从以下网址获得:https://github.com/wulinjuan/SSDM_MRC。
2023-01-14 cs.CL
AMUSE: Multilingual Semantic Parsing for Question Answering over Linked Data
Bielefeld University(比勒费尔德大学)
在RDF数据上回答自然语言问题的任务近年来受到了广泛的关注,特别是在一系列QALD基准的背景下。该任务包括将自然语言问题映射到可执行形式,例如SPARQL,以便可以从给定的KB中提取答案。到目前为止,提出的大多数系统都是i)单语的,ii)依赖于一组硬编码的规则来解释问题并将其映射到SPARQL查询中。我们提出了第一个多语言QALD管道,该管道从训练数据中导出一个模型,用于将自然语言问题映射为逻辑形式作为概率推理。特别是,我们的方法学会了映射通用的句法依赖表示的语言独立的逻辑形式的基础上DUDES(依赖性为基础的未充分指定的话语表示结构),然后映射到SPARQL查询作为确定性的第二步。我们的模型建立在依赖于从依赖图和相应的语义表示中提取的特征的因子图上。我们依靠近似推理技术,特别是马尔可夫链蒙特卡罗方法,以及样本排名使用排名目标更新参数。我们的重点在于开发的方法,克服词汇差距,并提出了一种新的组合机器翻译和词嵌入的方法,为此目的。作为我们方法的概念证明,我们在英语,德语和西班牙语的QALD-6数据集上评估了我们的方法。
2018-02-26 cs.AI cs.CL
RetrieveGPT: Merging Prompts and Mathematical Models for Enhanced Code-Mixed Information Retrieval
IIT Kharagpur(印度理工学院克勒格布尔分校)
针对罗马音译孟加拉语与英语混合的代码混合对话,提出基于GPT-3.5 Turbo提示与顺序相关文档数学模型的方法,在Facebook数据集上有效识别相关答案。
2025-03-26 cs.CL
Are You Talking to a Machine? Dataset and Methods for Multilingual Image Question Answering
Baidu Research(百度研究院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
在本文中,我们提出了mQA模型,它能够回答有关图像内容的问题。答案可以是一个句子,一个短语或一个单词。我们的模型包含四个组件:用于提取问题表示的长短期记忆(LSTM),用于提取视觉表示的卷积神经网络(CNN),用于将语言上下文存储在答案中的LSTM,以及用于组合前三个组件的信息并生成答案的融合组件。我们构建了一个自由式多语言图像问答(FM-IQA)数据集来训练和评估我们的mQA模型。它包含超过150,000张图片和310,000个自由式中文问答对及其英文翻译。我们的mQA模型在这个数据集上生成的答案的质量由人类法官通过图灵测试进行评估。具体来说,我们将人类提供的答案和我们的模型混合在一起。人类法官需要区分我们的模型和人类。他们还将提供一个分数(即0,1,2,越大越好),表明答案的质量。我们提出了战略,以监测这一评价过程的质量。实验表明,在64.7%的情况下,人类法官无法区分我们的模型和人类。平均得分为1.454(人类为1.918)。这项工作的细节,包括FM-IQA数据集,可以在项目页面上找到:http://idl.baidu.com/FM-IQA.html
2015-11-02 cs.CL cs.CV cs.LG
Multilingual Non-Factoid Question Answering with Answer Paragraph Selection
Indraprastha Institute of Information Technology, Delhi(因德拉普拉斯信息技术学院德里校区);International Institute of Information Technology, Hyderabad(国际信息技术学院海得拉巴校区)
本文提出覆盖38种语言、含578K余问答对的非事实型多语言数据集MuNfQuAD,并通过微调APS模型验证其答案段落选择与跨语言泛化能力。
2025-02-19 cs.AI cs.CL cs.IR
PrimeQA: The Prime Repository for State-of-the-Art Multilingual Question Answering Research and Development
IBM Research AI(IBM研究院人工智能部门)
问答(QA)领域近年来取得了显著的进展,这要归功于大型预训练语言模型、更新的具有排行榜的真实基准数据集以及用于检索器和阅读器等关键组件的新颖算法的出现。在本文中,我们介绍PRIMEQA:一个一站式和开源的QA知识库,旨在民主化QA研究,并方便复制最先进的(SOTA)QA方法。PRIMEQA支持检索和阅读理解等核心QA功能,以及问题生成等辅助功能。它被设计为用于各种用例的端到端工具包:构建前端应用程序,在公共基准上复制SOTA方法,以及扩展现有方法。PRIMEQA可在https://github.com/primeqa上获得。
2023-01-25 cs.CL cs.IR cs.LG
Text-to-SPARQL Goes Beyond English: Multilingual Question Answering Over Knowledge Graphs through Human-Inspired Reasoning
WSE Research Group, Leipzig University of Applied Sciences(莱比锡应用科学大学WSE研究组);DICE Research Group, University of Paderborn(波德恩堡大学DICE研究组)
针对多语言知识图谱问答,本文提出受人类启发的 mKGQAgent 框架,通过 LLM 智能体协同完成规划、实体链接与查询精化,并在 Text2SPARQL 2025 两项基准中夺冠。
2025-07-22 cs.AI cs.CL cs.IR
Do Language Models Reason Across Languages?
Language Technology Lab University of Amsterdam(语言技术实验室 阿姆斯特丹大学)
本文研究了语言模型在多语言环境下进行推理的能力,提出了一种三阶段提示方法,有效提升了两跳问答任务的准确性。
2026-09-01 cs.AI cs.CL