MedRECT: A Bilingual Medical Reasoning Benchmark for Error Correction in Clinical Texts
Preferred Networks, Inc.;School of Medicine, Nagoya University(Nagoya大学医学部)
本文提出首个跨语言医学错误纠正基准MedRECT,包含日英双语数据集,评估9个LLM后发现推理模型表现更优,经LoRA微调的模型在错误纠正任务上超越了人类专家。
2026-10-01 cs.AI cs.CL cs.LG
Searching for Needles in a Haystack: On the Role of Incidental Bilingualism in PaLM's Translation Capability
Google(谷歌)
研究以PaLM为例,通过混合方法大规模测量附带双语现象,发现PaLM接触超3000万跨44种语言翻译对,并证实其对零样本翻译能力有重大影响且随模型规模增大而减弱。
2023-05-17 cs.CL
BMMR: A Large-Scale Bilingual Multimodal Multi-Discipline Reasoning Dataset
Fudan University(复旦大学);Shanghai AI Laboratory(上海人工智能实验室);Harbin Institute of Technology(哈尔滨工业大学);East China Normal University(华东师范大学);Oxford(牛津大学);University of Sydney(悉尼大学);Yimudata(云墨数据)
本文提出BMMR,一个包含11万道大学水平题目的双语多模态多学科推理数据集,并配套BMMR-Verifier验证器,实验表明现有模型仍有较大提升空间,微调可缩小差距。
2025-07-08 cs.AI cs.CL
MedBench-IT: A Comprehensive Benchmark for Evaluating Large Language Models on Italian Medical Entrance Examinations
University of Graz(格拉茨大学);OnePix Academy(OnePix学院)
针对意大利医学入学考试,构建包含17,410道题、覆盖六科目三难度的首个综合基准MedBench-IT,评估专有及开源大模型,并分析复现性、排序偏差与可读性影响。
2025-09-08 cs.CL
BLUEX v2: Benchmarking LLMs on Open-Ended Questions from Brazilian University Entrance Exams
UNICAMP(坎皮纳斯州立大学);Tropic AI;Maritaca AI
针对葡萄牙语开放性问题评估的不足,提出BLUEX v2基准,包含巴西两所顶尖大学第二阶段入学考试的395道题,采用LLM-as-a-judge评估21个模型,发现数学推理和图像理解是最难的能力维度。
2026-07-01 cs.CL
Assessing the Bilingual Knowledge Learned by Neural Machine Translation Models
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
机器翻译(MT)系统通过从训练样本自动学习双语词典、语法和语义的深入知识来在不同语言之间翻译文本。虽然神经机器翻译(NMT)已经引领了机器翻译领域,但我们对它如何以及为什么工作的理解很差。在本文中,我们通过评估NMT模型与短语表(双语词典的可解释表)学习的双语知识来弥补这一差距。我们从NMT模型正确预测的训练样本中提取短语表。在广泛使用的数据集上的实验表明,该短语表是合理的,对语言对和随机种子是一致的。我们发现,NMT模型配备了可解释的短语表,学习模式从简单到复杂,并提取必要的双语知识的训练样本。我们还回顾了一些可能影响双语知识学习的进展(例如,翻译),并报告一些有趣的发现。我们相信,这项工作开辟了一个新的角度来解释NMT的统计模型,并提供了经验支持的最新进展,改进NMT模型。
2020-04-28 cs.CL cs.LG
JESC: Japanese-English Subtitle Corpus
Stanford University(斯坦福大学);Rakuten Institute of Technology(乐天技术研究所);Google Brain(谷歌大脑)
在本文中,我们描述了日英字幕语料库(JESC)。JESC是一个大型的日英平行语料库,涵盖了代表性不足的会话对话领域。它包含超过320万个示例,使其成为同类中最大的免费数据集。语料库是通过爬行和对齐在网络上找到的字幕组装的。组装过程中采用了一些新的预处理元素,以确保高单语流畅性和准确的双语对齐。我们总结其内容,并使用人类专家和基线机器翻译(MT)系统评估其质量。
2018-02-21 cs.CL
Is Cross-Lingual Transfer in Bilingual Models Human-Like? A Study with Overlapping Word Forms in Dutch and English
Saarland University(萨尔大学);Zuse School ELIZA(Zuse ELIZA 学院);Radboud University(拉德堡德大学)
研究探讨双语模型中跨语言激活是否模仿人类处理模式,发现词形共享影响模型表现,频率而非形式一致性主导效果,仅在特定条件下重现人类处理特征。
2026-04-08 cs.CL
Exploring Representational Disparities Between Multilingual and Bilingual Translation Models
Center for Language and Speech Processing(语言与语音处理中心);Human Language Technology Center of Excellence(卓越人类语言技术中心)
本文通过内在维度和IsoScore分析双语与多语言翻译模型的表征几何差异,发现多语言解码器表征各向同性更低且占用维度更少,其各向异性源于建模特定语言信息,进而限制了表征容量。
2024-03-26 cs.CL
Dict-NMT: Bilingual Dictionary based NMT for Extremely Low Resource Languages
School of Computer Sciences, NISER(国家科学教育与研究学院计算机科学学院);Homi Bhabha National Institute(霍米·巴巴国家研究所)
神经机器翻译(NMT)模型在大型双语数据集上是有效的。然而,现有的方法和技术表明,该模型的性能是高度依赖于训练数据的例子的数量。对于许多语言来说,拥有如此数量的语料库是一个遥不可及的梦想。从单语者探索新的语言使用双语词典的灵感,我们调查的双语词典的适用性语言极低,或没有双语语料库。在本文中,我们探讨了使用双语词典与NMT模型来改善极低资源语言的翻译的方法。我们将这项工作扩展到多语言系统,表现出zero-shot属性。我们详细分析了词典质量、训练数据集大小、语言家族等因素的影响,翻译质量。多个低资源测试语言的结果表明,我们的双语词典为基础的方法比基线的明显优势。
2022-06-09 cs.AI cs.CL
reStructured Pre-training
CMU(卡内基梅隆大学)
在这项工作中,我们试图破译过去几十年来NLP技术发展的内在联系,寻找本质,这为我们提供了一种(潜在的)新的NLP任务学习范式,称为reStructured Pre-training(reStructured Pre-training,简称RESTRUCTURE)。在这种范式中,数据的作用将被重新强调,模型的预训练和下游任务的微调被视为数据存储和访问的过程。在此基础上,我们操作的简单原则,一个好的存储机制不仅要有能力缓存大量的数据,但也考虑到访问的方便性。我们通过在重组数据上预训练模型来实现这一目标,重组数据由各种有价值的信息组成,而不是在克服了几个工程挑战后的原始数据。从实验上看,ESTA模型不仅超过了强大的竞争对手(例如,T0)在52/55的流行数据集上从各种NLP任务中,而且在中国最权威的考试全国高考-英语(高考-英语)中也取得了优异的成绩。具体而言,所提出的系统秦实现40分以上的平均成绩由学生和15分以上的GPT 3与1/16的参数。特别是2018年的英语考试(国家试卷Ⅲ),秦同学拿到了138.5分的高分(满分150分)。我们发布了高考基准测试,并提供了在线提交平台。此外,我们在几天前(2022.06.08)发生的2022年高考英语中测试了我们的模型,它得到了134分的总分(v.s. GPT 3的108)。
2022-09-07 cs.AI cs.CL cs.LG
Generating bilingual example sentences with large language models as lexicography assistants
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院)
本文研究大语言模型为不同资源水平语言生成双语词典例句的能力,发现其在低资源语言上表现下降,并提出用上下文学习对齐个体标注者偏好及用困惑度自动评分,同时贡献了600条评分数据集。
2024-11-19 cs.AI cs.CL
Multi-stage Training of Bilingual Islamic LLM for Neural Passage Retrieval
RTTL Labs(RTTL实验室)
本研究针对伊斯兰领域多语言语料不均衡的问题,基于XLM-R构建轻量双语大模型,通过多阶段训练结合通用与领域数据集、增强构建英语领域检索数据,最终模型检索性能超越单语言模型。
2025-01-17 cs.CL
The role of inhibitory control in garden-path sentence processing: A Chinese-English bilingual perspective
Guangdong University of Foreign Studies(广东外语外贸大学);The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学)
本研究从汉英双语视角探究抑制控制在花园路径句加工中的作用,发现其不影响母语花园路径恢复,与二语熟练度呈复杂关联,还确定了双语研究中测量抑制控制的优选Stroop任务版本。
2024-12-13 cs.CL
Speaker-Specific and Language-Dependent Temporal Organization in Bilingual Political Speech
University of Luxembourg(卢森堡大学);Radio Télévision Luxembourg (RTL)(卢森堡广播电视台(RTL));Shiraz University(设拉子大学);University of Southern Denmark(南丹麦大学)
本研究分析十位政治家的双语演讲,发现辅音节奏体现说话者特征,元音节奏受语言影响,语言选择系统重组双语公共演讲的节奏时间。
2026-09-16 cs.CL
Generating Bilingual Pragmatic Color References
Stanford University(斯坦福大学);Harvard University(哈佛大学);San Jose State University(圣何塞州立大学)
语境对语言的影响经常表现出实质性的跨语言差异;例如,在需要更精细区分的情况下,我们会更罗嗦。然而,这些术语有时会被语义和句法上的差异所掩盖。使用一个新收集的数据集的颜色参考游戏在普通话中(我们向公众发布),我们证实,各种结构显示出相同的敏感性上下文难度在汉语和英语。然后,我们表明,一个神经扬声器代理训练的双语数据与一个简单的多任务学习方法显示更多的类似人类的模式的上下文依赖,更实用的信息比单语中文对应。此外,这并不是以语言特定的语义理解为代价的:所产生的说话者模型学习英语和汉语的不同基本颜色术语系统(具有显著的跨语言影响),并且它可以在其输出层上使用向量类比操作来识别两种语言之间的同义词,尽管没有暴露于并行数据。
2018-05-19 cs.CL
Alvorada-Bench: Can Language Models Solve Brazilian University Entrance Exams?
Inteli(智能技术学院)
本文提出巴西大学入学考试基准 Alvorada-Bench,评估 20 个语言模型在零样本、角色扮演和思维链下的表现,发现模型总体准确率高但多步推理仍弱,且高准确率可在低成本下实现。
2025-08-19 cs.AI cs.CL
Qorgau: Evaluating LLM Safety in Kazakh-Russian Bilingual Contexts
Mohamed bin Zayed University of Artificial Intelligence(莫扎伊德大学人工智能学院);Monash University(莫纳什大学);University of Copenhagen(哥本哈根大学);The University of Melbourne(墨尔本大学);LibrAI(LibrAI公司);Institute of Foundation Models(基础模型研究所)
本文提出专为哈萨克语和俄语双语语境设计的LLM安全性评估数据集Qorgau,实验表明多语言与特定语言模型在安全性上存在显著差异,凸显了开发特定地区数据集的必要性。
2025-07-14 cs.CL
Building a Parallel Corpus and Training Translation Models Between Luganda and English
神经机器翻译(NMT)在大数据集上取得了巨大的成功,因此NMT更适合于高资源语言。由于缺乏高质量的并行语料库,这一直支撑着低资源语言,如Luganda,所以在撰写本文时,即使是“谷歌翻译”也不服务于Luganda。在本文中,我们基于三个不同的开源语料库,为卢甘达语和英语构建了一个包含41,070个成对句子的平行语料库。然后,我们训练NMT模型与超参数搜索的数据集。实验给我们的BLEU分数为21.28从卢甘达语到英语和17.47从英语到卢甘达语。一些翻译实例显示了高质量的翻译。我们相信,我们的模型是第一个卢甘达英语NMT模型。我们建立的双语数据集将向公众开放。
2023-01-07 cs.CL
BiSECT: Learning to Split and Rephrase Sentences with Bitexts
University of Pennsylvania(宾夕法尼亚大学);Georgia Institute of Technology(佐治亚理工学院);Johns Hopkins University(约翰斯·霍普金斯大学)
NLP应用程序中的一个重要任务,如句子简化,是能够将一个长的复杂句子拆分成较短的句子,并在必要时重新措辞。我们引入了一个新的数据集和一个新的模型,这个'分裂和改写'的任务。我们的BiSECT训练数据由100万个英语长句和较短的、意义等同的英语句子组成。我们通过在双语平行语料库中提取1-2个句子对齐,然后使用机器翻译将语料库的两边转换为相同的语言来获得这些。BiSECT包含比以前的Split和Rephrase语料库更高质量的训练样本,句子分割需要更大的修改。我们对语料库中的示例进行分类,并在一个新的模型中使用这些类别,该模型允许我们针对输入句子的特定区域进行拆分和编辑。此外,我们表明,在BiSECT上训练的模型可以执行更广泛的分割操作,并在自动和人工评估中改进了以前最先进的方法。
2021-09-10 cs.CL
MultiMWE: Building a Multi-lingual Multi-Word Expression (MWE) Parallel Corpora
ADAPT Research Centre(ADAPT研究中心);Insight Centre for Data Analytics(洞察数据分析中心);Dublin City University(都柏林城市大学)
多词表达式(MWE)是自然语言处理(NLP)领域的一个研究热点,包括MWE检测、MWE分解以及MWE在机器翻译等其他NLP领域的应用研究。然而,双语或多语的MWE语料库的可用性是非常有限的。我们所知道的唯一的双语MWE语料库来自PARSEME(PARSing and Multi-word Expressions)EU Project。这是一个只有871对英语-德语MWE的小集合。在本文中,我们提出了多语言和双语MWE语料库,我们已经从根平行语料库中提取。我们收集到的双语MWE对分别为3,159,226和143,042德英和中英过滤后。我们检查这些提取的双语MWE在MT实验的质量。我们的初步实验表明,在MT中应用MWE的定性分析和更好的一般评价分数在定量分析中,无论是德国-英语和中国-英语语言对MWE术语的翻译性能提高。我们遵循一个标准的实验管道来创建我们的MultiMWE语料库,这些语料库可以在网上找到。研究人员可以使用这个免费的语料库为自己的模型或使用它们在知识库中作为模型功能。
2020-05-21 cs.CL
IndicEval: A Bilingual Indian Educational Evaluation Framework for Large Language Models
Department of Computer Sciencce and Engineering(计算机科学与工程系);Swami Vivekanand Technical University Bhilai, India(斯瓦米·维韦kanand技术大学比哈尔,印度)
IndicEval提出了一种双语印度教育评估框架,通过真实考试题目评估LLM的推理、领域知识和双语适应性,揭示了跨模型性能差异和多语言退化问题。
2026-02-18 cs.AI cs.CL
Creating Lexical Resources for Endangered Languages
University of Colorado(科罗拉多大学)
本文探讨了濒危语言词汇资源的生成方法。我们的算法使用公共Wordnets和机器翻译器(MT)构建双语词典和多语言词库。由于我们的工作只依赖于一个濒危语言和“中间助手”语言之间的双语词典,它适用于缺乏许多现有资源的语言。
2022-08-08 cs.CL
Improving Bilingual Capabilities of Language Models to Support Diverse Linguistic Practices in Education
Stony Brook University(石溪大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本研究通过微调开源多语言模型,显著提升了其在单语及双语学生写作评估中的性能,减少了双语评分偏差,支持教育中的真实语言实践。
2024-11-06 cs.AI cs.CL
RespondeoQA: a Benchmark for Bilingual Latin-English Question Answering
Manning College of Information & Computer Sciences, University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校信息与计算机科学学院);Institute for the Study of the Ancient World, New York University(纽约大学古代世界研究院)
本文提出一个包含7800个问答对的双语拉丁-英语问答翻译基准,涵盖拉丁语教学资料中的多种问题类型,评估了三种大语言模型在技能类问题上的表现。
2026-04-22 cs.CL
Bringing Up a Bilingual BabyLM: Investigating Multilingual Language Acquisition Using Small-Scale Models
Stanford University(斯坦福大学)
本文通过训练小型语言模型,研究多语言习得机制,发现双语模型在两种语言上均表现良好,表明多语言输入对统计学习者无实质挑战。
2026-10-20 cs.AI cs.CL cs.LG
Mixat: A Data Set of Bilingual Emirati-English Speech
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出Mixat数据集,包含15小时阿联酋语-英语语码混合语音,用于揭示现有ASR模型在低资源方言和语码转换识别上的不足。
2024-05-04 cs.CL
BhashaBench V1: A Comprehensive Benchmark for the Quadrant of Indic Domains
BharatGen Team(BharatGen团队)
针对现有大模型评估基准以英语为中心、不区分领域的问题,研究推出覆盖印度四大领域的双语基准BhashaBench V1,评估发现模型在低资源领域及印地语内容上表现偏弱,为印度本土领域的大模型评估提供支撑。
2025-10-30 cs.AI cs.CL
mmJEE-Eval: A Bilingual Multimodal Benchmark for Evaluating Scientific Reasoning in Vision-Language Models
Kalinga Institute of Industrial Technology (KIIT)(喀里亚理工学院);Indian Institute of Technology (IIT), Bhubaneswar(印度理工学院(班加罗尔))
针对现有基准无法区分VLMs的科学推理与模式匹配能力的问题,本文提出mmJEE-Eval双语多模态基准,通过评估17个模型发现前沿与开源模型的显著差异,能有效区分模型推理能力,公开了相关代码和数据。
2025-11-12 cs.CL
Examining Gender Bias in Languages with Grammatical Gender
University of California Los Angeles(加州大学洛杉矶分校);University of Southern California(南加州大学);University of Pennsylvania(宾夕法尼亚大学);Johns Hopkins University(约翰斯·霍普金斯大学)
最近的研究表明,词嵌入表现出从训练语料库继承的性别偏见。然而,迄今为止,大多数研究都集中在量化和减轻这种偏见只在英语。这些分析不能直接扩展到语言,表现出形态的性别协议,如西班牙语和法语。在本文中,我们提出了新的衡量标准,这些语言的词嵌入中的性别偏见,并进一步证明了双语嵌入,这些语言与英语对齐的性别偏见的证据。最后,我们扩展了现有的方法,以减轻性别偏见的词嵌入下单语和双语设置。在改进的词嵌入联想测试、词相似度、词翻译和词对翻译任务上的实验表明,该方法在保持嵌入效用的同时,有效地减少了性别偏见。
2019-09-09 cs.CL
ProMap: Effective Bilingual Lexicon Induction via Language Model Prompting
College of Computing, Mohammed VI Polytechnic University(穆罕默德六世理工大学计算学院);Deep Learning & Natural Language Processing Group, The University of British Columbia(不列颠哥伦比亚大学深度学习与自然语言处理组);Department of Natural Language Processing & Department of Machine Learning, MBZUAI(穆罕默德·本·扎耶德人工智能大学自然语言处理系与机器学习系);Department of Electrical & Computer Engineering, University of Sherbrooke(舍布鲁克大学电气与计算机工程系)
ProMap利用预训练多语言模型的提示方法,通过种子词典填充提示和结果重排序,在资源丰富与低资源语言的双语词典归纳任务中取得最先进性能,并支持少样本场景。
2023-10-28 cs.CL
Relation Extraction Capabilities of LLMs on Clinical Text: A Bilingual Evaluation for English and Turkish
Department of Computer Engineering, Astana IT University(阿斯塔纳IT大学计算机工程系);Department of Computer Engineering, Ege University(埃兹尔大学计算机工程系)
本研究通过双语评估揭示了LLM在临床文本关系抽取中的能力,提出Relation-Aware Retrieval方法,展示其在英语和土耳其语中的高性能表现。
2026-01-14 cs.CL
Evaluating GPT-4's Vision Capabilities on Brazilian University Admission Exams
Maritaca AI(Maritaca人工智能)
提出结合文本与视觉的综合框架评估语言模型在巴西大学入学考试ENEM上的表现,发现GPT-4处理复杂多学科问题能力突出,但视觉模型及数学问题仍存挑战。
2023-11-23 cs.AI cs.CL cs.LG
On Bilingual Lexicon Induction with Large Language Models
University of Cambridge(剑桥大学)
本文系统研究了利用多语言大语言模型进行双语词典归纳,发现基于最近邻上下文示例的少样本提示效果最佳,在多个语言对上取得了新的最优结果。
2024-02-25 cs.AI cs.CL cs.IR
CodeApex: A Bilingual Programming Evaluation Benchmark for Large Language Models
Shanghai Jiao Tong University(上海交通大学)
本研究提出双语编程评估基准CodeApex,覆盖编程理解、代码生成、纠错三类任务,评估12款主流大语言模型后发现GPT-4表现最优但仍不及人类,可为LLM编程能力评测提供参考。
2024-03-11 cs.AI cs.CL
Modeling Bilingual Sentence Processing: Evaluating RNN and Transformer Architectures for Cross-Language Structural Priming
University of Florida(佛罗里达大学)
本研究评估 RNN 和 Transformer 模型在汉英跨语言结构启动中的表现,发现 Transformer 优于 RNN,挑战了传统循环处理观点,提示基于线索的检索机制作用。
2024-10-15 cs.CL cs.LG
Tracing Multilingual Knowledge Acquisition Dynamics in Domain Adaptation: A Case Study of English-Japanese Biomedical Adaptation
The University of Tokyo(东京大学);National Institute of Informatics(日本信息机构);Institute of Industrial Science, The University of Tokyo(东京大学工业科学研究所)
本研究通过提出自适应评估方法AdaXEval,追踪LLM在多语言领域适应中的知识获取动态,发现跨语言迁移在英日生物医学场景下仍具挑战性。
2025-10-14 cs.CL
Phrase database Approach to structural and semantic disambiguation in English-Korean Machine Translation
Kim Il Sung University(金日成综合大学)
在机器翻译中,机器可读词典和标准的句法分析规则不足以保证英语短语到韩语的句法分析和翻译的准确性是一种普遍现象,这表现在由于结构和语义歧义而导致的误导性翻译结果。本文旨在通过将双语短语库应用于英朝机器翻译(EKMT)中,解决英语中常用短语因习语性和非语法性而产生的结构和语义歧义。本文首先从英语短语的定义出发,阐明了EKMT中的短语单元是什么,然后阐明了什么样的语言单元可以作为EKMT短语库的对象,最后通过举例说明短语库的格式,提出了一种建立短语库的方法,最后简要讨论了将该双语短语库应用于EKMT中进行结构和语义消歧的方法。
2015-03-19 cs.CL
Pass or Fail? Evaluating LLMs on Two Greek Examination Benchmarks
Institute for Language and Speech Processing / Athena RC(语言与语音处理研究所 / 雅典研究中心)
本研究提出 Prot-Ex 和 Pan-Ex 两个希腊考试基准,评估多种 LLMs,发现本地化 KriKri-8B 表现优异,并揭示少样本提示在结构化任务中的上下文过载悖论。
2026-09-29 cs.CL
MedMCQA : A Large-scale Multi-Subject Multi-Choice Dataset for Medical domain Question Answering
Saama AI Research(萨马人工智能研究院)
本文介绍了MedMCQA,一个新的大规模,多项选择问答(MCQA)数据集,旨在解决现实世界的医学入学考试的问题。收集了超过194k的高质量AIIMS \& NEET PG入学考试MCQ,涵盖2.4k医疗保健主题和21个医学科目,平均令牌长度为12.77,主题多样性高。每个样本都包含一个问题,正确答案和其他选项,这些选项需要更深入的语言理解,因为它测试了一个模型在广泛的医学科目和主题中的10+推理能力。本研究报告提供了解决方案的详细说明以及上述信息。
2022-03-27 cs.AI cs.CL cs.LG
PersianMedQA: Evaluating Large Language Models on a Persian-English Bilingual Medical Question Answering Benchmark
School of Electrical and Computer Engineering, University of Tehran(德黑兰大学电气与计算机工程学院);Shahid Beheshti University of Medical Sciences(沙希德·贝赫什提医学科学大学);Institute for Research in Fundamental Sciences (IPM)(基础科学研究所(IPM))
本文提出PersianMedQA数据集,包含20,785道波斯语医学多选题,用于评估41个LLM在零样本和思维链设置下的双语医学推理能力,发现闭源通用模型表现最佳,而波斯语模型性能较差,且翻译会丢失文化临床线索。
2026-05-26 cs.CL cs.IT math.IT
DeepSeek-R1 Outperforms Gemini 2.0 Pro, OpenAI o1, and o3-mini in Bilingual Complex Ophthalmology Reasoning
School of Optometry, The Hong Kong Polytechnic University(香港理工大学视光学院);Zhejiang University(浙江大学);Research Centre for SHARP Vision (RCSV), The Hong Kong Polytechnic University(香港理工大学SHARP视觉研究中心);Centre for Eye and Vision Research (CEVR)(眼科与视觉研究中心)
该研究评估了DeepSeek-R1等四个大语言模型在双语复杂眼科病例中的推理能力,发现DeepSeek-R1在中文和英文多选题中准确率最高,优于其他模型,显示出辅助临床决策的潜力。
2025-02-25 cs.AI cs.CL cs.PF
Complete Multilingual Neural Machine Translation
Google Research(谷歌研究院)
多语言神经机器翻译(MNMT)模型通常在以英语为中心(即英语作为源语言或目标语言)的双语语料库的联合集合上进行训练。虽然两种非英语语言之间的直接数据有时是明确可用的,但它的使用并不常见。在本文中,我们首先退一步,看看常用的双语语料库(WMT),并重新出现的存在和重要性的隐式结构中存在的:多路对齐跨例子(同一句话在两种以上的语言)。我们着手研究使用多方式对齐的例子,以丰富原来的英语为中心的平行语料库。我们从所有源语言和目标语言之间的多路对齐语料库中重新引入这种直接并行数据。通过这样做,以英语为中心的图扩展成一个完整的图,每个语言对都被连接起来。我们将这种连接模式的MNMT称为完整的多语言神经机器翻译(cMNMT),并通过一系列的实验和分析证明了它的实用性和有效性。结合仅以目标语言为条件的新的训练数据采样策略,cMNMT为所有语言对产生具有竞争力的翻译质量。我们进一步研究了多路对齐数据的大小效应,它的迁移学习能力以及它如何简化MNMT中添加新语言。最后,我们对cMNMT进行了大规模的压力测试,并证明我们可以训练一个具有多达111*112= 12,432个语言对的cMNMT模型,为所有语言对提供具有竞争力的翻译质量。
2020-10-20 cs.CL cs.LG
Interpretable Cross-Lingual Alignment in Small Language Models: Probing Cultural and Pragmatic Reasoning in Japanese-English Bilingual LLMs
Sakaguchi–Inui Laboratory (Tohoku University)(东北大学坂口–乾实验室);Natural Language Understanding Team at RIKEN AIP(理化学研究所先进智能项目中心自然语言理解团队);Swallow Project at the Institute of Science Tokyo(东京科学大学Swallow项目);Sakana AI;Tohoku University(东北大学);RIKEN AIP(理化学研究所先进智能项目中心);Institute of Science Tokyo(东京科学大学)
本研究构建J-PragEval-v0基准,结合线性探针与教师强制评估探究TinySwallow-1.5B的日英语用表征,提出语用表征引导方法,下一步将扩展至Llama-3.1-Swallow-8B。
2026-08-18 cs.CL cs.LG
Large Language Models Only Pass Primary School Exams in Indonesia: A Comprehensive Test on IndoMMLU
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Quantic School of Business and Technology(Quantic商学院与技术学院);The University of Melbourne(墨尔本大学)
本文提出首个针对印尼文化和语言的多任务理解基准 IndoMMLU,包含 14,981 道题目,实验表明 GPT-3.5 仅能通过印尼小学水平考试,且对当地语言文化了解有限。
2023-10-21 cs.CL
Do Small Models Use the Law You Give Them? Context-Injected Fine-Tuning for Legal QA in Bangladesh
North South University(南北大学);BRAC University(BRAC大学)
研究孟加拉国法律问答,通过整理双语问答记录对不同参数的Qwen3.5进行微调,发现微调能提升部分模型表现,降低答案语言偏差,表明检索质量非唯一瓶颈,小型双语法律模型运用法律和语言回答有差异。
2026-07-28 cs.AI cs.CL
PersLitEval: Fine-grained Benchmark and Evaluation of LLMs on Persian Literature Questions
School of Computation, Information and Technology, TU Munich(计算信息与技术学院,慕尼黑工业大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
提出PersLitEval基准,包含4514道波斯文学多选题,评估六种LLM在十种提示策略下的表现,发现模型在概念相似性任务上准确率高,但在拼写和构词等正式语言分析上困难,且提示策略显著影响性能。
2026-05-26 cs.CL
Untangling the Influence of Typology, Data and Model Architecture on Ranking Transfer Languages for Cross-Lingual POS Tagging
University of Colorado Boulder(科罗拉多大学博尔德分校);Johannes Gutenberg University Mainz(美因茨约翰内斯·古滕贝格大学)
本研究通过跨语言词性标注任务,系统评估类型学、数据与模型架构对迁移语言选择的影响,发现类型学与数据集特征组合效果最佳,且词重叠、类型-词符比率和谱系距离是关键特征。
2025-03-25 cs.CL
Domain Mastery Benchmark: An Ever-Updating Benchmark for Evaluating Holistic Domain Knowledge of Large Language Model--A Preliminary Release
本文提出DomMa基准,基于中国112个一级学科构建10万道中英文题目,用于持续、全面地评估大语言模型的领域知识理解能力。
2023-08-10 cs.CL
Evaluating GPT-3.5 and GPT-4 Models on Brazilian University Admission Exams
University of São Paulo (USP)(圣保罗大学);University of San Francisco (USF)(旧金山大学);Maritaca AI(Maritaca人工智能公司);NeuralMind(NeuralMind公司);State University of Campinas (UNICAMP)(坎皮纳斯州立大学)
本研究旨在探讨语言模型(LMs)在解决高风险的多项选择题测试,在这里代表的考试全国做Ensino Médio(ENEM),多学科的入学考试广泛采用巴西大学的能力。这项考试对LM提出了挑战性的任务,因为它的问题可能涉及多个知识领域,需要理解来自不同领域的信息。例如,一个问题可能需要同时理解统计学和生物学才能解决。这项工作分析了GPT-3.5和GPT-4模型对2009-2017年考试中提出的问题以及2022年考试中的问题产生的响应,这些问题在模型训练完成后公开。此外,不同的提示策略进行了测试,包括使用的思想链(CoT)提示,以产生答案的解释。在2022年版本中,表现最好的模型GPT-4与CoT的准确率达到87%,大大超过GPT-3.5 11分。用于实验的代码和数据可在https://github.com/piresramon/gpt-4-enem上获得。
2023-03-29 cs.AI cs.CL cs.LG
A Study on the Vulnerability of Test Questions against ChatGPT-based Cheating
Lynbrook High School(林布鲁克高中);University of California at Santa Cruz(加州大学圣克鲁兹分校)
本文研究ChatGPT在医学试题上的答题能力,基于MedMCQA数据集分析其易错题型,并提出自然语言处理模型帮助出题者识别和规避易被ChatGPT正确回答的脆弱试题。
2024-02-21 cs.AI cs.CL cs.CY
Getting Serious about Humor: Crafting Humor Datasets with Unfunny Large Language Models
Columbia University(哥伦比亚大学);EPFL(洛桑联邦理工学院)
针对幽默检测任务缺乏配对幽默-非幽默数据集的问题,本研究探索用大语言模型编辑文本生成合成数据,验证其消解笑话幽默感的能力,并拓展至英印混合语数据集,生成高评价的合成数据与对抗样本。
2024-06-21 cs.AI cs.CL cs.LG