WikiOmnia: generative QA corpus on the whole Russian Wikipedia
Artificial Intelligence Research Institute (AIRI)(人工智能研究院(AIRI));SberDevices
一般QA领域一直在开发参考斯坦福问答数据集(SQuAD)作为重要基准的方法。然而,编译事实问题伴随着耗时耗力的注释,限制了训练数据的潜在大小。我们提出了WikiOmnia数据集,这是一组新的公开可用的QA对和相应的俄语维基百科文章摘要部分,由一个完全自动化的生成管道组成。该数据集包括维基百科上所有可用的俄语文章。WikiOmnia管道是开源的,也可以在其他领域(如新闻文本,小说和社交媒体)上创建SQuAD格式的QA。生成的数据集包括两个部分:整个俄语维基百科的原始数据(7,930,873个带有ruGPT-3 XL段落的QA对和7,991,040个带有ruT 5-large段落的QA对)和经过严格自动验证的清理数据(超过160,000个带有ruGPT-3 XL段落的QA对和超过3,400,000个带有ruT 5-large段落的QA对)。
2022-11-09 cs.AI cs.CL
Dataset for Automatic Summarization of Russian News
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
自动文本摘要已经在各种领域和语言中被研究。但这并不适用于俄语。为了克服这个问题,我们提出了Gazeta,第一个俄罗斯新闻摘要数据集。我们描述了这个数据集的属性和基准几个提取和抽象模型。我们证明,该数据集是一个有效的任务,为俄罗斯文本摘要的方法。此外,我们证明了预训练的mBART模型是有用的俄语文本摘要。
2021-10-05 cs.CL
RuDSI: graph-based word sense induction dataset for Russian
University of Oslo(奥斯陆大学)
我们提出了RuDSI,一个新的基准词的意义归纳(WSI)在俄罗斯。该数据集是使用手动注释和半自动聚类的词使用图(WUG)。与之前的俄语WSI数据集不同,RuDSI完全是数据驱动的(基于俄罗斯国家语料库的文本),没有外部词义强加给注释者。根据图聚类的参数,可以从原始注释产生不同的衍生数据集。我们报告的性能,几个基线WSI方法获得RuDSI和讨论提高这些分数的可能性。
2022-09-28 cs.CL
Stance Prediction for Russian: Data and Analysis
Innopolis University(因诺波利斯大学);ITU Copenhagen(哥本哈根信息技术大学)
立场检测是谣言和假新闻识别的关键组成部分。它涉及提取特定作者对给定主张采取的立场,两者都在文本中表达。本文研究俄语的立场分类。它引入了一个新的数据集,RuStance,来自多个来源的俄罗斯推文和新闻评论,涵盖多个故事,以及文本分类方法来检测立场,作为这种语言中这些数据的基准。除了介绍这个开放的数据集,这是俄语的第一个此类数据集,本文还介绍了该语言中立场预测的基线。
2018-10-03 cs.CL
Benchmarking terminology building capabilities of ChatGPT on an English-Russian Fashion Corpus
University of Surrey(萨里大学);University of Malaga(马拉加大学)
研究在英语-俄语时尚可比语料库上比较 SketchEngine、TBXTools 与 ChatGPT 的术语提取及定义生成能力,发现 ChatGPT 精确率更稳定,但各工具均有适用场景。
2024-12-04 cs.CL
CrossNews-UA: A Cross-lingual News Semantic Similarity Benchmark for Ukrainian, Polish, Russian, and English
Technical University of Munich (TUM)(慕尼黑技术大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Munich Data Science Institute(慕尼黑数据科学研究所)
针对跨语言新闻分析数据集可扩展性不足的问题,提出可解释众包流程构建CrossNews-UA基准,涵盖乌克兰语等四种语言,并评估多种模型,揭示多语言新闻分析挑战。
2025-10-22 cs.CL
RuBench: A Repository-Level Agentic Coding Benchmark with Natively Authored Russian Task Specifications
Independent Researcher(独立研究者)
RuBench 1.0是含25个俄语任务的仓库级智能编码基准测试,任务源于开源仓库修复提交,按客户请求风格编写。评估多种产品配置,报告运行结果,发现最佳配置解决78.7%任务,还发现产品替换模型问题,为智能编码评估提供新基准。
2026-07-21 cs.AI cs.CL cs.SE
RUSSE: The First Workshop on Russian Semantic Similarity
TU Darmstadt(达姆施塔特工业大学);Université catholique de Louvain(鲁汶天主教大学);Moscow State University(莫斯科国立大学);N. N. Krasovskii Institute of Mathematics and Mechanics, Ural Branch of the RAS(俄罗斯科学院乌拉尔分院N. N. 克拉索夫斯基数学与力学研究所);NLPub;University of Trento(特伦托大学);University of Wolverhampton(伍尔弗汉普顿大学)
本文概述了俄罗斯语义相似度评估(RUSSE)与2015年对话会议一起举行的共享任务。关于语义相似度的比较研究很多,但对俄语的语义相似度的分析却很少。探索俄语的这个问题更有趣,因为这种语言具有丰富的形态和自由的词序等特征,这使它与英语,德语和其他研究充分的语言显着不同。我们试图弥合这一差距,提出了一个共同的任务,对俄语名词的语义相似性。我们的主要贡献是基于俄语四个新的基准数据集的评估方法。我们对来自19个团队的105份报告的分析表明,英语的成功方法,如分布和跳跃语法模型,也直接适用于俄语。一方面,比赛中的最佳结果是通过结合不同来源证据的复杂监督模型获得的。另一方面,完全无监督的方法,例如在大规模语料库上估计的skip-gram模型,能够在前5名系统中得分。
2018-03-15 cs.CL
Clustering Comparable Corpora of Russian and Ukrainian Academic Texts: Word Embeddings and Semantic Fingerprints
University of Oslo(奥斯陆大学);University of Helsinki(赫尔辛基大学);National Research University Higher School of Economics(国立研究型大学高等经济学院)
我们提出了我们的经验,在应用分布式语义(神经词嵌入)的问题,表示和聚类文件中的双语可比语料库。我们的数据是俄罗斯和乌克兰学术文本的集合,其主题是他们的学术领域。为了建立这些文档的独立于语言的语义表示,我们在单语语料库上训练神经分布模型,并学习从一种语言到另一种语言的向量的最佳线性变换。由此产生的矢量,然后用来产生“语义指纹”的文件,作为输入到聚类算法。所提出的方法进行了比较,包括“正交翻译”与Levenshtein编辑距离的几个基线,并优于他们的一个很大的保证金。我们还表明,语言独立的“语义指纹”优于多语言聚类算法在以前的工作中提出的,在同一时间需要较少的语言资源。
2016-04-18 cs.CL
100,000+ Movie Reviews from Kazakhstan: Russian, Kazakh, and Code-Switched Texts
Independent Researcher(独立研究员);Astana, Kazakhstan(哈萨克斯坦阿斯塔纳)
本文介绍了一个包含10万5千多部哈萨克斯坦电影评论的公开语料库,涵盖俄语、哈萨克语和混合语言文本,通过手动标注语言和情感极性,并提供用户评分,评估了多语言Transformer模型在情感分类任务中的表现。
2026-05-12 cs.CL
RuCCoD: Towards Automated ICD Coding in Russian
AIRI;Sber AI;Skoltech;Sber AI Lab;HSE University(HSE大学);Innopolis University(Innopolis大学);ISP RAS Research Center for Trusted AI(ISP RAS可信AI研究中心)
本研究提出俄语ICD编码数据集RuCCoD,评估多种模型,并证明自动预测编码训练优于人工标注,为资源有限语言的临床编码自动化提供见解。
2025-09-26 cs.AI cs.CL cs.DB
TAPE: Assessing Few-shot Russian Language Understanding
SberDevices;HSE University(高等经济大学);Artificial Intelligence Research Institute(人工智能研究院);Huawei Noah’s Ark lab(华为诺亚方舟实验室);CIS LMU Munich(慕尼黑大学计算语言学研究所)
本文提出俄语少样本 NLU 基准 TAPE,通过六类复杂任务、语言对抗扰动和子群体分析评估模型鲁棒性,并揭示其与人类表现的显著差距。
2022-10-23 cs.CL
SWARM: A Multilingual Human-Annotated Dataset for Russian Propaganda Detection in Search Engine Results
Weizenbaum Institute(魏茨鲍姆研究所);University of Oxford(牛津大学);University of Bern(伯尔尼大学)
本文提出多语言数据集SWARM,含2,183条搜索引擎结果,用于检测俄语宣传,发现内容级分析优于来源屏蔽列表,最强LLM的F1达0.73。
2026-09-14 cs.CL
RuCoLA: Russian Corpus of Linguistic Acceptability
SberDevices;ABBYY;HSE University(高等经济大学);Yandex;Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Center for Information and Language Processing (CIS), MaiNLP lab, LMU Munich(慕尼黑大学信息与语言处理中心(CIS)MaiNLP实验室)
本文构建俄语语言可接受性语料库RuCoLA,含9.8k域内与3.6k域外句子,并通过基线分类实验揭示主流语言模型与人类的显著差距。
2022-10-23 cs.CL
RUMBA: Russian User Memory Benchmark
为解决现有大语言模型长期记忆基准测试以英语为中心且无法捕捉相关交互的问题,引入RUMBA基准测试,它有细粒度分类法和统一方法,由带时间戳对话组成,能评估模型并分析其行为,识别记忆机制优缺点。
2026-07-24 cs.AI cs.CL
RuBioRoBERTa: a pre-trained biomedical language model for Russian language biomedical text mining
Sberbank Artificial Intelligence Laboratory(俄罗斯联邦储蓄银行人工智能实验室)
本文介绍了几种基于BERT的俄语生物医学文本挖掘模型(RuBioBERT,RuBioRoBERTA)。这些模型是在俄罗斯生物医学领域免费提供的文本语料库上进行预训练的。通过这种预训练,我们的模型在RuMedBench -俄罗斯医学语言理解基准测试中展示了最先进的结果,该测试涵盖了多种任务,包括文本分类、问答、自然语言推理和命名实体识别。
2022-04-08 cs.AI cs.CL
Revisiting non-English Text Simplification: A Unified Multilingual Benchmark
School of Interactive Computing(交互计算学院);Georgia Institute of Technology(佐治亚理工学院)
本文提出包含12种语言、超过170万句对的MultiSim多语言文本简化基准,实验表明多语言训练、俄语零样本跨语言迁移及BLOOM-176b少样本提示在非英语简化任务中表现优异。
2023-05-25 cs.AI cs.CL
Multimodal Evaluation of Russian-language Architectures
本文提出MERA Multi框架,用于评估俄语多模态架构,包含18个新任务和统一的评估方法,旨在解决俄语多模态基准缺失的问题。
2026-01-26 cs.AI cs.CL cs.CV
NEREL-BIO: A Dataset of Biomedical Abstracts Annotated with Nested Named Entities
Lomonosov Moscow State University(莫斯科罗蒙诺索夫国立大学);Madan Bhandari University of Science and Technology(马丹·班达里科技大学);Ural Federal University(乌拉尔联邦大学);HSE University(高等经济大学);Innopolis University(因诺波利斯大学);A.P. Ershov Institute of Informatics Systems(A.P. 埃尔绍夫信息学系统研究所);Artificial Intelligence Research Institute(人工智能研究所);Sber AI
本文提出 NEREL-BIO 数据集,通过扩展 NEREL 引入嵌套命名实体标注,支持跨领域与跨语言迁移实验,并评估了 transformer 与 MRC 模型的性能。
2022-10-21 cs.CL cs.LG
MCoNaLa: A Benchmark for Code Generation from Multiple Natural Languages
Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学);Inspired Cognition(Inspired Cognition公司)
虽然最近在自然语言和程序设计语言的交叉点上出现了新兴的应用程序,例如代码生成和代码摘要,但这些应用程序通常以英语为中心。这就给不精通英语的程序开发人员造成了障碍。为了减轻这种差距,在跨语言的技术发展,我们提出了一个多语言数据集,MCoNaLa,基准代码生成从自然语言命令扩展到英语之外。从英语代码/自然语言挑战(CoNaLa)数据集的方法建模,我们用三种语言注释了总共896个NL代码对:西班牙语,日语和俄语。我们提出了一个定量的性能评估的MCoNaLa数据集的测试与国家的最先进的代码生成系统。虽然这三种语言的困难各不相同,但所有系统都明显落后于英语系统,这揭示了使代码生成适应新语言的挑战。
2023-02-07 cs.CL
Building Russian Benchmark for Evaluation of Information Retrieval Models
Lomonosov Moscow State University(莫斯科罗蒙诺索夫国立大学)
该研究构建了俄语信息检索模型零样本评估基准RusBEIR,整合17个多领域数据集,分析预处理对词汇模型的重要性,验证BM25基线价值及神经模型的优劣势,为俄语IR研究提供统一开源框架。
2025-04-17 cs.CL cs.IR
MultiMUC: Multilingual Template Filling on MUC-4
University of Rochester(罗切斯特大学);Georgetown University(乔治城大学);Johns Hopkins University(约翰霍普金斯大学)
本研究推出首个多语言模板填充平行语料库MultiMUC,含MUC-4基准的5种语言译文、手动投射标注及部分人工译文,并给出前沿模型与ChatGPT的基准结果。
2024-01-29 cs.AI cs.CL
DOoM: Difficult Olympiads of Math
HSE University(莫斯科国立高等经济大学);ITMO(ITMO大学);Vikhr Models
本文推出开源基准DOoM用于评估语言模型求解俄语数理题的能力,介绍其构建动机、结构与评估方法,基于多模型测试发现性能与token数相关且数理任务表现有差异。
2025-11-13 cs.AI
PingPong: A Benchmark for Role-Playing Language Models with User Emulation and Multi-Model Evaluation
本文提出PingPong基准,通过玩家模型、提问者模型和裁判模型集成,在英俄双语多轮对话中系统评估40余个语言模型的角色扮演能力,并验证了自动评估与人工标注的强相关性。
2025-04-09 cs.CL
RusFinChain: A Russian Benchmark for Verifiable Chain-of-Thought Reasoning in Finance with Fuzzy-Aligned Evaluation
Kazan Federal University(喀山联邦大学)
提出首个俄语金融可验证思维链推理基准RusFinChain,包含5280个参数化示例和模糊对齐评估指标,揭示模型在步骤对齐与最终答案正确性之间存在显著差距。
2026-08-26 cs.CL
Transfer Learning for Improving Results on Russian Sentiment Datasets
在这项研究中,我们使用远程监督技术创建的额外训练样本在俄罗斯情感基准数据集上测试迁移学习方法。我们比较了几个变种的基准训练样本相结合的额外的数据。最好的结果是使用一般,专题和原始训练样本的顺序训练的三步方法。对于大多数数据集,结果比当前最先进的方法提高了3%以上。BERT-NLI模型将情感分类问题视为自然语言推理任务,在其中一个数据集上达到了人类水平的情感分析。
2021-07-06 cs.CL
ReadMe++: Benchmarking Multilingual Language Models for Multi-Domain Readability Assessment
College of Computing(计算机学院);Georgia Institute of Technology(佐治亚理工学院)
本文提出了多语言多领域可读性评估基准ReadMe++,包含9757个句子的人工标注,用于全面评估大型语言模型在有监督、无监督和少样本提示设置下的表现,并发现其具有出色的领域泛化和跨语言迁移能力。
2024-10-16 cs.AI cs.CL cs.LG
Vygotsky Distance: Measure for Benchmark Task Similarity
CAIRO, Technical University of Applied Sciences Würzburg-Schweinfurt(维尔茨堡-施韦因富特应用科学大学CAIRO)
本文提出基于模型相对表现的“维果茨基距离”来度量基准任务相似性,实验表明可减少至少40%的评估任务并验证新任务,从而提升模型泛化潜力。
2024-02-26 cs.AI cs.CL cs.LG
Impact of Tokenization on LLaMa Russian Adaptation
Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
本文研究 LLaMa 俄语适配中的分词瓶颈,比较三种词表替换方案,证明其可提升俄语质量与用户偏好,并显著加速微调、推理且降低内存消耗。
2023-12-05 cs.AI cs.CL
Thutmose Tagger: Single-pass neural model for Inverse Text Normalization
NVIDIA(英伟达)
反向文本规范化(ITN)是自动语音识别(ASR)中必不可少的后处理步骤。它将数字、日期、缩写和其他符号类从ASR生成的口语形式转换为它们的书面形式。人们可以将ITN视为一个机器翻译任务,并使用神经序列到序列模型来解决它。不幸的是,这种神经模型容易产生幻觉,可能导致不可接受的错误。为了缓解这个问题,我们提出了一个单通道令牌分类器模型,将ITN作为一个标记任务。该模型为每个输入标记分配一个替换片段,或者将其标记为删除或复制而不进行更改。我们提出了一种基于ITN实例粒度对齐的数据集准备方法。所提出的模型是不太容易产生幻觉的错误。该模型在Google Text Normalization数据集上进行训练,并在英语和俄语测试集上达到最先进的句子准确度。标签和输入单词之间的一一对应提高了模型预测的可解释性,简化了调试,并允许后处理校正。该模型比序列到序列模型更简单,更容易在生产环境中优化。模型和准备数据集的代码作为NeMo项目的一部分发布。
2022-07-29 cs.AI cs.CL
Bridging Scientific Heritage: An Arabic--Russian Parallel Corpus and LLM Benchmark for Sustainable Knowledge Transfer
Kazan Federal University(喀山联邦大学)
为解决阿拉伯语和俄语科学交流的语言障碍,构建了约2.7万句对的混合平行语料库,微调mT5、NLLB和Qwen2.5-7B模型,Qwen2.5-7B+QLoRA达到BLEU 23.15,推动跨语言知识转移与可持续发展。
2026-09-15 cs.CL
Wikipedia-based Datasets in Russian Information Retrieval Benchmark RusBEIR
Lomonosov Moscow State University, Russia(罗蒙诺索夫莫斯科国立大学);South Ural State University, Chelyabinsk, Russia(南乌拉尔州立大学)
本文基于俄语维基百科“你知道吗”栏目构建新数据集,扩展 RusBEIR 基准,通过对比词汇与神经检索模型并引入重排序,提升俄语信息检索性能。
2025-11-07 cs.CL cs.IR
Unreasonable Effectiveness of Rule-Based Heuristics in Solving Russian SuperGLUE Tasks
HSE University(高等经济大学);Sberbank(俄罗斯联邦储蓄银行);University of Oslo(奥斯陆大学)
像SuperGLUE这样的排行榜被视为积极发展NLP的重要激励因素,因为它们为现代语言模型的公平比较提供了标准基准。他们已经推动世界上最好的工程团队以及他们的资源来合作和解决一系列通用语言理解的任务。他们的表现分数通常被认为接近甚至高于人类的表现。这些结果鼓励更彻底地分析基准数据集是否具有任何基于机器学习的语言模型可以利用的统计线索。对于英语数据集,结果表明它们通常包含注释工件。这允许用非常简单的规则来解决某些任务,并实现有竞争力的排名。本文对Russian SuperGLUE(RSG)进行了类似的分析,RSG是最近发布的俄语自然语言理解基准集和排行榜。我们表明,它的测试数据集是脆弱的浅层次分析。通常,基于简单规则的方法优于或接近臭名昭著的预训练语言模型(如GPT-3或BERT)的结果。很可能(作为最简单的解释),RSG排行榜中SOTA模型性能的很大一部分是由于利用了这些浅层启发式方法,并且与真正的语言理解没有任何共同点。我们就如何改进这些数据集提供了一系列建议,使RSG排行榜更能代表俄罗斯NLU的实际进展。
2021-05-03 cs.CL
GigaChat Family: Efficient Russian Language Modeling Through Mixture of Experts Architecture
GigaChat team(GigaChat 团队)
本文提出多规模俄语 GigaChat 模型家族,基于混合专家架构降低训练成本,并通过俄英基准评估、系统演示及开源三款模型支持俄语 NLP 研究与产业应用。
2025-06-11 cs.AI cs.CL
MERA: A Comprehensive LLM Evaluation in Russian
SaluteDevices;HSE University(高等经济大学);Center for Artificial Intelligence Technology(人工智能技术中心);AIRI
本文提出俄语基础模型评测基准MERA,涵盖11个技能领域21项黑盒任务,并公开代码库与排行榜,评测表明现有开放语言模型仍远低于人类水平。
2024-08-02 cs.AI cs.CL
Natural Language Code Retrieval for 1C:Enterprise: An Open Benchmark and Efficient Bi-Encoder
针对1C:Enterprise生态系统缺乏开放代码检索基准与专用模型的问题,本文构建了含3413对的开放基准,基于784057个合成三元组微调专用双编码器,在多指标上优于基线,且256维截断可大幅降本。
2026-08-21 cs.CL
macOSWorld: A Multilingual Interactive Benchmark for GUI Agents
Show Lab, National University of Singapore(新加坡国立大学Show实验室)
本文提出 macOSWorld,一个含 202 项多语言任务和安全子集的 macOS GUI 智能体基准,评估显示模型成功率、语言泛化与抗欺骗能力均存在明显不足。
2025-10-18 cs.AI
MedCase-Structured: A Text-to-FHIR Dataset for Benchmarking Diagnostic Reasoning in Clinically Realistic EHR Settings
System Inc.(系统公司)
提出一个从非结构化文本生成临床真实HL7 FHIR R4数据集的流水线,构建MedCase-Structured数据集,发现LLMs在结构化FHIR输入上的诊断准确性低于纯文本,强调部署对齐基准测试的重要性。
2026-07-03 cs.AI cs.CL
CLSE: Corpus of Linguistically Significant Entities
Google(谷歌);Predibase
针对NLG中命名实体处理导致的语法错误问题,构建了涵盖34种语言、74种语义类型的语言学显著实体语料库CLSE,并基于其生成SGD-CLSE基准,在法语、马拉地语和俄语上评估了神经、模板及混合NLG系统的质量基线。
2023-08-30 cs.CL
MERA Code: A Unified Framework for Evaluating Code Generation Across Tasks
SberAI;ITMO University(ITMO大学);MWS AI(MWS人工智能);T-Technologies;Rostelecom;Siberian Neuronets(西伯利亚神经网络);Skoltech;Innopolis University(Innopolis大学)
MERA Code是一个新的评估框架,专门用于评估代码生成模型在俄语中的实际编程能力,通过11个任务和8种编程语言,提供开源工具和评分系统,以提升代码生成模型的评估标准。
2025-12-01 cs.AI cs.CL cs.SE
A Family of Pretrained Transformer Language Models for Russian
SaluteDevices(萨鲁特设备公司)
本文发布涵盖编码器、解码器和编码器-解码器架构的 13 个俄语预训练 Transformer 模型,并通过多类理解与生成基准评估其泛化能力。
2024-08-02 cs.CL
READIN: A Chinese Multi-Task Benchmark with Realistic and Diverse Input Noises
Tsinghua University(清华大学);University of Maryland, College Park(马里兰大学帕克分校);International Innovation Center of Tsinghua University(清华大学国际创新中心)
本文构建了中文多任务基准 READIN,通过拼音和语音输入引入真实多样的输入噪声,实验表明现有预训练模型即使使用鲁棒训练方法仍会显著性能下降。
2023-05-25 cs.CL
The Limitations of Cross-language Word Embeddings Evaluation
National Research University Higher School of Economics(国立研究型大学高等经济学院);Federal Research Center ‘Computer Science and Control’ of the Russian Academy of Sciences(俄罗斯科学院计算机科学与控制联邦研究中心);Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术研究所(斯科尔泰克))
本研究的目的是探讨现有跨语言词嵌入评价方法的局限性,解决内在和外在跨语言评价方法之间缺乏相关性的问题。为了证明这一假设,我们构建了英语-俄语数据集的外部和内部评估任务,并比较了5种不同的跨语言模型对他们的表现。结果表明,即使在不同的内在基准上,分数也彼此不相关。我们可以得出这样的结论,使用人类参考作为跨语言词嵌入的基础事实是不合适的,除非你不明白母语者在他们的认知中是如何处理语义的。
2018-06-06 cs.CL
GigaEmbeddings: Efficient Russian Language Embedding Model
MIPT(莫斯科物理技术学院);SaluteDevices;MSU(莫斯科州大学);Wildberries
GigaEmbeddings通过三阶段层次化指令微调GigaChat-3B,结合双向注意力、潜在注意力池化及剪除25%层,在ruMTEB基准上以69.1平均分实现俄语嵌入最先进性能。
2025-10-25 cs.CL
BEAR-Bench: A Bilingual Enterprise and Academic Reasoning Benchmark for Multimodal Models
Yandex Applied AI Institute(Yandex应用人工智能研究院)
本文针对多模态大语言模型在文本密集专业文档推理能力评估的不足,推出英俄双语的BEAR-Bench基准,评估16个多模态大语言模型并对比幻觉检测方法,发现最强模型仍有明显性能提升空间。
2026-10-19 cs.AI cs.CL
Cross-lingual Named Entity Corpus for Slavic Languages
Polish Academy of Sciences(波兰科学院);Samurai Labs(武士实验室);University of Helsinki(赫尔辛基大学)
本文构建涵盖六种斯拉夫语言、5017份文档和五类实体的跨语言命名实体语料库,并基于XLM-RoBERTa-large与mT5-large建立识别、分类、词元还原及链接基准。
2024-04-07 cs.AI cs.CL cs.LG
Human and Machine Judgements for Russian Semantic Relatedness
TU Darmstadt(达姆施塔特工业大学);Ural Federal University(乌拉尔联邦大学);Moscow State University(莫斯科国立大学);University of Trento(特伦托大学);University of Wolverhampton(沃尔夫汉普顿大学)
术语的语义相关性通过数值分数表示含义的相似性。一方面,人类很容易对语义相关性做出判断。另一方面,这种信息在语言处理系统中是有用的。虽然语义相关性已被广泛研究英语使用大量的语言资源,如联想规范,人类的判断,并从词汇数据库生成的数据集,没有这种评估资源已可用于俄罗斯的日期。我们的贡献解决了这个问题。我们提出了五个不同规模和目的的俄语语义相关性的语言资源,每个都是一个三元组(词_i,词_j,相关性_ij)的列表。其中四个是专为评估系统的计算语义相关性,相互补充的语义关系类型,他们代表。这些基准被用来组织一个关于俄语语义相关性的共享任务,吸引了19个团队。我们使用在这次比赛中确定的最好的方法之一,以产生第五个高覆盖率的资源,第一个开放的分布式俄语词库。对该词库的多次评估,包括一项涉及母语人士的大规模众包研究,表明其准确性很高。
2017-08-31 cs.CL
Application of a Hybrid Bi-LSTM-CRF model to the task of Russian Named Entity Recognition
Moscow Institute of Physics and Technology(莫斯科物理技术学院);Vietnam Maritime University(越南海事大学)
命名实体识别是自然语言处理中最常见的任务之一。NER的目的是查找文本文档中的标记并将其分类为称为标签的预定义类别,例如人名,数量表达式,百分比表达式,位置名称,组织以及时间,货币等的表达。虽然在俄语中已经提出了许多方法来完成这项任务,但它仍然具有更好的解决方案的巨大潜力。在这项工作中,我们研究了几个深度神经网络模型,从普通双向长短期记忆(Bi-LSTM)开始,然后用条件随机场(CRF)和高速公路网络对其进行补充,最后添加外部词嵌入。所有模型都在三个数据集上进行了评估:Gareev数据集,Person-1000,FactRuEval-2016。我们发现,使用CRF扩展Bi-LSTM模型显著提高了预测质量。使用外部词嵌入对输入标记进行编码减少了训练时间,并允许实现俄罗斯NER任务的最新技术水平。
2017-10-08 cs.CL
On Multilingual Training of Neural Dependency Parsers
University of Wrocław(弗罗茨瓦夫大学)
我们表明,最近提出的神经依赖解析器可以通过对来自同一家族的多种语言进行联合训练来改进。解析器被实现为一个深度神经网络,其唯一的输入是单词的正字法表示。为了成功解析,网络必须发现如何从单词拼写中推断出语言相关的概念。我们分析了网络学习的字符和单词的表示,以确定语言的哪些属性被考虑在内。特别是,我们表明,解析器已经大致学会了拉丁字符与西里尔文对应,它可以组波兰语和俄语的话,有一个类似的语法功能。最后,我们评估了从通用数据集的选定语言的解析器,并表明它是有竞争力的其他最近提出的最先进的方法,同时具有简单的结构。
2017-05-29 cs.CL cs.LG cs.NE
reWordBench: Benchmarking and Improving the Robustness of Reward Models with Transformed Inputs
FAIR at Meta(Meta 的 FAIR 部门);MIT(麻省理工学院)
本文构建 reWordBench 基准,发现现有奖励模型对保持语义的输入变换高度脆弱,并提出通过训练模型为释义赋予相似分数来提升鲁棒性,同时改善对齐效果。
2025-09-18 cs.CL
Did You Ask a Good Question? A Cross-Domain Question Intention Classification Benchmark for Text-to-SQL
Emory University(埃默里大学);Beihang University(北京航空航天大学);Ohio State University(俄亥俄州立大学);Yale University(耶鲁大学);University of Waterloo(滑铁卢大学);Penn State University(宾夕法尼亚州立大学)
神经模型在文本到SQL任务上取得了显著的成果,其中大多数当前的工作假设所有输入问题都是合法的,并为任何输入生成SQL查询。然而,在实际场景中,用户可以输入任何可能无法通过SQL查询回答的文本。在这项工作中,我们提出了TriageSQL,第一个跨域的文本到SQL问题的意图分类基准,需要模型来区分四种类型的无法回答的问题从可回答的问题。基线RoBERTa模型在测试集上获得了60%的F1分数,表明需要进一步改进这项任务。我们的数据集可以在https://github.com/chatc/TriageSQL上找到。
2020-10-23 cs.CL
Algorithms For Automatic Accentuation And Transcription Of Russian Texts In Speech Recognition Systems
Novosibirsk State University(新西伯利亚国立大学)
本研究提出一种面向语音识别任务的俄语文本自动重音标注与音素转写系统,结合词典、语料、RNN形态信息与专著规则实现,开源工具包训练的CMU Sphinx声学模型交叉验证词准确率达71.2%。
2024-10-03 cs.CL
Knowledge Distillation of Russian Language Models with Reduction of Vocabulary
MIPT(莫斯科物理技术学院);AIRI
如今,Transformer语言模型作为大多数自然语言处理任务的核心组件。这种模型的工业应用需要最小化计算时间和内存占用。知识蒸馏是实现这一目标的途径之一。该领域中的现有方法主要集中在减少嵌入/隐藏表示的层数或维数上。另一种选择是减少词汇表中的标记数量,从而减少学生模型的嵌入矩阵。词汇量最小化的主要问题是输入序列与教师和学生模型的输出类分布之间的不匹配。因此,不可能直接应用基于KL的知识蒸馏。我们提出两个简单而有效的对齐技术,使知识蒸馏的学生减少词汇。对俄罗斯的一些常见基准,如俄罗斯SuperGLUE,SberQuAD,RuSentiment,ParaPhaser,Collection-3的蒸馏模型的评估表明,我们的技术允许实现从$17\times$到$49\times$的压缩,同时保持$1.7\times$压缩学生与全尺寸词汇的质量,但只减少了Transformer层的数量。我们提供我们的代码和提炼模型。
2022-05-04 cs.CL cs.LG
Attend or Perish: Benchmarking Attention in Algorithmic Reasoning
Kempelen Institute of Intelligent Technologies(智能技术研究所);Language Technology, University of Helsinki(语言技术,赫尔辛基大学)
本文提出算法基准AttentionSpan,通过五个无限输入域任务分离并追踪正确算法,分析注意力图与干预实验,揭示注意力机制直接导致Transformer外推失败。
2025-07-21 cs.AI cs.LG