WHEN FLUE MEETS FLANG: Benchmarks and Large Pre-trained Language Model for Financial Domain
Georgia Institute of Technology(佐治亚理工学院);JPMorgan AI Research(摩根大通人工智能研究院);Stanford University(斯坦福大学)
预训练的语言模型在各种任务和领域中表现出令人印象深刻的性能。以往的金融语言模型研究通常采用通用的训练方案来训练标准模型架构,而没有完全利用金融数据的丰富性。提出了一种新的领域特定金融语言模型(FLANG),该模型利用金融关键词和短语进行更好的掩蔽,并结合跨边界目标和填充目标。此外,外地的评价基准有限。为此,我们贡献了金融语言理解评估(FLUE),这是一套针对金融领域的开源综合基准。其中包括金融领域5个NLP任务的新基准以及以前研究中使用的常见基准。在这些基准上的实验表明,我们的模型在各种NLP任务上的性能优于先前文献中的模型。我们的模型、代码和基准测试数据在Github和Huggingface上公开。
2022-10-31 cs.AI cs.CL cs.LG
INDIC QA BENCHMARK: A Multilingual Benchmark to Evaluate Question Answering capability of LLMs for Indic Languages
Indian Institute of Technology Bombay(印度理工学院孟买分校);IBM Research(IBM研究院)
该论文提出Indic QA Benchmark,一个覆盖11种印度语言的多语言问答基准,发现多语言LLMs因英语偏见在低资源语言中表现弱,而Translate Test范式表现更优。
2025-02-24 cs.LG
MultiPL-E: A Scalable and Extensible Approach to Benchmarking Neural Code Generation
大语言模型已经展示了生成自然语言和程序设计语言文本的能力。这样的模型为多语言代码生成提供了可能性:代码生成模型能将知识从一种语言推广到另一种语言吗?虽然当代的代码生成模型可以生成语义正确的Python代码,但对它们在其他语言中的能力知之甚少。我们提出了MultiPL-E,一个将单元测试驱动的代码生成基准转换为新语言的系统。我们通过使用MultiPL-E将两个流行的Python代码生成基准转换为18种额外的程序设计语言,创建了第一个大规模多语言代码生成基准。我们使用MultiPL-E将HumanEval基准测试和MBPP基准测试扩展到18种语言,包括一系列编程范式和流行程度。使用这些新的并行基准测试,我们评估了三种最先进的代码生成模型:Codex,CodeGen和InCoder的多语言性能。我们发现Codex在其他几种语言的Python上的性能相当甚至超过了它。MultiPL-E中表示的程序设计语言的范围使我们能够探索语言频率和语言特征对模型性能的影响。最后,将代码生成基准编译为新的程序设计语言的MultiPL-E方法是可伸缩和可扩展的,使得评估新的模型、基准和语言变得简单。
2022-12-19 cs.LG cs.PL
Predictable Scale: Part I, Step Law -- Optimal Hyperparameter Scaling Law in Large Language Model Pretraining
Fudan University(复旦大学);Xi’an Jiaotong University(西安交通大学);Megvii Technology(地平线科技)
本文通过训练超3700个LLMs提出Step Law,揭示最优学习率与模型及数据规模呈幂律关系、最优批量大小主要取决于数据规模,为LLM预训练提供了通用超参数优化工具。
2025-08-19 cs.AI cs.LG
The Qiyas Benchmark: Measuring ChatGPT Mathematical and Language Understanding in Arabic
King Saud University(沙特国王大学)
本文针对阿拉伯语模型评估基准匮乏问题,基于沙特Qiyas考试构建数学推理与语言理解基准,并评估ChatGPT-3.5-trubo和ChatGPT-4,分别取得49%和64%的总体准确率,为低资源阿拉伯语模型改进提供评测基础。
2024-06-28 cs.AI cs.CL
TUMLU: A Unified and Native Language Understanding Benchmark for Turkic Languages
针对突厥语族缺乏原生多任务语言理解基准的问题,研究构建了覆盖8种语言11个学科的TUMLU基准及精简验证子集TUMLU-mini,评估了多款主流大模型表现并开源相关资源以推动领域研究。
2025-06-13 cs.AI cs.CL
COSMOS: Predictable and Cost-Effective Adaptation of LLMs
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出COSMOS统一预测框架,通过轻量级代理模型和低样本规模定律高效预测大语言模型适配的性能与成本,在八个基准上平均降低92.72%的计算成本,证明高效预测可显著减少LLM部署开销。
2025-04-30 cs.AI cs.LG
IndicNLG Benchmark: Multilingual Datasets for Diverse NLG Tasks in Indic Languages
IIT Madras(印度理工学院马德拉斯分校);Columbia University(哥伦比亚大学);National Institute of Information and Communications Technology(信息通信研究机构);Microsoft(微软);University of Edinburgh(爱丁堡大学);AI4Bharat
非英语语言的自然语言生成(NLG)受到这些语言数据集稀缺的阻碍。在本文中,我们提出了IndicNLG基准,一个数据集的基准NLG为11种印度语言。我们专注于五个不同的任务,即,传记生成使用维基百科信息框,新闻标题生成,句子摘要,释义生成和问题生成。我们描述了创建的数据集,并使用它们来对利用预训练的序列到序列模型的几个单语和多语言基线的性能进行基准测试。我们的结果展示了多语言特定语言预训练模型的强大性能,以及在我们的数据集上训练的模型在其他相关NLG任务中的实用性。我们的数据集创建方法可以很容易地应用于中等资源语言,因为它们涉及简单的步骤,例如抓取新闻文章和维基百科信息框,轻度清理和通过机器翻译数据进行旋转。据我们所知,IndicNLG Benchmark是印度语言的第一个NLG基准,也是最多样化的多语言NLG数据集,拥有5个任务和11种语言的约800万个示例。数据集和模型可在https://ai4bharat.iitm.ac.in/indicnlg-suite上公开获取。
2022-10-27 cs.AI cs.CL
Benchmarking Transformers-based models on French Spoken Language Understanding tasks
CNRS(法国国家科学研究中心);LISN(跨学科数字科学实验室);QWANT(QWANT公司)
在过去的五年中,基于自注意力transformer的架构的兴起导致了许多自然语言任务的最先进性能。虽然这些方法越来越受欢迎,但它们需要大量的数据和计算资源。在数据稀缺的应用条件下,仍然非常需要对资源不足的语言进行基准测试。大多数预先训练的语言模型都是使用英语进行大规模研究的,只有少数是用法语进行评估的。在本文中,我们提出了一个统一的基准,侧重于评估模型的质量和生态影响两个著名的法语口语语言理解任务。特别是,我们基准十三个完善的基于变压器的模型上的两个可用的口语语言理解任务的法语:媒体和ATIS-FR。在这个框架内,我们表明,紧凑的模型可以达到可比的结果,而他们的生态影响是相当低的。然而,这种假设是微妙的,并取决于所考虑的压缩方法。
2022-07-19 cs.AI cs.CL
The Arrival of AGI? When Expert Personas Exceed Expert Benchmarks
Tarleton State University(塔尔顿州立大学);University of Texas at Tyler(德克萨斯大学泰勒分校)
研究探讨专家人设是否能提升语言模型性能,发现其效果受多种机制限制,通过控制实验揭示了人设在特定任务中的表现及局限性。
2026-03-04 cs.AI cs.CY
Benchmark Transparency: Measuring the Impact of Data on Evaluation
The University of Birmingham(伯明翰大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出基准透明度框架,从六个维度量化数据分布对NLP模型评估的影响,并通过实验证明数据影响显著且可预测,可用于比较数据集和预测模型分布外泛化能力。
2024-03-31 cs.AI cs.CL
ScandEval: A Benchmark for Scandinavian Natural Language Processing
The Alexandra Institute(亚历山德拉研究所)
本文提出斯堪的纳维亚NLP基准平台ScandEval,通过可复现的Python包测试100多个模型,发现大陆语言间跨语言迁移显著,且北欧国家本土模型优于大规模多语言模型。
2023-04-03 cs.CL cs.LG
Predicting Emergent Capabilities by Finetuning
University of California, Berkeley(加州大学伯克利分校)
针对LLM涌现能力难预测的问题,提出涌现预测任务,通过在任务上微调LLM并拟合涌现定律,用小型LLM可准确预测计算量增4倍的模型涌现情况,还展示了两个实际应用案例。
2024-11-25 cs.CL cs.LG
How Predictable Are Large Language Model Capabilities? A Case Study on BIG-bench
University of Southern California(南加州大学)
本文研究LLM能力可预测性,在BIG-bench记录上用MLP预测器实现$R^2$超95%,并提出寻找信息量丰富的小型任务子集“small-bench”,发现规模仅为BIG-bench Hard三分之一但信息量相当的子集,同时强调任务多样性的重要性。
2023-10-31 cs.CL cs.LG
Why Has Predicting Downstream Capabilities of Frontier AI Models with Scale Remained Elusive?
Stanford Computer Science(斯坦福大学计算机科学系);EleutherAI;MILA;University of Cambridge(剑桥大学)
本文揭示多项选择基准中由负对数似然经多步变换计算下游指标会削弱性能与规模的相关性,并提出需同时建模正确与错误选项概率质量随规模的变化,以实现下游能力的可预测扩展。
2025-02-05 cs.AI cs.CL cs.LG
What Makes Software Issue Resolution Tasks Difficult for Agents?
George Mason University(乔治梅森大学)
该研究提出测量框架,基于CoderForge-Preview数据集的实证分析,发现软件问题解决任务难度可通过静态特征预测,核心驱动因素为补丁碎片化与代码库规模,为构建难度可控的智能体评估基准奠定基础。
2026-08-20 cs.AI cs.CL cs.LG
Predictable GRPO: A Closed-Form Model of Training Dynamics
Nutanix;Unsloth
提出GRPO训练动力学的第一性原理降阶模型,揭示其指数饱和律的物理含义,预测群大小不变性、稳定性阈值和过阻尼-振荡转变,并在多个模型和基准上验证。
2026-07-02 cs.LG stat.ML
Observational Scaling Laws and the Predictability of Language Model Performance
Stanford University(斯坦福大学);University of Toronto(多伦多大学);Vector Institute(矢量研究院)
本文提出基于约100个公开模型的观测性缩放定律,通过低维能力空间解释模型系列效率差异,并预测涌现现象、智能体性能及训练后干预效果。
2024-10-01 cs.AI cs.CL cs.LG
Cerebras-GPT: Open Compute-Optimal Language Models Trained on the Cerebras Wafer-Scale Cluster
Cerebras Systems(Cerebras系统公司)
结合高效预训练与扩展技术,提出参数规模111M至13B的开源计算最优语言模型Cerebras-GPT,遵循Chinchilla规则在Eleuther Pile上训练,实现最先进训练效率并开源模型与代码。
2023-04-06 cs.CL cs.LG
Scaling Laws Under the Microscope: Predicting Transformer Performance from Small Scale Experiments
Tel-Aviv University(特拉维夫大学)
神经缩放定律以幂律的形式定义了模型参数计数与训练后性能之间的可预测关系。然而,迄今为止,大多数研究还没有明确调查是否缩放定律可以用来加速模型的发展。在这项工作中,我们在广泛的语言理解任务中进行了这样的实证调查,从具有少至10K参数的模型开始,并在9个语言理解任务中评估下游性能。我们发现,缩放定律出现在一些NLP任务中的微调时间,并且它们也可以用于训练大型模型时的调试收敛。此外,对于存在缩放定律的任务,它们可以用于预测更大模型的性能,从而实现有效的模型选择。然而,揭示缩放定律需要仔细的超参数调整和多次运行的目的不确定性估计,这会产生额外的开销,部分抵消了计算的好处。
2022-10-18 cs.CL cs.LG cs.NA