Exploring the Latest LLMs for Leaderboard Extraction
SOTA? Lab at CLEF(CLEF SOTA实验室)
本研究探索Mistral 7B、Llama-2等最新LLM在三类上下文输入下,从AI论文提取排行榜信息生成四元组的效能,为AI研究自动化提供指导。
2024-07-08 cs.AI cs.CL
Open-LLM-Leaderboard: From Multi-choice to Open-style Questions for LLMs Evaluation, Benchmark, and Arena
Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学)
针对多项选择题存在的选项ID偏好与随机猜测问题,本文构建全开放式问题基准Open-LLM-Leaderboard,以更真实评估GPT-4o、Claude 3等LLM能力。
2024-06-11 cs.AI cs.CL
Cost-Pragmatic Quality Gating and Selection-Fusion Multi-Model Combiners for BioASQ Phases A+ and B
University of Technology Sydney(悉尼科技大学)
该研究针对BioASQ任务14B 2026系统,围绕检索弱时的重新检索及多模型答案组合展开。采用混合与代理驱动管道结合质量门控,成本实用策略提升效果。还分解多模型集成,解析器在召回方面表现出色,团队在初步排行榜上成绩优异。
2026-07-16 cs.CL
LibVulnWatch: A Deep Assessment Agent System and Leaderboard for Uncovering Hidden Vulnerabilities in Open-Source AI Libraries
Holistic AI;University College London(伦敦大学学院)
提出 LibVulnWatch,一个基于图编排智能体的开源AI库深度评估系统与公共排行榜,覆盖88%的OpenSSF检查项并揭示额外风险,实现可扩展的供应链评估与库选择。
2025-06-30 cs.CL cs.CR
Understanding BLOOM: An empirical study on diverse NLP tasks
Fidelity Investments(富达投资)
我们通过最近发布的BLOOM模型的镜头来查看大语言模型(LLM)的前景,以了解BLOOM和其他仅解码器LLM与BERT风格的仅编码器模型相比的性能。我们通过在几个NLP基准数据集和流行排行榜上评估较小的BLOOM模型变体(\textit{350m/560m}和\textit{1b3/1b7})来实现这一点。我们做了以下观察:(1)与GPT和BERT等其他LLM不同,BLOOM性能不随参数大小而变化。对BLOOM模型进行微调的实验表明,560 m变体的性能与1b 7变体相似或更好,(2)Zero-shot跨语言和多语言微调实验表明,BLOOM与单语言GPT-2模型相当或更差,(3)使用RealToxicityProblems数据集对基于Problems的文本生成进行毒性分析,结果表明,由BLOOM生成的文本至少有17%毒性低于GPT-2和GPT-3模型。
2023-03-15 cs.CL
Correlated Errors in Large Language Models
cornell(康奈尔大学)
本文通过两个排行榜和简历筛选任务评估 350 余个 LLM,发现模型错误存在显著相关,且更大更准的模型即使架构与供应商不同也高度相关,并揭示其在评审和招聘任务中的影响。
2025-06-09 cs.AI cs.CL cs.CY
Automated Mining of Leaderboards for Empirical AI Research
L3S Research Center(L3S研究中心);Leibniz University of Hannover(莱布尼茨汉诺威大学);TIB Leibniz Information Centre for Science and Technology(莱布尼茨科学技术信息中心)
随着研究出版物的快速增长,赋予科学家对科学进展进行监督的权力至关重要。在这方面,信息组织的排行榜方面通过汇总解决相同研究挑战的各种研究的经验结果,提供了最新技术水平的概述。像PapersWithCode这样的众包努力主要致力于为人工智能的各个子域构建排行榜。排行榜提供机器可读的学术知识,已被证明对科学家跟踪研究进展直接有用。使用自动文本挖掘可以大大加快排行榜的构建。本研究提出一个综合的方法来产生排行榜的知识图谱为基础的学术信息组织。具体来说,我们调查的问题,自动排行榜建设使用国家的最先进的Transformer模型,即BERT,SciBert和XLNet。我们的分析揭示了一种最佳方法,该方法在F1中的评估分数超过90%的任务中显着优于现有基线。这反过来又为排行榜提取提供了新的最先进的结果。因此,大量的人工智能实证研究可以在下一代数字图书馆中以知识图谱的形式组织起来。
2021-08-31 cs.AI cs.CL cs.DL
Beyond the Leaderboard: Rethinking Medical Benchmarks for Large Language Models
Stanford University(斯坦福大学);Shenzhen University(深圳大学);The Chinese University of Hong Kong(香港中文大学);City University of Hong Kong(香港城市大学);Renmin University of China(中国人民大学)
本文提出MedCheck框架,用于评估医疗领域大型语言模型的基准,揭示现有基准在临床相关性、数据完整性及安全性方面的系统性问题。
2026-04-29 cs.AI cs.CL cs.CV
Zero-shot Entailment of Leaderboards for Empirical AI Research
L3S Research Center, Leibniz University of Hannover(汉诺威莱布尼茨大学L3S研究中心);TIB Leibniz Information Centre for Science and Technology(TIB莱布尼茨科学技术信息中心)
我们提出了一个大规模的实证调查的零样本学习现象,在一个特定的识别文本蕴涵(RTE)任务类别,即自动挖掘排行榜的实证人工智能研究。先前报道的用于排行榜提取的最先进的模型被制定为RTE任务,在非零拍摄设置中,具有超过90%的报道性能。然而,一个核心的研究问题仍然没有得到研究:模型真的学会了蕴涵吗?因此,对于本文中的实验,两个先前报道的最先进的模型被开箱即用地测试了它们的泛化能力或蕴涵能力,给定了在训练过程中看不到的排行榜标签。我们假设,如果模型学习了蕴涵,那么它们的zero-shot表现也可以预期是适度高的--也许,具体地说,比机会更好。作为这项工作的结果,一个zero-shot标记的数据集是通过制定排行榜提取RTE任务的远程标记创建的。
2023-03-29 cs.AI cs.CL cs.LG
Do LLMs Overthink Basic Math Reasoning? Benchmarking the Accuracy-Efficiency Tradeoff in Language Models
Department of Computer Science, Virginia Tech, Blacksburg, VA, USA(弗吉尼亚理工大学计算机科学系,布莱克斯堡,VA,美国)
本文提出LLMThinkBench基准测试,评估语言模型在准确性与过度思考之间的权衡,发现模型在复杂基准上的表现不直接转化为基础数学推理能力,且过度思考导致效率下降。
2026-04-23 cs.CL
Frequency-aware Dimension Selection for Static Word Embedding by Mixed Product Distance
Tencent AI Lab(腾讯人工智能实验室);China Agricultural University(中国农业大学)
本文提出基于混合乘积距离的维度选择方法,利用词频信息无需训练词嵌入即可为静态词嵌入选择合适维度,在无上下文和有上下文任务中实现更优的效率-性能平衡。
2023-05-13 cs.CL
ORKG-Leaderboards: A Systematic Workflow for Mining Leaderboards as a Knowledge Graph
L3S Research Center, Leibniz University of Hannover(莱布尼茨汉诺威大学L3S研究中心);TIB, Leibniz Information Centre for Science and Technology(莱布尼茨科学技术信息中心(TIB))
本文提出 Orkg-Leaderboard 软件,从AI论文中自动提取“任务-数据集-度量”元组构建排行榜,并与 ORKG 平台集成实现机器可操作发布,最佳模型 F1 超过 90%,将众包任务转变为自动化数字化工作流。
2023-05-10 cs.AI cs.CL
Instruction Mining: Instruction Data Selection for Tuning Large Language Models
LinkedIn(领英);Microsoft Research(微软研究院);Lehigh University(理海大学)
本文提出InstructMining方法,利用自然语言指标自动评估并选择高质量的指令微调数据,结合BlendSearch在10万条数据中筛选出最佳子集,在主流基准上取得SOTA性能。
2024-07-26 cs.AI cs.CL cs.LG
EffiBench: Benchmarking the Efficiency of Automatically Generated Code
The University of Hong Kong(香港大学);University of Waterloo(滑铁卢大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出含 1,000 个效率关键问题的 EffiBench 基准,评测 42 个 LLM 后发现其生成代码效率普遍低于人工 SOTA 方案。
2025-05-10 cs.CL cs.SE
Coresets Before Score Sets: Evaluation-Unsupervised Prompt Subset Selection for LLM Benchmarks
University of Washington(华盛顿大学);University of California, Berkeley(加利福尼亚大学伯克利分校);Oracle(甲骨文公司);Together AI(Together AI公司);LMSYS;NVIDIA(英伟达公司)
研究大语言模型基准测试的核心集选择,采用评估无监督方法,利用次模子集选择,开发多种次模函数。在新大规模套件上实验发现设施选址函数效果好,该目标不限于特定模式,在相关排行榜上表现优且计算成本低,证明次模性对基准压缩有用。
2026-07-14 cs.AI cs.CL
The Zero-Step Thinking: An Empirical Study of Mode Selection as Harder Early Exit in Reasoning Models
The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences(认知与决策智能复杂系统重点实验室,自动化研究所,中国科学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(人工智能学院,中国科学院大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
该研究将推理模型的模式选择界定为更难的零步早期退出问题,通过9个基线的实证实验对比不同方法的表现,指出现有方法在信息有限场景下的不足,为推理效率优化研究提供了参考。
2025-10-22 cs.AI cs.CL
Select-Then-Decompose: From Empirical Analysis to Adaptive Selection Strategy for Task Decomposition in Large Language Models
Beijing University of Posts and Telecommunications(北京邮电大学)
针对任务分解中性能与成本难以兼顾的问题,本文通过实证分析提出 Select-Then-Decompose 自适应策略,在多基准上实现 Pareto 最优平衡。
2025-10-20 cs.AI cs.CL
CHASE-SQL: Multi-Path Reasoning and Preference Optimized Candidate Selection in Text-to-SQL
Google Cloud(谷歌云);Stanford University(斯坦福大学)
CHASE-SQL通过多智能体测试时计算、分而治之分解、执行计划思维链和实例感知合成示例生成多样SQL候选,并用微调选择智能体进行成对比较排序,在BIRD基准上取得73.0%和73.01%的最先进执行准确率。
2024-10-02 cs.AI cs.CL cs.DB
Beyond the Numbers: Transparency in Relation Extraction Benchmark Creation and Leaderboards
Faculty of Informatics, TU Wien(维也纳工业大学信息学学院);University of Klagenfurt(克拉根福大学)
本文探讨关系抽取基准创建与排行榜的透明度问题,揭示现有基准存在文档不足、数据不平衡和噪声标签等缺陷,倡导改进文档与评估方法以推动领域发展。
2024-11-07 cs.CL
Improving Pretraining Data Using Perplexity Correlations
Stanford University(斯坦福大学)
本文提出基于困惑度-基准相关性的预训练数据选择框架,利用90个大语言模型估计相关性,在多个规模和基准上优于DSIR等现有方法。
2025-03-10 cs.CL cs.LG stat.ML
BERTSel: Answer Selection with Pre-trained Models
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
近年来,预训练模型已成为自然语言处理的主流范式。他们在文本蕴涵、自然语言推理、问答等广泛的相关任务中取得了令人瞩目的最先进的性能。BERT,由Devlin等人提出,在GLUE排行榜上取得了较好的成绩,采用了深度Transformer架构。尽管BERT越来越受欢迎,但它还没有被应用于答案选择。这个任务与其他任务有一些细微差别:首先,与语义相关性和句法结构相比,对候选项的相关性和正确性进行建模;其次,答案的长度可能与其他候选项和问题不同。在这篇论文中。我们是第一个探索的性能微调BERT的答案选择。我们在五个流行的数据集上实现了STOA结果,证明了预训练模型在这项任务中的成功。
2019-05-18 cs.CL
Candidate sentence selection for language learning exercises: from a comprehensive framework to an empirical evaluation
Språkbanken, University of Gothenburg(哥德堡大学瑞典语银行)
我们提出了一个框架和它的实现依赖于自然语言处理方法,其目的是从语料库中识别练习项目候选人。结合化学和机器学习方法的混合系统包括多个相关的选择标准。我们专注于两个基本方面:语言的复杂性和依赖的原始上下文的提取句子。以前的工作练习生成解决这两个标准,只有在有限的程度上,和一个完善的整体候选句子选择框架似乎也缺乏。除了系统的详细描述,我们提出了一个经验性的评估结果进行的语言教师和学习者,这表明该系统的实用性的教育目的。我们已经将我们的系统集成到一个免费的在线学习平台。
2017-06-12 cs.CL
Neural Networks Classifier for Data Selection in Statistical Machine Translation
PRHLT Research Center(PRHLT研究中心);Universitat Politècnica de València(瓦伦西亚理工大学)
本文将统计机器翻译中的数据选择问题作为一个分类问题来解决。新的数据选择方法是基于神经网络分类器。我们提出了一种新的方法描述和实证结果,证明我们的数据选择方法提供了更好的翻译质量,与最先进的方法(即,交叉熵)。此外,报告的实证结果在不同的语言对之间是一致的。
2016-12-21 cs.CL
Partner Matters! An Empirical Study on Fusing Personas for Personalized Response Selection in Retrieval-Based Chatbots
University of Science and Technology of China(中国科学技术大学);Queen’s University(女王大学);iFLYTEK Research(讯飞研究院)
角色可以作为先验知识来维护对话系统的一致性。以往的研究大多采用对话中的自我角色,其反应是从一组候选人中选择或直接产生的,但很少有人注意到伙伴在对话中的作用。本文试图深入探讨利用人物角色描述自己或合作伙伴的发言人的响应选择任务中检索为基础的聊天机器人的影响。设计了四种人物角色融合策略,假设人物角色以不同的方式与上下文或响应进行交互。这些策略被实现为三个典型的响应选择模型,分别基于分层递归编码器(HRE),交互式匹配网络(IMN)和双向编码器表示从Transformers(BERT)。Persona-Chat数据集上的实证研究表明,在以前的研究中被忽略的合作伙伴人物角色可以提高基于IMN和BERT的模型中响应选择的准确性。此外,我们基于BERT的模型实现了上下文响应感知的人物角色融合策略,在原始人物角色上的命中率大于2.7%,在修改后的人物角色上的命中率大于4.6%,在Persona-Chat数据集上实现了新的最先进的性能。
2021-05-21 cs.CL
Does Dialog Length matter for Next Response Selection task? An Empirical Study
IBM Research(IBM研究院)
在过去的几年里,BERT的发布,一个基于多语言Transformer的模型,已经在NLP社区掀起了风暴。基于BERT的模型已经在各种NLP任务上取得了最先进的结果,包括对话任务。BERT的局限性之一是缺乏处理长文本序列的能力。默认情况下,BERT的最大单词标记序列长度为512。最近,有新的兴趣,以解决BERT的限制,以处理长文本序列,增加了新的自我注意力为基础的架构。然而,很少或没有研究这种限制对对话任务的影响。对话任务本质上不同于其他NLP任务,因为:a)来自多个说话者的多个话语的存在,这些话语可能在不同的回合中相互链接,b)对话的长度更长。在这项工作中,我们经验性地评估了对话长度对BERT模型在四个公开可用的和一个内部多轮对话数据集上的下一个响应选择对话任务的性能的影响。我们观察到长对话框对性能的影响很小,甚至最简单的截断输入的方法也能很好地工作。
2021-01-24 cs.CL
A Cascade Approach to Neural Abstractive Summarization with Content Selection and Fusion
University of Central Florida(中佛罗里达大学);Adobe Research(奥多比研究院)
我们提出了一个实证研究,有利于级联架构的神经文本摘要。摘要实践变化很大,但除了新闻摘要之外,很少有其他的摘要可以提供足够量的训练数据,足以满足端到端神经摘要系统的要求,该系统联合执行内容选择和表面实现以生成摘要。这样的系统也对摘要评估提出了挑战,因为它们迫使内容选择与文本生成一起评估,但后者的评估仍然是一个未解决的问题。在本文中,我们提出的实证结果表明,级联管道的性能,分别识别重要的内容片段,并将它们缝合在一起成为一个连贯的文本是可比的或超越的端到端系统,而管道架构允许灵活的内容选择。最后,我们讨论了如何在神经文本摘要中利用级联管道,并为未来的研究指明了重要方向。
2020-10-08 cs.CL