IndicDBBench - Benchmarking Multilingual Text-to-SQL Capabilities in Indian Languages
National Data and Analytics Platform(国家数据与分析平台);India Data Portal(印度数据门户);NDAP(国家数据与分析平台);ICRISAT(国际作物研究所);IHDS(印度家庭与育儿调查)
IndicDB是一个多语言文本到SQL基准测试,用于评估跨语言语义解析能力,包含20个数据库和237张表,通过迭代三代理框架生成15617个任务,揭示了印度语言在SQL解析中的性能差距。
2026-11-03 cs.AI cs.CL cs.DB
DeepJSONEval: Benchmarking Complex Nested JSON Data Mining for Large Language Models
针对现有大语言模型JSON输出能力基准过度侧重纯生成、不符合实际网络数据挖掘需求的问题,本文提出包含2100个按难度分类的跨领域深度嵌套样本的DeepJSONEval基准,实验发现不同大模型处理该类复杂结构的性能差距显著,相关资源已开源以推动结构化JSON生成研究。
2025-09-30 cs.AI cs.CL
Automated MCQA Benchmarking at Scale: Evaluating Reasoning Traces as Retrieval Sources for Domain Adaptation of Small Language Models
Argonne National Laboratory(阿贡国家实验室);The University of Chicago(芝加哥大学)
提出一种自动化生成多选题问答基准的可扩展框架,从2.2万篇文献生成超1.6万道题目,评估1.1B-14B小语言模型,发现基于GPT-4.1蒸馏的推理轨迹检索能持续提升性能,使多个小模型超越GPT-4。
2025-09-12 cs.AI cs.CL
Better Benchmarking LLMs for Zero-Shot Dependency Parsing
Universidade da Coruña(拉科鲁尼亚大学);CITIC;Departamento de Ciencias de la Computación y Tecnologías de la Información(计算机科学与信息技术系)
本文通过对比无信息基线,评估开源LLM在零样本依存句法分析上的表现,发现多数模型不及最优基线,仅最新最大LLaMA略优但性能仍低。
2025-02-28 cs.CL
FinRCA-Bench: Benchmarking Evidence Retrieval and Reasoning for Financial AI Systems
该研究推出FinRCA-Bench基准,评估金融AI系统的证据检索与推理,发现检索架构影响性能,正确根本原因标签是可审计诊断的弱代理。
2026-08-20 cs.AI cs.IR
Spatial Dependency Parsing for Semi-Structured Document Information Extraction
Clova AI, NAVER Corp.(NAVER公司Clova AI)
半结构化文档图像的信息抽取(IE)通常通过将每个识别的输入标记分类到IOB(内部、外部和开始)类别中的一个来处理序列标记问题。然而,这样的问题设置具有两个固有的局限性,即(1)它不能容易地处理复杂的空间关系,以及(2)它不适合于高度结构化的信息,尽管如此,在现实世界的文档图像中经常观察到这些信息。为了解决这些问题,我们首先制定的IE任务的空间依存句法分析问题,侧重于在文档中的文本标记之间的关系。在这种设置下,我们提出了SPADE(空间依赖性解析器),模型高度复杂的空间关系和任意数量的信息层的文档中的一个端到端的方式。我们对各种文档(如收据,名片,表单和发票)进行了评估,并表明与基于BERT的IOB taggger等强大基线相比,它实现了类似或更好的性能。
2021-07-01 cs.CL cs.LG
Lost in Speech: Benchmarking, Evaluation, and Parsing of Spoken Bilingual Conversational Language Beyond Standard UD Assumptions
Arizona State University(亚利桑那州立大学)
针对口语双语会话中的不流利和话语驱动结构,提出SpokeBench基准、Flex-UD评估指标和DECAP解析框架,显著提升依赖解析性能。
2026-06-08 cs.CL
Benchmarking zero-shot and few-shot approaches for tokenization, tagging, and dependency parsing of Tagalog text
Electrical and Electronics Engineering Institute(电气与电子工程学院);University of the Philippines(菲律宾大学)
任何书面语言中文本的语法分析通常涉及许多基本处理任务,例如标记化、形态标记和依存句法分析。对于具有大型数据集的语言,最先进的系统可以在这些任务上实现高准确性,但对于具有很少或没有注释数据的语言,结果很差。为了解决这个问题的TagSword语言,我们研究使用替代语言资源创建特定于任务的模型,在没有依赖性注释的TagSword数据。我们还探讨了使用词嵌入和数据增强,以提高性能时,只有少量的注释TagSign数据可用。我们表明,这些zero-shot和Few-Shot的方法产生了显着的改进,语法分析的域和域外的标签文本相比,国家的最先进的监督基线。
2023-01-06 cs.CL
Language Complexity Measurement as a Noisy Zero-Shot Proxy for Evaluating LLM Performance
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文通过 LIX 与 ADD 任务评估多款 LLM,发现语言复杂度测量能力与 MMLU 表现显著相关,可作为噪声零样本代理评估模型通用能力。
2025-02-17 cs.AI cs.CL
The Structured Output Benchmark: A Multi-Source Benchmark for Evaluating Structured Output Quality in Large Language Models
JigsawStack, Inc.(JigsawStack公司);New Delhi, India(印度新德里);San Francisco, CA, USA(美国旧金山);Durgapur, WB, India(印度德里邦杜格apur)
本文提出SOB基准,用于评估大型语言模型在多源数据中的结构化输出质量,通过文本、图像和音频三种模态的测试数据,发现模型在结构合规性上表现良好,但价值准确性在不同数据源中差异显著。
2026-04-28 cs.AI cs.CL
MultiSpider: Towards Benchmarking Multilingual Text-to-SQL Semantic Parsing
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research Asia(微软亚洲研究院)
文本到SQL的语义解析是一项重要的自然语言处理任务,它极大地方便了用户与数据库之间的交互,成为许多人机交互系统中的关键组件。文本到SQL的最新进展是由大规模数据集驱动的,但其中大多数都集中在英语上。在这项工作中,我们提出了MultiSpider,最大的多语言文本到SQL数据集,涵盖七种语言(英语,德语,法语,西班牙语,日语,中文和越南语)。在MultiSpider上,我们进一步确定了文本到SQL的词汇和结构挑战(由特定的语言属性和方言谚语引起)及其在不同语言中的强度。在三种典型设置(zero-shot、单语和多语言)下的实验结果显示,非英语语言的准确率绝对下降了6.1%。定性和定量分析进行,以了解每种语言的性能下降的原因。除了数据集之外,我们还提出了一个简单的模式增强框架SAVe(Schema-Augmentation-with-Verification),它将整体性能显著提高了约1.8%,并缩小了跨语言的29.5%的性能差距。
2022-12-27 cs.CL
Beyond BeautifulSoup: Benchmarking LLM-Powered Web Scraping for Everyday Users
本文评估了基于LLM的网络爬虫在日常用户中的应用,展示了端到端LLM代理如何使复杂爬虫变得简单,同时比较了LLM辅助脚本和端到端代理在不同场景下的效果。
2026-01-09 cs.AI cs.CR cs.SE
Benchmarking Document Parsers on Mathematical Formula Extraction from PDFs
Institute for Machine Learning and Analytics (IMLA), Offenburg University, Offenburg, Germany(机器学习与分析研究所(IMLA)、奥芬堡大学);University of Mannheim, Mannheim, Germany(曼海姆大学)
本文提出了一种新的PDF数学公式提取基准测试框架,通过合成数据和LLM评估方法,评估了多种解析器的性能差异,揭示了选择合适解析器的关键因素。
2026-08-25 cs.AI cs.CV cs.IR
MLAR: Multi-layer Large Language Model-based Robotic Process Automation Applicant Tracking
Computer Science Dept. MSA University(计算机科学系MSA大学)
本文提出 MLAR,一种基于多层大型语言模型的 RPA 框架,通过职位特征提取、简历解析和语义匹配三层架构自动化招聘流程,在大批量处理任务中显著优于 UiPath 等主流平台。
2025-07-14 cs.CL
GUI-360$^\circ$: A Comprehensive Dataset and Benchmark for Computer-Using Agents
Nanjing University(南京大学);Microsoft(微软);ZJU-UIUC(浙大-UIUC);Peking University(北京大学)
该研究针对计算机使用智能体(CUAs)的三大差距,提出大规模综合数据集与基准GUI-360$^\u25cb$,通过LLM增强的自动化流水线构建,支持多任务评估,揭示现有模型缺陷并提供改进方向。
2025-11-10 cs.AI
Benchmarking Complex Multimodal Document Processing Pipelines: A Unified Evaluation Framework for Enterprise AI
Oracle(Oracle公司);Independent(独立)
本文提出EnterpriseDocBench评估框架,评估企业文档AI流水线的各阶段性能,发现混合检索优于BM25,但生成质量不足,揭示了各阶段间弱相关性及实际部署中准确性与完整性之间的差距。
2026-04-29 cs.AI cs.CL cs.IR
SCORE: A Semantic Evaluation Framework for Generative Document Parsing
Unstructured Technologies
SCORE提出一个解释无关的语义评估框架,通过编辑距离、令牌诊断、表格空间容差和层级一致性检查,纠正传统指标对生成式文档解析中有效多样性的误罚,实现公平且可解释的基准测试。
2025-09-16 cs.AI cs.CL
MIRAI: Evaluating LLM Agents for Event Forecasting
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);California Institute of Technology(加州理工学院)
本文提出MIRAI基准,通过智能体环境、GDELT事件数据库和代码式API工具,从信息获取、工具使用与跨时间推理三个维度系统评估LLM智能体在国际事件预测中的能力。
2024-07-01 cs.AI cs.CL
Qwen2.5-VL Technical Report
Alibaba Group(阿里巴巴集团)
Qwen2.5-VL 是 Qwen 视觉语言系列的最新旗舰模型,通过引入动态分辨率和绝对时间编码等技术创新,在视觉理解、文档解析和长视频处理上取得突破,并可作为交互式视觉智能体执行任务,其 72B 版本性能匹敌 GPT-4o。
2025-02-19 cs.CL cs.CV
MTOP: A Comprehensive Multilingual Task-Oriented Semantic Parsing Benchmark
Facebook(脸书)
由于缺乏可用的数据集,将面向任务的对话系统的语义解析模型扩展到新的语言通常是昂贵且耗时的。现有的数据集有几个缺点:a)它们包含很少的语言b)它们包含少量的每种语言的标记示例c)它们基于非组合查询的简单意图和槽检测范式。在本文中,我们提出了一个新的多语言数据集,称为MTOP,包括10万注释话语6种语言在11个领域。我们使用这个数据集和其他公开可用的数据集,对使用各种最先进的多语言预训练模型进行面向任务的语义解析进行全面的基准测试研究。对于两个现有的多语言数据集,我们在Slot F1上实现了+6.3点的平均改进,超过了他们实验中报告的最佳结果。此外,我们展示了强大的zero-shot性能,使用预训练模型结合自动翻译和对齐,并提出了远程监督方法,以减少槽标签投影中的噪声。
2021-01-27 cs.CL cs.LG
OCRTurk: A Comprehensive OCR Benchmark for Turkish
Middle East Technical University, Computer Engineering Department(中东部技术大学,计算机工程系);Politecnico di Torino(托里诺理工大学);Roketsan Inc.(罗克特兰公司)
OCRTurk是一个针对土耳其语文档解析的综合基准测试,通过多难度级别和多种文档类型评估七种OCR模型,发现PaddleOCR在多数指标上表现最佳,但幻灯片文档对模型构成挑战。
2026-02-03 cs.AI cs.CL
Decoupling Reconnaissance and Exploitation: Measuring the Capability Boundaries of LLM-Based Web Penetration Testing
University of Science and Technology of China(中国科学技术大学);Suzhou Institute for Advanced Research, University of Science and Technology of China(中国科学技术大学苏州先进研究院);Nanjing University of Science and Technology(南京理工大学);Research Institute, Runjian Co., Ltd(润杰有限公司研究院)
提出解耦评估框架分离侦察与利用阶段,发现LLM代理在准确漏洞上下文下功能成功率可达90.0%,但自主侦察召回率仅约50.0%,揭示了能力差距。
2026-06-25 cs.AI cs.CR
Automated Extraction of Material Properties using LLM-based AI Agents
Mehta Family School of Data Science and Artificial Intelligence(梅塔家族数据科学与人工智能学院);Indian Institute of Technology Roorkee(印度理工学院罗尔基分校);Department of Metallurgical and Materials Engineering(冶金与材料工程系)
本研究提出基于LLM的自动材料属性提取方法,构建了大规模热电数据集,实现了高准确率和低成本的属性提取流程,为材料发现提供了新的工具和基础。
2025-09-23 cond-mat.mtrl-sci cs.AI cs.CL
OCRBench v2: An Improved Benchmark for Evaluating Large Multimodal Models on Visual Text Localization and Reasoning
Huazhong University of Science and Technology(华中科技大学);South China University of Technology(华南理工大学);University of Adelaide(阿德莱德大学);ByteDance(字节跳动)
OCRBench v2通过构建任务更全、场景更广、含1万人工验证问答对及私有测试集的双语基准,系统评估并揭示了现有大型多模态模型在文本定位、细粒度感知与逻辑推理等方面的不足。
2025-06-05 cs.AI cs.CV
NLPre: a revised approach towards language-centric benchmarking of Natural Language Preprocessing systems
Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
本文提出一种受GLUE启发的以语言为中心的NLPre基准测试系统,能公平全面地持续评估自然语言预处理工具,并在波兰语NLPre-PL基准上验证,同时开源支持多语言定制。
2024-03-27 cs.CL
Benchmarking Long-tail Generalization with Likelihood Splits
University of Southern California(南加州大学)
本研究提出Likelihood Splits方法,通过预训练LM似然高低重分数据集构建长尾泛化基准,实验证明其比随机划分更具挑战性、比对抗过滤更公平。
2023-05-02 cs.CL
Sentence Smith: Controllable Edits for Evaluating Text Embeddings
University of Zurich(苏黎世大学)
Sentence Smith通过可控编辑生成文本,用于评估文本嵌入模型的细粒度性能。
2025-11-24 cs.CL
Benchmarking Vision-Language Models for French PDF-to-Markdown Conversion
Probayes, La Poste(Probayes公司);OpenValue, La Poste(OpenValue公司)
本研究针对法语PDF到Markdown转换,评估了视觉语言模型在处理复杂文档中的表现,发现专有模型在手写和表单处理上更具鲁棒性,而开源系统在标准打印布局上表现良好。
2026-02-12 cs.CL cs.CV cs.LG
KINNEWS and KIRNEWS: Benchmarking Cross-Lingual Text Classification for Kinyarwanda and Kirundi
University of Electronic Science and Technology of China(电子科技大学);Masakhane
文本分类的最新进展集中在高资源语言,如英语和中文。对于低资源语言,其中包括大多数非洲语言,缺乏注释良好的数据和有效的预处理,阻碍了成功方法的进步和转让。在本文中,我们介绍了两个新闻数据集(KINNEWS和KIRNEWS)的Kinyarwanda和基隆迪,两个低资源的非洲语言的新闻文章的多类分类。这两种语言是相互理解的,但尽管基尼亚卢旺达语在一定程度上已经在自然语言处理(NLP)中进行了研究,但这项工作构成了基隆迪语的第一项研究。除了数据集,我们还提供了统计数据、预处理指南以及单语和跨语言基线模型。我们的实验表明,在资源相对较高的基尼亚卢旺达语的训练嵌入产生成功的跨语言迁移基隆迪。此外,创建的数据集的设计允许在未来的研究中更广泛地使用NLP,而不仅仅是文本分类,例如表示学习,更远语言的跨语言学习,或者作为解析,POS标记和NER等任务的新注释的基础。数据集、停用词和预训练的嵌入可在https://github.com/Andrews2017/KINNEWS-and-KIRNEWS-Corpus上公开获得。
2020-10-23 cs.CL cs.IR cs.LG