Building a Custom Taxonomy of AI Skills and Tasks from the Ground Up with Job Postings
Technical University of Munich(慕尼黑技术大学);Loyola University Chicago(芝加哥洛约拉大学)
本文通过分析招聘广告数据,探讨了如何构建更清晰的人工智能技能和任务分类体系,提出TaxonomyBuilder作为系统研究的蓝图,展示了过滤输入数据能提供更具体的领域覆盖。
2026-05-20 cs.CL
A Comprehensive Survey of Reward Models: Taxonomy, Applications, Challenges, and Future
Peking University(北京大学);Fudan University(复旦大学);Huazhong University of Science and Technology(华中科技大学);Ant Group(蚂蚁集团)
本文从偏好收集、建模、使用等视角全面综述奖励模型(RM),介绍其应用与评估基准,分析挑战及潜在方向,为初学者提供全面入门并促进未来研究,相关资源已公开。
2025-04-12 cs.AI cs.CL
Large Language Models Hallucination: A Comprehensive Survey
本文全面调查大语言模型中的幻觉现象,分析其成因、检测与缓解方法,探讨现有评估指标及未来研究方向。
2026-03-18 cs.CL
Trends in Integration of Knowledge and Large Language Models: A Survey and Taxonomy of Methods, Benchmarks, and Applications
Harbin Institute of Technology(哈尔滨工业大学);Huawei Inc.(华为技术有限公司)
本文系统综述了知识与大语言模型融合的研究趋势,梳理了知识编辑和检索增强等方法、基准与应用的分类体系,并展望未来研究方向。
2024-10-23 cs.CL
FinAuditing: A Financial Taxonomy-Structured Multi-Document Benchmark for Evaluating LLMs
Columbia University(哥伦比亚大学);Stevens Institute of Technology(史蒂文斯理工学院);Rensselaer Polytechnic Institute(拉特格斯理工学院);University of Montreal(蒙特利尔大学);McGill University(麦吉尔大学);MBZUAI(麦吉尔大学人工智能研究所);Cardiff University(卡迪夫大学);The University of Manchester(曼彻斯特大学);Harvard University(哈佛大学)
本文提出FinAuditing,一个基于财务分类结构的多文档基准,用于评估大型语言模型在财务审计任务中的能力,通过三个任务:财务语义匹配、财务关系提取和财务数学推理,揭示了现有LLMs在概念检索、分类感知关系建模和跨文档一致性推理方面的显著差距。
2026-05-17 cs.CE cs.CL cs.IR
Code LLMs: A Taxonomy-based Survey
George Mason University(乔治梅森大学);Rochester Institute of Technology(罗切斯特理工学院)
该综述针对大语言模型在自然语言与编程语言交叉的编码领域的应用,提出基于分类法的统一概念分类框架,梳理相关模型的方法、架构与训练情况,指明该领域的现状与未来方向。
2024-12-11 cs.CL
An ambiguity taxonomy for evaluating large language model performance on clinical registry abstraction: a multi-site prospective study
Carta Healthcare(卡塔医疗);Stanford University School of Medicine(斯坦福大学医学院)
本多中心前瞻性研究评估LLM在临床登记处抽象任务中的性能,发现其准确率远低于人类抽象人员,且随问题歧义度和临床推理要求升高而降低。
2026-08-26 cs.CL
Security and Privacy Taxonomy Generation from Mobile App Reviews
University of Kentucky(肯塔基大学);Louisiana State University(路易斯安那州立大学)
针对现有安全隐私分类体系手工构建、无法适配海量应用评论的问题,提出TaxoScale流程,筛选60万条相关评论构建语料库,其在多指标上优于基线且发现新分支。
2026-10-20 cs.CL
A comprehensive taxonomy of hallucinations in Large Language Models
Universitat de Barcelona(巴塞罗那大学)
本报告提出LLM幻觉的综合分类法,涵盖定义、内在/外在类型、表现、成因、评估与缓解策略,强调幻觉理论必然性,主张未来聚焦检测、缓解与人类监督。
2025-08-03 cs.AI cs.CL
OntoURL: A Benchmark for Evaluating Large Language Models on Symbolic Ontological Understanding, Reasoning and Learning
University of Groningen(格罗宁根大学);Leiden University(莱顿大学)
本研究提出本体能力分类体系与首个综合性基准OntoURL,从理解、推理、学习三维度系统评估大语言模型的符号本体处理能力,揭示了当前模型的优劣势与不同提示策略的影响。
2025-10-02 cs.CL
Evaluating LLM-based Agents for Multi-Turn Conversations: A Survey
Microsoft(微软)
本文提出了一种基于PRISMA框架的系统方法,用于评估多轮对话中基于LLM的代理,通过两个分类系统定义评估内容和方法,涵盖任务完成、响应质量等关键维度。
2026-10-27 cs.AI cs.CL
Evaluating Cultural Knowledge Processing in Large Language Models: A Cognitive Benchmarking Framework Integrating Retrieval-Augmented Generation
United Link Co., Ltd.(联合链接有限公司);National United University(联合大学)
本研究提出一种集成 Bloom 分类法与检索增强生成(RAG)的认知基准框架,利用台湾客家数字文化档案评估大型语言模型处理特定文化知识的语义准确性与文化相关性。
2025-11-03 cs.CL
LLMTaxo: Leveraging Large Language Models for Constructing Taxonomy of Factual Claims from Social Media
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
本文提出 LLMTaxo 框架,利用大型语言模型在多粒度层级上生成主题,自动构建社交媒体事实性声明分类体系,并通过专用指标和三个数据集验证其有效性。
2025-10-20 cs.AI cs.CL cs.SI
Charting the European LLM Benchmarking Landscape: A New Taxonomy and a Set of Best Practices
Jožef Stefan Institute(乔塞夫·斯塔芬研究所);University of Ljubljana(卢布尔雅那大学);Faculty of Arts, University of Ljubljana(艺术学院,卢布尔雅那大学);Faculty of Computer and Information Science, University of Ljubljana(计算机与信息科学学院,卢布尔雅那大学);Institute of Contemporary History(现代史研究所)
本文概述了LLM基准测试进展,针对非英语场景提出新分类法,并提出了促进欧洲语言基准协调发展的最佳实践与质量标准。
2025-11-04 cs.AI cs.CL
A Proposed Rubric for Evaluating Expressed Clinical Reasoning in Large Language Model Responses
Cleveland Clinic London(克利夫兰诊所伦敦分院)
本文提出一种多维评分量规,融合医学教育评估、临床基准和通用推理研究,用于评估大语言模型对临床案例回答中的表达性推理,旨在使评估决策透明化。
2026-11-03 cs.AI cs.CL
NarraBench: A Comprehensive Framework for Narrative Benchmarking
Cornell University(康奈尔大学);McGill University(麦吉尔大学)
NarraBench提出了一种叙事理解任务的分类框架,并指出现有基准在评估叙事事件、风格等关键方面存在不足,呼吁开发更全面的评估方法。
2025-11-29 cs.AI cs.CL
EduEval: A Hierarchical Cognitive Benchmark for Evaluating Large Language Models in Chinese Education
Zhejiang Normal University(浙江师范大学);Hong Kong University of Science and Technology(香港科技大学)
EduEval通过分层认知基准评估大语言模型在中文教育中的表现,揭示其在事实性任务与创造性任务上的差异,并发现开源模型在复杂教育推理上的优势。
2025-11-29 cs.AI cs.CL
Risk Taxonomy, Mitigation, and Assessment Benchmarks of Large Language Model Systems
Zhongguancun Laboratory(中关村实验室);Tsinghua University(清华大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Ant Group(蚂蚁集团)
本文围绕LLM系统的输入、语言模型、工具链和输出四个模块,提出系统化风险分类与缓解策略,并梳理现有评估基准,以推动负责任的LLM系统建设。
2024-01-11 cs.AI cs.CL
Do I look like a `cat.n.01` to you? A Taxonomy Image Generation Benchmark
Skoltech(斯科尔科沃科学技术研究院);HSE University(高等经济大学);University of Hamburg(汉堡大学);AIRI(人工智能研究所)
本文提出分类体系图像生成基准,结合新型指标、人工反馈与 GPT-4 成对评估12个模型,发现其排名不同于标准 T2I 任务,Playground-v2 和 FLUX 表现最佳。
2025-03-13 cs.CL cs.CV
Cognitive Profiling of LRMs' Reasoning Traces Using Bloom's Taxonomy
Institute for Language and Speech Processing, Athena Research Center(雅典娜研究中心语言与言语处理研究所);National Technical University of Athens(雅典国立技术大学)
本研究引入基于布鲁姆教育目标分类学的推理步骤自动标注框架,对LRMs开展大规模分析,发现思维类型与推理正确性相关,为提升推理质量提供洞见。
2026-08-25 cs.AI cs.CL
ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming
Sapienza University of Rome(罗马第一大学);Babelscape;TU Darmstadt(达姆施塔特工业大学);DFKI(德国人工智能研究中心);University of Chicago(芝加哥大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
本研究提出了基于细粒度风险分类体系的大规模安全性评估基准ALERT,通过红队测试方法,利用4.5万余条指令评估大模型安全漏洞与政策对齐情况,实验发现10款主流开源及闭源大语言模型安全水平仍有待提升。
2024-06-24 cs.CL cs.CY cs.LG
Taxonomy of Comprehensive Safety for Clinical Agents
AITRICS(AITRICS 公司);KAIST(韩国科学技术院);Severance Hospital, Yonsei University(延世大学世福兰斯医院)
针对临床聊天机器人现有安全方法不足的问题,提出整合安全过滤与工具选择的21类细粒度TACOS分类体系,经标注数据集实验验证其价值,并得出训练数据分布与基础模型预训练知识相关洞见。
2025-10-01 cs.CL
TELeR: A General Taxonomy of LLM Prompts for Benchmarking Complex Tasks
Auburn University(奥本大学)
本文提出一种用于设计复杂任务提示词的通用分类法TELeR,通过统一提示词标准解决LLM基准测试中因提示词差异导致的性能波动问题,从而实现不同研究的有效比较并得出更准确结论。
2023-10-24 cs.AI cs.CL cs.IR
GeoBenchLLM: A Comprehensive Benchmark for Evaluating LLMs on Geo-Related Tasks
University of Toulouse(图卢兹大学);IRIT(信息与电信科学研究所)
该研究提出GeoBenchLLM综合基准,选取12个地理相关公开数据集评估LLMs的地理空间与时间理解能力,发现推理能力与模型规模对性能影响显著,基准可公开获取。
2026-08-10 cs.AI cs.CL cs.IR
Taxonomy and Analysis of Sensitive User Queries in Generative AI Search
NAVER Search US(NAVER美国搜索);NAVER;Emory University(埃默里大学)
本文针对行业集成生成式LLM服务面临的经验与资源障碍,分享国家级搜索引擎中生成式AI模型开发运营经验,提出敏感搜索查询分类法并分析实际用户数据,为降低相关服务构建障碍提供参考。
2025-04-16 cs.AI cs.CL cs.CY
Towards a comprehensive taxonomy of online abusive language informed by machine leaning
University of Toronto(多伦多大学);University of Waterloo(滑铁卢大学);University College London(伦敦大学学院)
本文提出一个层级式、多面的在线辱骂性语言分类体系,整合18个多标签数据集,包含5个类别和17个维度,以促进在线辱骂检测与缓解领域的协调研究。
2025-04-24 cs.CL
Studying Taxonomy Enrichment on Diachronic WordNet Versions
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
在许多NLP任务中使用了本体、分类法和同义词词典。然而,大多数研究都集中在这些词汇资源的创造,而不是现有的维护。因此,我们解决了分类富集的问题。我们探讨了在资源贫乏的环境中分类扩展的可能性,并提出了适用于大量语言的方法。我们创建了新的英语和俄语数据集,用于训练和评估分类富集模型,并描述了为其他语言创建此类数据集的技术。
2020-11-23 cs.CL
HAD: HAllucination Detection Language Models Based on a Comprehensive Hallucination Taxonomy
Wangxuan Institute of Computer Technology, Peking University(北京大学计算机技术研究院);Alibaba Group(阿里巴巴集团);Fudan University(复旦大学)
针对大语言模型的幻觉问题,本研究提出含11类的综合幻觉分类体系,推出整合检测、跨度识别与修正的HAD模型,在9万合成样本上训练,构建2248样本的测试集,在多个基准上取得最优结果,具备强鲁棒性与通用性。
2025-10-22 cs.CL
Beyond SELECT: A Comprehensive Taxonomy-Guided Benchmark for Real-World Text-to-SQL Translation
ByteDance, China(字节跳动)
本文提出了一种基于分类的文本到SQL数据集生成方法,通过引入新的分类体系和数据合成管道,生成了更具多样性和覆盖性的SQL-Synth数据集,同时揭示了现有LLMs在复杂场景下的性能局限性。
2025-11-24 cs.AI cs.CL
This Prompt is Measuring <MASK>: Evaluating Bias Evaluation in Language Models
University of Edinburgh(爱丁堡大学);National Research Council Canada(加拿大国家研究委员会);Microsoft Research(微软研究院)
本文分析了使用提示评估语言模型偏见的研究,利用测量建模框架构建分类法并审查90项偏见测试,发现其概念化与操作化常存在模糊、隐含假设或不匹配问题,为社区探索更广泛的偏见空间和改进实验设计提供了指导。
2023-05-22 cs.CL
A Comprehensive Taxonomy of Negation for NLP and Neural Retrievers
University of Amsterdam(阿姆斯特丹大学)
本文提出否定分类法、两个基准数据集及逻辑分类机制,以提升神经检索模型对含否定查询的处理能力,并在NevIR上实现更快收敛。
2025-10-14 cs.CL cs.IR
Surveying the Landscape of Image Captioning Evaluation: A Comprehensive Taxonomy, Trends and Metrics Analysis
School of Computer Science and Engineering, The Hebrew University of Jerusalem(希伯来大学耶路撒冷分校计算机科学与工程学院);School of Computing and Information Systems, University of Melbourne(墨尔本大学计算与信息学院)
本文首次对70多种图像描述评估指标进行分类调查,发现多数研究仅依赖五种与人类评分弱相关的指标,并提出基于线性回归的集成方法EnsembEval以提升评估效果。
2025-09-14 cs.CL cs.CV
A Comprehensive Survey of Text Classification Techniques and Their Research Applications: Observational and Experimental Insights
Khalifa University(哈利法大学);University of London, Birkbeck College(伦敦大学伯克贝克学院);Brighton College, Dubai(迪拜布莱顿学院)
本文提出一个基于研究领域的文本分类分层分类法,并通过经验与实验双重评估方法比较和排名各方法学子技术,为研究人员提供领域特定的决策依据。
2024-11-25 cs.CL
A Novel Comprehensive Approach for Estimating Concept Semantic Similarity in WordNet
Zhejiang University(浙江大学);Tarim University(塔里木大学);Princeton University(普林斯顿大学)
概念间语义相似度的计算是许多研究工作的重要基础。本文重点研究了概念相似度计算方法和概念相似度度量,即利用分类法的拓扑参数来估计概念之间的语义相似度。在分析了典型的语义相似度计算方法和典型的语义相似度度量方法的基础上,提出了一种新的混合语义相似度计算方法。通过引入参数dhyp和lch,利用新的概念间相似度计算方法,提出了一种新的概念间语义相似度的综合度量方法。基于WordNet“is a”分类法,在基准数据集R&G上进行了实验,结果表明该方法能明显提高相似度的准确性。我们评估所提出的方法,通过比较五个措施和人工数据之间的相关系数。结果表明,我们的建议优于以前的措施。
2017-03-06 cs.CL
Creating a Fine Grained Entity Type Taxonomy Using LLMs
本文研究利用GPT-4和GPT-4 Turbo通过迭代提示自主构建包含超5000个细粒度实体类型的分类体系,并展示其在关系抽取等信息抽取任务中的应用价值。
2024-02-19 cs.CL
Modeling and Optimizing User Preferences in AI Copilots: A Comprehensive Survey and Taxonomy
School of Computing, Macquarie University(麦考瑞大学计算机学院);Department of Computer Engineering and Information Technology, Shiraz University of Technology(谢里兹技术大学计算机工程与信息技术系)
本调研填补了AI副驾驶中用户偏好优化交叉研究的空白,定义AI副驾驶概念并提出三阶段偏好优化技术分类,为构建用户对齐的AI副驾驶提供统一基础与设计视角。
2026-09-03 cs.AI cs.CL cs.HC
Towards Robust Evaluation: A Comprehensive Taxonomy of Datasets and Metrics for Open Domain Question Answering in the Era of Large Language Models
Apple Inc.(苹果公司)
该研究梳理大语言模型时代开放域问答的基准现状,提出融合模态与难度的新型数据集分类体系,结构化整理评估指标并分析其权衡,为现代问答系统鲁棒评估提供框架,同时指明当前挑战与未来研发方向。
2024-06-19 cs.AI cs.CL cs.IR
Natural Language Interfaces for Spatial and Temporal Databases: A Comprehensive Overview of Methods, Taxonomy, and Future Directions
Department of Computer Science, Marquette University, Milwaukee, Wisconsin, USA(计算机科学系,马凯特大学,密尔沃基,威斯康星州,美国)
本文综述了空间和时间数据库的自然语言接口研究,分析了现有方法的分类、数据集和评估指标,并指出现有研究中的趋势、差异和开放挑战,为未来研究方向提供指导。
2026-03-24 cs.AI cs.CL cs.DB
MRCEval: A Comprehensive, Challenging and Accessible Machine Reading Comprehension Benchmark
Tsinghua University(清华大学)
针对现有MRC数据集缺乏全面评估的问题,本文提出新分类法并构建覆盖13种技能、含2.1K多选题的MRCEval基准,利用LLMs生成和筛选样本,对28个模型评估表明MRC在LLMs时代仍具挑战性。
2025-03-10 cs.AI cs.CL
Vision Mamba: A Comprehensive Survey and Taxonomy
School of Microelectronics and Communication Engineering, Chongqing University(重庆大学微电子与通信工程学院);Peng Cheng Lab(鹏城实验室)
本文全面综述 Mamba 及 SSM 在视觉任务中的扩展与应用,按任务和数据类型梳理其方法、进展与影响,并建立分类体系。
2024-05-07 cs.AI cs.CL cs.CV
Towards Probing Speech-Specific Risks in Large Multimodal Models: A Taxonomy, Benchmark, and Insights
Monash University(莫纳什大学)
本文提出了一种针对语音特定风险的分类体系,涵盖8类风险,并构建了小规模数据集评估大型多模态模型,发现最新模型在检测语音副语言风险上表现不佳。
2024-06-25 cs.CL cs.SD eess.AS