IntelliGraphs: Datasets for Benchmarking Knowledge Graph Generation
University of Amsterdam(阿姆斯特丹大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
针对现有知识图谱相关任务未充分关注结构语义的问题,该研究提出子图推理任务,构建了含逻辑语义的IntelliGraphs数据集及生成器,通过实验验证传统KGE基线模型无法捕捉语义,以推动语义导向的机器学习模型研发。
2023-08-25 cs.AI cs.LG
Knowledge-augmented Few-shot Visual Relation Detection
Tsinghua University(清华大学);The University of Manchester(曼彻斯特大学);Tencent(腾讯)
视觉关系检测(VRD)旨在检测对象之间的关系,以实现图像理解。大多数现有的VRD方法依赖于每个关系的数千个训练样本来实现令人满意的性能。最近的一些论文通过精心设计的管道和预先训练的词向量进行少样本学习来解决这个问题。然而,现有的Few-Shot VRD模型的性能受到泛化能力差的严重阻碍,因为它们难以处理视觉关系的巨大语义多样性。尽管如此,人类有能力根据自己的知识,通过几个例子来学习新的关系。受此启发,我们设计了一个知识增强的,Few-Shot VRD框架,利用文本知识和视觉关系知识,以提高Few-Shot VRD的泛化能力。文本知识和视觉关系知识分别从预先训练的语言模型和自动构建的视觉关系知识图谱中获取。我们广泛验证了我们框架的有效性。在常用的Visual Genome数据集的三个基准上进行的实验表明,我们的性能超过了现有的最先进的模型,有很大的改进。
2023-03-09 cs.AI cs.CV
Learning Meta Representations of One-shot Relations for Temporal Knowledge Graph Link Prediction
LMU Munich(慕尼黑大学);Siemens AG(西门子公司);Technical University of Munich(慕尼黑工业大学)
针对时序知识图谱(TKGs)的单样本关系学习问题,本文将插值和extrapolated链接预测扩展到单样本设置,提出四个大规模基准数据集,并开发TKG推理模型以学习单样本关系,在所有数据集上均取得优越性能。
2023-05-24 cs.AI cs.LG
One-shot Learning for Temporal Knowledge Graphs
USC Information Sciences Institute(南加州大学信息科学研究所)
大多数真实世界的知识图谱的特征在于长尾关系频率分布,其中大部分关系只出现少数几次。这一观察结果引起了最近对低拍摄学习方法的兴趣,这些方法只能从少数几个例子中概括出来。然而,现有的方法是针对静态知识图谱定制的,并且不容易推广到时间设置,其中数据稀缺带来更大的问题,例如,由于新的、以前看不见的关系的出现。我们针对这个缺点,提出了一个一次性的学习框架,在时间知识图谱的链接预测。我们所提出的方法采用了自我注意机制,有效地编码实体之间的时间交互,和一个网络计算一个给定的查询和(一次性)的例子之间的相似性得分。我们的实验表明,该算法优于两个良好的研究基准的最先进的基线,同时实现显着更好的性能稀疏关系。
2020-10-23 cs.AI cs.LG
TA-KAND: Two-stage Attention Triple Enhancement and U-KAN based Diffusion For Few-shot Knowledge Graph Completion
Shanghai Jiao Tong University(上海交通大学)
TA-KAND通过两阶段注意力三重增强和U-KAN扩散模型,解决少样本知识图谱补全问题,实验表明其在两个公开数据集上表现优异。
2026-02-13 cs.AI cs.LG
Few-Shot Knowledge Graph Completion
University of Notre Dame(圣母大学);Pennsylvania State University(宾夕法尼亚州立大学);JD Finance American Corporation(京东金融美国公司)
知识图谱(KG)是各种自然语言处理应用的有用资源。先前的KG完成方法需要大量的训练实例(即,头-尾实体对)。实际情况是,对于大多数关系,只有很少的实体对可用。现有的一次性学习工作限制了方法对Few-Shot场景的推广性,并且没有充分利用监督信息;然而,Few-Shot KG完成尚未得到很好的研究。在这项工作中,我们提出了一种新的Few-Shot关系学习模型(FSRL),旨在发现事实的新关系与Few-Shot参考。FSRL可以有效地从异构图结构中获取知识,聚合Few-Shot引用的表示,并为每个关系匹配引用集的相似实体对。在两个公共数据集上的大量实验表明,FSRL优于最先进的。
2019-11-26 cs.AI cs.CL cs.LG
Ontology-enhanced Prompt-tuning for Few-shot Learning
Zhejiang University(浙江大学);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室);Hangzhou Innovation Center(杭州创新中心);Alibaba Group(阿里巴巴集团);Tecent(腾讯)
少样本学习(FSL)的目标是基于有限数量的样本进行预测。知识图谱和本体库等结构化数据已被用于各种任务中的Few-Shot设置。然而,现有方法所采用的先验知识存在知识缺失、知识噪声和知识异构等问题,影响了少样本学习的性能。在这项研究中,我们探索知识注入FSL与预先训练的语言模型,并提出本体增强提示微调(OntoPrompt)。具体来说,我们开发了基于外部知识图谱的本体转换,以解决知识缺失的问题,实现了结构化知识到文本的转换。我们进一步引入跨度敏感的知识注入,通过一个可见的矩阵来选择有用的知识来处理知识噪声问题。为了弥合知识和文本之间的差距,我们提出了一个集体训练算法来共同优化表示。我们评估我们提出的OntoPrompt在三个任务,包括关系抽取,事件抽取,和知识图谱完成,八个数据集。实验结果表明,我们的方法可以获得更好的Few-Shot性能比基线。
2022-01-27 cs.AI cs.CL cs.IR
A Survey On Few-shot Knowledge Graph Completion with Structural and Commonsense Knowledge
University of Florida(佛罗里达大学)
知识图谱(KG)已成为各种自然语言处理应用的关键组件。常识知识图谱(CKG)是一种特殊类型的知识图谱,其中实体和关系由自由形式的文本组成。然而,以前的KG完成和CKG完成的工作遭受长尾关系和新添加的关系,没有太多的已知三元组进行训练。鉴于此,Few-Shot KG完成(FKGC),它需要图表示学习和少样本学习的优势,已经被提出来挑战有限的注释数据的问题。在本文中,我们全面调查以前的尝试,这些任务的形式,一系列的方法和应用。具体来说,我们首先介绍FKGC挑战,常用的KG和CKG。然后对已有的研究成果从幼儿园的类型和研究方法两个方面进行了系统的分类和总结。最后,我们介绍了FKGC模型在不同领域的预测任务中的应用,并对FKGC的未来研究方向提出了我们的想法。
2023-01-03 cs.AI cs.CL cs.LG
Modularized Transfer Learning with Multiple Knowledge Graphs for Zero-shot Commonsense Reasoning
Yonsei University(延世大学);University of Edinburgh(爱丁堡大学);Google Research(谷歌研究院);Seoul National University(首尔国立大学)
常识推理系统应该能够推广到不同的推理情况。然而,大多数最先进的方法依赖于昂贵的数据注释和过拟合到特定的基准,而不学习如何执行一般的语义推理。为了克服这些缺点,zero-shot QA系统已经通过将常识知识图谱(KG)转换成用于模型训练的合成QA形式样本而显示出作为鲁棒学习方案的前景。考虑到不同常识知识库类型的增加,本文旨在将zero-shot迁移学习场景扩展到多源环境中,使不同知识库能够协同使用。为了实现这一目标,我们建议,以减轻损失的知识,从不同的知识源之间的干扰,通过开发一个模块化的变体的知识聚合作为一个新的zero-shot常识推理框架。五个常识推理基准测试的结果证明了我们的框架的有效性,提高了多个KG的性能。
2022-06-22 cs.AI cs.CL cs.LG
A Benchmarking Study of Embedding-based Entity Alignment for Knowledge Graphs
Nanjing University(南京大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
实体对齐寻求在不同的知识图谱(KG)中找到引用相同现实世界对象的实体。KG嵌入的最新进展推动了基于嵌入的实体对齐的出现,该实体对齐在连续的嵌入空间中对实体进行编码,并基于学习到的嵌入来测量实体的相似性。在本文中,我们对这一新兴领域进行了全面的实验研究。我们调查了23个最近的基于嵌入的实体对齐方法,并根据它们的技术和特点对它们进行分类。我们还提出了一个新的KG抽样算法,我们生成了一组专用的基准数据集与各种异质性和分布的现实评估。我们开发了一个开源库,包括12个代表性的基于嵌入的实体对齐方法,并广泛评估这些方法,以了解他们的优势和局限性。此外,对于目前方法中尚未探索的几个方向,我们进行了探索性实验,并报告了我们的初步研究结果。基准数据集、开放源代码库和实验结果均可在线查阅,并将得到适当维护。
2020-07-20 cs.AI cs.CL cs.DB
Benchmarking Zero-Shot Reasoning Approaches for Error Detection in Solidity Smart Contracts
TeleMídia Lab - PUC-Rio(TeleMídia实验室-巴西利亚大学);BTG Pactual;Instituto Militar de Engenharia(军事工程学院)
本文评估了最新LLM在Solidity智能合约分析中的表现,通过400个合约数据集,在错误检测和分类任务中比较零样本提示策略的效果,发现CoT和ToT显著提升召回率但降低精度,Claude 3 Opus在ToT提示下取得最佳F1分数。
2026-03-20 cs.AI
Beyond Coherence: Benchmarking Professional Editing-Technique Execution in Multi-Shot Audio-Video Generation
Shanghai Jiao Tong University(上海交通大学);Alibaba Group(阿里巴巴集团);Fudan University(复旦大学);UT Austin(德克萨斯大学奥斯汀分校);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
提出CutCraft基准,评估多镜头音视频生成中专业剪辑技术执行,发现现有模型在连贯性与剪辑执行间存在显著差距。
2026-09-15 cs.AI
Benchmarking Open-Source Large Language Models for Persian in Zero-Shot and Few-Shot Learning
Department of Medical Engineering(医学工程系);Electrical Engineering Department(电气工程系);Sharif University of Technology(谢里夫技术大学);Department of Electrical Engineering(电气工程系);University of Tehran(德黑兰大学)
本研究为波斯语NLP任务建立了开源大语言模型的综合基准,通过零样本和少样本评估发现Gemma 2表现最佳,但多数模型在命名实体识别等词元级任务上存在挑战。
2025-10-05 cs.AI cs.CL
GOAL: Towards Benchmarking Few-Shot Sports Game Summarization
Soochow University(苏州大学);Waseda University(早稻田大学)
体育赛事摘要是基于实时评论生成体育新闻的一种技术。该任务已经引起了广泛的研究关注,但仍然是探索可能是由于缺乏相应的英文数据集。因此,在本文中,我们发布了GOAL,第一个英语体育比赛摘要数据集。具体而言,在GOAL中有103个评论-新闻对,其中评论和新闻的平均长度分别为2724.9和476.3个单词。此外,为了支持半监督环境中的研究,GOAL还提供了2,160个未标记的评论文档。基于我们的目标,我们建立和评估了几个基线,包括提取和抽象基线。实验结果表明,这项任务的挑战仍然存在。希望本文的工作能对体育比赛综述的研究起到一定的促进作用。该数据集已在https://github.com/krystalan/goal上发布。
2022-07-18 cs.AI cs.CL
Benchmarking Low-Shot Robustness to Natural Distribution Shifts
Georgia Institute of Technology(佐治亚理工学院)
本文首次系统评测低样本场景下模型对自然分布偏移的鲁棒性,发现不存在普遍更鲁棒的单一模型,且现有干预方法在部分数据集上失效,呼吁社区重视该实际问题。
2023-09-23 cs.AI cs.CV cs.LG
Benchmarking Zero-Shot Recognition with Vision-Language Models: Challenges on Granularity and Specificity
AWS AI Labs(AWS AI实验室);Boson AI;Meta
本文构建聚焦语义粒度与文本特异性的零样本识别基准,系统评估VLM,发现其偏好中等细粒度概念且难以辨别细微错误描述,微调也无法根本解决泛化缺陷。
2024-06-18 cs.AI cs.CV
Benchmarking Large Language Models for Zero-shot and Few-shot Phishing URL Detection
University of North Carolina at Pembroke(北卡罗来纳大学帕克分校)
本文通过统一的零样本和少样本提示框架,评估了大型语言模型在钓鱼网址检测中的性能,揭示了不同模型在泛化能力和实用性上的差异。
2026-02-02 cs.AI cs.CR
Spam-T5: Benchmarking Large Language Models for Few-Shot Email Spam Detection
JPMorgan Chase(摩根大通)
本文提出Spam-T5,一种基于Flan-T5微调的模型,用于少样本电子邮件垃圾邮件检测,在多个数据集上优于基线方法和其他LLMs。
2023-05-07 cs.AI cs.CL
Benchmarking zero-shot stance detection with FlanT5-XXL: Insights from training data, prompting, and decoding strategies into its near-SoTA performance
Indiana University Bloomington(印第安纳大学伯明顿分校);Center for Complex Networks and Systems(复杂网络与系统中心)
本文用 FlanT5-XXL 在多个推文立场数据集上评估零样本立场检测,分析提示、解码、困惑度及否定表述的影响,证明其可匹敌微调 SoTA,并发现正向偏差。
2024-03-01 cs.AI cs.CL cs.LG
ZeroGAR: Benchmarking the Adversarial Robustness of Zero-Shot Graph Models
针对零样本图模型在未见目标图上对抗攻击鲁棒性未知的问题,提出首个系统基准ZeroGAR,评估13个模型在8个数据集上多种攻击下的表现,发现强干净性能不保证鲁棒性,并揭示模型特定脆弱模式及防御方法失效现象。
2026-09-29 cs.AI cs.LG
KGCE: Knowledge-Augmented Dual-Graph Evaluator for Cross-Platform Educational Agent Benchmarking with Multimodal Language Models
Faculty of the School of Computer Science, Central China Normal University(中央财经大学计算机学院)
KGCE提出一种基于多模态语言模型的跨平台教育代理基准评估框架,通过知识库增强和双图评估方法提升对特定学校软件任务的执行效率和评估精度。
2026-01-04 cs.AI
Bongard-HOI: Benchmarking Few-Shot Visual Reasoning for Human-Object Interactions
Northeastern University(东北大学);UCLA(加州大学洛杉矶分校);NVIDIA(英伟达);UT Austin(得克萨斯大学奥斯汀分校);Caltech(加州理工学院)
本文提出Bongard-HOI基准,通过少样本和上下文相关推理评估人-物交互的组合学习能力,并揭示现有模型与人类水平之间的显著差距。
2023-04-13 cs.AI cs.CV cs.LG
Vision Transformers for Zero-Shot Clustering of Animal Images: A Comparative Benchmarking Study
Department of Chemistry and Bioscience(化学与生物科学系);Aalborg University(奥尔堡大学);Department of Architecture, Design and Media Technology(建筑、设计与媒体技术系);Visual Analysis and Perception Lab(视觉分析与感知实验室)
本研究利用视觉变换器模型对动物图像进行零样本聚类,通过对比不同方法展示其在物种分类和生态模式识别中的有效性。
2026-11-10 cs.AI cs.CV
VLAgeBench: Benchmarking Large Vision-Language Models for Zero-Shot Human Age Estimation
Begum Rokeya University, Rangpur(贝古姆·罗基亚大学,朗布尔);American International University - Bangladesh(美国国际大学-孟加拉国)
本文提出VLAgeBench,评估大视觉-语言模型在零样本人类年龄估计中的性能,展示通用LVLM在无微调情况下表现优异,揭示图像质量和人口子群体差异对性能的影响。
2026-03-27 cs.AI cs.CV
Never Seen Before: Benchmarking Genuine Zero-Shot Composed Image Retrieval with Consistent Video-Sourced Datasets
University of Science and Technology of China(中国科学技术大学)
针对现有零样本组合图像检索数据集存在参考与目标图像不相关、非真正零样本的问题,提出ZeroSight基准,包含来自视频的一致参考-目标对和训练无关的MLLM驱动方法SC4CIR,通过三重对称一致性检查识别难负样本,实验表明现有方法性能被高估。
2026-06-05 cs.AI cs.CV
The CLC-UKET Dataset: Benchmarking Case Outcome Prediction for the UK Employment Tribunal
University of Cambridge(剑桥大学)
本文构建含约19,000件英国就业法庭案件的CLC-UKET数据集,并建立多类别结果预测基准,实验显示微调transformer优于零样本和少样本LLM。
2024-10-26 cs.AI cs.CL
MSQA: Benchmarking LLMs on Graduate-Level Materials Science Reasoning and Knowledge
College of Computing(计算学院);School of Materials Science and Engineering(材料科学与工程学院);Georgia Institute of Technology(佐治亚理工学院)
本文提出MSQA基准,包含1757道研究生级材料科学问题,联合评估LLM的事实知识与多步推理能力,实验揭示专有、开源及领域特定LLM间的显著性能差距。
2025-05-29 cs.AI
LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony AI(索尼人工智能);Tsinghua University(清华大学)
LIBERO是一个面向机器人操作的终身学习基准,涵盖130个任务,系统研究陈述性与程序性知识迁移、策略架构、算法、任务顺序鲁棒性及预训练影响,并发现顺序微调优于现有方法。
2023-10-14 cs.AI
Benchmarking Zero-Shot Robustness of Multimodal Foundation Models: A Pilot Study
Washington University in St. Louis(圣路易斯华盛顿大学);Virginia Tech(弗吉尼亚理工大学);UC Davis(加利福尼亚大学戴维斯分校);UC Berkeley(加利福尼亚大学伯克利分校)
本文通过涵盖自然与合成分布偏移及对抗攻击的大规模基准,初步评估了CLIP等零样本多模态模型的鲁棒性,发现其鲁棒性显著低于监督模型,并指出数据重叠是部分原因,凸显了全面评估与改进的必要性。
2024-03-15 cs.AI cs.CL cs.CV
Zero-shot Emotion Annotation in Facial Images Using Large Multimodal Models: Benchmarking and Prospects for Multi-Class, Multi-Frame Approaches
Pennsylvania State University(宾夕法尼亚州立大学);Tsinghua University(清华大学)
本研究探讨了使用GPT-4o-mini模型在FERV39k数据集上进行零样本面部情感标注的可行性,发现三元分类准确率(约64%)优于七类分类(约50%),且多帧整合策略可略微提升标注准确率并降低成本。
2025-08-12 cs.AI cs.CV cs.HC
EnviroExam: Benchmarking Environmental Science Knowledge of Large Language Models
School of Environment, Harbin Institute of Technology(哈尔滨工业大学环境学院)
本文提出 EnviroExam 基准,基于顶尖高校42门课程的936题,对31个开源大模型进行0-shot与5-shot环境科学知识评测,并以变异系数多角度分析模型表现。
2024-05-18 cs.AI cs.CL
Benchmarking Large Language Models for News Summarization
大语言模型(LLM)已经显示出自动摘要的前景,但其成功背后的原因却知之甚少。通过对不同预训练方法、提示和模型尺度的10个LLM进行人工评估,我们得出了两个重要的观察结果。首先,我们发现指令微调,而不是模型大小,是LLM的zero-shot总结能力的关键。其次,现有的研究受到低质量参考文献的限制,导致低估了人类的表现,以及较低的Few-Shot和微调性能。为了更好地评估LLM,我们对我们从自由撰稿人那里收集的高质量摘要进行了人工评估。尽管主要的文体差异,如释义量,我们发现,LMM摘要被判断为与人类的书面摘要。
2023-01-31 cs.AI cs.CL cs.LG
Counterfactual Benchmarking and Training for Factuality Consistency and Order-Robust Grounded Reasoning in LLMs over Heterogeneous Knowledge
Tongji University(同济大学);Swinburne University of Technology(斯威本科技大学);Wuhan University of Technology(武汉理工大学)
本研究构建异构知识下LLM事实一致性基准TKFQA,提出训练框架ORLF,可提升LLM的推理与顺序鲁棒性,优于多种基线方法。
2026-08-11 cs.AI
Seismic Velocity Inversion from Multi-Source Shot Gathers Using Deep Segmentation Networks: Benchmarking U-Net Variants and SeismoLabV3+
Australian Computer Society(澳大利亚计算机学会)
本研究基准测试U-Net、U-Net++、DeepLabV3+及优化变体SeismoLabV3+用于地震速度反演,后者以ResNeXt50骨干和任务修改取得最佳MAPE(验证0.03025,测试0.031246),证明深度分割网络有效且定制改进有价值。
2025-09-07 cs.AI cs.LG physics.geo-ph
Zero-shot Benchmarking: A Framework for Flexible and Scalable Automatic Evaluation of Language Models
Unbabel;Instituto de Telecomunicações(电信研究所);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学技术学院);MICS, CentraleSupélec, Université Paris-Saclay(MICS、CentraleSupélec、巴黎萨克雷大学);ELLIS Unit Lisbon(里斯本ELLIS单位)
该研究提出零样本基准测试(ZSB)框架,利用语言模型自动生成合成测试数据并完成评估,可灵活扩展至多任务多语言多模态场景,其排名与人工排名相关性优于传统标准基准,同时开源了相关基准与代码。
2025-10-29 cs.AI cs.CL
An Empirical Study on Few-shot Knowledge Probing for Pretrained Language Models
MIT(麻省理工学院);New York University(纽约大学)
1-hop关系的基于语义的知识探测已被用于测量有多少世界知识存储在预训练的语言模型中。现有的工作使用大量的数据来调整提示以获得更好的性能。在这项工作中,我们比较了各种方法下的Few-Shot知识探测设置,其中只有少数(例如,10或20)的示例三元组可用。此外,我们创建了一个名为TREx-2 p的新数据集,其中包含2跳关系。我们报告说,Few-Shot的例子可以大大提高探测性能的1跳和2跳的关系。特别是,我们发现,一个简单而有效的方法微调模型中的偏置向量优于现有的工程方法。我们的数据集和代码可以在\url{https://github.com/cloudygoose/fewshot_lama}上找到。
2021-09-11 cs.AI
Integrating Diverse Knowledge Sources for Online One-shot Learning of Novel Tasks
IQM Research Institute(IQM研究院)
本文研究自主智能体整合多种知识源(环境交互、任务执行、自然语言指令和GPT-3响应)以在线一次性学习新任务,实验表明该方法减少人类反馈并提升学习效果。
2023-05-15 cs.AI
Benchmarking Foundation Models for Zero-Shot Biometric Tasks
Department of Computer Science and Engineering(计算机科学与工程系)
本文提出了一个全面的基准测试,评估41个VLMs在人脸和虹膜等六项生物识别任务中的零样本和少样本性能,发现无需微调即可达到高TMR,并验证了预训练模型在通用人工智能中的潜力。
2025-05-30 cs.AI cs.CV
Benchmarking Fairness-aware Graph Neural Networks in Knowledge Graphs
The University of Osaka(大阪大学)
该研究针对现有公平感知图神经网络(GNN)缺乏知识图谱场景评估的空白,基于YAGO等三个大规模知识图谱构建新数据集,在不同GNN骨干和早停条件下测试预处理与处理中公平方法,揭示了知识图谱上准确率与公平性的权衡规律及不同方法的效果差异。
2025-10-21 cs.AI cs.LG
Benchmarking Vision-Language Models on Synapse and Neuron Proofreading in Connectomics
Harvard University(哈佛大学);Boston College(波士顿学院);Nanyang Technological University(南洋理工大学)
本研究基准测试了视觉语言模型在连接组学中的突触检测与校对任务,发现零样本表现接近随机,而LoRA微调可使开源模型媲美专家模型,并在跨物种合并错误识别上超越专家模型。
2026-10-26 cs.AI cs.CV cs.LG
AbsPyramid: Benchmarking the Abstraction Ability of Language Models with a Unified Entailment Graph
Tencent AI Lab(腾讯AI实验室)
本文提出包含221K抽象知识的统一蕴含图AbsPyramid,用于全面评估并增强大语言模型在开放领域中的抽象能力,实验表明训练后可获得基本抽象能力并泛化到未见事件。
2024-04-01 cs.AI cs.CL
Benchmarking Safety Risks of Knowledge-Intensive Reasoning under Malicious Knowledge Editing
School of Computer Science(计算机科学学院)
本文提出EditRisk-Bench,通过整合恶意场景和多级推理任务,系统评估知识编辑对推理行为的影响,揭示恶意知识编辑导致错误推理的风险因素。
2026-05-11 cs.AI cs.CR
Benchmarking Knowledge Editing using Logical Rules
Data Science Group, Heinz Nixdorf Institute, Paderborn University(帕德博恩大学海因茨·尼克斯多夫研究所数据科学组)
提出基于逻辑规则的基准,评估知识编辑方法对单次编辑逻辑后果的处理能力,发现现有方法在蕴含知识上性能下降高达24%。
2026-06-09 cs.AI cs.CL
OKBench: Democratizing LLM Evaluation with Fully Automated, On-Demand, Open Knowledge Benchmarking
University of Chicago(芝加哥大学);TTI-Chicago(芝加哥技术研究所);UC Santa Barbara(圣巴巴拉大学);Stony Brook University(石溪大学)
针对静态知识基准无法捕捉动态知识、集中式编纂滞后于LLM发展的问题,提出全自动智能体框架OKBench,按需生成新闻领域动态知识基准,评估显示其能揭示模型应对新信息的行为并验证检索对缩小模型性能差距的作用。
2025-10-31 cs.AI cs.CL
Zero-Shot Visual Reasoning by Vision-Language Models: Benchmarking and Analysis
ASUS Intelligent Cloud Services (AICS)(华硕智能云服务(AICS));ASUS Global Pte. Ltd.(华硕全球私人有限公司);Centre for Frontier AI Research (CFAR)(前沿人工智能研究中心(CFAR));Institute of High Performance Computing (IHPC)(高性能计算研究所(IHPC));Agency for Science, Technology and Research (A*STAR)(新加坡科学、技术与研究局(A*STAR))
本文通过合成数据集系统基准测试视觉语言模型的零样本视觉推理能力,发现文本场景描述优于视觉嵌入,思维链提示仅在大规模LLM上有效,揭示了VLM在复杂视觉推理中的局限及LLM的重要作用。
2024-08-27 cs.AI cs.CL cs.CV
Adaptive Knowledge-Enhanced Bayesian Meta-Learning for Few-shot Event Detection
Southeast University(东南大学);Monash University(莫纳什大学)
事件检测(ED)旨在检测句子中的事件触发词,并将其分类为特定的事件类型。在现实世界的应用中,ED通常没有足够的标记数据,因此可以表述为少样本学习问题。针对Few-Shot ED中样本多样性低的问题,提出了一种基于知识的Few-Shot事件检测方法。此外,由于外部知识通常提供有限的和不完善的事件类型的覆盖范围,我们引入了一个自适应的知识增强贝叶斯元学习方法来动态调整事件类型的知识先验。实验表明,我们的方法一致,并大大优于至少15个绝对F1点在相同的Few-Shot设置下的一些基线。
2021-05-30 cs.AI cs.CL
BAGEL: Benchmarking Animal Knowledge Expertise in Language Models
Earth Species Project(地球物种项目);NYU Center for Data Science(纽约大学数据科学中心;纽约大学上海);NYU Shanghai(纽约大学上海数据科学中心;纽约大学-复旦大学数学科学研究所);NYU Shanghai Center for Data Science;NYU-ECNU Institute of Mathematical Sciences at NYU Shanghai
BAGEL基准测试评估语言模型在动物知识方面的专精能力,结合多个来源生成封闭式问题对,涵盖分类学、形态学、栖息地等多个方面,旨在提升语言模型在生物多样性应用中的可靠性。
2026-04-17 cs.AI cs.CL
Query Your Way Out: Benchmarking Multi-Turn Knowledge Reasoning through Generalized Puzzle Solving
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院)
该研究针对现有谜题基准的局限性,提出主动探测基准(APB),评估模型多轮主动探测推理能力,发现多数开源推理模型表现逊于标准指令模型,为交互式知识推理提供了可扩展基准生成流程。
2026-10-14 cs.AI cs.CL
T2I-FactualBench: Benchmarking the Factuality of Text-to-Image Models with Knowledge-Intensive Concepts
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Nanyang Technological University(南洋理工大学)
本文提出T2I-FactualBench,通过知识密集概念评估文本到图像模型的事实性,揭示当前SOTA模型在事实性上的不足。
2025-06-04 cs.AI cs.CV
ForgetBench: Benchmarking Forgetting Dynamics of Long-Term Parametric Memory in Language Models
本研究提出ForgetBench基准测试,通过两种评估范式与统一分析框架,揭示现有LLMs在长期知识保留与泛化间难以平衡的问题,为未来模型记忆机制优化提供方向。
2026-10-14 cs.AI cs.CL
CresOWLve: Benchmarking Creative Problem-Solving Over Real-World Knowledge
EPFL(瑞士联邦理工学院洛桑);Università della Svizzera italiana (USI)(意大利语区瑞士大学)
本文提出CresOWLve基准测试,评估创造性问题解决能力,通过现实世界知识中的谜题,发现模型在事实性问题与创造性问题上的表现差异显著。
2026-08-11 cs.AI cs.CL
What Can Knowledge Bring to Machine Learning? -- A Survey of Low-shot Learning for Structured Data
University of Southampton(南安普顿大学);South China University of Technology(华南理工大学)
有监督的机器学习有几个缺点,使其难以在许多情况下使用。缺点包括:严重依赖于大量的训练数据,有限的泛化能力和高层次语义的表达能力差。Low-shot Learning试图解决这些缺点。Low-shot学习允许模型在很少或没有训练数据的情况下获得良好的预测能力,其中结构化知识作为人类的高级语义表示起着关键作用。本文将回顾低拍摄学习技术的基本因素,重点是在不同的低拍摄条件下的结构化知识的操作。我们还介绍了与低拍摄学习相关的其他技术。最后指出了低拍学习的局限性、工业应用的前景和差距以及未来的研究方向。
2021-06-11 cs.AI cs.LG
CorporateBench: Large-Scale Q&A Benchmarking with Temporal Knowledge Bases
Epiq AI Labs(Epiq AI实验室);Cornell University(康奈尔大学)
研究针对企业级LLM评估的数据集难题,构建了含23万+文档的CorporateBench基准,从信息提取与知识库查询维度评估5种LLM,发现输入规模接近实际时性能下降,填补了相关评估指标空白。
2026-08-28 cs.AI cs.CL cs.IR
Knowledge-aware Zero-Shot Learning: Survey and Perspective
Zhejiang University(浙江大学);University of Oxford(牛津大学);The University of Edinburgh(爱丁堡大学)
零样本学习(Zero-shot learning,缩写为ZRL),其目标是使用外部知识(也称为“零样本学习”)预测在训练期间从未出现过的类。侧信息)已经被广泛研究。本文从外部知识的角度对外语学习进行了文献综述,对外语学习中的外部知识进行了分类,对各种外部知识的研究方法进行了综述,并对不同外部知识进行了比较。通过文献回顾,我们进一步讨论和展望了符号知识在解决机器学习和其他机器学习样本不足问题中的作用。
2021-05-10 cs.AI cs.LG