Knowledge Graph-Driven Retrieval-Augmented Generation: Integrating Deepseek-R1 with Weaviate for Advanced Chatbot Applications
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学);Digital Science & Research Solutions Ltd(数字科学与研究解决方案有限公司)
针对大型语言模型输出未经验证的问题,提出结合结构化生物医学知识与检索增强生成的框架,构建AMD相关知识图谱并集成Deepseek-R1与Weaviate,显著减少幻觉、提升事实准确性,为生物医学聊天机器人提供稳健方案。
2025-02-16 cs.AI cs.CL
Incorporating Connections Beyond Knowledge Embeddings: A Plug-and-Play Module to Enhance Commonsense Reasoning in Machine Reading Comprehension
School of EECS, Peking University(北京大学电子工程与计算机科学学院);Peng Cheng Laboratory(鹏城实验室)
传统的机器阅读理解(MRC)已经通过模式匹配得到了很好的解决,但常识推理的能力仍然是人类和机器之间的差距。以前的方法通过预训练的知识图谱嵌入(KGE)丰富单词表示来解决这个问题。然而,它们对知识图谱(KG)中节点之间的大量连接的利用有限,这些连接可能是构建常识推理链的关键线索。在本文中,我们提出了一个即插即用的模块来存储连接信息的常识推理(PIECER)。除了用知识嵌入丰富单词表示外,PIECER还构建了一个联合查询-通道图,通过单词之间面向知识的连接来明确地指导常识推理。此外,PIECER具有很高的通用性,因为它可以插入到任何MRC模型的合适位置。实验结果ReCoRD,一个大规模的公共MRC数据集,需要常识推理,PIECER介绍了稳定的性能改善四个代表性的基础MRC模型,特别是在低资源设置。
2021-03-26 cs.AI cs.CL
Coupling Machine Learning with Ontology for Robotics Applications
Robotaar(Robotaar 公司);Sinai University(西奈大学)
本文提出一种将机器学习与知识库本体耦合的两层智能方法,通过两个风险感知实验验证其在自主系统中的计算可行性和线性时间复杂度。
2024-06-08 cs.AI cs.RO
Facilitating automated conversion of scientific knowledge into scientific simulation models with the Machine Assisted Generation, Calibration, and Comparison (MAGCC) Framework
University of Vermont Larner College of Medicine(佛蒙特大学拉纳医学院)
机器辅助生成、比较和校准(MAGCC)框架为科学仿真模型的开发、实施、测试和使用中经常出现的关键步骤和过程提供机器辅助和自动化。MAGCC通过自然语言处理或从现有数学模型中提取知识来连接系统,并提供全面的工作流程,包括科学模型的组成和人工智能(AI)辅助的代码生成。MAGCC通过以下方式实现这一目标:1)开发全面表达的正式知识表示知识库,结构化科学知识表示(SSKR),其包含制作任何仿真模型所需的所有类型的信息,2)使用人工智能逻辑推理系统,计算建模助理(CMA),其从SSKR获取信息并以可追踪的方式生成,跨一系列仿真建模方法的模型规范,以及3)使用CMA从那些模型规范生成用于仿真模型的可执行代码。MAGCC框架可以定制任何科学领域,未来的工作将整合新开发的代码生成AI系统。
2022-04-21 cs.AI cs.LG
JediKG: Return of the Schema
Dipartimento di Informatica -- University of Bari Aldo Moro, Italy(巴里阿尔多·莫罗大学计算机系);CILA -- University of Bari Aldo Moro, Italy(巴里阿尔多·莫罗大学计算机系)
本文提出了一种工作流,用于提取包含模式和基础事实的完整数据集,以支持机器学习和知识图谱推理,并提供了相关工具和数据集。
2026-11-04 cs.AI cs.LG
Accelerating Road Sign Ground Truth Construction with Knowledge Graph and Machine Learning
Bosch Corporation Research(博世公司研究院);Bosch Chassis Systems Control(博世底盘系统控制部)
拥有一个全面、高质量的道路标志标注数据集对于基于AI的道路标志识别(RSR)系统的成功至关重要。在实践中,注释员在学习不同国家的道路标志系统时往往面临困难;因此,这些任务往往耗时且效果不佳。我们提出了一种新的方法,使用知识图谱和机器学习算法-变分原型编码器(VPE)-来帮助人类注释者有效地分类路标。注释器可以使用视觉属性查询道路标志知识图谱,并接收VPE模型建议的最接近的匹配候选。VPE模型使用来自知识图谱的候选者和真实标志图像块作为输入。我们表明,我们的知识图谱方法可以减少98.9%的符号搜索空间。此外,通过VPE,我们的系统可以为测试数据集中75%的符号提出正确的单个候选,在这些情况下完全消除了人类搜索工作。
2020-12-04 cs.AI cs.CV
Evaluation Metrics for Symbolic Knowledge Extracted from Machine Learning Black Boxes: A Discussion Paper
University of Urbino(乌尔比诺大学);Alma Mater Studiorum —University of Bologna(博洛尼亚大学)
随着不透明决策系统越来越多地被应用于几乎所有的应用领域,其缺乏透明度和人类可读性的问题成为最终用户的具体问题。在将人类可解释的知识与不透明模型提供的准确预测相关联的现有建议中,存在规则提取技术,能够从不透明模型中提取符号知识。然而,如何定量地评估提取的知识的可读性水平仍然是一个悬而未决的问题。找到这样一个指标将是关键,例如,使一组不同的知识表示之间的自动比较,为知识提取器的参数自动调整算法的发展铺平了道路。在本文中,我们讨论了这样一个指标的必要性以及可读性评估和评价的关键性,考虑到最常见的知识表示,同时突出最令人困惑的问题。
2022-11-01 cs.AI cs.LG
ExeKGLib: Knowledge Graphs-Empowered Machine Learning Analytics
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Mannheim(曼海姆大学);University of Oslo(奥斯陆大学);RWTH Aachen(亚琛工业大学);Oslo Metropolitan University(奥斯陆城市大学)
针对典型机器学习流水线构建复杂、需调用多类库的问题,研究推出Python库ExeKGLib,依托知识图谱帮助低ML知识的编码者构建可执行、高透明可复用的流水线,验证了其相对传统代码的优势。
2023-05-04 cs.AI cs.LG
Informed Machine Learning -- A Taxonomy and Survey of Integrating Knowledge into Learning Systems
Fraunhofer Center for Machine Learning(弗劳恩霍夫机器学习中心);Fraunhofer IAIS, Institute for Intelligent Analysis and Information Systems(弗劳恩霍夫智能分析与信息系统研究所);Fraunhofer SCAI, Institute for Algorithms and Scientific Computing(弗劳恩霍夫算法与科学计算研究所);Fraunhofer ITWM, Institute for Industrial Mathematics(弗劳恩霍夫工业数学研究所);Fraunhofer IOSB, Institute for Optronics, System Technologies and Image Exploitation(弗劳恩霍夫光电子学、系统技术与图像开发研究所)
尽管机器学习取得了巨大的成功,但在处理不充分的训练数据时,它也有其局限性。一个潜在的解决方案是将先验知识额外整合到训练过程中,这导致了知情机器学习的概念。在本文中,我们提出了一个结构化的概述在这一领域的各种方法。我们提供了一个定义,并提出了一个概念,通知机器学习,说明其构建块,并区分它从传统的机器学习。我们介绍了一个分类法,作为一个分类框架,知情的机器学习方法。它考虑了知识的来源,它的表示,并将其集成到机器学习管道。基于这种分类法,我们调查相关的研究,并描述如何不同的知识表示,如代数方程,逻辑规则,或模拟结果可以用于学习系统。基于我们的分类法对大量论文的评估揭示了知情机器学习领域的关键方法。
2021-05-28 cs.AI cs.LG stat.ML
PyKale: Knowledge-Aware Machine Learning from Multiple Sources in Python
The University of Sheffield(谢菲尔德大学);Indian Institute of Technology, Delhi(印度理工学院德里分校)
机器学习是一种通用技术,有望解决许多跨学科的研究问题。然而,当大多数机器学习工具分别在不同领域开发时,在跨越学科边界方面存在重大障碍。我们介绍Pykale -一个用于图形,图像,文本和视频知识感知机器学习的Python库,以实现和加速跨学科研究。我们制定了新的绿色机器学习准则的基础上,标准的软件工程实践,并提出了一种新的基于流水线的应用程序编程接口(API)。PyKale专注于利用来自多个来源的知识进行准确和可解释的预测,从而支持多模态学习和迁移学习(特别是领域自适应),并使用最新的深度学习和降维模型。我们在PyTorch上构建PyKale,并利用丰富的PyTorch生态系统。我们基于流水线的API设计强制执行标准化和极简主义,通过减少重复和冗余、重用现有资源以及跨领域回收学习模型来拥抱绿色机器学习概念。我们通过生物信息学,知识图谱,图像/视频识别和医学成像的例子来展示其跨学科的性质。
2021-06-17 cs.AI cs.CV cs.LG
Machine learning on knowledge graphs for context-aware security monitoring
Siemens Technology(西门子技术)
针对现有入侵检测方法告警数量多、相关性不足的问题,研究了知识图谱机器学习在入侵检测中的应用,评估了一种链接预测方法,证实其可生成校准良好且可解释的告警,展现了关系机器学习的应用潜力。
2021-05-18 cs.AI cs.CR cs.LG
Data Science with Vadalog: Bridging Machine Learning and Reasoning
University of Oxford(牛津大学);Banca d’Italia(意大利银行);TU Wien(维也纳工业大学)
在最近大型科技公司的成功例子之后,许多现代企业寻求构建知识图谱,以提供企业知识的统一视图,并使用机器学习和逻辑推理来获得深刻的见解。目前,数据科学的传统方法(通常基于机器学习和统计建模)与使用领域知识进行推理的系统之间存在脱节。在本文中,我们提出了一个国家的最先进的知识图谱管理系统,Vadapter,它提供了高度的表达和高效的逻辑推理,并提供无缝集成与现代数据科学工具包,如数据库平台。我们演示了如何使用Vadmind来执行传统的数据处理任务,以及复杂的逻辑和概率推理。我们认为,这是在数据科学中将机器学习和推理结合起来的重要一步。
2018-07-23 cs.AI cs.DB
Knowledge Graph semantic enhancement of input data for improving AI
Amazon(亚马逊);AI Institute, University of South Carolina(南卡罗来纳大学人工智能研究所);Wright State University(莱特州立大学)
使用机器学习算法设计的智能系统需要大量的标记数据。背景知识提供补充的真实世界事实信息,其可以增强有限的标记数据以训练机器学习算法。知识图谱(KG)这一术语在许多实际应用中非常流行,将这些背景知识以图的形式组织起来是方便和有用的。最近的学术研究和实现的工业智能系统已经显示出将训练数据与知识图谱相结合的机器学习算法的有前途的性能。在本文中,我们讨论了使用相关KG来增强两个使用机器学习的应用程序的输入数据-推荐和社区发现。KG提高了准确性和可解释性。
2020-05-10 cs.AI cs.CL cs.LG
Pantograph: A Machine-to-Machine Interaction Interface for Advanced Theorem Proving, High Level Reasoning, and Data Extraction in Lean 4
Stanford University(斯坦福大学)
本文提出工具 Pantograph,为 Lean 4 证明助手提供多功能接口,结合 Monte Carlo Tree Search 实现高效证明搜索与高层推理,推动机器学习模型进行复杂定理证明。
2025-01-31 cs.AI cs.LG cs.LO
Publishing FAIR and Machine-actionable Reviews in Materials Science: The Case for Symbolic Knowledge in Neuro-symbolic Artificial Intelligence
TIB Leibniz Information Centre for Science and Technology(莱布尼茨科学技术信息中心);L3S Research Center, Leibniz University Hannover(汉诺威莱布尼茨大学L3S研究中心);Eindhoven University of Technology (TU/e)(埃因霍温理工大学);University of Warwick(华威大学);Leibniz Institute for Solid State and Materials Research (IFW)(莱布尼茨固体与材料研究所)
本文提出通过FAIR标准和ORKG发布可机器执行的材料科学评论,强调符号层在神经符号AI中的核心作用。
2026-01-08 cs.AI cs.CL cs.DL
Wikipedia for Smart Machines and Double Deep Machine Learning
Arison School of Business, Interdisciplinary Center (IDC)(阿里森商学院,跨学科中心(IDC))
以数据为中心的深度学习算法取得了非常重要的突破,在人脸识别或心电图分类等人工智能(AI)的事务点应用中取得了令人印象深刻的性能。然而,尽管如此,仅知识盲数据的机器学习算法对于非事务性AI应用具有严重的局限性,例如EKG结果之外的医疗诊断。这些应用需要更深入和更广泛的知识来解决问题,例如将解剖学和生理学知识与EKG结果和其他患者发现相结合。在回顾和说明了几个现实生活中的AI应用程序的这些限制之后,我们指出了克服这些限制的方法。Wikipedia for Smart Machines计划旨在构建软件结构库,这些软件结构库代表了人类生活各个方面的科学和技术知识;我们在学校,大学和职业生涯中学习的知识。这些存储库的目标读者是智能机器,而不是人类。人工智能软件开发人员将拥有这些可重用的知识结构,因此,建议的名称ReKopedia。大数据已经是一项成熟的技术,是时候关注大知识了。有些将从数据中获得,有些将从人类巨大的知识库中获得。智能机器的Wikipedia以及新的双重深度学习方法提供了一种范式,用于将以知识为中心的深度学习算法与利用深度知识的算法(例如证据推理和因果关系推理)集成在一起。为了说明,描述了一个项目,以产生ReKopedia知识模块,用于约1,000种疾病的医学诊断。数据固然重要,但知识深度、基础性和常识性也同样重要。
2018-05-22 cs.AI
Performance Prediction and Optimization of Solar Water Heater via a Knowledge-Based Machine Learning Method
University of Texas at Austin(德克萨斯大学奥斯汀分校);North China Electric Power University(华北电力大学)
测量太阳能和传热系统的性能需要大量的时间、经济成本和人力。同时,由于复杂的内部结构,直接预测其性能具有挑战性。幸运的是,基于知识的机器学习方法可以为能源系统的性能提供有前途的预测和优化策略。在本章中,作者将展示他们如何利用从大型实验数据库中训练的机器学习模型对太阳能热水器(SWH)系统进行精确预测和优化。提出了一种新的基于高通量筛选(HTS)过程的能源系统优化策略。本章包括:i)对各种机器学习模型(人工神经网络(ANN)、支持向量机(SVM)和极端学习机(ELM))进行比较研究,以预测SWH的性能; ii)开发基于ANN的软件,以帮助快速预测; iii)引入计算HTS方法,以设计高性能SWH系统。
2017-10-06 cs.AI
Knowledge will Propel Machine Understanding of Content: Extrapolating from Current Examples
Wright State University(莱特州立大学)
机器学习在人工智能复苏期间一直是一个巨大的成功故事。一个特别突出的成功与从大量数据中学习有关。尽管早期断言数据的不合理的有效性,但人们越来越认识到,只要有知识,或者可以有目的地创造知识,就应该利用知识。在本文中,我们讨论了知识对于更深入地理解内容的不可或缺的作用,其中(i)大量训练数据不可用,(ii)要识别的对象是复杂的,(例如,隐式实体和高度主观的内容),以及(iii)应用程序需要在多个模态/媒体中使用补充或相关数据。使我们快速进步的是我们能够(a)创建相关和可靠的知识,以及(b)仔细利用知识来增强ML/NLP技术。使用不同的例子,我们试图预测前所未有的进步,我们的能力,更深入地理解和利用多模态数据,并继续纳入知识的学习技术。
2017-07-14 cs.AI
Integrating Machine Learning into Belief-Desire-Intention Agents: Current Advances and Open Challenges
本文以BDI范式为参照,系统梳理了将机器学习融入理性智能体的现有方法,指出领域碎片化问题,并总结了设计有效理性ML智能体的关键机遇与开放挑战。
2025-10-23 cs.AI
Interpretable Automated Machine Learning in Maana(TM) Knowledge Platform
Maana, Inc.(Maana公司)
机器学习正在成为许多工业应用开发解决方案的重要组成部分,但缺乏可解释性阻碍了快速构建、测试、部署和验证机器学习模型的广泛行业采用,因为开发机器学习解决方案的洞察力没有在结构上编码、合理化和转移。在本文中,我们描述了Maana元学习服务,一个可解释的和交互式的自动机器学习服务驻留在Maana知识平台,执行机器引导,用户辅助管道搜索和超参数调整,并生成结构化的知识的管道分析和选择的决定。该服务随Maana知识平台提供,并使用基准数据集进行验证。此外,它从管道搜索中获取知识的能力促进了各种推理任务,并转移到类似的数据科学项目。
2019-05-06 cs.AI cs.LG
Enhancing Zero-shot Commonsense Reasoning by Integrating Visual Knowledge via Machine Imagination
Department of Artificial Intelligence, Korea University(人工智能系,韩国大学);Department of Computer Science and Engineering, Korea University(计算机科学与工程系,韩国大学)
本文提出Imagine框架,通过整合视觉知识提升零样本常识推理性能,有效缓解人类报告偏见,增强模型泛化能力。
2026-03-05 cs.AI
Machine Knowledge: Creation and Curation of Comprehensive Knowledge Bases
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Amazon(亚马逊);Telecom Paris University(巴黎电信大学)
为机器配备关于世界实体及其关系的全面知识一直是人工智能的长期目标。在过去的十年中,大规模的知识库,也被称为知识图谱,已经从网络内容和文本源自动构建,并已成为搜索引擎的关键资产。这种机器知识可以用来语义解释新闻、社交媒体和网络表格中的文本短语,并有助于问答、自然语言处理和数据分析。本文概述了创建和管理大型知识库的基本概念和实用方法。它涵盖了用于发现和规范化实体及其语义类型并将其组织成清晰分类的模型和方法。在此基础上,本文讨论了以实体为中心的属性的自动提取。为了支持机器知识的长期生命周期和质量保证,本文提出了构建开放模式和知识策展的方法。对学术项目和工业知识图谱的案例研究补充了概念和方法的调查。
2021-03-22 cs.AI cs.DB
Knowledge-based Entity Prediction for Improved Machine Perception in Autonomous Systems
Bosch Research and Technology Center(博世研究与技术中心)
基于知识的实体预测(KEP)是一个新的任务,旨在提高自主系统中的机器感知。KEP利用来自异构源的关系知识来预测可能无法识别的实体。在本文中,我们提供了一个正式的定义KEP作为一个知识完成任务。然后介绍了三种可能的解决方案,它们采用了几种机器学习和数据采掘技术。最后,KEP的适用性证明了两个自主系统从不同的领域,即,自动驾驶和智能制造。我们认为,在复杂的现实世界系统中,KEP的使用将显着提高机器的感知能力,同时推动当前技术更接近实现完全自主。
2022-06-09 cs.AI cs.CV
Integration of knowledge and data in machine learning
Eastern Institute for Advanced Study(东方高等研究院);Yongriver Institute of Technology(甬江理工学院);National Center for Applied Mathematics Shenzhen (NCAMS)(深圳国家应用数学中心);Southern University of Science and Technology(南方科技大学);Peng Cheng Laboratory(鹏城实验室)
科学研究的任务是理解和探索世界,并根据经验和知识对其进行改进。知识嵌入和知识发现是知识与数据集成的两种重要方法。通过知识嵌入,可以消除知识和数据之间的壁垒,建立具有物理常识的机器学习模型。同时,人类对世界的理解总是有限的,知识发现利用机器学习从观察中提取新的知识。知识发现不仅可以帮助研究者更好地把握物理学的本质,而且可以支持他们进行知识嵌入研究。将知识嵌入和知识发现相结合,形成知识生成和使用的闭环,提高模型的鲁棒性和准确性,揭示未知的科学原理。本研究总结和分析了现存的文献,以及确定研究的差距和未来的机会。
2022-04-09 cs.AI cs.LG
Machine Reading with Background Knowledge
Carnegie Mellon University(卡内基梅隆大学)
能够自动理解自然语言文本的智能系统对于包括移动电话语音助理、计算机视觉和机器人技术在内的许多人工智能应用是重要的。理解语言通常是将新的信息融入先前获得的世界观。然而,许多机器阅读系统仅依赖于文本来推断其含义。在本文中,我们追求一种不同的方法;机器阅读方法,利用背景知识,以促进语言理解。为此,我们开发了两种方法:第一种方法解决介词短语连接歧义。它在半监督机器学习算法中使用背景知识,该算法从标记和未标记的数据中学习。这种方法在两个数据集上对强基线产生最先进的结果;第二种方法从复合名词中提取关系。我们的复合名词分析的知识感知方法准确地提取关系,并显着优于基线,不利用背景知识。
2016-12-16 cs.AI cs.CL
SYNERGY: Building Task Bots at Scale Using Symbolic Knowledge and Machine Teaching
Microsoft Research(微软研究院);Iowa State University(爱荷华州立大学)
在本文中,我们探索了使用符号知识和机器教学来减少人类在构建神经任务机器人时的数据标记工作。我们提出了SYNERGY,一个混合学习框架,其中的任务机器人的开发分为两个步骤:(i)符号知识的神经网络:大量的模拟对话会话生成的基础上,特定于任务的符号知识表示为一个任务模式,包括对话流和面向任务的数据库。然后,预先训练的神经对话模型SOLOIST在模拟对话框上进行微调,以构建用于任务的机器人。(ii)神经学习:微调的神经对话模型通过机器教学不断完善,其中训练样本由人类教师与任务机器人交互生成。我们在四个对话任务上验证SYNERGY。实验结果表明,SYNERGY将特定于任务的知识映射到神经对话模型中,实现了更大的对话流多样性和覆盖率,并通过机器教学不断提高模型性能,从而展示了符号知识和机器教学的强大协同效应。
2021-10-21 cs.AI cs.CL
Machine Learning with World Knowledge: The Position and Survey
Hong Kong University of Science and Technology(香港科技大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
机器学习已经在多个领域变得普遍,影响了各种各样的应用,例如知识发现和数据采掘、自然语言处理、信息检索、计算机视觉、社会和健康信息学、普适计算等。机器学习的两个基本问题是如何生成特征和如何获取标签以供机器学习。特别是,为每个特定领域的问题标记大量数据可能非常耗时且成本高昂。它已经成为使学习协议在应用中变得现实的一个关键障碍。在本文中,我们将讨论如何使用现有的通用世界知识来增强机器学习过程,通过丰富的功能或减少标记工作。本文从世界知识与领域知识的比较入手,介绍了在学习过程中运用世界知识的三个关键问题,即:显式和隐式特征表示、用于知识链接和消歧的推理以及在直接或间接监督下的学习。最后,我们讨论了未来的研究方向。
2017-05-08 cs.AI cs.LG stat.ML
Knowledge Tracing Machines: Factorization Machines for Knowledge Tracing
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Kyoto University(京都大学)
知识追踪是一个序列预测问题,其目标是预测学生在与学习平台交互时对问题的结果。通过跟踪一些学生知识的演变,可以优化教学。现有的方法要么是基于时间潜变量模型,或因素分析的时间特征。我们在这里表明,因子分解机(FM),回归或分类模型,包括几个现有的模型在教育文献中的特殊情况下,特别是添加剂因子模型,性能因子模型,和多维项目反应理论。我们表明,使用几个真实的数据集的成千上万的用户和项目,FM可以准确和快速地估计学生的知识,即使学生的数据是稀疏观察,并处理边信息,如多个知识组件和尝试次数在项目或技能水平。我们的方法允许适应比现有模型更高维度的学生模型,并提供了一个测试平台来尝试新的功能组合,以改善现有模型。
2018-11-15 cs.AI cs.IR cs.LG
Knowledge-enhanced Neural Machine Reasoning: A Review
Emory University(埃默里大学);Microsoft(微软);NEC Laboratories America(NEC美国实验室);Duke University(杜克大学)
知识增强的神经机器推理作为一个前沿但具有挑战性的研究领域,具有众多的实际应用,已经引起了人们的极大关注。在过去的几年里,大量的研究利用各种形式的外部知识来增强深度模型的推理能力,解决诸如有效的知识集成、隐式知识挖掘以及易处理性和优化问题等挑战。然而,缺乏一个全面的技术审查现有的知识增强推理技术在不同的应用领域。该调查深入研究了该领域的最新进展,引入了一种新的分类法,将现有的知识增强方法分为两个主要类别和四个子类别。我们系统地讨论这些方法,并强调它们的相互关系,优势和局限性。最后,我们阐明了当前的应用领域,并提供了深入了解未来研究的前景。
2023-02-07 cs.AI cs.NE
Machine Learning for the Control and Monitoring of Electric Machine Drives: Advances and Trends
Georgia Institute of Technology(佐治亚理工学院);Joby Aviation(乔比航空公司);Paderborn University(帕德博恩大学)
本综述系统总结了机器学习在电机驱动控制与监测中的应用,指出数据驱动方法将成为标准工具,并展望了ML算法在嵌入式SoC FPGA器件上的工业部署前景。
2023-02-18 cs.AI cs.SY eess.SY
Leveraging Knowledge Bases in LSTMs for Improving Machine Reading
Carnegie Mellon University(卡内基梅隆大学)
本文主要研究如何利用外部知识库(KB)来改进递归神经网络以实现机器阅读。利用知识库中的知识的传统方法将知识编码为离散的指示符特征。这些特征不仅泛化能力差,而且需要特定于任务的特征工程来实现良好的性能。我们提出了KBLSTM,这是一种新型的神经模型,它利用知识库的连续表示来增强机器阅读递归神经网络的学习。为了有效地将背景知识与当前处理的文本中的信息相结合,我们的模型采用了一种带有哨兵的注意力机制来自适应地决定是否关注背景知识以及知识库中的哪些信息是有用的。实验结果表明,我们的模型实现的准确性,超过了以前的国家的最先进的结果,实体提取和事件提取广泛使用的ACE2005数据集。
2019-02-25 cs.AI cs.CL cs.LG
Selective Knowledge Distillation for Neural Machine Translation
Peking University(北京大学);Tencent Inc(腾讯公司)
神经机器翻译(NMT)模型在许多翻译基准测试中达到了最先进的性能。知识蒸馏是网络数学模型中一个活跃的研究领域,它通过在每个训练样本上转移教师模型的知识来提高模型的性能。然而,以往的工作很少讨论这些样本之间的不同影响和联系,这些样本作为教师知识转移的媒介。在本文中,我们设计了一个新的协议,可以有效地分析不同的样本的影响,通过比较不同的样本的分区。在此基础上,我们进行了大量的实验,发现教师的知识并不是越多越好。对特定样本的知识甚至可能损害知识蒸馏的整体性能。最后,为了解决这些问题,我们提出了两个简单而有效的策略,即,批量级和全局级选择,以挑选合适的样品进行蒸馏。我们在两个大规模的机器翻译任务上评估了我们的方法,WMT'14英语->德语和WMT'19中文->英语。实验结果表明,我们的方法产生高达+1.28和+0.89 BLEU点的改进,分别超过Transformer基线。
2021-05-27 cs.AI cs.CL
Reference Knowledgeable Network for Machine Reading Comprehension
Shanghai Jiao Tong University(上海交通大学)
多项选择机器阅读理解(MRC)是一项挑战,它要求模型从一组候选答案中选择最合适的答案。现有的研究大多集中在对特定任务或复杂网络的建模上,没有明确地引用相关的、可信的外部知识源,这在很大程度上弥补了本文的不足。因此,我们提出了一种新的基于参考的知识增强模型称为参考知识网络(RekNet),它模拟人类的阅读策略,从文章中提炼关键信息,并在必要时引用明确的知识。具体来说,RekNet对关键信息进行细化,定义为参考广度,并通过参考广度和候选词的共现信息引用显式知识四元组。建议的RekNet在三个多选择MRC基准上进行评估:RACE,DREAM和Cosmos QA,获得一致和显着的性能改进,在强基线上具有可观察的统计显著性水平。我们的代码可在https://github.com/Yilin1111/RekNet上获得。
2022-03-26 cs.AI cs.CL
Machine Learning and Knowledge: Why Robustness Matters
本文从认识论角度提出,对机器学习算法的信任应理解为用户能否知道其输出正确,并据此论证可解释性、因果捷径独立性和分布偏移鲁棒性等属性为何重要。
2023-10-23 cs.AI cs.LG
Explicit Utilization of General Knowledge in Machine Reading Comprehension
York University(约克大学)
为了弥补机器阅读理解(MRC)模型与人类之间的差距,主要体现在对数据的渴求和对噪声的鲁棒性上,本文探讨如何将MRC模型的神经网络与人类的一般知识相结合。一方面,我们提出了一种数据丰富的方法,它使用WordNet提取词间语义连接作为一般知识,从每个给定的问题对。另一方面,我们提出了一个端到端的MRC模型命名为知识辅助阅读器(KAR),它显式地使用上述提取的一般知识,以协助其注意力机制。基于数据富集方法,KAR在性能上与最先进的MRC模型相当,并且对噪声的鲁棒性明显优于它们。当只有一个子集(20%-80%)的训练样本是可用的,KAR优于国家的最先进的MRC模型的大幅度,仍然是合理的噪音鲁棒性。
2019-05-20 cs.AI cs.CL
A Framework for Interactive Knowledge-Aided Machine Teaching
Georgia Institute of Technology(佐治亚理工学院)
机器教学(MT)是一个交互式的过程,其中人类通过扮演教师的角色来训练机器学习模型。设计机器翻译系统的过程涉及可能影响人类教师效率和机器学习者性能的决策。以前的研究提出并评估了具体的MT系统,但有一个一般的框架设计它们的讨论有限。我们提出了一个设计机器翻译系统的框架,并详细介绍了一个系统的文本分类问题作为一个具体的例子。我们的框架侧重于三个组成部分,即教学界面,机器学习者和知识库,和他们的关系描述了每个组件如何可以使其他人受益。我们的初步实验表明,机器翻译系统可以减少人类的教学时间和机器学习的出错率。
2022-04-21 cs.AI cs.HC cs.LG
Tackling Domain-Specific Winograd Schemas with Knowledge-Based Reasoning and Machine Learning
University of Leeds(利兹大学);InfoMining Co.(InfoMining公司)
Winograd Schema Challenge(WSC)是一个需要背景知识的常识推理任务。在本文中,我们有助于解决WSC在四个方面。首先,我们提出了一种关键词方法来定义一个可以发现不同的高层语义模式的受限域,并使用关键词定义了一个感谢域,并使用该域中的数据集进行实验。其次,我们基于Sharma [2019]的方法开发了一种使用语义角色的高级基于知识的推理方法。第三,我们提出了一种集成方法,结合基于知识的推理和机器学习,这在我们的实验中表现出最好的性能。作为机器学习方法,我们使用来自Transformers的双向编码器表示(BERT)[Kocijan等人,2019年]。最后,在评价方面,我们建议通过修改Trichelair等人[2018]的准确度测量来进行“稳健”的准确度测量。与他们的切换方法一样,我们通过考虑模型在测试集中每个句子的平凡变体上的性能来评估模型。
2020-11-24 cs.AI cs.CL
Knowledge Informed Machine Learning using a Weibull-based Loss Function
机器学习可以通过整合外部知识来增强。这种方法,称为知识通知机器学习,也适用于预测和健康管理(PHM)领域。在本文中,知识通知机器学习的各种方法,从PHM的背景下,审查的目标是帮助读者了解该领域。此外,知识通知机器学习技术证明,使用常见的IMS和PRONOSTIA轴承数据集,剩余使用寿命(RUL)预测。具体而言,知识是从可靠性工程领域获得的,通过威布尔分布表示。然后通过一种新的基于威布尔的损失函数将知识集成到神经网络中。基于Weibull的损失函数进行了全面的统计分析,证明了PRONOSTIA数据集上的方法的有效性。然而,基于威布尔的损失函数对IMS数据集不太有效。的结果,缺点和好处的方法进行了讨论的长度。最后,所有的代码都是公开的,以供其他研究人员使用。
2022-01-04 cs.AI cs.LG cs.SY
How do some Bayesian Network machine learned graphs compare to causal knowledge?
Queen Mary University of London(伦敦玛丽女王大学)
贝叶斯网络(BN)的图可以是机器学习的,由因果知识确定的,或者两者的组合。在生物信息学等学科中,应用BN结构学习算法可以揭示新的见解,否则将仍然未知。然而,当输入数据在样本大小方面受到限制时,这些算法不太有效,这在处理真实数据时经常是这种情况。本文重点关注纯机器学习和纯知识为基础的BN,并研究它们在图形结构方面的差异以及隐含的统计模型如何解释数据。测试是基于四个以前的案例研究,其BN结构是由领域知识。使用各种指标,我们将基于知识的图与TETRAD中实现的跨越所有三个学习类别的各种算法生成的机器学习图进行比较。结果表明,虽然算法产生的图形具有更高的模型选择得分,但基于知识的图形是感兴趣变量的更准确的预测器。在样本量有限的情况下,最大化分数拟合是无效的,因为拟合在有限的数据下变得越来越失真,将算法引导到共享更高拟合分数但却大大偏离真实图形的图形模式。这突出了因果知识在这些情况下的价值,以及需要更合适的拟合分数适合有限的数据。最后,这些实验还提供了新的证据,支持模拟数据的结果几乎没有告诉我们实际的真实世界性能。
2021-02-02 cs.AI cs.LG
Practical Approach to Knowledge-based Question Answering with Natural Language Understanding and Advanced Reasoning
本研究假设,一种实用的方法,以一个解决方案框架的形式被称为自然语言理解和推理的智能(NaLURI),它结合了全话语自然语言理解,强大的表示形式主义,能够利用本体信息和推理方法与先进的功能,将解决以下问题,而不损害实用性因素:1)对问题和响应的性质的限制,以及2)对跨域扩展和对现实生活中的自然语言文本的限制。
2007-07-24 cs.AI cs.CL cs.HC
Evident: a Development Methodology and a Knowledge Base Topology for Data Mining, Machine Learning and General Knowledge Management
Philips North America(飞利浦北美);Google LLC(谷歌有限责任公司)
用于知识发现、预测和管理的软件已经开发了30多年。然而,在使用现有的项目开发和工件管理方法时,仍然存在未解决的痛点。从历史上看,一直缺乏适用的方法。此外,已经应用的方法,如敏捷,有几个限制,包括科学的不可证伪性,降低了它们的适用性。提出了一种基于逻辑推理哲学的开发方法学Evident和一种知识库拓扑结构EKB。从概念上缓解了数据采掘、机器学习和一般知识管理中的许多痛点。Evident可以扩展到加速哲学探索,科学发现,教育以及全球知识共享和保留。EKB提供了一种将信息存储为知识的解决方案,知识是数据之上的粒度级别。还讨论了计算机历史、软件工程、数据库、传感器、哲学以及项目与组织和军事管理方面的相关主题。
2022-11-09 cs.AI cs.DB cs.LG
Question Answering over Knowledge Graphs with Neural Machine Translation and Entity Linking
Universidad de Chile(智利大学);IMFD(智利千年基础数据研究所)
知识图谱上的问答(KGQA)的目标是在知识图谱上找到自然语言问题的答案。最近的KGQA方法采用神经机器翻译(NMT)方法,其中自然语言问题被翻译成结构化查询语言。然而,NMT遭受词汇表外的问题,其中问题中的术语在训练期间可能没有被看到,从而阻碍了它们的翻译。这个问题对于大型知识图谱描述的数百万个实体来说尤其成问题。相反,我们提出了一个KGQA的方法,代表实体的实体链接(EL)系统的处理。然后,NMT用于创建具有占位符的查询模板,占位符由EL阶段中标识的实体填充。槽填充用于决定哪个实体填充哪个占位符。在Wikidata上进行QA的实验表明,我们的方法优于纯NMT:虽然在训练过程中仍然强烈依赖于看到类似的查询模板,但与实体相关的错误大大减少。
2021-07-06 cs.AI cs.CL
What Can Knowledge Bring to Machine Learning? -- A Survey of Low-shot Learning for Structured Data
University of Southampton(南安普顿大学);South China University of Technology(华南理工大学)
有监督的机器学习有几个缺点,使其难以在许多情况下使用。缺点包括:严重依赖于大量的训练数据,有限的泛化能力和高层次语义的表达能力差。Low-shot Learning试图解决这些缺点。Low-shot学习允许模型在很少或没有训练数据的情况下获得良好的预测能力,其中结构化知识作为人类的高级语义表示起着关键作用。本文将回顾低拍摄学习技术的基本因素,重点是在不同的低拍摄条件下的结构化知识的操作。我们还介绍了与低拍摄学习相关的其他技术。最后指出了低拍学习的局限性、工业应用的前景和差距以及未来的研究方向。
2021-06-11 cs.AI cs.LG
A Review on Intelligent Object Perception Methods Combining Knowledge-based Reasoning and Machine Learning
Institute of Computer Science, Foundation for Research and Technology, Hellas(希腊研究与技术基金会计算机科学研究所);Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
物体感知是计算机视觉的一个基本子领域,涵盖了许多单独的领域,并贡献了高影响力的结果。虽然机器学习传统上已被应用于解决相关问题,最近的作品也寻求方法来整合知识工程,以扩大智能水平的视觉解释的对象,其属性和它们与环境的关系。在本文中,我们试图系统地调查如何基于知识的方法有助于不同的对象感知任务。我们回顾了最新的成就,并确定了突出的研究方向。
2020-03-17 cs.AI cs.CV cs.LG
Knowledge is Overrated: A zero-knowledge machine learning and cryptographic hashing-based framework for verifiable, low latency inference at the LHC
University of Manchester(曼彻斯特大学);CERN(欧洲核子研究中心)
针对LHC在线触发40MHz延迟约束下大型ML模型推理难的问题,提出基于哈希和zkML的PHAZE框架,通过可验证早期退出机制实现纳秒级低延迟推理,兼具内置异常检测优势,有望支撑动态低级触发。
2025-11-16 cs.AI hep-ex stat.ML
Knowledge-guided Machine Learning: Current Trends and Future Prospects
Virginia Tech(弗吉尼亚理工大学);University of Pittsburgh(匹兹堡大学);University of Minnesota(明尼苏达大学)
本文综述了科学知识引导机器学习(KGML)的研究现状,分析了知识类型、集成形式与融入方法,并展望其在环境科学中的典型应用与未来前景。
2024-05-01 cs.AI cs.CE cs.LG
Forbidden knowledge in machine learning -- Reflections on the limits of research and publication
University of Tuebingen(蒂宾根大学)
某些研究链可以产生“被禁止的知识”。这一术语指的是被认为过于敏感、危险或禁忌而不能提供或分享的知识。关于这种出版限制的讨论已经在IT安全、合成生物学或核物理研究等科学领域根深蒂固。本文提出了将这一论述转移到机器学习研究的案例。一些机器学习应用可以非常容易地被误用并且展现有害的后果,例如关于生成视频或文本合成、个性分析、行为操纵、软件漏洞检测等。到目前为止,机器学习研究界都接受了开放获取的思想。然而,这与防止恶意使用机器学习应用程序的预防措施相反。关于或来自此类应用程序的信息,如果披露不当,可能对个人、组织或整个社会造成伤害。因此,这项工作的目标是概述有助于决定是否以及何时应防止传播这类信息的规范。它为机器学习界提出了审查参数,以建立一个关于如何处理违禁知识和双重用途应用的道德框架。
2019-11-19 cs.AI cs.CY cs.LG
Personalising Digital Health Behaviour Change Interventions using Machine Learning and Domain Knowledge
Poznań University of Technology(波兹南理工大学);University of Haifa(海法大学)
本文提出融合机器学习与领域知识的虚拟辅导系统,通过行为预测和带特征控制的反事实示例实现BCI个性化,并基于不同接受度的模拟患者数据形成评估方案。
2023-06-06 cs.AI cs.LG
A Factorization Machine Framework for Testing Bigram Embeddings in Knowledgebase Completion
University College London(伦敦大学学院)
到目前为止,基于嵌入的知识库补全模型大多结合了单个实体或关系的分布式表示来计算缺失链接的真值分数。然而,事实也可以使用成对嵌入来表示,即实体和关系对的嵌入。在本文中,我们探索这样的二元模型嵌入与灵活的分解机模型和几个消融从它。我们调查的相关性的各种二元模型类型的fb15k237数据集,并找到相对的改进相比,组合模型。
2016-04-20 cs.AI cs.CL cs.NE
The Profiling Machine: Active Generalization over Knowledge
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Carnegie Mellon University(卡内基梅隆大学)
人类的大脑是一个强大的多功能知识存储和管理系统,可以执行概括、类型推断、异常检测、定型和其他任务。一个动态KR系统,适当的轮廓在稀疏的输入,以提供完整的期望未知的方面可以帮助所有这些任务。在本文中,我们介绍了任务的剖析,在推理和信息处理的配置文件的潜力的社会心理学的理论和发现的启发。我们描述了两个通用的最先进的神经架构,可以很容易地实例化为分析机器,以生成期望,并应用于任何类型的知识,以填补空白。我们根据维基数据和人群的期望来评估这些方法,并比较结果,以深入了解各种分析方法所捕获的知识的本质。我们提供所有代码和数据,以方便未来的研究。
2018-10-01 cs.AI cs.CL cs.LG
HardML: A Benchmark For Evaluating Data Science And Machine Learning knowledge and reasoning in AI
Independent Machine Learning Engineer(独立机器学习工程师)
本文提出HardML基准,包含100道手工制作的高难度数据科学与机器学习多选题,用于严格评估顶级AI模型的知识与推理能力,当前最先进模型错误率达30%,约为MMLU ML的三倍。
2025-05-06 cs.AI cs.LG
Model-Driven Engineering Method to Support the Formalization of Machine Learning using SysML
Technical University of Munich(慕尼黑工业大学);Technical University of Vienna(维也纳工业大学)
本文提出一种基于模型驱动工程的方法,利用SysML形式化机器学习任务,整合领域与ML专家知识,支持数据源集成、语义连接和数据处理定义,并通过两个用例和用户研究验证其有效性,促进机器学习在工业中的集成。
2023-07-10 cs.AI cs.SE
Satellite Image and Machine Learning based Knowledge Extraction in the Poverty and Welfare Domain
Lund University(隆德大学);Halmstad University(哈尔姆斯塔德大学)
人工智能和机器学习的最新进展使衡量人类发展指标,特别是基于资产的贫困的方法发生了重大变化。卫星图像与机器学习相结合,有能力估计贫困程度,其程度类似于面对面访谈和家庭调查等主要方法所达到的程度。除了静态估计之外,一个日益重要的问题是,这项技术是否能够促进科学发现,从而促进贫穷和福利领域的新知识。获得科学见解的基础是领域知识,这反过来又转化为可解释性和科学一致性。我们回顾了文献,重点放在三个核心要素在这种情况下:透明度,可解释性和可解释性,并调查它们如何与贫困,机器学习和卫星图像的关系。我们对该领域的回顾表明,可解释机器学习的三个核心要素(透明度、可解释性和领域知识)的状况各不相同,并不完全满足科学见解和发现的要求。我们认为,可解释性是必不可少的,以支持更广泛的传播和接受这项研究,可解释性意味着不仅仅是可解释性。
2022-03-02 cs.AI cs.CY econ.GN
Knowledge-Informed Auto-Penetration Testing Based on Reinforcement Learning with Reward Machine
Concordia University(康考迪亚大学)
提出DRLRM-PT框架,利用奖励机器编码MITRE ATT&CK领域知识,结合深度Q学习优化横向移动渗透测试策略,提升训练效率与性能。
2024-05-24 cs.AI cs.CR cs.LG