KGEval: Estimating Accuracy of Automatically Constructed Knowledge Graphs
Indian Institute of Science(印度科学院)
通过挖掘Web规模的文本数据集自动构建大型知识图谱是近年来的研究热点。由于其大小和多样性,估计这种自动构建的KG的准确性是一个具有挑战性的问题。这个重要的问题在以前的研究中很大程度上被忽视了,我们填补了这一空白,提出了KGEval。KGEval使用耦合约束来绑定KG的事实,并且众包推断KG的大部分的正确性的事实。我们证明了KGEval优化的目标是次模块化的和NP-难的,允许保证我们的近似算法。通过对真实世界数据集的广泛实验,我们证明了KGEval与其他竞争基线相比能够更准确地估计KG准确性,同时需要的人工评估数量显著减少。
2016-12-01 cs.AI
COMET: Commonsense Transformers for Automatic Knowledge Graph Construction
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院);Microsoft Research(微软研究院)
我们提出了关于两个流行的常识知识图谱的自动知识库构建的第一个全面研究:ATOMIC(Sap等人,2019)和ConceptNet(Speer等人,2017年)。与使用规范模板存储知识的许多传统知识库相反,常识知识库仅存储知识的松散结构的开放文本描述。我们认为,自动常识完成的重要一步是常识知识的生成模型的发展,并提出COMmonsEnse Transformers(COMET),学习生成丰富多样的常识描述自然语言。尽管常识建模面临挑战,但我们的调查显示,当来自深度预训练语言模型的隐式知识被转移到常识知识图谱中生成显式知识时,结果是有希望的。实证结果表明,COMET能够生成人类评价为高质量的新知识,前1名的准确率高达77.5%(ATOMIC)和91.7%(ConceptNet),接近人类对这些资源的表现。我们的研究结果表明,使用生成常识模型自动常识知识库完成可能很快成为一个合理的替代提取方法。
2019-06-14 cs.AI cs.CL
The Lifecycle of "Facts": A Survey of Social Bias in Knowledge Graphs
Universität Hamburg(汉堡大学);Hamburger Informatik Technologie-Center e.V. (HITeC)(汉堡信息技术中心协会)
本文综述了知识图谱生命周期各阶段中社会偏见的来源、传播与呈现方式,分析现有测量和缓解方法的局限,并提出未来研究方向。
2022-10-07 cs.AI cs.CL cs.CY
The Knowledge Graph Track at OAEI -- Gold Standards, Baselines, and the Golden Hammer Bias
University of Mannheim(曼海姆大学)
本体对齐评估计划(OAEI)是本体匹配工具的年度评估。2018年,我们已经开启了知识图谱赛道,其目标是评估大规模知识图谱的实体和模式的同步匹配。在本文中,我们讨论了轨道的设计和两种不同的策略的金本位创造。我们分析的结果和经验,在第一版的轨道,并揭示了一个隐藏的任务,我们表明,所有的工具提交给轨道(可能也是其他轨道)遭受的偏见,我们命名为金锤偏见。
2020-02-24 cs.AI cs.DB
Automatically Building and Updating a Knowledge Graph of MLIP Models
LORIA(洛林信息学及其应用研究实验室);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心)
提出一种基于LLM的自动构建和更新MLIP模型知识图谱的流程,通过信息提取和SHACL验证循环实现迭代构建,并以Matbench Discovery排行榜为例展示其可查询性。
2026-10-08 cs.AI
Integrating Social Determinants of Health into Knowledge Graphs: Evaluating Prediction Bias and Fairness in Healthcare
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Texas at Austin(德克萨斯大学奥斯汀分校);Temple University(天普大学)
本文基于 MIMIC-III 与 PrimeKG 构建富含 SDoH 的知识图谱,利用 heterogeneous-GCN 检测药物—疾病链接预测偏差,并通过边重加权后处理提升公平性。
2024-11-29 cs.AI cs.CY cs.LG
User Friendly Automatic Construction of Background Knowledge: Mode Construction from ER Diagrams
University of Texas at Dallas(德克萨斯大学达拉斯分校);Indiana University, Bloomington(印第安纳大学伯明顿分校)
归纳逻辑程序设计系统的一个关键优势是领域专家能够提供背景知识作为模式,从而允许通过假设空间进行有效搜索。然而,有一个固有的假设,即该专家也应该是ILP专家,以提供有效的模式。我们放松这个假设,设计一个图形化的用户界面,允许领域专家与系统使用实体关系图进行交互。这些交互被用于构建学习系统的模式。我们评估我们的算法上的概率逻辑学习系统,我们证明,用户能够构建有效的背景知识与专家编码的知识,在五个数据集。
2019-12-16 cs.AI cs.DB cs.LG
Bias in Knowledge Graphs -- an Empirical Study with Movie Recommendation and Different Language Editions of DBpedia
University of Mannheim(曼海姆大学)
公共知识图谱,如DBpedia和Wikidata已被认为是有趣的背景知识的来源,以建立基于内容的推荐系统。它们可用于添加有关要推荐的项目的信息以及这些项目之间的链接。虽然已经提出了相当多的方法来利用知识图谱,他们中的大多数旨在优化推荐策略,同时使用一个固定的知识图谱。在本文中,我们采用不同的方法,即,当使用不同的底层知识图谱时,我们修正推荐策略并观察变化。特别是,我们使用不同语言版本的DBpedia。我们发现,使用不同的知识图谱不仅会导致不同的偏见推荐系统,但也推荐系统的性能不同的特定领域的建议。
2021-05-03 cs.AI cs.IR
BigCilin: An Automatic Chinese Open-domain Knowledge Graph with Fine-grained Hypernym-Hyponym Relations
Harbin Institute of Technology(哈尔滨工业大学);PENG CHENG Laboratory(鹏城实验室);Kuaishou Technology(快手科技)
本文提出了BigCilin,这是第一个具有细粒度上下义关系的中文开放领域知识图谱,它是从多个源中自动提取的中文命名实体。“大词林”具有细粒度的上下义关系,具有灵活的语义层次结构。由于上下义路径是自动生成的,并且一个实体可能有多个义项,在路径和义项表达相同意义的条件下,我们提出了一种路径歧义消解方案,将一个实体的上下义路径映射到它的一个义项上。为了方便地访问我们的BigCilin知识图,我们提供了两种方式的Web接口。一是支持对任意中文命名实体的查询,并能浏览围绕查询实体的上下义路径;另一个是它提供了一个自顶向下的浏览视图,以说明我们的BigCilin知识图谱的整体层次结构在一些采样实体。
2022-11-07 cs.AI
An Optimized Pipeline for Automatic Educational Knowledge Graph Construction
Social Computing Group, Faculty of Computer Science, University of Duisburg-Essen, Germany(社会计算组,计算机科学学院,杜伊斯堡- Essen大学,德国)
本研究提出并优化了一种从PDF学习材料自动构建教育知识图谱的端到端流水线,通过幻灯片级图谱合并生成综合EduKG,优化后准确率提升17.5%,处理效率提高十倍。
2025-09-05 cs.AI cs.CY
DebateKG: Automatic Policy Debate Case Creation with Semantic Knowledge Graphs
Plailabs;NeuML
DebateKG通过构建论证性语义知识图谱并进行带约束的最短路径遍历,自动生成政策辩论案例,并基于DebateSum数据集新增53180个示例和9个知识图谱,显著提升了辩论案例生成质量。
2023-10-27 cs.AI cs.CL cs.IR
ABI Approach: Automatic Bias Identification in Decision-Making Under Risk based in an Ontology of Behavioral Economics
Universidade Federal do Rio de Janeiro(里约热内卢联邦大学);Pontifical Catholic University of Rio de Janeiro(里约热内卢天主教大学)
ABI方法利用累积前景理论和本体论,自动识别并解释决策中的风险寻求偏好,填补了现有自动化与知识表示空白,实验初步验证了其有效性。
2024-05-22 cs.AI cs.HC
Social Biases in Knowledge Representations of Wikidata separates Global North from Global South
The Thørväld Group(Thørväld集团);Inria Paris-Rocquencourt(巴黎-罗quent court研究所);Rajiv Gandhi University Doimukh(拉贾延加大学多伊穆克);Tsinghua University(清华大学);Palmer Research Laboratories(帕勒尔研究实验室);The Kumquat Consortium(昆quat联盟)
本文提出 AuditLP 框架,在 Wikidata 的 21 个地理区域上利用公平性指标检测链接预测中基于性别和年龄的职业分类偏见,发现偏见差异映射了全球北方与南方的社会经济文化划分。
2025-05-05 cs.AI cs.IR
KGValidator: A Framework for Automatic Validation of Knowledge Graph Construction
Quantexa(Quantexa 公司)
本研究提出KGValidator框架,利用大型语言模型和生成式智能体替代人工验证,通过结合模型内在知识、用户上下文与外部知识检索,实现知识图谱构建的自动验证。
2024-04-24 cs.AI cs.CL
From Data to City Indicators: A Knowledge Graph for Supporting Automatic Generation of Dashboards
Universidade de Fortaleza(福塔莱萨大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
在智慧城市的背景下,指标定义被用来计算能够在不同城市之间进行比较的值。指标值的计算具有挑战性,因为计算可能需要结合质量的某些方面,同时解决不同的抽象层次。知识图谱(KGs)已成功地用于支持灵活的表示,这可以支持在类似设置中改进理解和数据分析。本文提出了一个城市KG,一个指标本体,支持指标发现和数据可视化和应用程序能够执行元数据分析,自动构建和显示仪表板,根据发现的指标的操作描述。我们描述了我们在城市交通环境中的实施。
2017-04-06 cs.AI cs.CY
Ontology-grounded Automatic Knowledge Graph Construction by LLM under Wikidata schema
Chinese University of Hong Kong(香港中文大学)
本文提出一种本体引导的LLM知识图谱构建方法,通过生成能力问题、提取关系并与Wikidata对齐来约束生成过程,在基准数据集上取得有竞争力的效果,实现了低人工干预、高质量且可解释的知识图谱自动构建。
2024-12-30 cs.AI cs.IR
OntoCat: Automatically categorizing knowledge in API Documentation
University of California, Davis(加州大学戴维斯分校)
大多数应用程序开发都是在复杂的API环境中进行的; API的参考文档在种类、复杂性和数量上都有了巨大的增长,并且可能很难浏览。越来越需要开发组织良好的方法来获取文档中隐藏的知识;一些研究工作涉及API相关知识的组织(本体论)。Maalej & Robillard [3]在严格的定性分析的支持下,进行了广泛的知识工程工作,确定了API知识的有用分类法。基于这种分类法,我们引入了一个领域独立的技术,从给定的API参考文档中提取知识类型。我们的系统,OntoCat,共引入了九个不同的功能和它们的语义和统计组合来分类不同的知识类型。我们在Python API参考文档上测试了OntoCat。我们的实验结果表明了该系统的有效性,并打开了可能相关的研究领域(即,用户行为、文档质量等)。
2016-07-26 cs.AI cs.CL cs.SE
Text-Based Automatic Personality Prediction Using KGrAt-Net; A Knowledge Graph Attention Network Classifier
University of Tabriz(大不里士大学)
如今,大量的人类通信发生在基于互联网的通信基础设施上,如社交网络、电子邮件、论坛、组织通信平台等。实际上,通过个人的书面或交换文本来自动预测或评估个人的个性将有利于改善他们的关系。为此,本文提出了一种基于知识图谱的注意力网络文本分类器KGrAt-Net。首次将知识图谱注意力网络应用于大五人格特征的自动人格预测。在进行一些预处理活动后,它首先试图通过构建其等价的知识图谱来获得输入文本中概念背后的知识的知识表示。知识图谱以机器可读的形式收集概念、实体和关系的互连描述。实际上,它提供了一个机器可读的概念和它们之间的语义关系的认知理解。然后,应用注意力机制,尝试关注图形中最相关的部分,来预测输入文本的个性特征。我们使用了Essays Dataset中的2,467篇文章。结果表明,KGrAt-Net大大提高了人格预测的准确率(平均高达70.26%)。此外,KGrAt-Net还使用知识图谱嵌入来丰富分类,这使得它在APP中的准确率更高(平均为72.41%)。
2023-01-05 cs.CL cs.LG
TransAlign: Fully Automatic and Effective Entity Alignment for Knowledge Graphs
Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学);Universitas Indonesia(印度尼西亚大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);The University of Melbourne(墨尔本大学)
知识图谱之间的实体对齐的任务旨在识别来自两个不同知识图谱的表示相同实体的每对实体。许多基于机器学习的方法已经被提出用于该任务。然而,据我们所知,现有的方法都需要手工制作的种子比对,这是昂贵的获得。在本文中,我们提出了第一个全自动对齐方法命名为TransAlign,它不需要任何手动制作的种子对齐。具体来说,对于谓词嵌入,TransAlign构造了一个谓词邻近图,通过学习实体类型的注意力来自动捕获两个KG之间谓词的相似性。对于实体嵌入,TransAlign首先使用TransE独立地计算每个KG的实体嵌入,然后通过基于其属性计算实体之间的相似度来将两个KG的实体嵌入移动到相同的向量空间中。因此,谓词比对和实体比对都可以在没有手动制作的种子比对的情况下完成。TransAlign不仅是全自动的,而且非常有效。使用真实世界KG的实验表明,与最先进的方法相比,TransAlign显著提高了实体对齐的准确性。
2022-10-16 cs.AI cs.CL
An Automatic Ontology Generation Framework with An Organizational Perspective
Virginia Commonwealth University(弗吉尼亚联邦大学);University of Sydney(悉尼大学)
本体以其知识的语义表示而闻名。本体不能自动演变以反映在各个域中发生的更新。为了解决这个问题,研究人员呼吁从非结构化文本语料库中自动生成本体。不幸的是,旨在从非结构化文本语料库中生成本体的系统是特定领域的,需要人工干预。此外,他们遭受的不确定性,创造概念的联系和困难,找到公理相同的概念。知识图谱(KGs)已经成为知识动态表示的一个强大模型。然而,幼儿园有许多质量限制,需要广泛改进。本研究旨在发展一个新的领域无关本体自动生成框架,将非结构化的文本语料转换为领域一致的本体形式。该框架从非结构化文本语料库中生成知识库,并对其进行改进和校正,使其与领域本体保持一致。所提出的自动生成的本体的力量是,它集成了知识库的动态特征和本体的质量特征。
2022-01-15 cs.AI
A set of semantic data flow diagrams and its security analysis based on ontologies and knowledge graphs
Yanka Kupala State University of Grodno(格罗德诺扬卡·库帕拉国立大学)
长期以来,威胁建模被视为一个手动的、复杂的过程。然而,现代敏捷开发方法和云计算技术需要添加自动威胁建模方法。这项工作考虑了两个挑战:创建一组机器可读的数据流图,代表真正的基于云的应用程序;和使用领域的特定知识,自动分析这些应用程序的安全方面。这组180个语义图(本体和知识图谱)是基于云配置(Docker Compose)创建的;该组包括一个手动分类法,允许定义基于Web的应用程序和数据处理应用程序的设计和功能方面;该组可用于威胁建模领域的各种研究。这项工作还评估了如何本体和知识图谱可以用来自动识别模式(映射到安全威胁)的图表。模式以对知识库的请求的形式表示图的特征,这使得它能够在图的语义表示中被识别。在实验中,创建了四组模式(Web应用程序,数据处理,网络和Docker特定),并通过模式检查图表。自动结果,收到的Web应用程序和数据处理模式,与手动分类法进行比较,以研究自动威胁建模的挑战。
2023-03-20 cs.AI cs.CR
An Approach for Automatic Construction of an Algorithmic Knowledge Graph from Textual Resources
Indian Statistical Institute(印度统计研究所);Calcutta University(加尔各答大学)
在各个研究领域都有巨大的增长。这种发展伴随着新的问题。为了有效地以优化的方式解决这些问题,研究人员在科学文献中创建和描述了算法。科学算法对于理解和重用许多领域的现有工作至关重要。然而,算法通常很难找到。此外,由于文档不连贯,相似算法之间的比较很困难。关于算法的信息大多存在于网站、代码注释等中,缺乏描述算法的结构化元数据。因此,有时会发布冗余或类似的算法,研究人员从头开始构建它们,而不是重用或扩展现有的算法。在本文中,我们介绍了一种自动开发的知识图谱(KG)的算法问题,从非结构化数据的方法。因为它更清晰和广泛地捕获信息,算法KG将为算法元数据提供额外的上下文和可解释性。
2022-05-25 cs.AI cs.CL
GOSt-MT: A Knowledge Graph for Occupation-related Gender Biases in Machine Translation
National Technical University of Athens(雅典国立技术大学);Panteion University of Social and Political Sciences(潘泰翁社会政治大学);National and Kapodistrian University of Athens(雅典国立卡波迪斯特里安大学)
本文提出GOSt-MT知识图谱,整合真实劳动力性别统计与机器翻译训练语料,用于分析英语、法语和希腊语中职业相关性别偏见,以推动机器翻译系统更加公平。
2024-10-04 cs.AI cs.CL
Knowledge Graph-Enabled Text-Based Automatic Personality Prediction
University of Tabriz(大不里士大学)
人们如何思考,感受和行为,主要是他们个性特征的表现。通过意识到我们正在处理或决定处理的个人的个性特征,我们可以胜任地改善关系,无论其类型如何。随着基于互联网的通信基础设施(社交网络、论坛等)的兴起,相当多的人类交流都在那里进行。在这种交流中,最突出的工具是书面和口头形式的语言,它巧妙地编码了个人的所有基本人格特征。基于文本的自动人格预测(APP)是基于生成/交换的文本内容自动预测个人的人格。本文提出了一种新的知识图谱启用的方法,以基于文本的APP,依赖于大五人格特质。为此,给定一个文本,通过将输入文本的概念与DBpedia知识库条目进行匹配,建立了一个知识图谱,它是一组相互关联的概念描述。然后,由于实现了更强大的表示,该图用DBpedia本体、NRC情感强度词典和MRC心理语言学数据库信息来丰富。然后,将知识图谱(现在是输入文本的知识替代物)嵌入以产生嵌入矩阵。最后,为了执行个性预测,将得到的嵌入矩阵独立地馈送到四个建议的深度学习模型,它们基于卷积神经网络(CNN)、简单递归神经网络(RNN)、长短期记忆(LSTM)和双向长短期记忆(BiLSTM)。结果表明,在所有建议的分类器的预测精度有相当大的改善。
2022-06-16 cs.AI cs.CL
Learning to Split for Automatic Bias Detection
MIT(麻省理工学院)
分类器在有偏差的数据集上训练时会有偏差。作为一种补救措施,我们提出了学习分裂(LS),自动偏见检测算法。给定一个具有输入-标签对的数据集,ls学习分割这个数据集,这样在训练分割上训练的预测器就不能推广到测试分割。这种性能差距表明测试分割在数据集中代表性不足,这是潜在偏倚的信号。识别不可推广的分裂是具有挑战性的,因为我们没有关于偏差的注释。在这项工作中,我们证明了测试分裂中每个示例的预测正确性可以用作弱监督的来源:如果我们将正确预测的示例从测试分裂中移走,只留下那些错误预测的示例,则泛化性能将下降。LS是任务不可知的,并且可以应用于任何监督学习问题,范围从自然语言理解和图像分类到分子性质预测。实证结果表明,ls能够生成与人类识别的偏见相关的极具挑战性的分裂。此外,我们证明了强大的学习算法(如组DRO)与LS识别的分裂相结合,使自动去偏置。与以前的最先进技术相比,当训练和验证过程中偏差来源未知时,我们大大提高了最差组的性能(平均23.4%)。
2022-07-20 cs.AI cs.CL cs.CV
Phrase-Level Adversarial Training for Mitigating Bias in Neural Network-based Automatic Essay Scoring
Eötvös Lorand University(厄特沃什·罗兰大学);University of Groningen(格罗宁根大学)
本文提出一种与模型无关的短语级对抗作文生成与数据增强方法,以缓解AES模型对高频样本的偏见,并在多种神经网络评分模型上验证其稳健性与性能提升。
2024-09-07 cs.AI cs.CL cs.LG
Social Biases in Automatic Evaluation Metrics for NLG
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);The MOE Key Laboratory of Computational Linguistics, Peking University(北京大学计算语言学教育部重点实验室)
许多研究表明,自然语言处理中的词嵌入、语言模型和特定下游任务的模型容易产生社会偏见,尤其是性别偏见。最近这些技术已逐渐应用于文本生成的自动评估指标。本文提出了一种基于词嵌入关联测试(WEAT)和句子嵌入关联测试(SEAT)的评价方法来量化评价指标中的社会偏见,并发现社会偏见也广泛存在于一些基于模型的自动评价指标中。此外,我们构建了性别交换的元评估数据集,以探讨性别偏见在图像标题和文本摘要任务中的潜在影响。研究结果表明,在性别中立的情况下,基于模型的评价指标可能偏向于男性假设,并且在性别交换后,评价指标与人类判断的相关性会发生显著变化。
2022-10-17 cs.AI cs.CL
Group Relative Knowledge Distillation: Learning from Teacher's Relational Inductive Bias
China Mobile Information Technology Co.,Ltd.(中国移动信息技术有限公司);Fudan University(复旦大学)
针对现有知识蒸馏忽略教师模型相对预测中的关系归纳偏置导致曝光偏差的问题,提出GRKD框架,通过组相对损失学习类别间相对排序,在分类基准上取得更优泛化能力。
2025-04-29 cs.AI cs.LG
Investigating Bias In Automatic Toxic Comment Detection: An Empirical Study
Georgia Institute of Technology(佐治亚理工学院)
随着在线平台的激增,用户通过评论和反应在这些平台上的参与度激增。很大一部分这样的文字评论是辱骂,粗鲁和冒犯观众。有了机器学习系统来检查这些进入平台的评论,训练数据中存在的偏见被传递到分类器中,导致对一组阶级、宗教和性别的歧视。在这项工作中,我们评估不同的分类器和功能,以估计这些分类器的偏差以及它们在毒性分类的下游任务上的性能。结果表明,自动有毒评论检测模型的性能改善与减轻这些模型中的偏差呈正相关。在我们的工作中,具有注意力机制的LSTM被证明是比CNN模型更好的建模策略。进一步的分析表明,在毒性评论检测的训练模型上,快速文本嵌入比手套嵌入略好。更深入的分析揭示了这样的发现,即这种自动模型特别偏向于特定的身份群体,即使该模型具有较高的AUC分数。最后,为了减轻毒性检测模型中的偏倚,使用毒性子类型的辅助任务训练的多任务设置被证明是有用的,导致AUC评分增加高达0.26%(6%相对)。
2021-08-14 cs.AI cs.CL cs.LG
Classifier-to-Bias: Toward Unsupervised Automatic Bias Detection for Visual Classifiers
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
提出首个无需标注数据的偏见发现框架 Classifier-to-Bias (C2B),利用大语言模型和图像检索,仅凭任务文本描述即可自动检测预训练视觉分类模型中的偏见,且在实验中优于依赖标注的基线方法。
2025-04-29 cs.AI cs.CV cs.LG
Transferring Inductive Biases through Knowledge Distillation
University of Amsterdam(阿姆斯特丹大学);Google Brain(谷歌大脑)
在数据或计算资源是限制因素的许多任务或场景中,或者在训练数据不能完美地代表测试时的条件的情况下,拥有正确的归纳偏差可能至关重要。然而,定义,设计和有效地适应感性偏见不一定是直截了当的。在本文中,我们探讨了知识蒸馏的力量,将归纳偏差的影响从一个模型转移到另一个模型。我们考虑具有不同归纳偏差的模型家族,LSTM与Transformers和CNN与MLP,在任务和场景的背景下,正确的归纳偏差至关重要。我们研究了归纳偏差对模型收敛的解决方案的影响,并研究了归纳偏差的影响如何以及在多大程度上通过知识蒸馏转移,不仅从性能方面,而且从收敛解决方案的不同方面。
2020-10-04 cs.AI cs.LG stat.ML
Automatically Neutralizing Subjective Bias in Text
Stanford University(斯坦福大学);Kyoto University(京都大学);Georgia Institute of Technology(佐治亚理工学院)
像新闻、百科全书和一些社交媒体这样的文本都力求客观。然而,以不适当的主观性为形式的偏见--通过框架、预设真理和怀疑来引入态度--仍然无处不在。这种偏见侵蚀了我们的集体信任,助长了社会冲突。为了解决这个问题,我们引入了一个新的测试平台自然语言生成:自动将不适当的主观文本带入一个中立的观点(“中和”有偏见的文本)。我们还提供了第一个有偏见的语言平行语料库。该语料库包含180,000个句子对,来源于维基百科的编辑,从有偏见的句子中删除了各种框架,预设和态度。最后,我们为任务提出了两个强编码器-解码器基线。一个简单而不透明的CONCURRENT系统使用一个BERT编码器来识别主观词,作为生成过程的一部分。一个可解释和可控制的模块化算法将这些步骤分开,使用(1)基于BERT的分类器来识别有问题的单词,以及(2)一个新的连接嵌入,通过它分类器可以编辑编码器的隐藏状态。跨四个领域(百科全书、新闻标题、书籍和政治演讲)的大规模人类评估表明,这些算法是自动识别和减少偏见的第一步。
2019-12-12 cs.AI cs.CL
BiasScanner: Automatic Detection and Classification of News Bias to Strengthen Democracy
Coburg University of Applied Sciences(科堡应用科学大学);University of Sheffield(谢菲尔德大学)
针对在线新闻偏见问题,该研究推出BiasScanner应用,结合服务端预训练大模型与浏览器插件,可细粒度识别24余种句子级媒体偏见并提供解释与分析,以轻量隐私的方式助力新闻消费者审视内容、强化民主。
2024-07-15 cs.AI cs.CL cs.IR
Stereotypical Bias Removal for Hate Speech Detection Task using Knowledge-based Generalizations
IIIT Hyderabad(印度海得拉巴国际信息技术学院)
随着社交媒体平台上仇恨传播的案例不断增加,设计滥用检测机制以主动避免和控制此类事件至关重要。虽然存在用于仇恨言论检测的方法,但它们对单词进行刻板印象,因此受到固有偏见的训练。传统上已经研究了结构化数据集的偏差去除,但我们的目标是从非结构化文本数据中减轻偏差。在本文中,我们做了两个重要的贡献。首先,我们系统地设计方法来量化任何模型的偏见,并提出算法来识别模型定型的单词集。其次,我们提出了新的方法,利用基于知识的泛化无偏学习。基于知识的概括提供了一种有效的方式来编码知识,因为它们提供的抽象不仅概括了内容,而且还促进了从仇恨语音检测分类器中撤回信息,从而减少了不平衡。我们实验了多种知识泛化策略,并分析了它们对一般性能和减轻偏见的影响。我们对两个真实世界的数据集进行了实验,一个大小约为96k的维基百科讨论页面数据集(WikiDetox)和一个大小约为24k的Twitter数据集,结果表明,使用基于知识的泛化通过迫使分类器从泛化内容中学习来获得更好的性能。我们的方法利用现有的知识基础,可以很容易地扩展到其他任务
2020-01-15 cs.AI cs.CL cs.LG
Simon Says: Evaluating and Mitigating Bias in Pruned Neural Networks with Knowledge Distillation
Texas State University(德克萨斯州立大学);Illinois Institute of Technology(伊利诺伊理工学院)
近年来,人工智能无处不在的部署在算法偏见、歧视和公平性方面引起了极大的关注。与人类造成的传统形式的偏见或歧视相比,人工智能产生的算法偏见更加抽象和不直观,因此更难以解释和减轻。在当前的文献中,关于评估和减轻修剪神经网络中的偏差存在明显的差距。在这项工作中,我们致力于解决具有挑战性的问题,评估,减轻和解释修剪神经网络中的诱导偏差。我们的论文有三个贡献。首先,我们提出了两个简单而有效的度量,组合误差方差(CEV)和对称距离误差(EFT),以定量评估修剪模型的诱导偏差预防质量。其次,我们证明了知识蒸馏可以减轻修剪神经网络中的诱导偏差,即使是不平衡的数据集。第三,我们揭示了模型相似性与修剪诱导的偏差有很强的相关性,这为解释为什么修剪后的神经网络会出现偏差提供了一个强有力的方法。我们的代码可在https://github.com/codestar12/pruning-distilation-bias上获得
2021-06-15 cs.AI cs.CV cs.LG
Automatic Knowledge Acquisition for Object-Oriented Expert Systems
本文描述了一种建立专家系统的面向对象模型。该模型和相似性检测允许实现推理模式,如归纳,演绎和模拟。我们特别关注相似性及其在归纳中的应用。我们提出了原始的算法,处理的全部和部分结构相似的对象,以方便知识获取。
2020-05-18 cs.AI
Entity-Based Evaluation of Political Bias in Automatic Summarization
The University of Chicago(芝加哥大学)
本文提出基于实体的计算框架,通过实体替换方法评估抽取式和生成式摘要器对政治家Trump和Biden的政治偏见,发现摘要存在一致的差异,为未来摘要偏见研究奠定基础。
2023-10-19 cs.AI cs.CL cs.CY
The Modeling of SDL Aiming at Knowledge Acquisition in Automatic Driving
Apollo Japan Co., Ltd.(阿波罗日本有限公司);China University of GeoScience(中国地质大学);Shijiazhuang Tiedao University(石家庄铁道大学)
本文通过引入自动驾驶中的机器学习框架,提出了解决多目标控制问题的终极理论,探讨了优秀驾驶员知识获取的实现。目前自动驾驶领域存在一些尚未被研究者充分认识到的核心问题,如节能、安全驾驶、车头时距控制和舒适驾驶等多目标目标函数的最优控制方法,以及自动驾驶所依赖的网络和GPU等高性能芯片在复杂驾驶环境下的可解性等。针对这些问题,本文提出了一种新的理论,将不同空间中的多目标目标函数映射到同一个空间中,从而引入了基于知识获取的多目标优化控制的机器学习框架SDL(Super深度学习)。本文将提出的最优多目标控制相结合的模糊关系,每个多目标的目标函数和实施的优秀驾驶员的知识,机器学习。从理论上讲,这种方法的影响将超过自动训练中使用的模糊控制方法。
2018-12-07 cs.AI
Clustering-based Automatic Construction of Legal Entity Knowledge Base from Contracts
Hyperlex;INRIA(法国国家信息与自动化研究所)
在合同分析和合同自动化中,法律实体的知识库(KB)是执行合同验证、合同生成和合同分析等任务的基础。然而,这样的知识库并不总是存在,也不能在短时间内产生。在本文中,我们提出了一个基于聚类的方法来自动生成一个可靠的法律实体的知识库,从给定的合同没有任何补充参考。所提出的方法是鲁棒的预处理,如光学字符识别(OCR)和命名实体识别(NER)所带来的不同类型的错误,以及编辑错误,如错别字。我们在一个数据集上评估了我们的方法,该数据集由来自15个客户的800份具有各种质量的真实合同组成。与收集的地面真实数据相比,我们的方法能够回忆84%的知识。
2020-12-07 cs.AI cs.CL cs.DS
Language Bias in Self-Supervised Learning For Automatic Speech Recognition
Trinity College Dublin(都柏林圣三一学院);The University of Edinburgh(爱丁堡大学)
本文利用彩票假设(LTH)识别XLS-R模型中的特定语言子网络,发现在微调时模型会绕过传统语言学知识,仅依赖预训练数据中贡献最大语言的权重,揭示了多语言SSL ASR中的语言偏差。
2025-01-31 cs.AI cs.CL cs.LG
Automatic Extraction of Commonsense LocatedNear Knowledge
Department of Computer Science and Engineering(计算机科学与工程系);Shanghai Jiao Tong University(上海交通大学)
LocatedNear关系是一种描述现实生活中两个物理对象通常彼此靠近的常识性知识。在本文中,我们研究如何自动提取这种关系,通过一个层次的关系分类器和聚集的评分实体对从一个大的语料库。此外,我们还发布了两个基准数据集,用于评估和未来的研究。
2018-05-13 cs.AI cs.CL
Detecting and Mitigating Bias in LLMs through Knowledge Graph-Augmented Training
Althire AI(阿尔泰人工智能公司);Gen AI Research(生成式人工智能研究院)
本研究提出知识图谱增强训练(KGAT)方法,利用结构化领域知识缓解大型语言模型中的偏见,通过在Gender Shades等数据集上的评估与针对性策略,显著降低了偏见输出并提升了公平性指标。
2025-04-01 cs.AI cs.CL
SAC-KG: Exploiting Large Language Models as Skilled Automatic Constructors for Domain Knowledge Graphs
University of Science and Technology of China(中国科学技术大学);Alibaba Cloud(阿里云)
针对现有领域知识图谱构建依赖人工、适用性受限的问题,提出含生成器、验证器、剪枝器的SAC-KG框架,借助大语言模型自动构建多层次知识图谱,实现百万节点规模、89.32%精准度,较现有最优方法精准率提升超20%。
2024-09-22 cs.AI cs.CL cs.LG
Empowering recommender systems using automatically generated Knowledge Graphs and Reinforcement Learning
Insight Research Ireland Centre for Data Analytics, Data Science Institute, University of Galway(爱尔兰高威大学数据科学研究所Insight爱尔兰数据分析研究中心);Fidelity Investments(富达投资)
本文提出两种基于知识图谱和强化学习的方法,用于金融服务中的个性化文章推荐,兼顾准确性与可解释性。
2025-02-24 cs.AI cs.IR cs.LG
FairMonitor: A Four-Stage Automatic Framework for Detecting Stereotypes and Biases in Large Language Models
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院);School of Computer Science, Fudan University(复旦大学计算机学院)
本文提出FairMonitor四阶段自动框架,通过直接询问、故事测试、内隐联想和未知情境测试检测LLMs生成内容中的刻板印象与偏见,并构建教育领域基准Edu-FairMonitor验证其有效性。
2023-10-27 cs.AI cs.CL
Large Language Model Bias Mitigation from the Perspective of Knowledge Editing
Zhejiang University(浙江大学);Angelalign Technology Inc.(时代天使科技有限公司)
本文从知识编辑视角提出新基准 BiasKE 和细粒度去偏方法 FAST,通过校准个体偏见知识实现可编辑公平性,在保持知识能力的同时显著超越现有去偏基线。
2024-06-29 cs.AI cs.CL
A Multifaceted Analysis of Negative Bias in Large Language Models through the Lens of Parametric Knowledge
Seoul National University(首尔大学)
本文从参数知识视角分析大语言模型的负偏差,构建分类型评估集发现知识不足时的负向回答捷径,探究不同提示方式对偏差的影响,为缓解该偏差提供参考。
2025-11-14 cs.AI cs.CL
Neuronal Spectral Analysis of EEG and Expert Knowledge Integration for Automatic Classification of Sleep Stages
能够分析和解释来自脑电图(EEG)记录的信号对于包括医疗诊断和脑机接口的许多应用可以是高度感兴趣的。实际上,人类专家今天能够从该信号中提取与记录的受试者的生理和认知状态相关的许多提示,并且自动执行这样的任务将是非常有趣的,但是今天不存在完全自动的系统。在以前的研究中,我们比较了人类的专业知识和自动处理工具,包括人工神经网络(ANN),以更好地了解每个人的能力,并确定哪些是难以集成在一个全自动系统的方面。在本文中,我们带来了更多的元素,该研究报告的主要结果的实际实验,这是在医院进行的睡眠病理学研究。EEG记录进行了研究和标记的人类专家和人工神经网络。我们在这里描述的实验的特点,人类和神经元的分析过程,比较他们的表现,并指出从这项研究中出现的主要局限性。
2005-10-26 cs.AI
Automatic Assessment of Students' Classroom Engagement with Bias Mitigated Multi-task Model
Computer Science & Engineering, University of Colorado Denver(计算机科学与工程,科罗拉多大学丹佛分校)
针对在线学习中学生参与度评估问题,提出一种基于属性正交正则化与多任务迁移学习的偏差缓解模型,有效提升预测公平性与可解释性。
2025-10-24 cs.AI cs.CY cs.LG
Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction
Wuhan University(武汉大学);Beihang University(北京航空航天大学);The University of Sydney(悉尼大学);Nanyang Technological University(南洋理工大学)
本文调查了预训练语言模型在事实知识抽取中的提示偏置问题,并提出一种基于表示的推理时去偏方法,通过估计并移除内部偏置表示,有效纠正过拟合性能并提升提示检索能力达10%。
2024-03-26 cs.AI cs.CL cs.IR
"Im not Racist but...": Discovering Bias in the Internal Knowledge of Large Language Models
USC Information Sciences Institute(南加州大学信息科学研究所);Aptima, Inc(Aptima公司)
本文提出一种纯提示方法,动态生成知识表示以揭示任意大型语言模型中的隐藏刻板印象,促进NLP系统的透明与公平。
2023-10-13 cs.AI cs.CL
Getting Sick After Seeing a Doctor? Diagnosing and Mitigating Knowledge Conflicts in Event Temporal Reasoning
Hong Kong University of Science and Technology(香港科技大学);University of Southern California(南加州大学);Tencent AI Lab(腾讯AI实验室);University of California, Davis(加州大学戴维斯分校)
本文研究事件时间推理中的知识冲突,提出四类偏见指标进行诊断,并采用反事实数据增强缓解PLM与LLM的偏见和幻觉。
2024-04-08 cs.AI cs.CL
Identifying and Mitigating Social Bias Knowledge in Language Models
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学);Angelalign Technology Inc.(时代天使科技有限公司);A*STAR Centre for Frontier AI Research(新加坡科研局前沿人工智能研究中心);ZJU-Angelalign R&D Center for Intelligence Healthcare(浙江大学时代天使智能医疗研发中心)
本文提出细粒度去偏方法FAST,通过识别并校准存储社会偏见的关键层,在缓解偏见的同时保持知识保留与预测能力,并建立基准BiaScope验证其有效性。
2025-02-27 cs.AI cs.CL
Mitigating Media Bias through Neutral Article Generation
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));Hong Kong University of Science and Technology(香港科技大学)
媒体偏见可能导致政治两极分化加剧,因此,对自动缓解方法的需求日益增加。现有的缓解工作显示来自多个新闻媒体的文章,以提供多样化的新闻报道,但没有中和每个显示的文章中固有的偏见。因此,我们提出了一个新的任务,一个单一的中立的文章生成多个偏见的文章,以促进更有效地获得平衡和公正的信息。在本文中,我们编译了一个新的数据集NeuWS,定义了一个自动评估指标,并提供了基线和多个分析,作为拟议任务的坚实起点。最后,我们得到了一个人的评价,以证明我们的指标和人类的判断之间的一致性。
2021-04-01 cs.AI cs.CL