Extracting Structured Requirements from Unstructured Building Technical Specifications for Building Information Modeling
LISPEN EA 7515, Arts et Métiers Institute of Technology（LISPEN EA 7515，艺术与技术理工学院）；Information System and Applications Division, CSTB（信息系统与应用部门，CSTB）；Univ. Grenoble Alpes, CNRS, Grenoble INP, G-SCOP（格勒诺布尔阿尔卑斯大学，CNRS，格勒诺布尔INP，G-SCOP）
本研究利用CamemBERT和Fr_core_news_lg等NLP模型从法语建筑技术规范中自动提取结构化需求，NER的F1超90%，随机森林在关系抽取中F1超80%，为BIM自动验证提供支持。
2025-08-19 cs.AI cs.CL
Rethinking E-Commerce Search
Instacart, Inc.（Instacart公司）
本文提出反向改造电商搜索的思路：将产品库存、目录和分类等结构化数据转为文本以训练 LLM，并通过 LLM 问答机制实现搜索与推荐，替代传统信息抽取和结构化检索流程。
2023-12-06 cs.CL cs.IR
Transforming Unstructured Text into Data with Context Rule Assisted Machine Learning (CRAML)
Technical University of Munich（慕尼黑工业大学）；Loyola University Chicago（芝加哥洛约拉大学）
我们描述了一种方法和新的无代码的软件工具，使领域专家建立自定义的结构化，标记的数据集从非结构化的文本文件和建立利基机器学习文本分类模型可追溯到专家编写的规则。上下文规则辅助机器学习（CRAML）方法允许对大量非结构化文本进行准确且可再现的标记。CRAML使领域专家能够访问隐藏在文档语料库中的不常见的结构，并避免了当前计算方法的局限性，这些方法通常缺乏上下文，透明度和可解释性。在这篇研究方法论文中，我们提出了CRAML的三个用例：我们分析了最近的管理文献，从文本数据中提取，描述和发布新的机器学习模型，从专有的招聘广告文本分析，并从特许经营文件的公共语料库中提出社会和经济利益的调查结果。CRAML生成文档级编码的表格数据集，可用于定量学术研究，并允许定性研究人员在大量文本数据上扩展利基分类方案。CRAML是一种低资源、灵活且可扩展的方法，用于为监督ML构建训练数据。我们提供开源资源：软件，招聘广告文本分类器，特许经营文件的新语料库，以及在无偷猎条款的背景下完全可复制的从头到尾训练的例子。
2023-01-20 cs.CL
Recovering Patient Journeys: A Corpus of Biomedical Entities and Relations on Twitter (BEAR)
University of Stuttgart（斯图加特大学）
医学领域的文本挖掘和信息抽取主要集中在研究人员生成的科学文本上。然而，他们直接存取个别病人的经验或病人与医生的互动可能是有限的。在社交媒体上提供的信息，例如，患者及其家属的意见，补充了科学文本中的知识。它反映了病人的旅程和他们对症状发展过程的主观看法，被诊断和提供治疗，被治愈或学习与医疗条件一起生活。因此，这类数据的价值是双重的：首先，它提供了直接存取人们的观点。第二，它可能涵盖其他地方没有的信息，包括自我治疗或自我诊断。命名实体识别和关系抽取是对非结构化文本中可用的信息进行结构化的方法。然而，现有的医疗社交媒体语料库集中在一个非常小的实体和关系以及特定的领域，而不是把病人放在分析的中心。在本文中，我们贡献了一个语料库，其中包含一组丰富的注释层，旨在更详细地揭示和建模患者的旅程和体验。我们标记了14个实体类（包括环境因素、诊断、生物化学过程、患者的生活质量描述、病原体、医学状况和治疗）和20个关系类（例如，防止、影响、交互、原因），其中大部分在社交媒体数据之前都没有考虑过。公开的数据集包括2，100条推文，大约有2，000条推文。6,000个实体和3,000个关系注释。在语料库分析中，我们发现超过80%的文档包含相关实体。超过50%的推文表达了我们认为对于揭示患者对他们旅程的叙述至关重要的关系。
2022-04-21 cs.CL cs.IR
The Ubuntu Dialogue Corpus: A Large Dataset for Research in Unstructured Multi-Turn Dialogue Systems
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）
本文介绍了Ubuntu对话语料库，这是一个包含近100万个多轮对话的数据集，共有超过700万个话语和1亿个单词。这为基于神经语言模型构建对话管理器的研究提供了独特的资源，该模型可以利用大量未标记的数据。该数据集既具有对话状态跟踪挑战数据集中对话的多轮属性，又具有来自微博服务（如Twitter）的非结构化交互性质。我们还描述了两种适合分析该数据集的神经学习架构，并提供了选择最佳下一个响应任务的基准性能。
2016-02-04 cs.AI cs.CL cs.LG
Asking Questions the Human Way: Scalable Question-Answer Generation from Text Corpus
University of Alberta（阿尔伯塔大学）；Platform and Content Group, Tencent（腾讯平台与内容事业群）
提出问题的能力在人类和机器智能中都很重要。学习提问有助于知识获取，提高问答和机器阅读理解任务，并帮助聊天机器人保持与人类的对话。现有的问题生成模型在从非结构化文本中生成大量高质量的问题-答案对方面是无效的，因为给定答案和输入段落，问题生成本质上是一对多映射。本文提出了一种基于线索风格感知的问题生成算法（ACS-QG），旨在模仿人类提问的方式，从大规模的无标签文本语料库中自动生成高质量、多样化的问答对。我们的系统包括：i）信息提取器，其从文本中采样多种类型的辅助信息以指导问题生成; ii）神经问题生成器，其利用所提取的辅助信息来生成多样且可控的问题;以及iii）神经质量控制器，其基于文本蕴涵来移除低质量的所生成的数据。我们比较我们的问题生成模型与现有的方法和诉诸自愿的人的评价，以评估生成的问答对的质量。评估结果表明，我们的系统在生成质量方面大大优于最先进的神经问题生成模型，同时具有可扩展性。通过在相对较少的数据量上训练模型，我们可以从维基百科中找到的100万个句子中生成280万个有质量保证的问答对。
2020-03-05 cs.CL cs.LG
Extracting Impact Model Narratives from Social Services' Text
University of Toronto（多伦多大学）
命名实体识别（NER）是叙述抽取中的一项重要任务。叙事作为一个故事系统，提供了对故事中的事件和人物如何随着时间的推移而发展的见解。本文提出了一种基于社会目的组织语料库的命名实体架构。这是第一项专门针对社会服务实体的净入学率任务。我们展示了如何使用这种方法来排序的服务和受影响的客户端从非结构化文本中提取的信息。该方法概述了提取实体的本体表示，如需求和满足，并生成假设，以回答查询的社会目的组织定义的影响模型的步骤。我们评估模型的语料库的社会服务的描述与经验计算的分数。
2022-04-04 cs.AI cs.CL cs.IR
Improving Question Answering with External Knowledge
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Cornell University（康奈尔大学）；Tencent AI Lab（腾讯人工智能实验室）
我们专注于科学等学科领域的多项选择问答（QA）任务，我们需要广泛的背景知识和来自给定学科领域参考语料库的事实。在这项工作中，我们探索简单而有效的方法，利用两个来源的外部知识的主题领域的QA。第一种方法利用从开放域资源提取的相关文本片段来丰富原始主题领域参考语料库（即，维基百科），涵盖了问题和答案选项中潜在的模糊概念。与其他QA研究一样，第二种方法通过添加额外的域内主题领域实例来简单地增加训练数据的量。三个具有挑战性的多项选择科学QA任务的实验（即，ARC-Easy、ARC-Challenge和OpenBookQA）证明了我们方法的有效性：与以前的最先进技术相比，我们分别获得了高达8.1%、13.0%和12.8%的准确度绝对增益。虽然我们观察到一致的收益时，我们从维基百科引入的知识，我们发现，采用额外的QA训练实例是不是统一的帮助：性能下降时，增加的实例表现出更高的难度比原来的训练数据。作为利用非结构化外部知识进行主题领域QA的第一批研究之一，我们希望我们的方法，观察和讨论暴露的局限性可能会揭示该领域的进一步发展。
2019-10-01 cs.CL
Synthetic continued pretraining
Stanford University（斯坦福大学）
本文提出合成式继续预训练方法，通过EntiGraph算法从领域特定小语料库合成大规模多样化文本，使语言模型无需访问源文档即可高效学习领域知识，并能与检索增强生成协同提升性能。
2024-10-03 cs.AI cs.CL cs.LG
A Bi-Encoder LSTM Model For Learning Unstructured Dialogs
University of Denver（丹佛大学）
本文提出一种双编码LSTM模型，用于学习无结构对话并提升响应选择任务的准确率。
2021-04-25 cs.AI cs.CL cs.IR
Structured Knowledge Discovery from Massive Text Corpus
Southwest University（西南大学）；Florida State University（佛罗里达州立大学）；Baidu Research（百度研究院）；Tencent America（腾讯美国）
在互联网蓬勃发展的今天，人们受益于其开放性和共享性带来的便利。大量的自然语言文本正在由用户以各种形式生成，例如搜索查询、文档和社交媒体帖子。由于非结构化文本语料库通常是嘈杂和混乱的，它成为当务之急，正确识别和准确注释结构化信息，以获得有意义的见解或更好地理解非结构化文本。另一方面，现有的结构化信息，它体现了我们的知识，如实体或概念关系，往往遭受不完整或质量相关的问题。由于大量的文本提供了丰富的语义信息，因此利用未注释文本语料库的连续性来扩展和改进现有的结构化知识并减少注释工作也很重要。本文将介绍从海量文本中有效发现结构化知识的原理、模型和算法。我们通常有兴趣借助结构化注释或结构感知建模来获得见解并更好地理解非结构化文本。此外，鉴于现有的结构化知识，我们有兴趣扩大其规模和提高其质量利用文本语料库的连续性。本文主要研究了四个方面的问题：面向自然语言理解的结构化意图检测、结构感知的自然语言建模、生成式结构化知识扩展和结构化知识的同义词精化。
2019-07-23 cs.CL cs.IR cs.LG
Efficient long-distance relation extraction with DG-SpanBERT
King Abduallah University of Science and Technology（阿卜杜拉国王科技大学）
在自然语言处理中，关系抽取试图合理地理解非结构化文本。在这里，我们提出了一种新的基于SpanBERT的图卷积网络（DG-SpanBERT），它使用预训练的语言模型SpanBERT和图卷积网络从原始句子中提取语义特征，以汇集潜在特征。我们的DG-SpanBERT模型继承了SpanBERT在从大规模语料库中学习丰富词汇特征方面的优势。由于依赖树上使用了GCN，它还能够捕获实体之间的远程关系。实验结果表明，我们的模型优于其他现有的依赖性为基础的和基于序列的模型，并实现了最先进的性能在TACRED数据集。
2020-04-07 cs.AI cs.CL cs.IR
Constructing a Knowledge Graph for Vietnamese Legal Cases with Heterogeneous Graphs
VNU University of Engineering and Technology（越南国立大学工程技术大学）；National Institute of Informatics（国立信息学研究所）
本文提出一种面向越南法律案件的三阶段知识图谱构建方法，通过数据爬取、信息抽取和异构图谱部署，结合无监督学习实现相关法律识别，为法律分析与决策支持提供基础。
2023-09-16 cs.CL
Supporting search engines with knowledge and context
搜索引擎利用知识来改善信息访问。为了有效地利用知识，搜索引擎应该考虑上下文，即，关于用户和查询的信息。在这篇论文中，我们的目标是支持搜索引擎在利用知识的同时考虑上下文。在本文的第一部分中，我们研究了当搜索引擎主动提供诸如上下文等知识来丰富搜索结果时，如何使结构化知识更容易被用户访问。作为第一个任务，我们研究了如何从文本语料库中检索知识事实的描述。接下来，我们研究如何自动生成知识事实描述。最后，我们研究了如何将知识事实语境化，即自动发现与查询事实相关的事实。在本文的第二部分，我们研究了如何提高交互式知识收集。我们专注于对话式搜索，其中用户与搜索引擎交互以在大型非结构化知识库上收集知识。我们专注于多轮通道检索会话搜索的一个实例。我们提出将查询解析建模为一个术语分类任务，并提出了一种方法来解决它。在本文的最后一部分，我们专注于搜索引擎支持专业作家在新闻领域。我们研究如何支持这样的作家创造事件叙事探索知识的新闻文章语料库。我们提出了一个数据集的建设过程，这个任务依赖于现有的新闻文章来模拟不完整的叙述和相关的文章。我们研究了多个排名，词汇和语义的性能，并提供洞察这个任务的特点。
2021-02-12 cs.CL cs.IR
Recognizing and Extracting Cybersecurtity-relevant Entities from Text
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
网络威胁情报（CTI）是描述威胁向量、漏洞和攻击的信息，通常用作基于AI的网络防御系统（如网络安全知识图谱（CKG））的训练数据。迫切需要开发社区可访问的数据集，以训练现有的基于人工智能的网络安全管道，从而从CTI中高效准确地提取有意义的见解。我们已经创建了一个初始的非结构化CTI语料库，我们正在使用各种开放源代码来训练和测试网络安全实体模型，使用spaCy框架和探索自学习方法来自动识别网络安全实体。我们还描述了将网络安全领域实体与维基数据中现有的世界知识相链接的方法。我们未来的工作将调查和测试spaCy NLP工具，并创建从文本中提取的新信息的持续集成方法。
2022-08-02 cs.AI cs.CL cs.CR
OASYS: Domain-Agnostic Automated System for Constructing Knowledge Base from Unstructured Text
Kakao Enterprise（Kakao企业）
近年来，创建和管理知识库已成为零售产品和企业领域的关键。我们提出了一个自动知识库建设系统，挖掘数据的文件。该系统可以在训练过程中生成训练数据，无需人工干预。因此，它是领域无关的可训练的，只使用目标领域文本语料库和预定义的知识库。这个系统被称为OASYS，是第一个以韩语为基础的系统。此外，我们还构建了一个新的人类注释的基准数据集的韩国维基百科语料库与韩国DBpedia配对，以帮助系统评估。在人工标注的基准测试数据集上的系统性能结果是有意义的，并且表明仅在自动生成的数据上训练的OASYS生成的知识库是有用的。我们提供了一个人工注释的测试数据集和一个自动生成的数据集。
2022-06-29 cs.AI cs.CL cs.LG
Temporal Relation Extraction in Clinical Texts: A Span-based Graph Transformer Approach
本文提出GRAPHTREX方法，通过结合基于跨度的实体关系抽取、临床预训练语言模型和异构图变换器，提升临床文本中时间关系抽取的准确率和长距离关系识别能力。
2025-05-29 cs.AI cs.CL cs.LG
GPT-3 Powered Information Extraction for Building Robust Knowledge Bases
School of Computer Engineering（计算机工程学院）；Kalinga Institute of Industrial Technology（卡林加工业技术学院）
本文提出利用 GPT-3 通过少样本上下文学习从非结构化文本中抽取实体与关系，实验表明其性能具有竞争力，可降低标注与工程成本并提升知识库构建效率。
2024-07-31 cs.AI cs.CL cs.LG
LLM-Guided Ontology-Driven Knowledge Graph Construction from Unstructured Text
Institute for Technological Research - IRT SystemX（技术研究院——IRT SystemX）
本文提出一种结合开源大语言模型、可复用提示策略和开放知识库的本体学习流水线，用于从非结构化工业文本构建知识图谱，并在法语电网事故报告上验证了其有效性与泛化能力。
2026-09-29 cs.CL
End-to-end Conversation Modeling Track in DSTC6
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
神经网络的端到端训练是使用人对人对话语料库自动构建对话系统的有前途的方法。最近，Vinyals等人使用OpenSubtitles测试了神经会话模型。Lowe等人发布了Ubuntu Dialogue Corpus，用于研究非结构化多轮对话系统。此外，该方法已被扩展到完成面向任务的对话，以提供适当的信息与自然的对话。例如，Ghazvininejad等人提出了一种基于知识的神经会话模型[3]，该研究旨在使用非结构化数据（如用于会话的Twitter数据和用于外部知识的Foursquare数据）将会话对话与面向任务的知识相结合。然而，该任务仍仅限于餐厅信息服务，尚未在各种对话任务中进行测试。此外，目前还不清楚如何创建可以像人类代理一样响应的智能对话系统。考虑到这些问题，我们提出了一个挑战跟踪到第六届对话系统技术挑战赛（DSTC 6）使用人对人的对话数据，以模仿人类的对话行为。挑战轨道的重点是从人与人的对话中训练端到端的对话模型，并在假设客户服务的各种情况下完成端到端的对话任务，其中系统扮演人类代理的角色，并响应于给定对话上下文的用户的问题或评论生成自然和信息丰富的句子。
2018-01-30 cs.CL
BioIE: Biomedical Information Extraction with Multi-head Attention Enhanced Graph Convolutional Network
Xi’an Jiaotong University（西安交通大学）；The First Affiliated Hospital of Xi’an Jiaotong University（西安交通大学第一附属医院）
构建大规模的医学知识图谱可以极大地促进医学监护在医疗保健领域的应用，近年来受到了广泛的关注。构建大规模MKG的一个重要步骤是从医疗报告中提取信息。近年来，信息抽取技术在生物医学信息抽取中得到了广泛的应用。然而，这些方法只考虑有限类型的实体和关系，由于嘈杂的生物医学文本数据与复杂的实体相关性。因此，它们不能为构建MKG提供足够的信息，并限制了下游应用。为了解决这个问题，我们提出了生物医学信息抽取，一个混合神经网络，从生物医学文本和非结构化的医疗报告中提取关系。我们的模型利用一个多头注意力增强的图卷积网络来捕捉复杂的关系和上下文信息，同时抵抗来自数据的噪声。我们评估我们的模型上两个主要的生物医学关系提取任务，化学-疾病关系和化学-蛋白质相互作用，和跨医院泛癌症病理报告语料库。结果表明，我们的方法实现了优于基线的性能。此外，我们评估了我们的方法的适用性下的迁移学习设置，并表明BioIE在处理不同格式和写作风格的医学文本取得了良好的性能。
2021-10-26 cs.AI cs.CL cs.CV
Graph-based Topic Extraction from Vector Embeddings of Text Documents: Application to a Corpus of News Articles
Imperial College London（帝国理工学院）
新闻内容的生产正在以惊人的速度增长。为了帮助管理和监测大量的文本，越来越需要开发有效的方法，以便深入了解新兴的内容领域，并将非结构化的文本语料库分层为本质上源于内容相似性的“主题”。在这里，我们提出了一个无监督的框架，汇集了强大的矢量嵌入从自然语言处理与工具，从多尺度图分区，可以揭示自然分区在不同的分辨率，而无需作出先验假设的集群在语料库中的数量。我们通过与其他流行的聚类和主题建模方法的端到端比较，展示了基于图的聚类的优势，并评估了不同的文本向量嵌入，从经典的词袋到Doc2Vec，再到最近的基于Transformers的模型BERT。这项比较工作是通过对2016年总统大选期间美国新闻报道语料库的分析来展示的。
2020-10-28 cs.AI cs.CL cs.LG
DBpedia NIF: Open, Large-Scale and Multilingual Knowledge Extraction Corpus
Leipzig University（莱比锡大学）；Czech Technical University in Prague（捷克布拉格技术大学）；National Polytechnic Institute of Mexico（墨西哥国立理工学院）
在过去的十年中，DBpedia社区已经投入了大量的精力来开发技术基础设施和方法，以有效地从维基百科中提取结构化信息。这些努力主要集中在收集、改进和发布维基百科文章中的半结构化信息，例如来自信息框、分类信息、图像、维基链接和引文的信息。尽管如此，仍然有大量有价值的信息包含在非结构化的维基百科文章文本中。在本文中，我们提出了DBpedia NIF -一个大规模的多语种知识提取语料库。该数据集的目标是双重的：极大地扩展和深化DBpedia中的结构化信息量，并为各种NLP和IR任务的开发提供大规模和多语言资源。该数据集提供了128种维基百科语言的所有条目的内容。我们描述了数据集的创建过程和NLP交换格式（NIF），用于模拟维基百科文章的内容，链接和结构信息。该数据集已经进一步丰富了约25%的链接和选定的分区发布为关联数据。最后，我们描述了维护和可持续性计划，以及从TextExt知识提取挑战中选择的数据集用例。
2018-12-26 cs.CL cs.IR
MIRIAD: Augmenting LLMs with millions of medical query-response pairs
Department of Biosystems Science and Engineering, ETH Zurich（生物系统科学与工程系，苏黎世联邦理工学院）；Department of Computer Science, Stanford University（计算机科学系，斯坦福大学）；Department of Internal Medicine, Mayo Clinic（内科医学系，梅奥诊所）；Hugging Face；Department of Radiology, Stanford University（放射学系，斯坦福大学）；Hasso-Plattner-Institute for Digital Engineering, University of Potsdam（数字工程研究所，波茨坦大学）；Center for Artificial Intelligence in Medicine and Imaging, Stanford, CA, USA（医学与成像人工智能中心，斯坦福，CA，美国）；Scripps Translational Science Institute, San Diego, CA, USA（斯克里普斯转化科学研究所，圣地亚哥，CA，美国）
针对医疗 RAG 依赖噪声化非结构化文本的问题，本文构建含 5,821,948 个 QA 对的 MIRIAD 语料及 MIRIAD-Atlas，显著提升问答准确率与幻觉检测能力。
2025-06-09 cs.CL
What's In Your Field? Mapping Scientific Research with Knowledge Graphs and Large Language Models
Flatiron Institute（弗拉特海研究所）；New York University（纽约大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
针对科学文献激增导致跨学科知识综合困难的问题，本研究结合LLMs语义理解与科学概念模式，仅用20篇标注摘要构建系统，从arXiv的3万篇论文中提取结构化知识图谱，实现文献精确问答与趋势可视化。
2025-05-29 cs.CL
Semantic Sort: A Supervised Approach to Personalized Semantic Relatedness
Technion - Israel Institute of Technology（以色列理工学院）
我们提出并研究了一种新的监督方法，从主观注释的训练样本中学习统计语义相关模型。建议的语义模型由一个大型的背景知识语料库的文本单元相关联的参数化共现统计。我们提出了一个有效的算法，从相关性偏好的训练样本学习这样的语义模型。我们的方法是语料库独立的，基本上可以依赖于任何足够大的（非结构化）的连贯文本的集合。此外，该方法有利于特定用户或用户组的语义模型的拟合。我们提出了从小到大规模的广泛的实验结果，表明所提出的方法是有效的，具有竞争力的国家的最先进的。
2013-11-10 cs.CL cs.LG
Small Models, Big Impact: Efficient Corpus and Graph-Based Adaptation of Small Multilingual Language Models for Low-Resource Languages
University of Saarland（萨尔大学）；Brno University of Technology（布尔诺理工大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Kempelen Institute of Intelligent Technologies (KInIT)（肯佩伦智能技术研究所）
本文系统比较三种参数高效适配器架构，结合GlotCC文本与ConceptNet图谱使小型多语言模型适配低资源语言，证明其可在少参数下超越全量微调和大型LLM。
2025-02-14 cs.CL
A Neural Topical Expansion Framework for Unstructured Persona-oriented Dialogue Generation
Shandong University（山东大学）；Tencent AI Lab（腾讯人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；University of Amsterdam（阿姆斯特丹大学）
非结构化面向角色的对话系统（UPDS）已经被证明在通过利用预定义的自然语言用户角色描述（例如，“我是一个素食主义者”）。然而，预定义的用户角色描述通常很短，并且仅限于几个描述性词语，这使得难以将它们与对话相关联。因此，现有的方法要么无法使用的角色描述或使用它们不正确时，生成人物角色一致的响应。为了解决这个问题，我们提出了一个神经主题扩展框架，即人物角色探索和利用（PEE），它能够扩展预定义的用户角色描述与语义相关的内容，然后利用它们来生成对话响应。PEE由两个主要模块组成：角色探索和角色开发。前者通过使用基于变分自动编码器（VAE）的主题模型挖掘和关联现有对话语料库来学习扩展预定义的用户角色描述。后者通过利用预定义的和扩展的用户角色描述来学习生成角色一致的响应。为了使角色开发能够更好地利用用户的角色描述，我们还引入了两个面向角色的损失函数：面向角色匹配（Persona-oriented Matching，P-Match）损失和面向角色词袋（Persona-oriented Bag-of-Words，P-BoWs）损失，分别用于监督编码器和解码器中的角色选择。实验结果表明，我们的方法优于国家的最先进的基线，在自动和人工评估。
2020-02-06 cs.AI cs.CL cs.LG
Pre-training Language Model Incorporating Domain-specific Heterogeneous Knowledge into A Unified Representation
Tsinghua University（清华大学）；Huawei（华为）
本文提出统一预训练语言模型HKLM，通过掩码语言模型、三元组分类和标题匹配目标学习多格式异构知识，在仅用1/4数据时优于纯文本预训练，并在XNLI数据集上取得性能提升。
2024-03-21 cs.CL
Bridging Information Gaps in Dialogues With Grounded Exchanges Using Knowledge Graphs
Technical University of Munich（慕尼黑工业大学）；National Institute of Advanced Industrial Science and Technology（日本国立先进工业科学技术研究院）
本文构建五领域对话语料 BridgeKG，并基于知识图谱评估大型语言模型的接地行为分类与信息项识别能力。
2024-08-11 cs.CL
NUBOT: Embedded Knowledge Graph With RASA Framework for Generating Semantic Intents Responses in Roman Urdu
FAST University Islamabad（伊斯兰堡FAST大学）
通过识别意图和实体来量化人类语言的理解。尽管依赖于标记信息的分类方法经常用于语言理解的理解，但生成高倾向监督数据集的过程非常耗时且乏味。在本文中，我们提出了相应的罗马乌尔都语非结构化数据的准确意图的生成，并将此语料库集成到RASA NLU模块中进行意图分类。我们嵌入知识图谱与RASA框架，以维护基于语义的自然语言机制的聊天机器人通信的对话历史。我们比较我们的工作与现有的语言系统结合语义技术的结果。意图生成的最小准确率为64%的置信度，响应生成部分的最小准确率为82.1%，最大准确率增益为96.7%。所有的分数都是指每个意图的日志精确度、召回率和f1测量值，一旦汇总所有的结果。此外，它还创建了一个混淆矩阵，表示哪些意图是模糊识别的方法。
2021-02-20 cs.AI cs.CL
Explanation Graph Generation via Generative Pre-training over Synthetic Graphs
Harbin Institute of Technology（哈尔滨工业大学）；Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）
本文提出 EG3P 预训练框架，通过文本到图生成任务和自动合成大规模高质量语料，弥合自然语言与结构化解释图之间的差距，并在 ExplaGraphs 及实际推理任务上显著优于基线。
2023-06-01 cs.AI cs.CL
