Modelling Semantic Categories using Conceptual Neighborhood
CRIL - U. Artois - CNRS（法国国家科学研究中心 阿尔图瓦大学 朗斯信息学研究院）；Cardiff University（卡迪夫大学）
虽然在自然语言处理领域中已经提出了许多用于学习向量空间嵌入的方法，但是这些方法通常不区分类别和个体。直觉上，如果个体被表示为向量，我们可以将类别视为嵌入空间中的（软）区域。不幸的是，有意义的区域可能很难估计，特别是因为我们通常很少有属于给定类别的个体的例子。为了解决这个问题，我们依赖于不同类别往往高度相互依存的事实。特别是，类别通常有概念邻居，它们与给定类别不相交但密切相关（例如\水果和蔬菜）。我们的假设是，更准确的类别表示可以学习依赖于这样的假设，即代表这些概念邻居的区域应该是相邻的嵌入空间。我们提出了一个简单的方法来确定概念的邻居，然后表明，将这些概念的邻居确实导致更准确的区域为基础的表示。
2019-12-03 cs.AI cs.CL
A Corpus-Based Approach for Building Semantic Lexicons
语义知识对于自然语言处理系统来说是一个巨大的资产，但它通常是为每个应用程序手工编码的。虽然一些语义信息在通用知识库（如WordNet和Cyc）中可用，但许多应用程序需要特定领域的词典来表示特定主题的单词和类别。在本文中，我们提出了一个基于语料库的方法，可以用来建立特定类别的语义词典。该系统的输入是一个小的种子词的类别和一个代表性的文本语料库。输出是与类别相关联的单词的排名列表。然后，用户查看排名靠前的单词，并决定哪些单词应该输入语义词典。在五个类别的实验中，用户通常在10-15分钟内找到每个类别约60个单词，以构建核心语义词典。
1997-06-10 cmp-lg cs.CL
Categorical Semantics of Reversible Pattern-Matching
LMF, Univ. Paris Saclay（巴黎萨克雷大学数学与计算机科学实验室）；IRIF, Univ. Paris（巴黎大学计算机科学基础研究所）；LMF, CentraleSupélec, Univ. Paris Saclay（巴黎萨克雷大学中央理工-高等电力学院数学与计算机科学实验室）
本文研究可逆计算的范畴结构。特别是，我们专注于一个类型，功能可逆的语言的基础上忒修斯。我们讨论了如何加入逆钻机类别一般不捕获模式匹配，核心结构忒修斯用来执行可逆性。然后，我们推导出一个分类结构，添加到加入逆钻机类别，以捕捉模式匹配。我们展示了这样的结构如何使可逆模式匹配的一个足够的模型。
2021-12-28 cs.CL cs.LO
SLHCat: Mapping Wikipedia Categories and Lists to DBpedia by Leveraging Semantic, Lexical, and Hierarchical Features
Graduate School of Information, Production, and Systems, Waseda University（早稻田大学信息生产系统研究生院）；United Automotive Electronic Systems Co., Ltd（联合汽车电子有限公司）
本文提出 SLHCat，将 Wikipedia 分类与列表到 DBpedia 的映射建模为本体对齐，结合知识图谱结构、语义与词汇特征生成远程监督数据，并微调 BERT，在 3000 个标注映射对上准确率较基线提升 25%。
2023-09-27 cs.CL cs.DL
Generalized Category Discovery with Decoupled Prototypical Network
National Engineering Laboratory for Big Data Analytics（大数据分析国家工程实验室）；Department of Computer Science, University of Massachusetts Boston（马萨诸塞大学波士顿分校计算机科学系）；Lenovo Research（联想研究院）；Department of Engineering, University of Massachusetts Boston（马萨诸塞大学波士顿分校工程系）
广义类别发现（GCD）的目标是从一组未标记的数据中识别已知和新的类别，基于另一个只标记有已知类别的数据集。现有的方法没有考虑已知类别和新类别之间的差异，而是以耦合的方式学习它们，这会损害模型的泛化能力和区分能力。此外，耦合训练方法防止这些模型将特定于类别的知识显式地从标记数据转移到未标记数据，这可能会丢失高级语义信息并损害模型性能。为了克服上述限制，我们提出了一种新的模型称为解耦原型网络（DPN）。通过为类别原型制定一个二分匹配问题，DPN不仅可以解耦已知和新类别以有效地实现不同的训练目标，而且还可以对齐标记和未标记数据中的已知类别，以显式地传递特定于类别的知识并捕获高级语义。此外，DPN可以通过我们提出的语义感知的原型学习（SPL）学习更多的判别特征，为已知和新的类别。除了捕获有意义的语义信息，SPL还可以通过语义加权软分配来减轻硬伪标签的噪声。大量的实验表明，DPN在多个基准数据集的所有评估指标上都大大优于最先进的模型。代码和数据可在www.example.com上获得。
2023-03-15 cs.AI cs.CL cs.CV
Mined Semantic Analysis: A New Concept Space Model for Semantic Representation of Textual Data
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
挖掘语义分析（MSA）是一种新的概念空间模型，它采用无监督学习来生成文本的语义表示。MSA将文本结构（术语、短语、文档）表示为概念袋（BoC），其中概念来自概念丰富的百科全书语料库。传统的概念空间模型只利用目标语料的内容来构建概念空间。或者，MSA通过挖掘概念之间的关联来揭示概念之间的隐含关系（例如，挖掘维基百科的“See also”链接图）。我们评估了MSA在衡量单词和句子语义相关性的基准数据集上的性能。实证结果表明，竞争力的性能MSA相比，现有的国家的最先进的方法。此外，我们介绍了第一个分析研究，以检查不同的语义相关性方法报告的结果的统计意义。我们的研究表明，最佳性能方法的结果的细微差别在统计学上可能是不显著的。这项研究的立场MSA作为一个国家的最先进的方法来衡量语义相关性，除了固有的可解释性和简单的生成的语义表示。
2017-12-31 cs.CL
Geometry of Semantics in Next-Token Prediction: How Optimization Implicitly Organizes Linguistic Representations
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of British Columbia（不列颠哥伦比亚大学）
本文通过数学模型和实验证明，下一词预测的优化过程隐式地通过奇异值分解组织语义结构，形成从宽泛到细粒度的层级，并据此提出基于象限的聚类方法以识别可解释的语义类别。
2025-10-08 cs.CL
Zero-Shot Learning for Semantic Utterance Classification
University of Montreal（蒙特利尔大学）；Microsoft Research（微软研究院）
提出一种新的零样本学习方法用于语义话语分类。它学习一个分类器$f: X \to Y$，用于在训练集中不存在任何语义类别$Y$的问题。该框架揭示了使用语义空间的类别和话语之间的联系。我们证明了这个语义空间可以通过在大量搜索引擎查询日志数据上训练的深度神经网络来学习。更确切地说，我们提出了一种新的方法，可以学习判别语义特征，而无需监督。它使用零样本学习框架来指导语义特征的学习。我们证明了zero-shot语义学习算法在（Tur，2012）收集的SUC数据集上的有效性。此外，我们通过将语义特征与监督方法相结合来实现最先进的结果。
2014-03-07 cs.CL cs.LG
The Model of Semantic Concepts Lattice For Data Mining Of Microblogs
提出了一种微博数据采掘的语义概念格模型。结果表明，该模型对语义关系分析和关键词关联规则的发现是有效的。
2012-10-30 cs.CL cs.IR
Thematically Reinforced Explicit Semantic Analysis
Institut Mines-Télécom（矿业电信研究所）；University of Aizu（会津大学）
我们提出了一个扩展的，主题加强版本的Gabrilovich和Markovitch的显式语义分析（ESA），我们通过维基百科的类别结构获得主题信息。为此，我们首先定义了一个概念的范畴tfidf的措施的相关性的条款类别。使用这个措施作为一个权重，我们计算的维基百科语料库的最大生成树被认为是一个有向图的页面和类别。该树为我们提供了每个页面和层次结构顶部之间的“最相关类别”的唯一路径。我们加强tfidf的词在一个页面中，通过聚合它与这些路径的节点的分类tfidf，并定义一个主题加强ESA语义相关性的措施，这是更强大的比标准的ESA和不太敏感的噪声所造成的上下文外的话。我们将我们的方法应用于法语维基百科语料库，通过对20个法语新闻组的37.5 MB语料库进行文本分类进行评估，与标准ESA相比，精度提高了9-10%。
2014-05-17 cs.CL
Unveiling the Mystery of Visual Attributes of Concrete and Abstract Concepts: Variability, Nearest Neighbors, and Challenging Categories
University of Stuttgart（斯图加特大学）；LMU Munich（慕尼黑大学）
本研究以具体性为例，利用Bing和YFCC数据集约1000个概念的图像，分析了抽象与具体概念的视觉表征变异性，发现颜色纹理等基本特征在分类上优于ViT，但ViT在最近邻分析中表现更好。
2024-10-15 cs.CL cs.CV
Semantic Measures for the Comparison of Units of Language, Concepts or Instances from Text and Knowledge Base Analysis
LGI2P/EMA Research Center（LGI2P/EMA研究中心）
语义度量如今被广泛用于估计各种类型的元素之间的语义关系的强度：语言的单位（例如，单词、句子、文档）、概念或甚至语义上表征的实例（例如，疾病、基因、地理位置）。语义度量在根据语义代理（文本和知识表示）比较这些元素方面发挥着重要作用，这些语义代理支持它们的含义或描述它们的性质。因此，语义措施是必不可少的设计智能代理，例如，利用语义分析模仿人类的能力，比较抽象或具体的对象。本文提出了一个广泛的语义测量的概念进行比较的语言单位，概念或实例的语义代理分析的基础上进行全面的调查。语义度量概括了语义相似性、语义相关性和语义距离的众所周知的概念，这些概念在过去几十年中已经被各种社区广泛研究（例如，认知科学、语言学和人工智能等等）。
2016-10-24 cs.CL
Captioning Images with Diverse Objects
UT Austin（得克萨斯大学奥斯汀分校）；UC Berkeley（加州大学伯克利分校）；Boston Univ（波士顿大学）
最近的字幕模型在扩展和描述成对图像-文本语料库中看不到的概念的能力方面受到限制。我们提出了新颖的对象字幕（NOC），一个深度的视觉语义字幕模型，可以描述大量的对象类别不存在于现有的图像字幕数据集。我们的模型利用了外部资源--来自对象识别数据集的标记图像，以及从未注释文本中提取的语义知识。我们建议最小化一个联合目标，它可以从这些不同的数据源中学习，并利用分布式语义嵌入，使模型能够概括和描述图像标题数据集之外的新对象。我们证明了我们的模型利用语义信息为ImageNet对象识别数据集中的数百个对象类别生成标题，这些对象类别在MSCOCO图像标题训练数据中没有观察到，以及许多很少观察到的类别。自动评估和人类判断都表明，我们的模型在能够描述更多类别的对象方面大大优于先前的工作。
2017-07-20 cs.CL cs.CV
Modelling Semantic Association and Conceptual Inheritance for Semantic Analysis
允许用户跨越语言边界进行交互是信息技术面临的一个有趣的挑战。为了计算机辅助语言学习系统的目的，我们选择了在输入界面上表示含义的图标，因为图标不依赖于特定的语言。然而，这种类型的沟通的一个关键限制是表达清晰的想法，而不是孤立的概念。我们提出了一种方法来解释的图标序列作为复杂的信息，通过重建概念之间的关系，从而建立概念图能够表示的意义，并用于自然语言句子生成。该方法基于包含语义信息的电子词典。
2001-09-15 cs.CL
Semantic Categorization of Social Knowledge for Commonsense Question Answering
Columbia University（哥伦比亚大学）；JD AI Research（京东人工智能研究）；Georgia Institute of Technology（佐治亚理工学院）
大型预训练语言模型（PLM）以端到端的方式在各种常识性问答（QA）任务上取得了巨大成功。然而，很少有人注意到需要什么常识知识来深入描述这些QA任务。在这项工作中，我们建议使用SocialIQA作为一个例子，这些任务所需的语义进行分类。基于SocialIQA之上的标记社会知识类别数据集，我们进一步训练神经QA模型，以将这些社会知识类别和知识库中的关系信息结合起来。与以前的工作不同，我们观察到我们的模型与语义分类的社会知识可以实现相当的性能与一个相对简单的模型和较小的尺寸相比，其他复杂的方法。
2021-09-11 cs.CL
Zero-shot Recognition via Semantic Embeddings and Knowledge Graphs
The Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
我们考虑的问题zero-shot识别：学习一个视觉分类器的类别与零训练样本，只是使用词嵌入的类别和它的关系，视觉数据提供。处理不熟悉或新类别的关键是将从熟悉类中获得的知识转移到描述不熟悉类中。在本文中，我们建立在最近推出的图卷积网络（GCN），并提出了一种方法，使用语义嵌入和分类关系来预测分类器。给定一个学习过的知识图谱（KG），我们的方法将每个节点（表示视觉类别）的语义嵌入作为输入。经过一系列的图卷积，我们预测每个类别的视觉分类器。在训练过程中，给出了几个类别的视觉分类器来学习GCN参数。在测试时，这些过滤器被用来预测看不见的类别的视觉分类器。我们证明了我们的方法对KG中的噪声具有鲁棒性。更重要的是，与当前最先进的结果相比，我们的方法在性能上有了显着的改进（从某些指标的2 ~ 3%到一些指标的20%）。
2018-04-08 cs.CL cs.CV
SSP: Semantic Space Projection for Knowledge Graph Embedding with Text Descriptions
Tsinghua University（清华大学）
知识表示是人工智能中一个重要的、历史悠久的课题，并且已经有大量的工作用于知识图谱嵌入，其将符号实体和关系投影到低维、实值向量空间中。然而，大多数嵌入方法只关注数据拟合，而忽略了显式的语义表达，导致不可解释的表示。因此，传统的嵌入方法对于诸如问答和实体分类的许多应用具有有限的潜力。为此，本文提出了一种知识图谱\textbf{(KSR)}的语义表示方法，该方法采用两级分层生成过程，在全局上提取多个方面，然后在每个方面为每个三元组分配一个特定的类别。由于方面和范畴都是语义相关的，因此每个方面中的范畴集合被视为这个三元组的语义表示。大量的实验证明，我们的模型大大优于其他国家的最先进的基线。
2017-06-17 cs.CL cs.LG
