Entity Embeddings with Conceptual Subspaces as a Basis for Plausible Reasoning
Cardiff University（卡迪夫大学）
概念空间是概念知识的几何表示，其中实体对应于点，自然属性对应于凸区域，并且空间的维度对应于显著特征。虽然概念空间能够为各种认知现象提供优雅的模型，但迄今为止，缺乏构建此类表示的自动化方法限制了它们在人工智能中的应用。为了解决这个问题，我们提出了一种方法，学习向量空间嵌入的实体从维基百科和约束这种嵌入，使相同的语义类型的实体位于一些低维子空间。我们实验证明这些子空间的有用性（近似）概念空间表示，除其他外，重要的功能可以建模为方向和自然属性往往对应于凸区域。
2017-10-25 cs.AI cs.CL
Interpreting Embedding Spaces by Conceptualization
Technion – Israel Institute of Technology（以色列理工学院）
针对大语言模型生成的嵌入空间人类难以理解的问题，提出将潜在嵌入空间转换为可理解概念空间的方法，设计动态按需粒度生成算法与新评估方式，可用于模型语义对比、LLM层追踪等任务。
2023-11-09 cs.AI cs.CL cs.LG
CAPE: Encoding Relative Positions with Continuous Augmented Positional Embeddings
Apple（苹果公司）；Facebook AI Research（Facebook 人工智能研究院）；Herophilus, Inc.（Herophilus 公司）
在没有位置信息的情况下，基于注意力的Transformer神经网络是置换不变的。绝对或相对位置嵌入是向Transformer模型提供位置信息的最常用方法。绝对位置嵌入易于实现，但在对比训练时看到的更长的序列进行评估时会遇到泛化问题。相对位置对输入长度变化更鲁棒，但实现起来更复杂，并且由于额外的计算和内存成本而产生较差的模型吞吐量。在本文中，我们提出了一种基于增广的方法（CAPE）的绝对位置嵌入，它保持了绝对（简单和速度）和相对位置嵌入（更好的泛化）的优点。此外，我们对机器翻译、图像和语音识别中最先进的模型的经验评估表明，CAPE导致了更好的泛化性能以及训练超参数的稳定性。
2021-11-09 cs.CL cs.CV cs.LG
Modelling Semantic Categories using Conceptual Neighborhood
CRIL - U. Artois - CNRS（法国国家科学研究中心 阿尔图瓦大学 朗斯信息学研究院）；Cardiff University（卡迪夫大学）
虽然在自然语言处理领域中已经提出了许多用于学习向量空间嵌入的方法，但是这些方法通常不区分类别和个体。直觉上，如果个体被表示为向量，我们可以将类别视为嵌入空间中的（软）区域。不幸的是，有意义的区域可能很难估计，特别是因为我们通常很少有属于给定类别的个体的例子。为了解决这个问题，我们依赖于不同类别往往高度相互依存的事实。特别是，类别通常有概念邻居，它们与给定类别不相交但密切相关（例如\水果和蔬菜）。我们的假设是，更准确的类别表示可以学习依赖于这样的假设，即代表这些概念邻居的区域应该是相邻的嵌入空间。我们提出了一个简单的方法来确定概念的邻居，然后表明，将这些概念的邻居确实导致更准确的区域为基础的表示。
2019-12-03 cs.AI cs.CL
Aligned at the Start: Conceptual Groupings in LLM Embeddings
Virginia Tech（弗吉尼亚理工大学）
本文通过分析大语言模型输入嵌入中的概念分组结构，发现其与人类分类一致，并证明操纵这些分组可缓解种族偏见。
2025-02-24 cs.AI cs.CL cs.LG
CURE: Controlled Unlearning for Robust Embeddings -- Mitigating Conceptual Shortcuts in Pre-Trained Language Models
Technical University of Munich（慕尼黑技术大学）
CURE通过解耦并抑制概念捷径，在保留内容信息的同时，利用对比学习可控去偏，在IMDB和Yelp上分别提升F1分数10和2个百分点，实现鲁棒且公平的语言理解。
2025-09-10 cs.AI cs.CL cs.LG
Enhancing CLIP Conceptual Embedding through Knowledge Distillation
University of California Los Angeles（加州大学洛杉矶分校）
针对CLIP图文编码器提取细粒度知识能力不足的问题，提出基于Llama 2知识蒸馏的Knowledge-CLIP方法，通过文本嵌入蒸馏、概念学习、对比学习三个模块，同时提升CLIP图文编码器的性能。
2024-12-07 cs.AI cs.CL cs.CV
Systematic Generalization on gSCAN with Language Conditioned Embedding
系统泛化是指学习算法将学习到的行为外推到与其训练数据不同但语义相似的不可见情况的能力。正如最近的工作所示，即使在测试集与训练数据系统性不同的情况下，最先进的深度学习模型也会严重失败。我们假设，明确建模对象之间的关系，在他们的上下文中，同时学习他们的表示将有助于实现系统的概括。因此，我们提出了一种新的方法，该方法通过以输入自然语言为条件的动态消息传递来学习对象的上下文化嵌入，并且可与其他下游深度学习模块进行端到端训练。据我们所知，该模型是第一个显著优于所提供的基线并达到最先进性能的模型，它是一种基于自然语言的导航数据集，旨在在其测试分割中需要系统泛化。
2020-10-04 cs.AI cs.CL
Pattern Over-Generalization of Knowledge Graph Embedding
AI Graduate School（人工智能研究生院）；Gwangju Institute of Science and Technology（光州科学技术院）
针对知识图谱嵌入的模式过度泛化问题，提出PogRE方法，通过密集线性变换等技术缓解该问题，在三个基准数据集的链接预测任务中优于现有最先进模型。
2026-09-04 cs.AI cs.CL
Conceptual Cognitive Maps Formation with Neural Successor Networks and Word Embeddings
University Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；University Hospital Erlangen（埃尔朗根大学医院）
本文提出结合后继表示、神经网络与词嵌入构建多尺度概念认知地图的模型，使新信息靠近相关已有表征，并有望为AI输入提供多模态上下文信息。
2023-07-04 cs.AI q-bio.NC
ASTRA: Mapping Art-Technology Institutions via Conceptual Axes, Text Embeddings, and Unsupervised Clustering
Graduate School of Culture Technology, KAIST (Korea Advanced Institute of Science and Technology)（韩国科学技术院文化技术研究生院）
本文提出ASTRA方法，结合八轴概念框架和文本嵌入聚类技术，对78个文化科技机构进行统一分析，揭示其多维特征及跨学科联系。
2026-04-06 cs.AI cs.DL
Fourier Position Embedding: Enhancing Attention's Periodic Extension for Length Generalization
Tsinghua University（清华大学）；Northeastern University（东北大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Jiaotong University（上海交通大学）
本文揭示了语言模型各部分对长度泛化的不利影响，基于离散信号处理理论提出 Fourier Position Embedding (FoPE)，通过构造 Fourier Series 并将破坏性频率成分置零来增强注意力的频域特性，显著提升了模型的周期性扩展和长度泛化能力。
2025-07-14 cs.AI cs.CL
SCALE: Scientific Concept Aggregation via LLMs and Embeddings for Fine-Grained Taxonomy Extension
MDPI（MDPI出版集团）
SCALE是结合LLMs与嵌入的框架，在OpenAlex分类体系主题下新增科学概念层，将语义相关关键词组织为概念单元，为细粒度学术分类等提供基础。
2026-08-11 cs.AI cs.DL
Lattice based Conceptual Spaces to Explore Cognitive Functionalities for Prosthetic Arm
Vellore Institute of Technology & Engineering（韦洛尔理工学院）
上肢假肢可以被看作是一个独立的认知系统，以发展一个概念空间。本文借助Gardenfors提出的概念空间几何框架理论，对假肢进行了详细的类比推理，并建立了假肢的概念空间。将概念、相似性、属性、质量尺寸和原型等概念空间术语应用于具体的假肢系统，建立了假肢系统的概念空间，并对概念空间进行了概念格遍历。认知功能，如泛化（相似性）和专业化（差异性）是在格表示的概念空间。这很可能被证明是设计智能假肢来帮助有挑战的人类。概念空间的几何框架以类似于概念格的方式将相似的概念以几何结构紧密地联系在一起。因此，我们也提出用概念格来表示概念空间的几何框架中的概念。此外，我们扩展我们的讨论与我们的见解的概念空间的双向手假肢。
2018-07-05 cs.AI
Probabilistic Conceptual Explainers: Trustworthy Conceptual Explanations for Vision Foundation Models
Rutgers University（罗格斯大学）
针对视觉Transformer事后可信解释方法不足的问题，提出含五项评判标准的变分贝叶斯解释框架PACE，通过建模图像块嵌入分布提供多层级概念解释，实验表明其性能优于现有最优方法。
2024-10-31 cs.AI cs.CV cs.LG
Magnification Generalization for Histopathology Image Embedding
University of Waterloo（滑铁卢大学）
历史学图像嵌入是计算机视觉领域的一个研究热点。大多数嵌入模型专门集中在一个特定的放大水平。然而，在组织病理学包埋中有用的任务是训练包埋空间，而不管放大率水平如何。解决这一目标的两种主要方法是域自适应和域泛化，其中目标放大水平可以或可以不分别引入到训练中的模型中。虽然放大自适应是一个很好的研究课题，在文献中，本文，据我们所知，是第一个工作放大泛化的组织病理学图像嵌入。我们使用一种情景可训练域泛化技术进行放大泛化，即语义特征的模型不可知学习（MASF），它基于模型不可知元学习（MAML）概念工作。我们的实验结果与四个不同的放大率水平的乳腺癌组织病理学数据集显示所提出的方法的放大率泛化的有效性。
2021-01-18 cs.AI cs.CV eess.IV
ClustEm4Ano: Clustering Text Embeddings of Nominal Textual Attributes for Microdata Anonymization
Deggendorf Institute of Technology（代根多夫应用技术学院）
本文提出ClustEm4Ano，一种基于文本嵌入聚类的自动生成值泛化层次结构的匿名化流水线，在Adult数据集上实验证明其生成的VGHs在下游效能上优于手动构建，尤其适用于小k匿名性。
2024-12-17 cs.AI cs.CL
Evaluating Embedding Generalization: How LLMs, LoRA, and SLERP Shape Representational Geometry
Department of Computer Science University of Fort Hare（计算机科学系大学弗利特哈雷）
该研究探讨了LLM、LoRA和SLERP在嵌入泛化中的作用，发现SLERP融合能有效恢复基础模型结构并提升聚类性能。
2025-11-16 cs.AI cs.CL cs.LG
Methodological and Conceptual Framework for 5D Multi-Table Analysis: A Unified Approach for Complex Data Reuse
CHU de Lille（里尔大学中心医院）；Lille Centrale Institute（里尔中央理工学院）；Lille University（里尔大学）
本文提出关系超图Transformer（RHT）架构，用于解决复杂关系数据的多表学习问题，在Synthea数据集上验证其生成语义连贯嵌入的能力，计划后续在MIMIC-IV上开展临床验证。
2026-08-28 cs.AI cs.LG
Contrastive Behavioral Similarity Embeddings for Generalization in Reinforcement Learning
Google Research（谷歌研究院）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；DeepMind（深度思维公司）
在少数环境中训练的强化学习方法很少学习推广到未知环境的策略。为了提高泛化能力，我们将强化学习中固有的顺序结构融入到表示学习过程中。这种方法与最近的方法是正交的，这些方法很少明确地利用这种结构。具体来说，我们引入了一个理论上的动机的政策相似性度量（PSM）测量状态之间的行为相似性。PSM分配高相似性的状态，在这些状态以及在未来的状态是相似的最优策略。我们还提出了一个对比表示学习过程中嵌入任何状态相似性度量，我们与PSM实例化，以获得政策相似性嵌入（PSE）。我们证明了PSE在不同的基准测试中提高了泛化能力，包括具有虚假相关性的LQR，从像素的跳跃任务和分散DM控制套件。
2021-03-18 cs.AI cs.LG stat.ML
Improving Compositional Generalization Using Iterated Learning and Simplicial Embeddings
University of British Columbia（不列颠哥伦比亚大学）；Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）；Intel AI Lab（英特尔人工智能实验室）；Amii（阿尔伯塔机器智能研究所）
本文借鉴认知科学中的迭代学习思想，结合单纯嵌入对表示进行近似离散化，以提升深度网络在视觉和分子图预测等任务上的组合泛化能力。
2023-10-28 cs.AI cs.LG
Do Kernel and Neural Embeddings Help in Training and Generalization?
Chalmers University of Technology（查尔姆斯理工大学）
神经网络的优化和泛化性能的最新研究结果表明，在一个简单的两层网络中，标签与相应的Gram矩阵的特征向量的对齐决定了训练过程中优化的收敛性。这样的分析也提供了上界的泛化误差。我们通过实验研究了这些结果对嵌入更深层次网络的影响。我们认为最后隐藏层之前的层产生输入数据的不同表示，然后将其馈送到两层模型。我们表明，这些表示提高优化和泛化。特别是，我们调查三个内核表示时，馈送到最后的隐藏层：高斯内核和它的近似随机傅立叶特征，内核设计模仿表示产生的神经网络，最后一个最佳内核设计对齐的数据与目标标签。由这些内核引起的近似表示被馈送到神经网络，并对最终模型的优化和泛化性能进行评估和比较。
2023-02-02 cs.AI cs.LG stat.ML
When are Post-hoc Conceptual Explanations Identifiable?
University of Tübingen（图宾根大学）；Technical University of Munich（慕尼黑工业大学）
本文研究无人工标签时事后概念解释的可辨识性，联系 PCA/ICA 并提出两种利用图像生成函数组合性的相关概念发现方法，在数百个模型上实现最高 29% 的真实值对齐提升。
2023-06-06 cs.AI cs.CV cs.LG
SVC-Probe: A Framework for Evaluating Perturbation Generalization in Spatial Foundation-Model Embeddings
Department of Biomedical Informatics and Data Science, University of Alabama at Birmingham（亚拉巴马大学伯明翰分校生物医学信息学与数据科学系）；System Pharmacology and AI Research Center, University of Alabama at Birmingham（亚拉巴马大学伯明翰分校系统药理学与人工智能研究中心）
提出SVC-Probe框架，通过嵌入稳定性、邻域重连和质心预测评估荧光显微图像空间基础模型嵌入的扰动泛化性，发现高条件判别精度不保证跨药物泛化。
2026-06-26 cs.AI q-bio.QM
On the Limitations and Capabilities of Position Embeddings for Length Generalization
State Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（人工智能通用基础理论国家重点实验室，智能科学与技术学院，北京大学）；Institute for Artificial Intelligence, Peking University（人工智能研究院，北京大学）；Beijing Institute for General Artificial Intelligence（北京人工智能研究院）；Pazhou Laboratory (Huangpu)（琶洲实验室（黄埔））
本文通过理论分析位置嵌入在长度泛化中的作用，提出复杂度度量并引入尺度提示和学习式位置嵌入，以提升Transformer的长度泛化能力。
2025-10-05 cs.AI cs.LG
On Size and Hardness Generalization in Unsupervised Learning for the Travelling Salesman Problem
Cornell University（康奈尔大学）
本文研究无监督学习求解旅行商问题的泛化能力，发现使用更大训练实例规模、更高嵌入维度以及在更难实例上训练均能提升模型的泛化与求解效果。
2024-11-19 cs.AI cs.LG
Embedding Geometry Shapes LLM Routing: Tracing Failure Modes and Improving Generalization
Massachusetts Institute of Technology（麻省理工学院）；Texas A&M University（德克萨斯农工大学）
本研究针对LLM路由的泛化失效问题，提出用Qwen2.5-7B-Instruct的深层最后token隐藏状态替代语义嵌入，相关方法在RouterBench上优于基线及最优路由器。
2026-10-15 cs.AI cs.LG stat.ML
Three-way decision with incomplete information based on similarity and satisfiability
College of mathematics, Southwest Jiaotong University, Chengdu 610031, P.R. China（数学学院，西南交通大学，成都610031，中国）；Department of Computer Science, University of Regina, Regina SK S4S 0A2, Canada（计算机科学系，里贾纳大学，里贾纳，加拿大）
本文提出基于相似性和可满足性的不完整信息三元决策方法，扩展了传统计算和概念性公式，引入了α-相似性类和近似性概念，以提升实际应用中的决策能力。
2025-12-24 cs.AI
Knowledge Base Embeddings: Semantics and Theoretical Properties
DI ENS（高等师范学院数字科学研究所）；ENS（高等师范学院）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）；Inria（法国国家信息与自动化研究所）；University of Bergen（卑尔根大学）；University of Oslo（奥斯陆大学）
本文从基于几何的语义视角分析描述逻辑知识库嵌入方法，提炼、推广并统一相关理论性质，进而考察具体方法与该理论框架的适配关系。
2024-08-09 cs.AI cs.LO
Mapping Images to Psychological Similarity Spaces Using Neural Networks
Institute of Cognitive Science, Osnabrück University（奥斯纳布吕克大学认知科学研究所）；Open University of Cyprus（塞浦路斯开放大学）
概念空间的认知框架通过提出一个中间概念层来弥合符号和子符号AI之间的差距，在这个中间概念层中，知识被几何表示。有两种主要的方法来获得这个概念相似性空间的维度：使用心理学实验的相似性评级和使用机器学习技术。在本文中，我们提出了一种结合这两种方法，通过使用心理学推导的相似性评级来约束机器学习过程。通过这种方式，可以学习从刺激到概念空间的映射，这既得到心理数据的支持，又允许对看不见的刺激进行概括。第一次可行性研究的结果支持我们提出的方法。
2019-08-07 cs.AI cs.LG stat.ML
Conceptual Collectives
University of Arkansas at Little Rock（阿肯色大学小石城分校）
形式背景和概念格的概念，虽然是由Wille在十年前提出的，但已经被证明在数据分析和知识表示等各种应用中具有很大的实用性。在本文中，我们给出的参数，威尔的原始概念的形式背景下，虽然相当吸引人的简单，现在应该被一个更语义的概念。这种新的形式背景的概念需要一个修改的方法来构建概念。我们的论点的基础上，这些新版本的形式背景和概念的建设威尔的哲学态度与内涵方面的概念。我们给出了形式背景和概念构建的关系理论的简要发展，证明了Wille的“概念格构建”与MacNeille著名的“割补”的等价性。这些形式背景的概括和抽象为知识表示提供了一种强有力的方法。
2018-10-14 cs.AI cs.DL
Tracing the Path to Grokking: Embeddings, Dropout, and Network Activation
University of Waterloo（滑铁卢大学）
本文提出dropout方差、鲁棒性、嵌入相似度与稀疏性等实用指标，通过Dropout鲁棒性曲线等方法预测神经网络的延迟泛化（顿悟）行为，并揭示了其起源与机制。
2025-07-15 cs.AI cs.LG
OOD Link Prediction Generalization Capabilities of Message-Passing GNNs in Larger Test Graphs
Purdue University（普渡大学）；Ludwig-Maximilians-Universitat München（慕尼黑大学）
这项工作提供了关于图消息传递神经网络（gMPNN）-如图神经网络（GNN）-执行归纳分布外（OOD）链接预测任务的能力的第一个理论研究，其中部署（测试）图的大小大于训练图。我们首先证明了非渐近界，表明基于置换等变（结构）节点嵌入gMPNN的链接预测可以收敛到一个随机猜测的测试图变得更大。然后，我们提出了一个理论上合理的gMPNN输出结构成对（2节点）嵌入，并证明非渐近界显示，随着测试图的增长，这些嵌入收敛到一个连续函数的嵌入，保留其预测链接OOD的能力。随机图上的实验结果与我们的理论结果一致。
2022-10-10 cs.AI cs.LG cs.NA
The Devil is in the Detail: Simple Tricks Improve Systematic Generalization of Transformers
The Swiss AI Lab IDSIA（瑞士人工智能实验室IDSIA）
近年来，许多数据集被用来测试神经网络的系统泛化能力。同伴基线Transformers，通常使用标准任务的默认超参数进行训练，显示出显着失败。在这里，我们证明，通过重新访问模型配置的基本缩放嵌入，提前停止，相对位置嵌入，通用Transformer的变种，我们可以大大提高性能的Transformers的系统推广。我们报告了五个流行数据集的改进：SCAN，CFQ，PCFG，COGS和Mathematics数据集。我们的模型将PCFG生产率分割的准确性从50%提高到85%，将COGS的准确性从35%提高到81%。在SCAN上，相对位置嵌入在很大程度上减轻了EOS决策问题（Newman等人，2020年），产生100%的准确率的长度分裂与截止26。重要的是，这些模型之间的性能差异通常在IID数据分割上不可见。这就需要适当的泛化验证集来开发系统泛化的神经网络。我们公开发布代码以重现我们的结果。
2022-02-14 cs.AI cs.LG cs.NE
