Exploring Human-AI Conceptual Alignment through the Prism of Chess
Stanford University(斯坦福大学);Columbia University(哥伦比亚大学);Kaggle;University of Washington(华盛顿大学);NYU(纽约大学)
研究通过国际象棋分析270M参数transformer,发现早期层准确编码人类战略概念而深层转向异类表示,并引入Chess960数据集验证模型依赖记忆而非抽象理解,揭示了AI优化性能时偏离人类思维的张力。
2025-11-04 cs.LG
Emergent World Models and Latent Variable Estimation in Chess-Playing Language Models
本研究将奥赛罗棋相关的世界模型研究拓展到国际象棋领域,在真实棋局上训练仅做下字符预测的语言模型,验证了其内部棋盘状态表示,还发现模型能估计玩家技能等潜变量,添加推导的技能向量可使胜率最高提升2.6倍。
2024-07-14 cs.CL cs.LG
The Weight of Silence: A Causal Case for Weights Over the Scratchpad in Latent Chess Reasoning
研究国际象棋模型潜在推理,通过分阶段潜在推理课程训练并强化学习,发现强化学习增加对干扰的鲁棒性而非依赖思维内容,反驳潜在思维是推理时暂存器的假设,表明其主要作用是塑造模型参数,还展示了强化学习在国际象棋领域的有效提升。
2026-07-28 cs.CL cs.LG
PAWN: Piece Value Analysis with Neural Networks
Arizona State University(亚利桑那州立大学)
本文提出利用CNN自动编码器生成的潜在位置表示,提升基于MLP的棋子价值预测精度,通过1200万棋谱数据验证,使预测误差降低16%,相对棋子价值预测误差约0.65个棋子。
2026-04-16 cs.AI cs.LG
Latent Planning via Embedding Arithmetic: A Contrastive Approach to Strategic Reasoning
Department of Computer Science(计算机科学系);Baylor University(贝勒大学)
针对高维决策空间规划问题,提出基于监督对比学习的SOLIS方法,在评估对齐嵌入空间中通过向量运算简化规划,在国际象棋中以浅层搜索达到竞争力,为传统方法提供轻量级替代。
2025-11-12 cs.LG
Orthogonal Matrices for MBAT Vector Symbolic Architectures, and a "Soft" VSA Representation for JSON
Textician(Textician 公司)
向量符号体系结构(VSAs)提供了一种将复杂对象表示为单个固定长度向量的方法,以便相似的对象具有相似的向量表示。这些向量表示然后变得易于用于机器学习或最近邻搜索。我们回顾了以前提出的VSA方法,MBAT(矩阵绑定的加法项),它使用随机矩阵的乘法绑定相关的条款。然而,乘以这样的矩阵引入了可能损害性能的不稳定性。使随机矩阵成为正交矩阵可证明地解决了这个问题。对于更大规模的应用程序,我们看到了如何将MBAT向量表示应用于任何以JSON表示的数据。JSON在许多程序设计语言中用于表达复杂的数据,但其原生格式似乎非常不适合机器学习。将JSON表示为固定长度的向量,使其易于用于机器学习和最近邻搜索。创建这样的JSON向量还表明,VSA需要采用非交换的绑定操作。VSA现在已经准备好尝试全面的实际应用,包括医疗保健,制药和基因组学。保留字:MBAT(Matrix Binding of Additive Terms),VSA(Vector Symbolic Architecture),HDC(Hyperdimensional Computing),分布式表示,绑定,正交矩阵,递归连接,机器学习,搜索,JSON,VSA应用
2022-02-08 cs.AI cs.LG cs.NE
Interpretable Syntactic Representations Enable Hierarchical Word Vectors
针对稠密词向量不可解释的问题,提出将其转换为紧凑可解释的句法表示,并基于此利用增量学习构建层次化词向量,该方法计算高效且在基准测试中优于原始向量。
2024-11-13 cs.CL cs.LG
The Interconnectivity Vector: A Finite-Dimensional Vector Representation of Persistent Homology
University at Buffalo, SUNY(纽约州立大学布法罗分校);POSTECH(浦项科技大学)
持久同调(PH)是研究数据集底层结构的一个有用工具。持久性图(PD)是2D多点集,是通过研究数据集的PH所发现的信息的简明摘要。然而,PD很难合并到典型的机器学习工作流中。为此,已经开发了两种用于表示PD的主要方法:核方法和向量化方法。在本文中,我们提出了一个新的有限维向量,称为互联向量,表示一个PD适应于袋字(BoW)。这种新的表示被构造来展示数据集的同调特征之间的连接。这个初始定义的互连向量被证明是不稳定的,但我们引入了一个稳定的版本的向量,并证明其稳定性的小扰动的输入。我们评估这两个版本的矢量化的几个数据集,并显示其高的鉴别力。
2020-11-23 cs.CG cs.LG
Fair Interpretable Representation Learning with Correction Vectors
Johannes Gutenberg-Universität Mainz(约翰内斯·古腾堡美因茨大学);Università di Torino(都灵大学)
神经网络体系结构已被广泛用于公平表示学习设置,其中的目标是学习一个新的表示为一个给定的向量,这是独立的敏感信息。在文献中已经提出了各种表示去偏置技术。然而,由于神经网络本质上是不透明的,这些方法很难理解,这限制了它们的实用性。我们提出了一个新的框架,公平的表示学习,是围绕学习的“校正向量”,这具有相同的维数作为给定的数据向量。校正向量可以通过架构约束显式地计算,或者通过基于归一化流训练可逆模型来隐式地计算。我们的实验表明,以这种方式约束的几个公平的表示学习模型不会表现出损失的排名或分类性能。此外,我们证明了国家的最先进的结果可以实现的可逆模型。最后,我们讨论的法律地位,我们的方法,在最近的立法在欧盟。
2022-02-07 cs.CY cs.LG
Learning Grid Cells as Vector Representation of Self-Position Coupled with Matrix Representation of Self-Motion
University of California, Los Angeles(加州大学洛杉矶分校);Hikvision Research Institute(海康威视研究院)
本文提出了一种网格单元的表示模型。在该模型中,智能体的2D自位置由高维向量表示,智能体的2D自运动或位移由变换向量的矩阵表示。向量的每个分量都是一个单位或一个单元。该模型由以下三个子模型组成。(1)向量矩阵乘法从当前位置到下一个位置的移动通过矩阵向量乘法来建模,即,通过将运动矩阵乘以当前位置的矢量来获得下一位置的矢量。(2)磁局域等距。两个相邻向量之间的角度等于两个对应位置之间的欧几里得距离乘以放大因子。(3)全局邻接核。两个向量之间的内积度量两个对应位置之间的邻接性,其由两个位置之间的欧几里得距离的核函数定义。我们的代表性模型有明确的代数和几何。该算法能够学习网格单元的六边形模式,具有误差修正、路径积分和路径规划等功能。
2019-05-25 cs.LG cs.NE stat.ML
Sparse Lifting of Dense Vectors: Unifying Word and Sentence Representations
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
作为自动化自然语言处理的第一步,词语和句子的表示具有核心的重要性,并吸引了大量的研究关注。从早期的one-hot和bag-of-words表示到最近的分布式密集和稀疏表示,提出了不同的方法。尽管已经取得了成功的结果,这样的向量往往是由不可解释的组件,并面临在实际应用中的内存和计算需求的非平凡的挑战。在本文中,我们设计了一种新的表示模型,该模型将密集的词向量投影到更高维的空间中,并支持具有潜在可解释成分的词向量的高度稀疏和二进制表示,同时尽可能保持原始向量之间的成对内积。在计算上,我们的模型是放松作为一个对称的非负矩阵分解问题,承认一个快速而有效的解决方案。在一系列的实证评估中,该模型表现出一致的改进和高潜力的实际应用。
2019-11-05 cs.CL cs.LG
Learning Library Cell Representations in Vector Space
NVIDIA(英伟达公司)
提出Lib2Vec自监督框架,通过自动规则性测试、从Liberty文件提取训练数据和注意力架构学习库单元向量表示,捕捉功能与电气相似性,并提升下游电路学习性能。
2025-03-28 cs.AR cs.LG
DeCoAR 2.0: Deep Contextualized Acoustic Representations with Vector Quantization
Amazon AWS AI(亚马逊云计算服务人工智能部门)
最近在语音表示学习方面的成功使得利用未标记数据来训练语音识别模型成为可能。在语音表示学习中,大量未标记的数据以自监督的方式用于学习特征表示。然后,使用较少量的标记数据来使用新的特征表示训练下游ASR系统。基于我们以前的工作DeCoAR和其他语音表示学习的灵感,我们提出了DeCoAR 2.0,一个带有矢量量化的深度上下文化声学表示。我们介绍了几个修改的DeCoAR:第一,我们使用Transformers在编码模块,而不是LSTM;第二,我们引入了一个矢量量化层之间的编码器和重建模块;第三,我们提出了一个目标,结合重建损失与矢量量化的多样性损失训练语音表示。我们的实验表明,在不同的数据稀疏的情况下,其他语音表示一致的改进。在没有微调的情况下,使用DeCoAR 2.0功能在10小时LibriSpeech标记数据上训练的轻量级ASR模型优于使用滤波器组功能在完整的960小时数据集上训练的模型。
2020-12-11 cs.CL cs.LG eess.AS
dna2vec: Consistent vector representations of variable-length k-mers
长DNA序列的普遍表示之一是将其分成较短的k-mer组分。不幸的是,k-mer作为独热向量的直接向量编码容易受到维度灾难的影响。更糟糕的是,任何一对独热向量之间的距离都是等距的。当应用最新的机器学习算法来解决生物序列分析中的问题时,这尤其成问题。在本文中,我们提出了一种新的方法来训练分布式表示的可变长度的k-mer。我们的方法是基于流行的词嵌入模型word 2 vec,这是一个浅的两层神经网络训练。我们的实验提供了证据表明,dna 2 vec载体的总和类似于核苷酸连接。我们还证明了Needleman-Wunsch相似性得分与dna 2 vec向量的余弦相似性之间存在相关性。
2017-01-23 cs.CL cs.LG q-bio.QM
Learning V1 Simple Cells with Vector Representation of Local Content and Matrix Representation of Local Motion
Google Research(谷歌研究院)
本文提出了一个图像对的表示模型,如连续的视频帧,相关的局部像素位移,在希望该模型可以阐明初级视觉皮层(V1)的运动感知。该模型耦合了以下两个组件:(1)图像的局部内容的矢量表示和(2)由代理和3D场景中的对象之间的相对运动引起的局部像素位移的矩阵表示。当图像帧由于局部像素位移而经历变化时,将向量乘以表示局部位移的矩阵。因此,矢量表示是等变的,因为它根据局部位移而变化。实验结果表明,该模型可以学习正交相位的类Gabor滤波器对。学习过滤器的配置文件与Macaque V1中简单细胞的配置文件相匹配。此外,我们证明了该模型可以学习以监督或无监督的方式推断局部运动。用这样一个简单的模型,我们取得了竞争力的结果光流估计。
2022-04-06 cs.CV cs.LG cs.NE
Distributed Vector Representations of Folksong Motifs
University of Hawaii at Manoa(夏威夷大学马诺阿分校);Technical University of Madrid(马德里理工大学)
本文提出了一种用于民歌主题学习的分布式矢量表示模型。一个具有负采样的word 2 vec的skip-gram版本用于表示高质量的嵌入。埃森民歌集的主题进行比较的基础上,他们的余弦相似。一种新的评价方法,用于测试的质量嵌入的旋律相似性任务的基础上,展示了如何向量空间可以表示复杂的上下文特征,以及它如何可以用于民歌变化的研究。
2019-03-20 cs.CL cs.IR cs.LG