arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2402.17002cs.LGmath.GRmath.RT
收藏

通过学习酉群表示发现抽象符号关系

Discovering Abstract Symbolic Relations by Learning Unitary Group Representations

MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）

Dongsung Huh

阅读 PDF
arXiv 页面 ↗HTML 原文 ↗

AI总结：

本研究提出一种基于群表示论的分解双线性模型，高效完成符号操作完成任务，实现完美准确率并快速学习，同时自动发现底层酉群结构，为深度学习中的对称性发现提供新范式。

摘要：

我们研究了一种用于符号操作完成（SOC）的原则性方法，SOC是研究符号推理的最小任务。虽然概念上与矩阵补全相似，但SOC在建模离散符号之间的抽象关系方面提出了独特挑战。我们证明了SOC可以通过一个最小模型——双线性映射——配合一种新颖的分解架构来高效求解。受群表示论启发，该架构利用符号的矩阵嵌入，将每个符号建模为一个动态影响其他符号的算子。我们的模型在SOC上实现了完美的测试准确率，在大多数数据集上具有与Transformer基线相当或更优的样本效率，同时拥有显著更快的学习速度（100-1000倍）。关键的是，该模型表现出对学习一般群结构的隐式偏好，精确地发现了底层群的酉表示。这一显著特性不仅赋予了可解释性，而且对几何深度学习中的自动对称性发现具有重要意义。总体而言，我们的工作确立了群论作为在深度学习中发现抽象代数结构的强大指导原则，并展示了矩阵表示作为传统向量嵌入在建模符号关系方面的有力替代方案。

英文摘要：

We investigate a principled approach for symbolic operation completion (SOC), a minimal task for studying symbolic reasoning. While conceptually similar to matrix completion, SOC poses a unique challenge in modeling abstract relationships between discrete symbols. We demonstrate that SOC can be efficiently solved by a minimal model - a bilinear map - with a novel factorized architecture. Inspired by group representation theory, this architecture leverages matrix embeddings of symbols, modeling each symbol as an operator that dynamically influences others. Our model achieves perfect test accuracy on SOC with comparable or superior sample efficiency to Transformer baselines across most datasets, while boasting significantly faster learning speeds (100-1000$\times$). Crucially, the model exhibits an implicit bias towards learning general group structures, precisely discovering the unitary representations of underlying groups. This remarkable property not only confers interpretability but also significant implications for automatic symmetry discovery in geometric deep learning. Overall, our work establishes group theory as a powerful guiding principle for discovering abstract algebraic structures in deep learning, and showcases matrix representations as a compelling alternative to traditional vector embeddings for modeling symbolic relationships.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

↑