通用三重潜在压缩与门控关联检索
Generic Triple-Latent Compression with Gated Associative Retrieval
AI总结：
提出通用三重潜在序列模型，通过维护运行令牌状态和压缩对记忆路径捕获高阶令牌交互，无需基准特定解析，在字节级WikiText-2和基于分词器的MiniMind语言模型基准上改进小型Transformer基线，而基于召回的门控键值检索扩展提升关联召回但存在种子敏感性和速度问题。
摘要：
我们研究通用三重潜在序列模型，该模型维护一个运行的令牌状态和压缩的对记忆路径，以捕获高阶令牌交互，无需基准特定解析。三重潜在系列在字节级WikiText-2和基于分词器的MiniMind语言模型基准上改进了小型Transformer基线，而一个专注于召回的门控键值检索扩展提升了关联召回，但在当前参考实现中仍对种子敏感且速度慢得多。
英文摘要：
We study generic triple-latent sequence models that maintain a running token state and compressed pair-memory pathway to capture higher-order token interactions without benchmark-specific parsing. The triple-latent family improves a small Transformer baseline on byte-level WikiText-2 and on a tokenizer-based MiniMind language-model benchmark, while a recall-focused gated key-value retrieval extension improves associative recall but remains seed-sensitive and much slower in the current reference implementation.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
