Apple（苹果）

Algorithm Discovery With LLMs: Evolutionary Search Meets Reinforcement Learning

利用大语言模型发现算法：进化搜索遇见强化学习

Anja Surina, Amin Mansouri, Lars Quaedvlieg, Amal Seddas, Maryna Viazovska, Emmanuel Abbe, Caglar Gulcehre

机构 * EPFL（苏黎世联邦理工学院） ； Apple（苹果公司） 纠错

AI总结 提出通过强化学习微调持续优化大语言模型，结合进化搜索加速发现更优算法，在组合优化任务上验证有效性。

Comments 34 pages

LT2: Linear-Time Looped Transformers

LT2: 线性时间循环Transformer

Chunyuan Deng, Yizhe Zhang, Rui-Jie Zhu, Yuanyuan Xu, Jiarui Liu, T. S. Eugene Ng, Hanjie Chen

机构 * Rice University（里士大学） ； Apple（苹果公司） ； UC Santa Cruz（圣克ruz大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

AI总结 提出LT2系列架构，用次二次线性时间注意力替代二次softmax注意力，通过循环实现线性注意力中的迭代记忆精炼和稀疏注意力中的有效感受野扩展，在召回、状态跟踪和语言建模任务上取得一致提升，并展示了混合变体在效率和性能上的优势。