Poly-attention: a general scheme for higher-order self-attention
Poly-attention:一种用于高阶自注意力的通用方案
机构 * Computer Science, Columbia University(计算机科学,哥伦比亚大学)
AI总结 本文提出了一种新的多注意力机制,能够在二次时间内精确计算并支持任意数量函数的组合,解决了传统自注意力机制在处理多阶任务时的效率问题。
高校专区
Poly-attention:一种用于高阶自注意力的通用方案
机构 * Computer Science, Columbia University(计算机科学,哥伦比亚大学)
AI总结 本文提出了一种新的多注意力机制,能够在二次时间内精确计算并支持任意数量函数的组合,解决了传统自注意力机制在处理多阶任务时的效率问题。
不完美影响,保留排名:数据归因的TRAK理论
机构 * Columbia University(哥伦比亚大学)
AI总结 本文理论分析了TRAK算法,证明其在数据归因中尽管存在误差,但能保持数据点的相对排名。
通用半径与集成代码本变换用于可微向量量化
机构 * Columbia University(哥伦比亚大学) ; South China Normal University(南方科技大学) ; University of Warwick(沃里克大学) ; The City College of New York(纽约城市学院) ; Hebei Institute of Communications(河北通信学院)
AI总结 GRIT-VQ通过统一的可微框架提升向量量化性能,实现稳定梯度和高效代码本利用。
Comments This paper has been accepted as a conference paper at CPAL 2026
ChipBench: 用于评估LLM在人工智能辅助芯片设计中的性能的下一步基准
机构 * University of California San Diego(加州大学圣地亚哥分校) ; Columbia University(哥伦比亚大学)
AI总结 ChipBench提出了一项全面的基准测试,用于评估LLM在人工智能辅助芯片设计中的性能,揭示了现有模型在关键任务上的显著性能差距,并提供自动化工具箱促进相关研究。
关于离散潜在因果图模型的理论可识别性
机构 * Department of Statistics Columbia University(统计学系哥伦比亚大学)
AI总结 本文提出了一种双三角图条件,用于保证离散潜在因果图模型的可识别性,放宽了传统纯子节点条件,并通过模拟验证了其有效性。
库存策略的VC理论
机构 * Booth School of Business, University of Chicago(芝加哥大学商学院) ; Graduate School of Business and Data Science Institute, Columbia University(哥伦比亚大学研究生商学院和数据科学研究院) ; School of Operations Research and Information Engineering, Cornell University(康奈尔大学运筹学与信息工程学院)
AI总结 本文提出结合轨迹RL与政策正则化的库存策略方法,利用VC理论分析其泛化误差,证明非平稳基础库存策略的泛化误差不随时间增长,而(s, S)策略则随时间对数增长。
DETOUR:双智能体搜索与推理的交互基准
机构 * Patronus AI ; DAP Lab(DAP实验室) ; Columbia University(哥伦比亚大学)
AI总结 DETOUR基准通过双智能体机制评估双智能体搜索与推理能力,揭示现有模型在模糊不明确场景下的不足。
Harvest:机会性点对点GPU缓存用于LLM推理
机构 * Columbia University(哥伦比亚大学)
AI总结 Harvest通过利用点对点GPU互连技术,动态管理GPU内存,减少数据移动开销,显著提升LLM推理的吞吐量。