Amazon（亚马逊）

Super Weights in LLMs and the Failure of Selective Training

大语言模型中的超级权重与选择性训练的失败

Shreyas Subramanian, Adewale Akinfaderin, Akarsha Sehwag

机构 * Amazon Web Services（亚马逊网络服务公司） 纠错

AI总结 研究大语言模型中超级权重，发现修剪超级权重致性能下降非普遍适用，孤立训练超级权重失败，普通LoRA更新少量参数成功，表明参数重要性不意味可孤立训练，有效微调依赖层的结构化分解。

Comments Accepted at the Conference on Language Modeling (COLM) 2026

Understanding and Mitigating the Video-Action Generalization Gap via Temporal Ratio

通过时间比率理解和缓解视频动作泛化差距

Utkarsh A. Mishra, Yongxin Chen, Danfei Xu, Yang Liu, Xi Chen, Jiayuan Mao

机构 * Georgia Tech（佐治亚理工学院） ； Amazon FAR（亚马逊FAR） 纠错

AI总结 研究视频动作泛化差距，引入时间比率（TR），通过TR衡量动作头对未来潜在展开的依赖程度，提出推理时自适应引导方法，利用TR特性缓解组合泛化差距。

Comments 26 pages, 9 figures

BACH: A Bayesian Admixture of Contrastive Heads for Multi-Interest Two-Tower Retrieval

BACH：用于多兴趣双塔检索的对比头贝叶斯混合模型

Quoc Phong Nguyen, Paul Albert, Long Vuong, Vuong Le, Julien Monteil

机构 * Amazon（亚马逊） 纠错

AI总结 研究针对双塔检索器不能满足多样兴趣、多兴趣模型硬路由训练有缺陷的问题，提出BACH模型，通过变分推理拟合用户在头之上的混合分布，在多基准测试中提升了检索性能，改进了训练方式。

COBART: Controlled, Optimized, Bidirectional and Auto-Regressive Transformer for Ad Headline Generation

COBART：用于广告标题生成的可控、优化、双向和自回归变换器

Yashal Shakti Kanungo, Gyanendra Das, Pooja A, Sumit Negi

机构 * Amazon（亚马逊） 纠错

AI总结 研究针对广告标题生成难题，提出用前缀控制令牌结合BART微调的方法，可控制标题长度，适应不同格式与要求，实验显示该方法能提升Rouge-L和估计CTR，相比基线有显著提高。

Comments 10 pages, 5 figures, 5 tables. Published in Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD '22). This is the author's accepted version; the definitive Version of Record is available at https://doi.org/10.1145/3534678.3539069

Journal ref Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD '22), August 14-18, 2022, Washington, DC, USA, pp. 3127-3136

Phase-Preserving Trimodal Transformer for Tropical Forest Biomass Estimation Using Optical and PolInSAR Data

用于利用光学和极化干涉合成孔径雷达数据进行热带森林生物量估计的保相三模态变压器

Luiz Felipe Parente Santiago, Felipe Ferrari, Daniel Rodrigues dos Santos, Rosiane de Freitas

机构 * Institute of Computing (IComp), Federal University of Amazonas (UFAM)（亚马逊联邦大学计算研究所） ； Brazilian Army Research Institute in the Amazon (IPEAM)（巴西陆军亚马逊研究所） ； Military Institute of Engineering (IME)（军事工程学院） 纠错

AI总结 针对成熟热带森林地上生物量估计难题，提出保相三模态变压器，融合光学与极化干涉合成孔径雷达数据，用复值编码器和动态协同注意力机制，还推导校准模型，效果优于基线，为热带生物群落碳储量测绘提供框架。

Comments 10 pages, 7 figures, one of which is a TikZ

Retrieval-Augmented Generation Must Move Beyond Factual Grounding to Represent Diverse Opinions

检索增强生成必须超越事实基础以代表多样化观点

Aditya Agrawal, Alwarappan Nakkiran, Darshan Fofadiya, Alex Karlsson, Harsha Aduri, Aman Singh Thakur

机构 * Amazon.com（亚马逊公司） 纠错

AI总结 本文指出检索增强生成系统存在系统性事实偏差，并提出需要在检索系统设计上进行范式转变，通过不确定性量化方法提出统一目标，并展示Opinion-Aware RAG架构在两个领域中的实验结果，证明其在多样性、公平性和准确性方面的提升。

Comments 18 pages, Preprint under review

HeaPA: Difficulty-Aware Heap Sampling and On-Policy Query Augmentation for LLM Reinforcement Learning

HeaPA：用于大语言模型强化学习的难度感知堆采样和策略内查询增强

Weiqi Wang, Xin Liu, Binxuan Huang, Hejie Cui, Rongzhi Zhang, Changlong Yu, Shuowei Jin, Jingfeng Yang, Qingyu Yin, Zhengyang Wang, Zheng Li, Yifan Gao, Priyanka Nigam, Bing Yin, Lihong Li, Yangqiu Song

机构 * Stores Foundational AI, Amazon Inc.（亚马逊公司基础人工智能部） ； Department of Computer Science and Engineering, HKUST（香港科技大学计算机科学与工程系） 纠错

AI总结 研究大语言模型强化学习中提示采样问题，提出HeaPA方法，通过难度感知堆采样和策略内查询增强，维持动态提示池，跟踪能力前沿，在多数据集和基准测试中提升准确率，减少计算量，尤其在中大型模型规模下效果显著。

Comments COLM 2026