当前大型语言模型面临的一个突出问题是其有限的上下文长度。近期专有模型如GPT-4和Claude 2分别引入了8k/32k和100k的更长上下文长度；然而，尽管社区做出了努力，大多数常见模型（如LLama-2）的上下文长度仍为4k或更短。Unlimiformer（Bertsch et al., 2023）是近期流行的一种向量检索增强方法，它将交叉注意力计算卸载到kNN索引上。但其主要局限在于无法开箱即用地兼容仅解码器Transformer。在本工作中，我们探讨了将Unlimiformer适配到仅解码器Transformer的实际考量，并提出了一系列修改以克服这一局限。此外，我们扩展了原有的摘要生成实验设置，加入了新任务（即自由形式问答）和一个经过指令微调的模型（即一个定制的6.7B GPT模型）。我们的结果展示了这些修改在摘要生成任务上的有效性，其性能与具有2倍上下文长度的模型相当。此外，我们还讨论了自由形式问答和指令微调模型的局限性及未来方向。
英文摘要：
One of the prominent issues stifling the current generation of large language models is their limited context length. Recent proprietary models such as GPT-4 and Claude 2 have introduced longer context lengths, 8k/32k and 100k, respectively; however, despite the efforts in the community, most common models, such as LLama-2, have a context length of 4k or less. Unlimiformer (Bertsch et al., 2023) is a recently popular vector-retrieval augmentation method that offloads cross-attention computations to a kNN index. However, its main limitation is incompatibility with decoder-only transformers out of the box. In this work, we explore practical considerations of adapting Unlimiformer to decoder-only transformers and introduce a series of modifications to overcome this limitation. Moreover, we expand the original experimental setup on summarization to include a new task (i.e., free-form Q&A) and an instruction-tuned model (i.e., a custom 6.7B GPT model). Our results showcase the effectiveness of these modifications on summarization, performing on par with a model with 2x the context length. Moreover, we discuss limitations and future directions for free-form Q&A and instruction-tuned models.
Memory Decoder: A Pretrained, Plug-and-Play Memory for Large Language Models
LUMIA Lab（LUMIA实验室）；School of Artificial Intelligence（人工智能学院）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Tsinghua University（清华大学）；SJTU Paris Elite Institute of Technology（上海交通大学巴黎精英技术学院）
Improving Domain Adaptation Translation with Domain Invariant and Specific Information
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
M-Adapter: Modality Adaptation for End-to-End Speech-to-Text Translation
Monash University（莫纳什大学）
端到端的语音到文本翻译模型通常使用预训练的语音编码器和预训练的文本解码器进行初始化。这导致预训练和微调之间的显著训练间隙，这主要是由于来自编码器的语音输出和到解码器的文本输入之间的模态差异。在这项工作中，我们的目标是弥合语音和文本之间的模态差距，以提高翻译质量。我们提出了M-Adapter，一个新的基于transformer的模块，以适应语音表示文本。在缩小语音序列的同时，M-Adapter通过对语音序列的全局和局部依赖关系进行建模，产生语音到文本翻译所需的特征。我们的实验结果表明，我们的模型在Must-C En $\rightarrow$ DE数据集上的性能优于强基线，最高可达1个BLEU分数。\footnote{Our code is available at https://github.com/mingzi151/w2v2-st.}
Solo Connection: A Parameter Efficient Fine-Tuning Technique for Transformers
Department of Data Science, Worcester Polytechnic Institute, MA, United States（数据科学系，沃斯特理工学院，马萨诸塞州，美国）；Department of Data Science, Mathematics and Computer Science, Worcester Polytechnic Institute, MA, United States（数据科学系，数学与计算机科学，沃斯特理工学院，马萨诸塞州，美国）；Department of Data Science, Mathematics（数据科学系，数学）；Computer Science, Worcester Polytechnic Institute, MA, United States（计算机科学，沃斯特理工学院，马萨诸塞州，美国）
本文提出 Solo Connection 参数高效微调方法，在解码器块级别调整表示并利用长跳跃连接，相比 LoRA 在 E2E 基准上性能更优且可训练参数减少 59%。
