In this report, we investigate the potential use of large language models (LLM's) in the task of data compression. Previous works have demonstrated promising results in applying LLM's towards compressing not only text, but also a wide range of multi-modal data. Despite the favorable performance achieved, there still remains several practical questions that pose a challenge towards replacing existing data compression algorithms with LLM's. In this work, we explore different methods to achieve a lower adjusted compression rate using LLM's as data compressors. In comparison to previous works, we were able to achieve a new state-of-the-art (SOTA) adjusted compression rate of around $18\%$ on the enwik9 dataset without additional model training. Furthermore, we explore the use of LLM's in compressing non-English data, code data, byte stream sequences. We show that while LLM's excel in compressing data in text-dominant domains, their ability in compressing non-natural text sequences still remain competitive if configured in the right way.
Revisiting Joint Modeling of Cross-document Entity and Event Coreference Resolution
Bar-Ilan University(巴伊兰大学);Intel AI Lab(英特尔人工智能实验室);Technische Universitat Darmstadt(达姆施塔特工业大学)
识别跨多个文本的共指事件和实体对于许多NLP应用程序至关重要。尽管这项任务的重要性,研究重点主要是在文档内实体共指,而很少注意到其他变量。我们提出了一个跨文档共指消解共指消解的神经结构。受Lee et al(2012)的启发,我们联合建模实体和事件共指。我们表示一个事件(实体)提到使用其词汇跨度,周围的上下文,并通过谓词参数结构实体(事件)提到的关系。我们的模型在ECB+上的性能优于以前最先进的事件共指模型,同时在该语料库上提供了第一个实体共指结果。我们的分析证实,我们所有的代表性元素,包括提及跨度本身,它的上下文,以及与其他提及的关系有助于模型的成功。
Judging in Latent Space: Efficient Generative Reward Modeling via Semantics-Preserving Compression
Soochow University(苏州大学);University of Cambridge(剑桥大学);Chalmers University of Technology(查尔姆斯理工大学);Peking University(北京大学);Tsinghua University(清华大学);The Hong Kong University of Science and Technology(香港科技大学)
Revisiting End-to-End Speech-to-Text Translation From Scratch
University of Edinburgh(爱丁堡大学);University of Zurich(苏黎世大学)
端到端(E2 E)语音到文本翻译(ST)通常依赖于通过语音识别或文本翻译任务使用源转录来预训练其编码器和/或解码器,没有这些任务,翻译性能会大幅下降。然而,成绩单并不总是可用的,以及如何显着这样的预训练是E2 E ST很少在文献中研究。在本文中,我们重新审视这个问题,并探讨在何种程度上的语音翻译对单独训练的E2 E ST的质量可以提高。我们重新审视了之前被证明对ST有益的几种技术,并提供了一组最佳实践,使基于Transformer的E2 E ST系统偏向于从头开始训练。此外,我们提出了参数化的距离惩罚,以促进局部性的语音自注意模型的建模。在涵盖23种语言的四个基准上,我们的实验表明,在不使用任何成绩单或预训练的情况下,所提出的系统达到甚至超过了以前采用预训练的研究,尽管在(极)低资源环境中仍然存在差距。最后,我们讨论了神经声学特征建模,其中神经模型被设计为直接从原始语音信号中提取声学特征,其目标是简化归纳偏差并在描述语音时增加模型的自由度。我们第一次证明了它的可行性,并在ST任务上显示出令人鼓舞的结果。