This technical report is superseded by a paper entitled "Character-level Convolutional Networks for Text Classification", arXiv:1509.01626. It has considerably more experimental results and a rewritten introduction
This article demontrates that we can apply deep learning to text understanding from character-level inputs all the way up to abstract text concepts, using temporal convolutional networks (ConvNets). We apply ConvNets to various large-scale datasets, including ontology classification, sentiment analysis, and text categorization. We show that temporal ConvNets can achieve astonishing performance without the knowledge of words, phrases, sentences and any other syntactic or semantic structures with regards to a human language. Evidence shows that our models can work for both English and Chinese.
Revisiting End-to-End Speech-to-Text Translation From Scratch
University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
端到端（E2 E）语音到文本翻译（ST）通常依赖于通过语音识别或文本翻译任务使用源转录来预训练其编码器和/或解码器，没有这些任务，翻译性能会大幅下降。然而，成绩单并不总是可用的，以及如何显着这样的预训练是E2 E ST很少在文献中研究。在本文中，我们重新审视这个问题，并探讨在何种程度上的语音翻译对单独训练的E2 E ST的质量可以提高。我们重新审视了之前被证明对ST有益的几种技术，并提供了一组最佳实践，使基于Transformer的E2 E ST系统偏向于从头开始训练。此外，我们提出了参数化的距离惩罚，以促进局部性的语音自注意模型的建模。在涵盖23种语言的四个基准上，我们的实验表明，在不使用任何成绩单或预训练的情况下，所提出的系统达到甚至超过了以前采用预训练的研究，尽管在（极）低资源环境中仍然存在差距。最后，我们讨论了神经声学特征建模，其中神经模型被设计为直接从原始语音信号中提取声学特征，其目标是简化归纳偏差并在描述语音时增加模型的自由度。我们第一次证明了它的可行性，并在ST任务上显示出令人鼓舞的结果。
Chronicle: A Multimodal Foundation Model for Joint Language and Time Series Understanding
InertialAI；Department of Electrical and Computer Engineering, Queen’s University（皇后大学电气与计算机工程系）；Department of Mechanical and Materials Engineering, Queen’s University（皇后大学机械与材料工程系）
