基于LSTM的文本生成：历史数据集研究

提示我生成数据集：基于基础模型的历史图像数据集创建中文本-图像提示的研究

Prompt me a Dataset: An investigation of text-image prompting for historical image dataset creation using foundation models

本文提出利用GroundDINO和SAM的顺序流程，从历史文档中提取图像以创建数据集，并评估文本-图像提示在不同复杂度人文数据集上的有效性。

票务系统中的复制连体LSTM在非对称文本中的相似性学习和检索

Replicated Siamese LSTM in Ticketing System for Similarity Learning and Retrieval in Asymmetric Texts

我们的工业票务系统的目标是检索一个输入查询的相关解决方案，通过匹配存储在知识库中的历史门票。查询由主题和描述组成，而历史票证由主题、描述和解决方案组成。为了检索相关的解决方案，我们使用文本相似性范式来学习查询和历史门票中的相似性。该任务是具有挑战性的，由于显着的长期不匹配的查询和票据对的不对称长度，其中主题是一个简短的文本，但描述和解决方案是多句子的文本。我们提出了一种新的复制暹罗LSTM模型来学习非对称文本对中的相似性，在无监督和有监督的基线上，检索任务分别获得了22%和7%的增益（准确度@10）。我们还表明，短文本和长文本的主题和分布式语义特征提高了相似性学习和检索。

基于多感知LSTM的文本到知识图谱实体的映射

Mapping Text to Knowledge Graph Entities using Multi-Sense LSTMs

本文讨论了自然语言文本到知识库实体的映射问题。该映射过程被视为从知识图谱中获得的多维实体空间中的点中的短语或句子的组合。组合模型是一个LSTM，在输入词嵌入上配备了动态消歧机制（Multi-Sense LSTM），解决了多义问题。此外，知识库空间是通过收集随机游走与文本特征，作为一组文本和知识库实体之间的语义桥梁增强图准备。这项工作的想法是证明了大规模的文本到实体的映射和实体分类任务，与国家的最先进的结果。

用于高性能词分类的同构CNN/LSTM的有限大小集合

A limited-size ensemble of homogeneous CNN/LSTMs for high-performance word classification

近年来，长短期记忆神经网络（LSTM）已被成功地应用于手写文本识别问题。然而，它们的强度更多地位于处理可变长度的序列中，而不是处理图像图案的几何可变性。此外，LSTM的最佳结果通常基于对网络实例集合的大规模训练。在本文中，使用端到端卷积LSTM神经网络来处理几何变化和序列可变性。我们表明，使用适当的数据增强只有五个这样的网络，使用适当的编码方案和适当的投票计划，可以达到一个共同的基准集的高性能。这些网络具有类似的架构（卷积神经网络（CNN）：五层，双向LSTM（BiLSTM）：三层，然后是连接主义时间分类（CTC）处理步骤）。该方法假设输入图像的缩放比例不同，特征图大小也不同。两个数据集用于评估我们的算法的性能：一个标准的基准RIMES数据集（法国），和一个历史的手写数据集KdK（荷兰）。RIMES的单词识别测试的最终性能为96.6%，比其他最先进的方法有明显的改善。在KdK数据集上，我们的方法也显示了良好的结果。所提出的方法是部署在蒙克搜索引擎的历史手写收藏。

Leap-LSTM：增强文本分类的长短期记忆

Leap-LSTM: Enhancing Long Short-Term Memory for Text Categorization

递归神经网络（RNN）广泛应用于自然语言处理（NLP）领域，从文本分类到问答和机器翻译。然而，RNN通常从头到尾阅读整个文本，有时反之亦然，这使得处理长文本的效率低下。当阅读一个分类任务（如主题分类）的长文档时，大量的单词是不相关的，可以跳过。为此，我们提出了Leap-LSTM，这是一种LSTM增强模型，它在阅读文本时动态地在单词之间跳跃。在每一步中，我们利用几个特征编码器从前面的文本，下面的文本和当前单词中提取信息，然后确定是否跳过当前单词。我们在几个文本分类任务上评估了Leap-LSTM：情感分析，新闻分类，本体分类和主题分类，使用五个基准数据集。实验结果表明，我们的模型比标准LSTM读取速度更快，预测效果更好。与以前的模型，也可以跳过的话，我们的模型实现了更好的性能和效率之间的权衡。

一种用于文本分类的C-LSTM神经网络

A C-LSTM Neural Network for Text Classification

神经网络模型已经被证明能够在句子和文档建模中实现卓越的性能。卷积神经网络（CNN）和递归神经网络（RNN）是这类建模任务的两种主流架构，它们采用完全不同的理解自然语言的方式。在这项工作中，我们结合了这两种架构的优势，并提出了一种新的统一模型，称为C-LSTM，用于句子表示和文本分类。C-LSTM利用CNN来提取一系列更高级别的短语表示，并将其馈送到长短期记忆递归神经网络（LSTM）中以获得句子表示。C-LSTM能够捕获短语的局部特征以及全局和时间句子语义。我们评估所提出的架构上的情感分类和问题分类任务。实验结果表明，C-LSTM的性能优于CNN和LSTM，并且可以在这些任务上实现出色的性能。

古汉语文本标点预测：一种多层LSTM与基于注意力的方法

Predicting Punctuation in Ancient Chinese Texts: A Multi-Layered LSTM and Attention-Based Approach

针对古汉语文本无标点导致解读困难的问题，本研究在已有工作基础上提出结合多头注意力机制的双向多层LSTM方法，实验证明其效果显著优于无相关组件的RNN。

神经机器翻译模型对历史拼写规范化的评估

An Evaluation of Neural Machine Translation Models on Historical Spelling Normalization

在本文中，我们将不同的NMT模型的历史拼写规范化的问题，五种语言：英语，德语，匈牙利语，冰岛语和瑞典语。NMT模型处于不同的层次，具有不同的注意力机制和不同的神经网络结构。我们的研究结果表明，NMT模型是远远优于SMT模型的字符出错率。香草RNN在历史拼写规范化方面与GRU/LSTM竞争。只有当提供更多的训练数据时，Transformer模型才能表现得更好。我们还发现，对于低资源语言，具有小的子词词汇的子词级模型比字符级模型更好。此外，我们提出了一种混合方法，进一步提高了历史拼写规范化的性能。

使用Match-LSTM和答案指针的机器理解

Machine Comprehension Using Match-LSTM and Answer Pointer

文本的机器理解是自然语言处理中的一个重要问题。最近发布的一个数据集，斯坦福问答数据集（SQuAD），提供了大量的真实问题和他们的答案，由人类通过众包创建。SQuAD为评估机器理解算法提供了一个具有挑战性的测试平台，部分原因是与以前的数据集相比，SQuAD中的答案不是来自一小部分候选答案，并且它们具有可变的长度。我们提出了一个端到端的神经架构的任务。该架构基于match-LSTM（我们之前提出的文本蕴涵模型）和指针网（Vinyals等人提出的序列到序列模型）。（2015）以将输出令牌约束为来自输入序列。我们提出了两种使用指针网的方法。我们的实验表明，我们的两个模型大大优于Rajpurkar等人获得的最佳结果。（2016）使用逻辑回归和手工制作的功能。

基于区域嵌入的LSTM监督和半监督文本分类

Supervised and Semi-Supervised Text Categorization using LSTM for Region Embeddings

One-hot CNN（卷积神经网络）已被证明对文本分类有效（Johnson & Zhang，2015）。我们将其视为一般框架的一个特例，该框架联合训练线性模型和由“文本区域嵌入+池化”组成的非线性特征生成器。在这个框架下，我们探索了一种使用长短期记忆（LSTM）的更复杂的区域嵌入方法。LSTM可以嵌入可变（可能很大）大小的文本区域，而区域大小需要在CNN中固定。我们寻求在监督和半监督设置中有效和高效地使用LSTM。通过结合LSTM形式的区域嵌入和在未标记数据上训练的卷积层，获得了最佳结果。结果表明，在这个任务中，嵌入的文本区域，可以传达复杂的概念，是更有用的比孤立的单个单词的嵌入。我们报告的性能超过了以前的最佳结果在四个基准数据集。

利用文本语言知识改进LSTM视频描述

Improving LSTM-based Video Description with Linguistic Knowledge Mined from Text

本文研究了如何从大型文本语料库中挖掘语言知识，以帮助生成视频的自然语言描述。具体来说，我们将神经语言模型和分布式语义训练的大型文本语料库到最近的LSTM为基础的架构的视频描述。我们评估我们的方法上收集的Youtube视频，以及两个大型电影描述数据集显示显着改善语法，同时适度提高描述质量。

基于大语言模型关系抽取的湖区历史文本空间表征探索

Exploring Spatial Representations in the Historical Lake District Texts with LLM-based Relation Extraction

本研究针对历史叙事空间复杂性难揭示的问题，采用大语言模型从湖区历史语料中抽取空间关系，以语义三元组和网络可视化呈现结果，为历史语境空间关系挖掘提供新方法。

用于文本表示的句子状态LSTM

Sentence-State LSTM for Text Representation

双向LSTM是文本表示的强大工具。另一方面，由于它们的连续性，它们已被证明受到各种限制。我们研究了一种用于编码文本的替代LSTM结构，它由每个单词的并行状态组成。循环步骤用于同时执行单词之间的局部和全局信息交换，而不是递增地读取单词序列。各种分类和序列标记基准测试的结果表明，该模型具有很强的表示能力，与具有类似参数数的堆叠BiLSTM模型相比，具有很强的竞争力。

基于长短期记忆网络的生物医学文本药物相互作用信息提取

Drug-Drug Interaction Extraction from Biomedical Text Using Long Short Term Memory Network

同时给予多种药物可具有协同或拮抗作用，因为一种药物可影响其他药物的活性。协同作用导致改善的治疗结果，而拮抗作用可能危及生命，可能导致医疗成本增加，甚至可能导致死亡。因此，识别未知的药物相互作用（DDI）是高效和有效的医疗保健的一个重要问题。虽然DDI的多种资源存在，但它们往往无法跟上快速增长的生物医学文本中丰富的信息量。大多数现有的方法模型DDI提取文本作为一个分类问题，主要依赖于手工制作的功能。这些功能中的一些进一步依赖于特定于域的工具。最近，神经网络模型使用潜在的功能已被证明提供类似或更好的性能比其他现有的模型依赖于手工制作的功能。本文提出了三种基于长短期记忆（LSTM）网络的模型，即{\it B-LSTM}、{ \it AB-LSTM}和{ \it Joint AB-LSTM}。这三种模型都利用单词和位置嵌入作为潜在特征，因此不依赖于显式特征工程。进一步使用双向长短期记忆（Bi-LSTM）网络允许从整个句子中进行隐式特征提取。这两个模型{ \it AB-LSTM}和{ \it Joint AB-LSTM}也在Bi-LSTM层的输出中使用注意池化来为特征分配权重。我们在SemEval-2013 DDI提取数据集上的实验结果表明，{ \it Joint AB-LSTM}模型的性能优于所有现有方法，包括那些依赖手工特征的方法。另外两个提出的LSTM模型也与最先进的方法竞争。

AC-BLSTM：非对称卷积双向LSTM网络文本分类

AC-BLSTM: Asymmetric Convolutional Bidirectional LSTM Networks for Text Classification

最近，深度学习模型已经被证明能够在句子和文档分类任务中取得显着的性能。在这项工作中，我们提出了一个新的框架称为AC-BLSTM建模的句子和文档，它结合了非对称卷积神经网络（ACNN）与双向长短期记忆网络（BLSTM）。实验结果表明，该模型在情感分析、问题类型分类和主观性分类等五个任务上均取得了较好的效果。为了进一步提高AC-BLSTM的性能，本文将生成模型与AC-BLSTM相结合，提出了一种用于文本分类的半监督学习框架G-AC-BLSTM。

Multichannel LSTM-CNN for Telugu Technical Domain Identification

With the instantaneous growth of text information, retrieving domain-oriented information from the text data has a broad range of applications in Information Retrieval and Natural language Processing. Thematic keywords give a compressed representation of the text. Usually, Domain Identification plays a significant role in Machine Translation, Text Summarization, Question Answering, Information Extraction, and Sentiment Analysis. In this paper, we proposed the Multichannel LSTM-CNN methodology for Technical Domain Identification for Telugu. This architecture was used and evaluated in the contex…

LegaLMFiT: Efficient Short Legal Text Classification with LSTM Language Model Pre-Training

Large Transformer-based language models such as BERT have led to broad performance improvements on many NLP tasks. Domain-specific variants of these models have demonstrated excellent performance on a variety of specialised tasks. In legal NLP, BERT-based models have led to new state-of-the-art results on multiple tasks. The exploration of these models has demonstrated the importance of capturing the specificity of the legal language and its vocabulary. However, such approaches suffer from high computational costs, leading to a higher ecological impact and lower accessibility. Our findings, fo…

使用Bi-GRU-LSTM-CNN模型对越南社交媒体文本进行仇恨语音检测

Hate Speech Detection on Vietnamese Social Media Text using the Bi-GRU-LSTM-CNN Model

近年来，仇恨语音检测已成为自然语言处理或计算语言学研究的热点之一。在本文中，我们介绍了我们的系统在VLSP共享任务2019中解决这个问题的描述：社交网络上的仇恨语音检测，其中包含20，345个用于训练的人工标记评论/帖子和5，086个用于公开测试。我们在这个任务中实现了一种基于Bi-GRU-LSTM-CNN分类器的深度学习方法。我们在这个任务中的结果是70.576%的F1分数，排名第五的性能在公共测试集。

基于LSTM的三类文本情感分析

Three-Class Text Sentiment Analysis Based on LSTM

本文提出基于LSTM网络的三类情感分类方法对微博评论进行情感分析，实验准确率达98.31%，优于传统模型和其他深度学习方法。

文本简化的LSTM编解码器模型的实验研究

An Experimental Study of LSTM Encoder-Decoder Model for Text Simplification

文本简化（TS）旨在降低文本的词汇和结构复杂性，同时仍然保留语义。当前的自动TS技术局限于词汇级应用或手动定义大量规则。由于深度神经网络是强大的模型，在许多困难的任务上都取得了优异的性能，因此在本文中，我们建议将长短期记忆（LSTM）编码器-解码器模型用于句子级TS，它对单词序列的假设最少。我们进行了初步实验，发现该模型能够从序列对中学习到翻转、排序和替换等操作规则，这表明该模型可能会发现并应用TS的修改句子结构、替换单词和删除单词等规则。

Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function

In this paper, we study bidirectional LSTM network for the task of text classification using both supervised and semi-supervised approaches. Several prior works have suggested that either complex pretraining schemes using unsupervised methods such as language modeling (Dai and Le 2015; Miyato, Dai, and Goodfellow 2016) or complicated models (Johnson and Zhang 2017) are necessary to achieve a high classification accuracy. However, we develop a training strategy that allows even a simple BiLSTM model, when trained with cross-entropy loss, to achieve competitive results compared with more complex…

How LSTM Encodes Syntax: Exploring Context Vectors and Semi-Quantization on Natural Text

Long Short-Term Memory recurrent neural network (LSTM) is widely used and known to capture informative long-term syntactic dependencies. However, how such information are reflected in its internal vectors for natural text has not yet been sufficiently investigated. We analyze them by learning a language model where syntactic structures are implicitly given. We empirically show that the context update vectors, i.e. outputs of internal gates, are approximately quantized to binary or ternary values to help the language model to count the depth of nesting accurately, as Suzgun et al. (2019) recent…

深度自适应图递归网络文本分类

Depth-Adaptive Graph Recurrent Network for Text Classification

S-LSTM是一种强大而高效的图递归网络，它将单词视为节点，并同时在它们之间执行逐层递归步骤。尽管S-LSTM在文本表示方面取得了成功，但它仍然存在两个缺点。首先，给定一个句子，某些单词通常比其他单词更模糊，因此需要对这些困难的单词采取更多的计算步骤，反之亦然。然而，S-LSTM对所有单词都采取固定的计算步骤，而不管它们的硬度如何。第二个原因是缺乏顺序信息（例如，词序），这对于自然语言是固有的重要。在本文中，我们试图解决这些问题，并为S-LSTM提出了一种深度自适应机制，该机制允许模型根据需要学习为不同的单词进行多少计算步骤。此外，我们还集成了一个额外的RNN层来注入顺序信息，这也可以作为自适应深度决策的输入特征。经典文本分类任务（24个不同大小和领域的数据集）的结果表明，我们的模型相对于传统的S-LSTM和其他高性能模型（例如，Transformer），同时实现了良好的精度-速度平衡。

Hierarchical Text Classification of Urdu News using Deep Neural Network

Digital text is increasing day by day on the internet. It is very challenging to classify a large and heterogeneous collection of data, which require improved information processing methods to organize text. To classify large size of corpus, one common approach is to use hierarchical text classification, which aims to classify textual data in a hierarchical structure. Several approaches have been proposed to tackle classification of text but most of the research has been done on English language. This paper proposes a deep learning model for hierarchical text classification of news in Urdu lan…

基于特征辅助的双向LSTM模型的生物医学文本蛋白质相互作用识别

Feature Assisted bi-directional LSTM Model for Protein-Protein Interaction Identification from Biomedical Texts

关于蛋白质相互作用的知识对于理解生物过程如代谢途径、DNA复制和转录等是必不可少的。然而，大多数现有的蛋白质-蛋白质相互作用（PPI）系统主要依赖于科学文献，其还不能作为结构化数据库访问。因此，需要有效的信息抽取系统来从大量的生物医学文本中识别PPI信息。大多数现有的系统模型的PPI提取任务作为一个分类问题，并定制手工制作的功能集，包括域相关的功能。本文提出了一种基于深度双向长短期记忆（B-LSTM）技术的新方法，该方法利用词序列和依赖路径相关信息从文本中识别PPI信息。该模型在一个统一的框架中利用蛋白质和关系的联合建模，我们将其命名为最短依赖路径B-LSTM（sdpLSTM）模型。我们在两个流行的基准PPI数据集上进行实验，即AiMed和BioInfer。评价显示AiMed和BioInfer的F1评分值分别为86.45%和77.35%。与现有系统的比较表明，我们提出的方法达到国家的最先进的性能。

使用Bidirectional-LSTM模型检测越南社交媒体文本上的仇恨语音

Hate Speech Detection on Vietnamese Social Media Text using the Bidirectional-LSTM Model

在本文中，我们描述了我们的系统，它参与了VLSP 2019评估活动的社交网络上的仇恨语音检测的共享任务。我们为社交媒体评论或帖子提供了预标记数据集和未标记数据集。我们的任务是预处理和构建机器学习模型来对评论/帖子进行分类。在这份报告中，我们使用双向长短期记忆来构建模型，可以根据干净，冒犯，仇恨来预测社交媒体文本的标签。使用该系统，我们在VLSP 2019的公共标准测试集上获得了71.43%的比较结果。

基于词嵌入和LSTM的可操作和政治文本分类

Actionable and Political Text Classification using Word Embeddings and LSTM

在这项工作中，我们将词嵌入和具有长短期记忆（LSTM）的神经网络应用于文本分类问题，其中分类标准由应用程序的上下文决定。我们特别研究两个应用程序。第一个是可操作性，我们构建模型将来自服务提供商客户的社交媒体消息分类为可操作或不可操作。我们为超过30种不同的语言构建了可操作性模型，大多数模型的准确率达到85%左右，有些模型的准确率超过90%。我们还表明，使用带有词嵌入的LSTM神经网络大大优于传统技术。其次，我们探讨了信息的分类与政治倾向，其中社交媒体信息被归类为民主党或共和党。该模型能够以87.57%的高准确率对消息进行分类。作为实验的一部分，我们改变了神经网络的不同超参数，并报告了这种变化对准确性的影响。这些可操作性模型已经部署到生产环境中，并帮助公司代理通过优先考虑要响应的消息来提供客户支持。政治学习的模式已经开放，并可供更广泛地使用。

Morphological Analysis of Japanese Hiragana Sentences using the BI-LSTM CRF Model

This study proposes a method to develop neural models of the morphological analyzer for Japanese Hiragana sentences using the Bi-LSTM CRF model. Morphological analysis is a technique that divides text data into words and assigns information such as parts of speech. This technique plays an essential role in downstream applications in Japanese natural language processing systems because the Japanese language does not have word delimiters between words. Hiragana is a type of Japanese phonogramic characters, which is used for texts for children or people who cannot read Chinese characters. Morphol…

gundapusunil at SemEval-2020 Task 9: Syntactic Semantic LSTM Architecture for SENTIment Analysis of Code-MIXed Data

The phenomenon of mixing the vocabulary and syntax of multiple languages within the same utterance is called Code-Mixing. This is more evident in multilingual societies. In this paper, we have developed a system for SemEval 2020: Task 9 on Sentiment Analysis for Code-Mixed Social Media Text. Our system first generates two types of embeddings for the social media text. In those, the first one is character level embeddings to encode the character level information and to handle the out-of-vocabulary entries and the second one is FastText word embeddings for capturing morphology and semantics. Th…

历史文本规范化系统的大规模比较

A Large-Scale Comparison of Historical Text Normalization Systems

关于历史文本规范化的最新方法没有达成共识。已经提出了许多技术，包括基于规则的方法，距离度量，基于字符的统计机器翻译和神经编码器-解码器模型，但研究使用了不同的数据集，不同的评估方法，并得出了不同的结论。本文介绍了迄今为止最大的历史文本规范化研究。我们批判性地调查现有的文献和报告实验的八种语言，比较系统跨越所有类别的建议规范化技术，分析训练数据量的影响，并使用不同的评估方法。数据集和脚本是公开的。

mapKurator系统：从历史地图中提取和关联文本的完整流水线

The mapKurator System: A Complete Pipeline for Extracting and Linking Text from Historical Maps

本文提出mapKurator端到端系统，整合机器学习模型与数据处理流水线，实现从大规模历史地图扫描件中自动提取、后处理和关联文本标签，并在David Rumsey馆藏中处理了超过6万张地图和1亿个地名。

基于LSTM-CNN-Attention混合模型的文本类Web内容研究

Research on a hybrid LSTM-CNN-Attention model for text-based web content classification

本文提出混合LSTM-CNN-Attention模型，通过整合注意力机制提升文本类Web内容分类性能，实验显示其在准确率、精确率等指标上均优于基线模型。

Complicating the Social Networks for Better Storytelling: An Empirical Study of Chinese Historical Text and Novel

Digital humanities is an important subject because it enables developments in history, literature, and films. In this paper, we perform an empirical study of a Chinese historical text, Records of the Three Kingdoms (\textit{Records}), and a historical novel of the same story, Romance of the Three Kingdoms (\textit{Romance}). We employ natural language processing techniques to extract characters and their relationships. Then, we characterize the social networks and sentiments of the main characters in the historical text and the historical novel. We find that the social network in \textit{Roman…

基于LSTM网络的用户生成文本隐含维度识别

Implicit Dimension Identification in User-Generated Text with LSTM Networks

在在线讲故事的过程中，个人用户创造和消费高度多样化的内容，这些内容包含大量隐含的信念，而不是简单表达的叙述。很难手动检测作者的这些隐含的信念，意图和道德基础。我们研究和调查了两个不同的任务，每个任务都反映了检测隐式用户的知识，意图或信仰的难度，这些知识，意图或信仰可能是基于作者的道德基础：1）新闻文章中的政治观点检测2）在社区问答（CQA）档案中识别信息与会话问题。在这两个任务中，我们首先描述新的有趣的注释数据集，并使数据集公开。其次，我们比较了各种分类算法，并显示了它们在这两个任务上的性能差异。第三，在政治视角检测任务中，我们利用当地媒体的叙事表征语言来识别假设中立的美国和英国媒体之间的视角差异。

利用机器学习和基于LSTM的深度学习模型分析《Mobile Legends》应用评论的情感

Sentiment Analysis of Mobile Legends App Reviews Using Machine Learning and LSTM-Based Deep Learning Models

本文比较了机器学习与基于LSTM的深度学习方法在《Mobile Legends》应用评论情感分析中的表现，发现LSTM模型在准确率和F1分数上均优于传统方法。

基于偏旁嵌入的LSTM的古汉语句子切分

Sentence Segmentation for Classical Chinese Based on LSTM with Radical Embedding

在本文中，我们开发了一种低于字符的特征嵌入，称为部首嵌入，并将其应用于LSTM模型，用于前现代汉语文本的句子分割。数据集包括来自3个不同朝代的150多本中国古典书籍，包含不同的文学风格。LSTM CRF模型是解决序列标记问题的最先进方法。我们的新模型增加了一个激进的嵌入组件，从而提高了性能。基于上述中文书籍的实验结果表明，该方法在句子分割方面，尤其是在唐墓志文本中，具有更好的准确性。

Coin_flipper参加2019年eHealth-KD挑战赛：投票LSTM用于关键短语和应用于西班牙语eHealth文本的语义关系识别

Coin_flipper at eHealth-KD Challenge 2019: Voting LSTMs for Key Phrases and Semantic Relation Identification Applied to Spanish eHealth Texts

本文描述了我们为eHealth-KD 2019挑战提出的方法。我们的参与旨在测试我们可以走多远，使用文本处理的通用工具，但同时，使用数据采掘领域的常见优化技术。为挑战的两个任务提出的架构是标准的堆叠2层bi-LSTM。我们的方法的主要特点是：（a）使用F1的代理函数作为损失函数，以缩小最小化函数和评估指标之间的差距，以及（b）生成的合奏模型，用于通过多数表决生成预测。我们的系统在主要任务中以62.18%的F1得分排名第二，获胜者得分为63.94%。

Summarising Historical Text in Modern Languages

We introduce the task of historical text summarisation, where documents in historical forms of a language are summarised in the corresponding modern language. This is a fundamentally important routine to historians and digital humanities researchers but has never been automated. We compile a high-quality gold-standard text summarisation dataset, which consists of historical German and Chinese news from hundreds of years ago summarised in modern German or Chinese. Based on cross-lingual transfer learning techniques, we propose a summarisation model that can be trained even with no cross-lingual…

HistoLens：基于LLM的历史文本多层分析框架——以《盐铁论》为例

HistoLens: An LLM-Powered Framework for Multi-Layered Analysis of Historical Texts -- A Case Application of Yantie Lun

本文提出基于LLM的历史文本多层分析框架HistoLens，以《盐铁论》为例，集成NLP技术进行多维可视分析，并构建机器教学场景，为历史研究与教育提供新工具。

基于Structural-Jump-LSTM的神经速读

Neural Speed Reading with Structural-Jump-LSTM

递归神经网络（RNN）可以通过顺序地“读取”输入标记并输出每个标记的分布式表示来对自然语言进行建模。由于RNN的顺序性，推理时间与输入长度呈线性关系，所有输入都被读取，而不管它们的重要性如何。加快这种推理的努力，被称为“神经速读”，要么忽略要么跳过部分输入。我们提出了Structural-Jump-LSTM：第一个在推理过程中跳过和跳转文本的神经快速阅读模型。该模型由标准LSTM和两个代理组成：一个能够在阅读时跳过单个单词，另一个能够利用标点结构（子句子分隔符（，：），句子结束符号（.！？），或文本标记的结尾）以在阅读单词之后向前跳转。我们的模型与所有五种最先进的神经阅读模型进行了全面的实验评估，结果表明，Structural-Jump-LSTM实现了最佳的整体浮点运算（FLOP）减少（因此更快），同时保持了相同的准确性，甚至与阅读整个文本的普通LSTM相比有所提高。

基于 Bi-LSTM 和注意力机制优化新闻文本分类以实现高效数据处理

Optimizing News Text Classification with Bi-LSTM and Attention Mechanism for Efficient Data Processing

针对传统人工新闻分类低效的问题，本文提出结合Bi-LSTM与注意力机制的深度学习自动分类方案，显著提升了分类准确性与时效性，并减少了人工干预。

基于Transformer与带LSTM的Seq2Seq的美国手语到文本翻译

American Sign Language to Text Translation using Transformer and Seq2Seq with LSTM

本研究针对手语转文本翻译任务，对比了Transformer与Seq2Seq模型的性能，还测试了添加ResidualLSTM的Transformer效果，发现纯Transformer表现优于Seq2Seq，添加ResidualLSTM反而降低性能。

自引导多模态LSTM -当我们没有用于图像描述的完美训练数据集时

Self-Guiding Multimodal LSTM - when we do not have a perfect training dataset for image captioning

本文提出了一种自引导的多模态LSTM（sg-LSTM）图像描述模型来处理不受控制的不平衡的真实世界图像-句子数据集。我们从Flickr收集了FlickrNYC数据集作为我们的测试平台，其中包含306，165张图像，用户上传的原始文本描述被用作训练的基础事实。FlickrNYC数据集中的描述从短期描述到长段落描述变化很大，可以描述任何视觉方面，甚至可以引用未描述的对象。为了处理不平衡和嘈杂的情况，并充分探索数据集本身，我们提出了一种利用多模态LSTM（m-LSTM）模型提取的新的指导文本特征。m-LSTM的训练基于图像内容和相应描述紧密结合的数据部分。之后，在对其余训练数据进行sg-LSTM训练期间，该指导信息与图像表示和地面实况描述一起作为网络的额外输入。通过将这些输入组件集成到一个多模态块中，我们的目标是形成一个与图像内容紧密耦合的文本信息的训练方案。实验结果表明，所提出的sg-LSTM模型在成功描述输入图像的关键组件方面优于传统的最先进的多模态RNN字幕框架。

基于类型和词元语言建模的历史德语文本规范化

Historical German Text Normalization Using Type- and Token-Based Language Modeling

针对历史德语拼写变体问题，提出结合编码器-解码器与因果语言模型的Transformer规范化系统，在1700-1900年文学文本上达到最先进准确性，但泛化与数据仍具挑战。

可理解的上下文驱动的文本游戏

Comprehensible Context-driven Text Game Playing

为了训练一个计算机智能体玩一个基于文本的计算机游戏，我们必须表示游戏的每个隐藏状态。在观察到的文本上运行的长短期记忆（LSTM）模型是状态构建的常见选择。然而，这种智能体的正常深度Q学习网络（DQN）需要数百万步或更多的训练步骤才能收敛。因此，基于LSTM的DQN可能需要数十天才能完成训练过程。虽然我们可以使用卷积神经网络（CNN）作为文本编码器来比LSTM更快地构建状态，但在不理解所分析单词的语法上下文的情况下这样做可能会减慢收敛速度。在本文中，我们使用一个快速的CNN编码的位置和语法为导向的结构，从观察到的文本作为状态。我们还以通用和实用的方式增强了奖励信号。总之，我们表明，我们的改进不仅可以加快一个数量级的过程，而且还可以学习一个优秀的代理。

Entities, Dates, and Languages: Zero-Shot on Historical Texts with T0

In this work, we explore whether the recently demonstrated zero-shot abilities of the T0 model extend to Named Entity Recognition for out-of-distribution languages and time periods. Using a historical newspaper corpus in 3 languages as test-bed, we use prompts to extract possible named entities. Our results show that a naive approach for prompt-based zero-shot multilingual Named Entity Recognition is error-prone, but highlights the potential of such an approach for historical languages lacking labeled datasets. Moreover, we also find that T0-like models can be probed to predict the publication…

评估历史文本规范化系统：它们的泛化能力如何？

Evaluating historical text normalization systems: How well do they generalize?

我们强调了历史文本规范化系统评估中的几个问题，这些问题使得很难判断这些系统在实践中的实际工作情况-即，用于新的数据集或语言;与更简单的系统相比;或者作为下游NLP工具的预处理步骤。我们说明了这些问题，并通过比较两个神经模型与一个幼稚的基线系统来验证我们提出的评估实践。我们发现，神经模型在五种语言的测试中很好地推广到了看不见的单词;然而，它们对英语历史集合的下游POS标记的幼稚基线没有明显的好处。我们的结论是，未来的工作应该包括更严格的评估，包括内在和外在的措施，在可能的情况下。

ParsiPy：面向历史波斯语文本的Python NLP工具包

ParsiPy: NLP Toolkit for Historical Persian Texts in Python

针对历史波斯语研究缺乏专用数字工具的问题，研究推出含分词、词形还原等多模块的Python NLP工具包ParsiPy，经中古波斯语文本验证有效，助力计算语言学与古文献数字保存。

多模态LSTM模型预测情绪共情反应

A Multimodal LSTM for Predicting Listener Empathic Responses Over Time

人们很自然地理解他们周围人的情绪，并且经常会感同身受。在本文中，我们预测随着时间的推移，共情的听众的情绪效价，因为他们听一个扬声器叙述一个生活故事。我们使用OMG-Empathy预测挑战提供的数据集，这是一个与IEEE FG 2019联合举办的研讨会。我们提出了一个具有特征级融合和局部注意力的多模态LSTM模型，可以预测来自音频，文本和视觉特征的移情反应。我们的表现最好的模型，只使用音频和文本特征，在通用和个性化轨道的验证集上分别达到了0.29和0.32的一致性相关系数（CCC），并在保持测试集上达到了0.14和0.14的CCC。我们讨论了面临的困难和应对这一挑战的经验教训。

Natural Language Processing Accurately Categorizes Indications, Findings and Pathology Reports from Multicenter Colonoscopy

Colonoscopy is used for colorectal cancer (CRC) screening. Extracting details of the colonoscopy findings from free text in electronic health records (EHRs) can be used to determine patient risk for CRC and colorectal screening strategies. We developed and evaluated the accuracy of a deep learning model framework to extract information for the clinical decision support system to interpret relevant free-text reports, including indications, pathology, and findings notes. The Bio-Bi-LSTM-CRF framework was developed using Bidirectional Long Short-term Memory (Bi-LSTM) and Conditional Random Fields…

CHURRO：利用开放权重大型视觉语言模型实现高精度、低成本的历史文本识别，让历史变得可读

CHURRO: Making History Readable with an Open-Weight Large Vision-Language Model for High-Accuracy, Low-Cost Historical Text Recognition

针对现有模型难以识别历史文本的问题，提出30亿参数的开放权重VLM CHURRO，基于最大历史文本识别数据集CHURRO-DS训练，在印刷体和手写体识别上超越所有对比模型，且成本效益显著。

Lemmatization of Historical Old Literary Finnish Texts in Modern Orthography

Texts written in Old Literary Finnish represent the first literary work ever written in Finnish starting from the 16th century. There have been several projects in Finland that have digitized old publications and made them available for research use. However, using modern NLP methods in such data poses great challenges. In this paper we propose an approach for simultaneously normalizing and lemmatizing Old Literary Finnish into modern spelling. Our best model reaches to 96.3\% accuracy in texts written by Agricola and 87.7\% accuracy in other contemporary out-of-domain text. Our method has bee…

基于膨胀卷积的文本建模的改进变分自编码器

Improved Variational Autoencoders for Text Modeling using Dilated Convolutions

最近关于文本的生成建模的工作已经发现，结合LSTM解码器的变分自动编码器（VAE）比更简单的LSTM语言模型表现更差（Bowman等人，2015年）。到目前为止，这个负面结果还不太清楚，但这归因于LSTM解码器忽略来自编码器的条件信息的倾向。在本文中，我们实验了一种新型的解码器VAE：一个扩大的CNN。通过改变解码器的膨胀架构，我们控制有效的上下文从以前生成的单词。在实验中，我们发现，有一个权衡的上下文容量的解码器和编码信息的使用量。我们证明，使用正确的解码器，VAE可以超越LSTM语言模型。我们在两个数据集上展示了困惑增益，代表了使用VAE进行文本生成建模的第一个积极的实验结果。此外，我们对VAE（使用我们的新解码架构）用于半监督和无监督标记任务进行了深入研究，证明了在几个强基线上的收益。

A Chinese Text Classification Method With Low Hardware Requirement Based on Improved Model Concatenation

In order to improve the accuracy performance of Chinese text classification models with low hardware requirements, an improved concatenation-based model is designed in this paper, which is a concatenation of 5 different sub-models, including TextCNN, LSTM, and Bi-LSTM. Compared with the existing ensemble learning method, for a text classification mission, this model's accuracy is 2% higher. Meanwhile, the hardware requirements of this model are much lower than the BERT-based model.