hyper-sinh: An Accurate and Reliable Function from Shallow to Deep Learning in TensorFlow and Keras
Coventry University（考文垂大学）；University of Auckland（奥克兰大学）；Warshel Institute for Computational Biology（瓦谢尔计算生物学研究所）；The Chinese University of Hong Kong, Shenzhen (CUHK-SZ)（香港中文大学（深圳））；Centro Studi Eteropoiesi（埃特罗波耶西研究中心）
本文介绍了“hyper-sinh”，这是m-arcsinh激活函数的一种变体，适用于基于深度学习（DL）的监督学习算法，如卷积神经网络（CNN）。因此，在开源Python库TensorFlow和Keras中开发的hyper-sinh被描述和验证为浅层和深层神经网络的准确和可靠的激活函数。讨论了Keras提供的五个（N = 5）基准数据集上图像和文本分类任务的准确性和可靠性的改进。实验结果表明，通过这种新功能获得的浅层和深层神经网络的整体竞争性分类性能。该函数相对于金标准激活函数进行评估，证明其整体竞争力的准确性和可靠性的图像和文本分类。
2020-11-15 cs.AI cs.CL cs.CV
Shallow Domain Adaptive Embeddings for Sentiment Analysis
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出了一种方法，以提高现有的文本分类算法的性能，在强语言语义领域。我们提出了一个领域自适应层学习权重，将通用和特定领域（DS）的词嵌入组合成领域自适应（DA）嵌入。DA词嵌入然后被用作通用编码器+分类器框架的输入，以执行诸如分类的下游任务。该适配层特别适合于大小适中的数据集，因此，这些数据集不是（重新）训练深度神经网络架构的理想候选者。使用流行的编码器架构，包括当前最先进的方法（有和没有浅适应层）的二进制和多类分类任务的结果显示了所提出的方法的有效性。
2019-08-16 cs.CL cs.IR cs.LG
Shallow Parsing Pipeline for Hindi-English Code-Mixed Social Media Text
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
在这项研究中，印度语-英语代码混合的社会媒体文本（CSMT）的浅层解析的问题已经解决。我们已经注释了数据，开发了一个语言标识符，一个规范化，一个词性标注器和一个浅层解析器。据我们所知，我们是第一个尝试在CSMT上进行浅层解析的。开发的管道已提供给研究界，使更好的印地语英语CSMT的文本分析的目标。该管道可在http://bit.ly/csmt-parser-api上访问。
2016-04-11 cs.CL
ReLeVAnT: Relevance Lexical Vectors for Accurate Legal Text Classification
Perssonify
本文提出ReLeVAnT框架，通过n-gram处理、对比分数匹配和浅层神经网络实现法律文档二分类，准确率达99.3%。
2026-04-24 cs.AI cs.CL
Shallow Fusion of Weighted Finite-State Transducer and Language Model for Text Normalization
NVIDIA（英伟达）
生产中的文本规范化（TN）系统在很大程度上是基于规则的，使用加权有限状态转换器（WFST）。然而，当规范化形式是上下文相关的时，基于WFST的系统与模糊输入作斗争。另一方面，神经文本规范化系统可以考虑上下文，但他们遭受不可恢复的错误，并需要标记的规范化数据集，这是很难收集。我们提出了一种新的混合方法，结合了基于规则和神经系统的好处。首先，非确定性WFST输出所有标准化候选，然后神经语言模型选择最佳候选-类似于自动语音识别的浅层融合。虽然WFST防止不可恢复的错误，但语言模型解决了上下文歧义。该方法很容易扩展，我们表明它是有效的。它实现了可比或更好的结果比现有的国家的最先进的TN模型。
2022-03-29 cs.CL
A Flexible Shallow Approach to Text Generation
为了支持NL生成系统的有效开发，目前重点追求两种正交方法：（1）可重用的，通用的，和语言动机的表面实现组件，和（2）简单的，面向任务的基于模板的技术。在本文中，我们认为，从面向应用的角度来看，两者的好处仍然是有限的。为了改善这种情况，我们建议和评估与增加灵活性相关的浅生成方法。我们建议领域驱动的本体和语言本体之间建立密切联系，支持快速适应新任务和领域，而不是重用一般资源。我们的方法是专为生成有限的语言变化的报告。
1998-12-16 cs.CL
GDTB: Genre Diverse Data for English Shallow Discourse Parsing across Modalities, Text Types, and Domains
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Georgetown University（乔治城大学）
针对现有英语浅层话语解析数据集不公开、领域单一且老旧的问题，本文提出基于UD English GUM语料库的开放多体裁PDTB风格基准GDTB，实验验证其与PDTB兼容，且联合训练可缓解跨领域性能下降。
2024-11-01 cs.CL
Shallow Synthesis of Knowledge in GPT-Generated Texts: A Case Study in Automatic Related Work Composition
University of Minnesota（明尼苏达大学）；UC Berkeley（加州大学伯克利分校）
本文通过引文图分析发现，GPT-4能生成粗粒度引文分组辅助头脑风暴，但无法独立完成详细的知识综合，建议写作辅助工具不应脱离人类作者独立起草文本。
2024-02-19 cs.CL
Shallow Discourse Annotation for Chinese TED Talks
Tianjin University（天津大学）；University of Edinburgh（爱丁堡大学）
标注了语言相关属性的文本语料库是语言技术发展的重要资源。目前的工作为中文语言技术和中英翻译提供了一个新的资源，以一组TED演讲的形式（一些最初是用英语给出的，一些是中文），这些演讲已经以Penn Discourse TreeBank的风格用话语关系进行了注释，适应了中文文本中不存在的属性。该资源是目前唯一的注释话语级属性计划的口头独白，而不是书面文本。一个注释者之间的协议研究表明，注释方案是能够实现高度可靠的结果。
2020-04-06 cs.CL
Convolutional Neural Networks for Text Categorization: Shallow Word-level vs. Deep Character-level
RJ Research Consulting（RJ研究咨询公司）；Rutgers University（罗格斯大学）
本文报告了我们早期的工作（2015年），浅字级卷积神经网络（CNN）在Conneau等人（2016年）中用于测试非常深的字符级CNN的具有相对较大训练数据的八个数据集上的性能。我们的调查结果如下。浅字级CNN实现了比Conneau等人报道的出错率更好的出错率，尽管由于Conneau等人的独特预处理，结果应该在某种程度上进行解释。浅单词级CNN使用更多的参数，因此比深字符级CNN需要更多的存储;然而，浅单词级CNN计算得快得多。
2016-08-31 cs.CL cs.LG stat.ML
The Materials Science Procedural Text Corpus: Annotating Materials Synthesis Procedures with Shallow Semantic Structures
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Massachusetts Institute of Technology（麻省理工学院）
材料科学文献包含了数以百万计的材料合成程序描述的非结构化自然语言文本。对这些合成过程的大规模分析将促进对材料合成的更深入的科学理解，并实现自动化合成规划。这种分析需要从原始文本中提取合成过程的结构化表示作为第一步。为了方便合成提取模型的训练和评估，我们引入了一个由领域专家标注的230个合成过程的数据集，这些合成过程具有表示合成句子语义的标记图。这个图中的节点是合成操作及其类型化参数，带标签的边指定节点之间的关系。我们详细描述了这个新的资源，并强调了一些具体的挑战，浅语义结构的科学文本注释。我们将语料库提供给社区，以促进科学信息抽取系统的进一步研究和开发。
2019-07-13 cs.CL cs.LG
Shallow Syntax in Deep Water
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Carnegie Mellon University（卡内基梅隆大学）；Google DeepMind（谷歌DeepMind）；University of Washington（华盛顿大学）
浅层句法提供了句子的短语句法结构的近似;它可以以高精度产生，并且计算成本低。我们使用两种技术研究了浅语法感知表示在NLP任务中的作用。首先，我们增强了ELMo架构，允许对预测的浅层语法分析进行预训练，而不仅仅是原始文本，以便上下文嵌入利用浅层语法上下文。我们的第二种方法涉及在下游任务数据上自动获得的浅层语法特征。相对于仅ELMO基线，这两种方法都不会在我们考虑的四个下游任务中的任何一个上产生显著增益。使用黑盒探测器的进一步分析证实，我们的浅句法感知上下文嵌入并不比ELMo的嵌入更容易转移到语言任务。我们将这些发现作为证据，证明ELMo风格的预训练发现了使浅层语法冗余的额外意识的表示。
2019-08-29 cs.CL
Model Reduction of Shallow CNN Model for Reliable Deployment of Information Extraction from Medical Reports
Oak Ridge National Lab（橡树岭国家实验室）；University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；Carnegie Mellon University（卡内基梅隆大学）
浅层卷积神经网络（CNN）是一种经过时间考验的工具，用于从癌症病理报告中提取信息抽取。Shallow CNN在这项任务上的表现与其他深度学习模型（包括BERT）相当，后者在许多NLP任务上都是最先进的。这种古怪现象背后的主要见解是，从癌症病理报告中提取信息抽取只需要少量的特定于领域的文本段来执行任务，从而使得大多数文本和上下文对于任务来说过多。浅层CNN模型非常适合从标记的训练集中识别这些关键的短文本片段;然而，识别的文本片段对人类来说仍然是模糊的。在这项研究中，我们通过开发一个模型简化工具来填补这一空白，通过丢弃虚假连接来在CNN过滤器和相关文本片段之间建立可靠的连接。我们降低了浅层CNN表示的复杂性，通过近似它与n-gram存在表示的线性变换，具有非负性和稀疏性先验的变换权重，以获得一个可解释的模型。我们的方法弥合了传统上认为的权衡边界之间的差距准确性的一方和解释的其他模型减少。
2020-07-31 cs.AI cs.CL cs.LG
A Preliminary Study for Literary Rhyme Generation based on Neuronal Representation, Semantics and Shallow Parsing
Universidade do Estado do Rio de Janeiro（里约热内卢州立大学）
近年来，计算创造力领域的研究人员研究了人类的创造过程，提出了不同的方法来重现它与一个正式的程序。本文介绍了一种结合语言结构和神经网络模型的西班牙语文学韵脚生成模型（\textit{Word2vec}）。变成一个语义同化的结构通过我们的算法生成的文本的手动评估所获得的结果是令人鼓舞的。
2021-12-25 cs.AI cs.CL
A Memory-Based Approach to Learning Shallow Natural Language Patterns
识别浅层语言模式，如单词之间的基本句法关系，是应用自然语言和文本处理中的一项常见任务。完成这一任务的常见做法是通过繁琐的手动定义可能的模式结构，通常是正则表达式或有限自动机的形式。本文提出了一种新的基于记忆的学习方法，识别浅模式的新文本的基础上，括号内的训练语料库。训练数据以有效的后缀树数据结构存储。在识别时，通过比较新文本与语料库中的正面和负面证据的一致性来在线进行泛化。通过这种方式，训练中没有信息丢失，这在其他学习系统中可能发生，这些学习系统在训练时构建单个广义模型。本文介绍了对英语名词短语、主谓结构和动宾结构的识别实验结果。由于学习方法可以很容易地移植到新的领域，我们计划将其应用到其他语言的语法模式和子语言模式的信息提取。
1999-04-15 cmp-lg cs.CL
Shallow reading with Deep Learning: Predicting popularity of online content using only its title
Polish-Japanese Academy of Information Technology（波兰日本信息技术学院）；Tooploox（Tooploox公司）；Warsaw University of Technology（华沙理工大学）
随着当代互联网用户的注意力持续时间不断缩短，在线内容（如新闻文章或视频）的标题可能是决定其受欢迎程度的主要因素。为了利用这一现象，我们提出了一种基于双向长短期记忆（LSTM）神经网络的新方法，该网络旨在仅使用标题来预测在线内容的受欢迎程度。我们在两个不同的数据集上评估了所提出的架构，这两个数据集是分布在社交媒体上的新闻文章和新闻视频，总共包含40，000多个样本。在这些数据集上，我们的方法比传统的浅层方法提高了15%的性能。此外，我们还证明了在嵌入层中使用预训练的词向量可以改善LSTM模型的结果，特别是当训练集很小时。据我们所知，这是第一次尝试只使用标题的文本信息来应用流行度预测。
2017-07-21 cs.CL
End-to-End Trainable Self-Attentive Shallow Network for Text-Independent Speaker Verification
Humelo Inc.（Humelo公司）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；KAIST Institute for Artificial Intelligence（KAIST人工智能研究所）
广义端到端（GE2E）模型因其可扩展性和通用性而被广泛应用于说话人确认（SV）领域。然而，基于GE2E的长短期记忆（LSTM）有两个局限性：第一，GE2E的嵌入遭受消失梯度，这导致非常长的输入序列的性能下降。其次，话语没有被表示为适当固定的维度向量。在本文中，为了克服上述问题，我们提出了一种新的SV框架，端到端可训练的自注意浅层网络（SASN），结合了一个时间延迟神经网络（TDNN）和一个自注意池机制的基础上自注意的x向量系统在话语嵌入阶段。我们证明，该模型是高效的，并提供更准确的说话人确认比GE2E。对于VCTK数据集，仅小于GE2E的一半大小，所提出的模型在EER（等误差率）、DCF（检测代价函数）和AUC（曲线下面积）方面分别显示出比GE2E显著的性能改进，分别为约63%、67%和85%。值得注意的是，当输入长度变得更长时，所提出的模型的DCF分数改善是GE2E的约17倍。
2020-08-14 cs.CL cs.SD eess.AS
S2D-ALIGN: Shallow-to-Deep Auxiliary Learning for Anatomically-Grounded Radiology Report Generation
针对放射报告生成中标准监督微调缺乏解剖学基础对齐的问题，提出S2D-ALIGN从浅到深辅助学习方法，通过多粒度辅助信号和记忆适配器实现解剖锚定对齐，在公共基准上取得最优性能。
2025-11-14 cs.AI cs.CL cs.CV
TASSY -- A Text Annotation Survey System
University of Konstanz（康斯坦茨大学）；University of Passau（帕绍大学）；University of Wuppertal（伍珀塔尔大学）
我们提出了一个免费和开源的工具，用于创建基于Web的调查，包括文本注释任务。现有工具提供文字注释或测量功能，但不能同时提供。结合这两种输入类型对于调查读者对文本的感知特别相关，这也取决于读者的背景，例如年龄，性别和教育。我们的工具主要满足图书馆和信息科学，社会科学和人文科学研究人员的需求，他们应用内容分析来调查，例如，媒体偏见、政治传播或假新闻。
2021-12-16 cs.CL
SDIF-DA: A Shallow-to-Deep Interaction Framework with Data Augmentation for Multi-modal Intent Detection
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies（广东省新型安全智能技术重点实验室）；Peng Cheng Laboratory（鹏城实验室）；Central South University（中南大学）
本文提出SDIF-DA框架，通过浅层到深层交互模块逐步对齐和融合文本、视频及音频特征，并利用基于ChatGPT的数据增强方法扩充训练数据，有效解决了多模态意图检测中的模态融合与数据匮乏问题，取得了最先进的性能。
2023-12-31 cs.CL
Automated text summarisation and evidence-based medicine: A survey of two domains
Macquarie University（麦考瑞大学）；CSIRO Australia（澳大利亚联邦科学与工业研究组织）
循证医学（EBM）的实践促使医生在做出临床决策时利用最新的研究证据。由于各种医学主题的大量和不断增长的出版研究，从业者经常发现自己的信息超载。因此，自然语言处理研究最近已经开始探索用于执行医学领域特定的自动文本摘要（ATS）技术的技术-针对压缩大型医学文本的任务。然而，为这项任务开发有效的摘要技术需要跨领域的知识。我们提出了一个调查的循证医学，特定领域的需求，循证医学，自动摘要技术，以及它们是如何被应用到迄今为止。我们设想，这项调查将作为第一资源，为循证医学的未来业务文本摘要技术的发展。
2017-06-25 cs.CL
Text Summarization Techniques: A Brief Survey
University of Georgia（佐治亚大学）；Institute of Bioinformatics（生物信息学研究所）
近年来，来自各种来源的文本数据量呈爆炸式增长。这一卷文本是一个宝贵的信息和知识来源，需要有效地总结才能有用。本文综述了文本自动摘要的主要方法。我们回顾了不同的总结过程，并描述了不同方法的有效性和缺点。
2017-07-28 cs.CL
Survey of Query-based Text Summarization
针对基于查询的文本摘要领域现有研究缺乏系统梳理的问题，本综述总结了该领域及相关通用文本摘要的代表性研究，并提出分类体系与相关分析。
2024-10-06 cs.CL cs.IR
Deep Shallow Fusion for RNN-T Personalization
Facebook AI（Facebook人工智能研究院）
在过去的几年里，端到端模型，特别是循环神经网络传感器（RNN-T），由于其简单性，紧凑性和通用转录任务的出色性能，在自动语音识别社区中获得了显着的吸引力。然而，由于缺乏外部语言模型以及难以识别罕见的长尾词，特别是实体名称，与传统的混合系统相比，这些模型在个性化方面更具挑战性。在这项工作中，我们提出了新的技术来提高RNN-T的能力，以建模罕见的词段，注入额外的信息到编码器中，使替代的字形发音的使用，并执行深度融合与个性化的语言模型更强大的偏置。我们表明，与使用浅层融合和文本到语音增强的强RNN-T基线相比，这些组合技术导致15.4%-34.5%的相对字出错率改善。我们的工作有助于推动RNN-T个性化的边界，并缩小与混合系统在偏置和实体识别至关重要的用例上的差距。
2020-11-16 cs.CL eess.AS
More Than Reading Comprehension: A Survey on Datasets and Metrics of Textual Question Answering
University of Florida（佛罗里达大学）
文本问答（QA）的目的是使用非结构化数据以自然语言的形式对用户的问题提供精确的答案。实现这一目标的最流行的方法之一是机器阅读理解（MRC）。近年来，许多新的数据集和评价指标的基础上，经典的MRC任务已经提出了更广泛的文本QA任务。在本文中，我们调查了47个最近的文本QA基准数据集，并从应用的角度提出了一个新的分类。此外，本文还总结了文本QA任务的8个评价指标。最后，我们讨论了当前的趋势，在构建文本QA基准，并建议未来的工作方向。
2022-02-04 cs.AI cs.CL
A Systematic Survey of Text Worlds as Embodied Natural Language Environments
University of Arizona（亚利桑那大学）
文本世界是一种虚拟环境，与2D或3D环境不同，它是专门使用文本描述呈现的。这些环境提供了一种替代高保真度的3D环境，因为它们的进入门槛低，提供了研究语义，组合推理和其他高级任务的能力，具有丰富的高级动作空间，同时控制感知输入。本系统的调查概述了工具，环境和代理建模的文本世界的最新发展，同时检查最近的趋势，知识图谱，常识推理，迁移学习文本世界的性能，以更高的保真度的环境，以及近期的发展目标，一旦实现，使文本世界自然语言处理有吸引力的一般研究范式。
2021-07-08 cs.AI cs.CL
A Brief Survey of Text Mining: Classification, Clustering and Extraction Techniques
University of Georgia（佐治亚大学）
每天生成的文本数量正在急剧增加。这些大量的非结构化文本不能简单地被计算机处理和感知。因此，需要高效和有效的技术和算法来发现有用的模式。文本挖掘是从文本中提取有意义信息的任务，近年来受到了广泛的关注。在本文中，我们描述了几个最基本的文本挖掘任务和技术，包括文本预处理，分类和聚类。此外，我们简要介绍了文本挖掘在生物医学和医疗保健领域。
2017-07-28 cs.AI cs.CL cs.IR
VTLayout: Fusion of Visual and Text Features for Document Layout Analysis
University of Chinese Academy of Sciences（中国科学院大学）；The Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
文档通常包含复杂的物理结构，这使得文档布局分析（DLA）任务具有挑战性。作为内容提取的预处理步骤，DLA具有大规模捕获历史或科学文档中丰富信息的潜力。尽管许多基于深度学习的计算机视觉方法在从文档中检测\emph{Figure}方面已经取得了优异的性能，但它们在识别DLA中的\emph{List}、\emph{Table}、\emph{Text}和\emph{Title}类别块方面仍然不令人满意。本文提出了一种融合文档的深视觉、浅视觉和文本特征的VTLayout模型来定位和识别不同的类别块。该模型主要包括两个阶段，三个特征提取器建立在内置的第二阶段。在第一阶段，Cascade Mask R-CNN模型直接应用于定位文档的所有类别块。在第二阶段中，深视觉，浅视觉和文本特征提取融合，以确定类别块的文档。因此，我们加强了分类能力的不同类别块的基础上现有的本地化技术。实验结果表明，VTLayout的识别能力优于基于PubLayNet数据集的最先进的DLA方法，F1得分高达0.9599。
2021-08-12 cs.CL cs.IR cs.LG
A Survey of AI Text-to-Image and AI Text-to-Video Generators
Kent State University（肯特州立大学）
本文综述了AI文生图与文生视频生成模型，涵盖数据预处理、神经网络类型、评估指标，并讨论挑战与未来方向，指出其在视频制作、内容创作和数字营销中的广阔应用前景。
2023-11-10 cs.AI cs.CL cs.CV
