Shallow Parsing Pipeline for Hindi-English Code-Mixed Social Media Text
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
在这项研究中，印度语-英语代码混合的社会媒体文本（CSMT）的浅层解析的问题已经解决。我们已经注释了数据，开发了一个语言标识符，一个规范化，一个词性标注器和一个浅层解析器。据我们所知，我们是第一个尝试在CSMT上进行浅层解析的。开发的管道已提供给研究界，使更好的印地语英语CSMT的文本分析的目标。该管道可在http://bit.ly/csmt-parser-api上访问。
2016-04-11 cs.CL
Shallow Fusion of Weighted Finite-State Transducer and Language Model for Text Normalization
NVIDIA（英伟达）
生产中的文本规范化（TN）系统在很大程度上是基于规则的，使用加权有限状态转换器（WFST）。然而，当规范化形式是上下文相关的时，基于WFST的系统与模糊输入作斗争。另一方面，神经文本规范化系统可以考虑上下文，但他们遭受不可恢复的错误，并需要标记的规范化数据集，这是很难收集。我们提出了一种新的混合方法，结合了基于规则和神经系统的好处。首先，非确定性WFST输出所有标准化候选，然后神经语言模型选择最佳候选-类似于自动语音识别的浅层融合。虽然WFST防止不可恢复的错误，但语言模型解决了上下文歧义。该方法很容易扩展，我们表明它是有效的。它实现了可比或更好的结果比现有的国家的最先进的TN模型。
2022-03-29 cs.CL
Do Convolutional Networks need to be Deep for Text Classification ?
LORIA（洛林计算机科学及其应用实验室）；SESAMm（SESAMm公司）
在这项工作中，我们研究了深度在文本分类卷积模型中的重要性，无论是考虑字符还是单词输入。我们在5个标准的文本分类和情感分析任务上表明，当文本输入表示为字符序列时，深度模型确实比浅层网络提供了更好的性能。然而，一个简单的浅而宽的网络比深度模型（如DenseNet）更好。我们的浅词模型进一步在两个数据集上建立了新的最先进的性能：Yelp Binary（95.9%）和Yelp Full（64.9%）。
2017-07-13 cs.CL
GDTB: Genre Diverse Data for English Shallow Discourse Parsing across Modalities, Text Types, and Domains
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Georgetown University（乔治城大学）
针对现有英语浅层话语解析数据集不公开、领域单一且老旧的问题，本文提出基于UD English GUM语料库的开放多体裁PDTB风格基准GDTB，实验验证其与PDTB兼容，且联合训练可缓解跨领域性能下降。
2024-11-01 cs.CL
SPaR.txt, a cheap Shallow Parsing approach for Regulatory texts
Heriot-Watt University（赫瑞-瓦特大学）；Northumbria University（诺森比亚大学）
自动合规性检查（ACC）系统旨在将建筑法规语义解析为一组规则。然而，已知语义解析是困难的并且需要大量的训练数据。创建这样的训练数据的复杂性导致研究集中在小的子任务上，例如浅解析或规则的有限子集的提取。这项研究介绍了一个浅解析任务，训练数据是相对便宜的创建，学习ACC. We的词典的目的。我们注释一个小的特定领域的数据集200句，SPaR.txt，并训练序列标签，达到79，93 F1-分数的测试集。然后，我们通过手动评估表明，该模型识别了一组建筑法规文档中的大多数（89，84%）定义术语，并且以合理的准确度（70，3%）发现了连续和不连续的多词表达式（MWE）。
2021-10-04 cs.CL
Shallow Synthesis of Knowledge in GPT-Generated Texts: A Case Study in Automatic Related Work Composition
University of Minnesota（明尼苏达大学）；UC Berkeley（加州大学伯克利分校）
本文通过引文图分析发现，GPT-4能生成粗粒度引文分组辅助头脑风暴，但无法独立完成详细的知识综合，建议写作辅助工具不应脱离人类作者独立起草文本。
2024-02-19 cs.CL
Shallow Discourse Annotation for Chinese TED Talks
Tianjin University（天津大学）；University of Edinburgh（爱丁堡大学）
标注了语言相关属性的文本语料库是语言技术发展的重要资源。目前的工作为中文语言技术和中英翻译提供了一个新的资源，以一组TED演讲的形式（一些最初是用英语给出的，一些是中文），这些演讲已经以Penn Discourse TreeBank的风格用话语关系进行了注释，适应了中文文本中不存在的属性。该资源是目前唯一的注释话语级属性计划的口头独白，而不是书面文本。一个注释者之间的协议研究表明，注释方案是能够实现高度可靠的结果。
2020-04-06 cs.CL
A Survey on Text Classification: From Shallow to Deep Learning
Beihang University（北京航空航天大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；University of Leeds（利兹大学）；Lehigh University（里海大学）
文本分类是自然语言处理中最基本、最关键的任务。由于深度学习取得了前所未有的成功，过去十年来，这一领域的研究激增。文献中提出了许多方法、数据集和评价指标，因此需要进行全面和更新的调查。本文通过回顾1961年至2021年的最新方法填补了这一空白，重点关注从传统模型到深度学习的模型。我们根据文本内容和用于特征提取和分类的模型建立了一个文本分类系统。然后，我们将详细讨论这些类别中的每一个，处理支持预测测试的技术发展和基准数据集。本调查还提供了不同技术之间的全面比较，以及各种评估指标的优缺点。最后，总结了本研究的主要意义、未来研究方向和面临的挑战。
2021-12-22 cs.CL
Convolutional Neural Networks for Text Categorization: Shallow Word-level vs. Deep Character-level
RJ Research Consulting（RJ研究咨询公司）；Rutgers University（罗格斯大学）
本文报告了我们早期的工作（2015年），浅字级卷积神经网络（CNN）在Conneau等人（2016年）中用于测试非常深的字符级CNN的具有相对较大训练数据的八个数据集上的性能。我们的调查结果如下。浅字级CNN实现了比Conneau等人报道的出错率更好的出错率，尽管由于Conneau等人的独特预处理，结果应该在某种程度上进行解释。浅单词级CNN使用更多的参数，因此比深字符级CNN需要更多的存储;然而，浅单词级CNN计算得快得多。
2016-08-31 cs.CL cs.LG stat.ML
The Materials Science Procedural Text Corpus: Annotating Materials Synthesis Procedures with Shallow Semantic Structures
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Massachusetts Institute of Technology（麻省理工学院）
材料科学文献包含了数以百万计的材料合成程序描述的非结构化自然语言文本。对这些合成过程的大规模分析将促进对材料合成的更深入的科学理解，并实现自动化合成规划。这种分析需要从原始文本中提取合成过程的结构化表示作为第一步。为了方便合成提取模型的训练和评估，我们引入了一个由领域专家标注的230个合成过程的数据集，这些合成过程具有表示合成句子语义的标记图。这个图中的节点是合成操作及其类型化参数，带标签的边指定节点之间的关系。我们详细描述了这个新的资源，并强调了一些具体的挑战，浅语义结构的科学文本注释。我们将语料库提供给社区，以促进科学信息抽取系统的进一步研究和开发。
2019-07-13 cs.CL cs.LG
Model Reduction of Shallow CNN Model for Reliable Deployment of Information Extraction from Medical Reports
Oak Ridge National Lab（橡树岭国家实验室）；University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；Carnegie Mellon University（卡内基梅隆大学）
浅层卷积神经网络（CNN）是一种经过时间考验的工具，用于从癌症病理报告中提取信息抽取。Shallow CNN在这项任务上的表现与其他深度学习模型（包括BERT）相当，后者在许多NLP任务上都是最先进的。这种古怪现象背后的主要见解是，从癌症病理报告中提取信息抽取只需要少量的特定于领域的文本段来执行任务，从而使得大多数文本和上下文对于任务来说过多。浅层CNN模型非常适合从标记的训练集中识别这些关键的短文本片段;然而，识别的文本片段对人类来说仍然是模糊的。在这项研究中，我们通过开发一个模型简化工具来填补这一空白，通过丢弃虚假连接来在CNN过滤器和相关文本片段之间建立可靠的连接。我们降低了浅层CNN表示的复杂性，通过近似它与n-gram存在表示的线性变换，具有非负性和稀疏性先验的变换权重，以获得一个可解释的模型。我们的方法弥合了传统上认为的权衡边界之间的差距准确性的一方和解释的其他模型减少。
2020-07-31 cs.AI cs.CL cs.LG
A Preliminary Study for Literary Rhyme Generation based on Neuronal Representation, Semantics and Shallow Parsing
Universidade do Estado do Rio de Janeiro（里约热内卢州立大学）
近年来，计算创造力领域的研究人员研究了人类的创造过程，提出了不同的方法来重现它与一个正式的程序。本文介绍了一种结合语言结构和神经网络模型的西班牙语文学韵脚生成模型（\textit{Word2vec}）。变成一个语义同化的结构通过我们的算法生成的文本的手动评估所获得的结果是令人鼓舞的。
2021-12-25 cs.AI cs.CL
The Text Classification Pipeline: Starting Shallow going Deeper
University of Catania（卡塔尼亚大学）；University of Palermo（巴勒莫大学）
本文综述文本分类流水线，从浅层到深层，强调深度学习与大型语言模型的作用，并整合传统与当代方法以促进整体理解。
2025-03-20 cs.AI cs.CL cs.IR
A Memory-Based Approach to Learning Shallow Natural Language Patterns
识别浅层语言模式，如单词之间的基本句法关系，是应用自然语言和文本处理中的一项常见任务。完成这一任务的常见做法是通过繁琐的手动定义可能的模式结构，通常是正则表达式或有限自动机的形式。本文提出了一种新的基于记忆的学习方法，识别浅模式的新文本的基础上，括号内的训练语料库。训练数据以有效的后缀树数据结构存储。在识别时，通过比较新文本与语料库中的正面和负面证据的一致性来在线进行泛化。通过这种方式，训练中没有信息丢失，这在其他学习系统中可能发生，这些学习系统在训练时构建单个广义模型。本文介绍了对英语名词短语、主谓结构和动宾结构的识别实验结果。由于学习方法可以很容易地移植到新的领域，我们计划将其应用到其他语言的语法模式和子语言模式的信息提取。
1999-04-15 cmp-lg cs.CL
FlexSQL: Flexible Exploration and Execution Make Better Text-to-SQL Agents
Simon Fraser University（西蒙菲莎大学）；University of Waterloo（滑铁卢大学）；Snowflake（雪花公司）；University of Alberta（阿尔伯塔大学）
FlexSQL是一种文本到SQL智能体，通过灵活的数据库交互机制，在Spider2-Snow数据集上使用gpt-oss-120b取得65.4%得分，优于相关基线，集成到Claude Code中可实现超10%的相对提升
2026-08-12 cs.CL
F-PABEE: Flexible-patience-based Early Exiting for Single-label and Multi-label text Classification Tasks
Shanghai Jiaotong University（上海交通大学）；East China Normal University（华东师范大学）；Shenzhen University（深圳大学）；Nanchang University（南昌大学）
针对预训练语言模型的计算复杂性与过度思考瓶颈，提出F-PABEE方法，通过同时调整相似度阈值与耐心参数实现提前退出，在单标签和多标签分类任务中取得更优的加速与准确率平衡。
2023-05-21 cs.CL
Mask-then-Fill: A Flexible and Effective Data Augmentation Framework for Event Extraction
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）；Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies（广东省新型安全智能技术重点实验室）；HKUST（香港科技大学）；Tsinghua University（清华大学）；Paradigm. Inc.（第四范式公司）
我们提出了屏蔽然后填充，一个灵活而有效的事件提取数据增强框架。我们的方法允许更灵活的文本操作，从而可以生成更多样化的数据，同时尽可能保持原始事件结构不变。具体来说，它首先随机屏蔽出一个附加句片段，然后用一个微调的填充模型填充一个可变长度的文本跨度。它的主要优点在于可以用可变长度的片段替换文本中任意长度的片段，而现有的方法只能替换单个单词或固定长度的片段。在触发和参数提取任务，建议的框架是更有效的基线方法，它表现出特别强的结果在低资源设置。我们进一步的分析表明，它实现了多样性和分布相似性之间的良好平衡。
2023-01-06 cs.CL
End-to-End Trainable Self-Attentive Shallow Network for Text-Independent Speaker Verification
Humelo Inc.（Humelo公司）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；KAIST Institute for Artificial Intelligence（KAIST人工智能研究所）
广义端到端（GE2E）模型因其可扩展性和通用性而被广泛应用于说话人确认（SV）领域。然而，基于GE2E的长短期记忆（LSTM）有两个局限性：第一，GE2E的嵌入遭受消失梯度，这导致非常长的输入序列的性能下降。其次，话语没有被表示为适当固定的维度向量。在本文中，为了克服上述问题，我们提出了一种新的SV框架，端到端可训练的自注意浅层网络（SASN），结合了一个时间延迟神经网络（TDNN）和一个自注意池机制的基础上自注意的x向量系统在话语嵌入阶段。我们证明，该模型是高效的，并提供更准确的说话人确认比GE2E。对于VCTK数据集，仅小于GE2E的一半大小，所提出的模型在EER（等误差率）、DCF（检测代价函数）和AUC（曲线下面积）方面分别显示出比GE2E显著的性能改进，分别为约63%、67%和85%。值得注意的是，当输入长度变得更长时，所提出的模型的DCF分数改善是GE2E的约17倍。
2020-08-14 cs.CL cs.SD eess.AS
S2D-ALIGN: Shallow-to-Deep Auxiliary Learning for Anatomically-Grounded Radiology Report Generation
针对放射报告生成中标准监督微调缺乏解剖学基础对齐的问题，提出S2D-ALIGN从浅到深辅助学习方法，通过多粒度辅助信号和记忆适配器实现解剖锚定对齐，在公共基准上取得最优性能。
2025-11-14 cs.AI cs.CL cs.CV
UFO: a Unified and Flexible Framework for Evaluating Factuality of Large Language Models
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
本文提出统一灵活的LLM事实性评估框架UFO，系统比较四类事实来源在五类生成任务中的可替代性，发现问答任务依赖人类证据与参考文献，新闻生成任务依赖搜索引擎结果与LLM知识。
2024-02-22 cs.CL
Flexible-length Text Infilling for Discrete Diffusion Models
Department of Computer Science（计算机科学系）
针对离散扩散模型无真实位置数据时无法实现灵活长度/位置文本补全的问题，提出带最优传输位置耦合的DDOT模型，联合去噪词元值与位置，兼容预训练去噪器，性能比肩最优非自回归模型且提升训练效率与灵活性。
2025-10-22 cs.AI cs.CL cs.CV
Shallow Domain Adaptive Embeddings for Sentiment Analysis
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出了一种方法，以提高现有的文本分类算法的性能，在强语言语义领域。我们提出了一个领域自适应层学习权重，将通用和特定领域（DS）的词嵌入组合成领域自适应（DA）嵌入。DA词嵌入然后被用作通用编码器+分类器框架的输入，以执行诸如分类的下游任务。该适配层特别适合于大小适中的数据集，因此，这些数据集不是（重新）训练深度神经网络架构的理想候选者。使用流行的编码器架构，包括当前最先进的方法（有和没有浅适应层）的二进制和多类分类任务的结果显示了所提出的方法的有效性。
2019-08-16 cs.CL cs.IR cs.LG
OkraLong: A Flexible Retrieval-Augmented Framework for Long-Text Query Processing
Tsinghua University（清华大学）；National University of Singapore（新加坡国立大学）
针对LLM处理长文本查询时成本高、信息易缺失的问题，提出OkraLong框架，通过分析器、组织器和执行器三个组件实现细粒度动态编排，在提升答案准确性的同时兼顾成本效益。
2025-03-05 cs.CL cs.IR
Flexible Instance-Specific Rationalization of NLP Models
Department of Computer Science, University of Sheffield（谢菲尔德大学计算机科学系）
最近对自然语言处理中模型可解释性的研究广泛使用特征评分方法来识别输入的哪些部分对于模型进行预测（即解释或理由）是最重要的。然而，以前的研究表明，在各种文本分类任务中没有明确的最佳评分方法，而从业者通常必须就长度和基本原理的类型（例如短或长，连续或不连续）做出其他几个特别的选择。受此启发，我们提出了一种简单而有效且灵活的方法，可以为每个数据实例进行最佳选择：（1）特征评分方法;（2）长度;（3）基本原理的类型。我们的方法的灵感来自输入擦除方法的可解释性，假设预测的最忠实的理由应该是一个模型的输出分布之间的最高差异使用全文和文本后删除的理由作为输入分别。在四个标准文本分类数据集上的评价表明，与使用固定的特征评分方法、合理长度和类型相比，该方法提供了更忠实、更全面和更充分的解释。更重要的是，我们证明了一个从业者是不需要作出任何特设的选择，以提取忠实的理由使用我们的方法。
2021-12-06 cs.AI cs.CL
MASK: A flexible framework to facilitate de-identification of clinical texts
University of Manchester（曼彻斯特大学）；Institute for Clinical Evaluative Studies（临床评估研究所）；Evenset（伊文塞特）
医疗健康记录和临床总结包含大量文本形式的重要信息，可以帮助推进治疗，药物和公共卫生的研究。然而，这些信息中的大多数并没有被共享，因为它们包含了有关患者、其家人或治疗他们的医务人员的私人信息。美国的HIPPA、加拿大的PHIPPA和GDPR等法规规范了这些信息的保护、处理和分发。如果这些信息被去识别化，个人信息被替换或编辑，它们可以分发给研究界。在本文中，我们提出了MASK，一个软件包，旨在执行去识别任务。该软件能够使用一些最先进的技术执行命名实体识别，然后屏蔽或编辑识别的实体。用户能够选择命名实体识别算法（目前实施的是两个版本的基于CRF的技术和基于BiLSTM的神经网络，具有预训练的GLoVe和ELMo嵌入）和掩蔽算法（例如，转移日期，替换名称/位置，完全编辑实体）。
2020-10-09 cs.CL cs.IR cs.LG
CalliffusionV2: Personalized Natural Calligraphy Generation with Flexible Multi-modal Control
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Khalifa University of Science and Technology（哈利法科技大学）
本研究提出CalliffusionV2多模态书法生成系统，结合图像细粒度引导与文本特征描述，可通过小样本快速学习新风格、生成非中文字符，经测试其生成的书法风格准确且可被机器与人类识别。
2024-10-03 cs.AI cs.CL cs.CV
