Dual-View Distilled BERT for Sentence Embedding
Ant Group（蚂蚁集团）
最近，BERT通过词级跨句注意实现了句子匹配的重大进展。然而，性能显着下降时，使用siamese BERT网络来获得两个句子嵌入，这是不够的，在捕捉全局语义，因为两个句子之间的词级注意是缺席。本文提出了一种双视图提取的BERT~（Dv BERT）算法，用于句子嵌入的句子匹配。我们的方法从两个不同的角度处理一个句子对，即，Siamese View和Interaction View。连体视图是生成句子嵌入的主干。交互观将跨句交互整合为多个教师，以提高句子嵌入的表征能力。六个STS任务的实验表明，我们的方法优于国家的最先进的句子嵌入方法显着。
2021-04-18 cs.AI cs.CL
Readability-guided Idiom-aware Sentence Simplification (RISS) for Chinese
本文提出 RISS 框架，通过可读性引导的释义选择和成语感知简化，结合多阶段多任务学习，在中文句子简化任务上超越现有最优方法。
2024-06-05 cs.CL
Fast Neural Chinese Word Segmentation for Long Sentences
Shanghai Jiao Tong University（上海交通大学）
近年来，神经网络模型在中文分词中取得了与传统分词模型相当的性能。然而，大多数方法遇到的计算效率低，特别是对于长句，因为增加的模型复杂度和较慢的解码器。本文提出了一种简单的神经分割器，它直接标记相邻字符之间的间隙存在，以减轻现有的缺点。我们的分割器是完全端到端的，能够非常快速地执行分割。我们还显示了不同的标记集的性能差异。实验表明，我们的分割器可以提供与国家的最先进的性能相当。
2019-01-29 cs.CL
Chinese Medical Question Answer Matching Based on Interactive Sentence Representation Learning
College of Computer and Engineering, Xi’an University of Posts and Telecommunications（西安邮电大学计算机与工程学院）
中文医学问答匹配比英文开放域问答匹配更具挑战性。即使深度学习方法在提高问答匹配性能方面表现良好，但这些方法只关注句子内部的语义信息，而忽略了问题和答案之间的语义关联，从而导致性能赤字。在本文中，我们设计了一系列的交互式句子表示学习模型来解决这个问题。为了更好地适应中医问答匹配，并充分利用不同神经网络结构的优势，本文提出了交叉BERT网络来提取句子内部的深层语义信息和问答之间的语义关联，然后与多个规模CNN网络或BiGRU网络，以利用不同结构的神经网络来学习更多的语义特征到句子中表示.在cMedQA V2.0和cMedQA V1.0数据集上的实验结果表明，该模型的性能明显优于现有的中文医学问答匹配模型。
2020-11-27 cs.CL
conSultantBERT: Fine-tuned Siamese Sentence-BERT for Matching Jobs and Job Seekers
Randstad Groep Nederland（任仕达集团荷兰）
在本文中，我们专注于在职位空缺和简历中构建有用的文本信息嵌入，我们的目标是将其作为特征与其他特征一起纳入求职者匹配模型。我们解释了我们的任务，从解析的简历，不同来源的数据，跨语言和多语言的异构性的嘈杂的数据提出了特定领域的挑战。我们通过微调Siamese Sentence-BERT（SBERT）模型来应对这些挑战，我们称之为conSullivan BERT，使用由我们的人事顾问标记的超过270，000个简历空缺对的大规模，真实世界和高质量数据集。我们展示了我们的微调模型如何显著优于依赖于TF-IDF加权特征向量和BERT嵌入的无监督和监督基线。此外，我们发现我们的模型成功地匹配跨语言和多语言的文本内容。
2021-09-14 cs.CL cs.IR
Underutilization of Syntactic Processing by Chinese Learners of English in Comprehending English Sentences, Evidenced from Adapted Garden-Path Ambiguity Experiment
本研究通过改编花园路径实验，发现中国英语学习者在理解英语句子时存在句法加工利用不足，并识别出部分与完全两种类型，为提升其句子理解水平的新型解析方法奠定基础。
2024-12-21 cs.CL
Chinese Idiom Paraphrasing
Yangzhou University（扬州大学）；Hefei University of Technology（合肥工业大学）
成语是汉语中的一种习惯表达方式，大多数都是由四个汉字组成。由于汉语成语的非组合性和隐喻性，儿童和非本族语者很难理解成语。本研究提出了一个新的任务，称为汉语成语释义（CIP）。目的是在保留原句意义的前提下，将含有习语的句子改写为非习语的句子。由于没有成语的句子更容易被中文NLP系统处理，CIP可以用于预处理中文数据集，从而促进和提高中文NLP任务的性能，例如，机器翻译系统，汉语成语完形填空，汉语成语嵌入。在本研究中，CIP任务被视为一种特殊的释义生成任务。为了克服获取注释的困难，我们首先建立了一个基于人机协作的大规模CIP数据集，该数据集由115，530个句子对组成。我们进一步部署了三个基线和两个新的CIP方法来处理CIP问题。实验结果表明，与基于CIP数据集的基线方法相比，本文提出的方法具有更好的性能。
2022-04-20 cs.CL
A Japanese-Chinese Parallel Corpus Using Crowdsourcing for Web Mining
NTT Corporation（NTT公司）；NTT Communication Science Laboratories（NTT通信科学研究所）
本研究通过众包收集双语网站构建日汉平行语料库，训练语料过滤器，实验表明其规模虽仅为CCMatrix的三分之一，翻译准确率却相当，验证了众包用于平行数据网页挖掘的可行性。
2024-05-15 cs.CL
Korean-to-Chinese Machine Translation using Chinese Character as Pivot Clue
Shanghai Jiao Tong University（上海交通大学）
韩汉是一对低资源语言对，但韩国语和汉语在词汇方面有很多共同之处。可以转换成相应汉字的汉韩词语占整个韩国语词汇的50多个。出于这一动机，我们提出了一个简单的语言动机的解决方案，以提高朝鲜语到汉语的神经机器翻译模型的性能，通过使用他们的共同词汇。我们以汉字为翻译支点，将韩语句子中的中朝词转换为汉字，然后以转换后的韩语句子为源句对机器翻译模型进行训练。对韩语到汉语的翻译实验结果表明，与基线模型相比，使用该方法的模型将翻译质量提高了1.5个BLEU点。
2019-11-25 cs.CL
Emotions are Universal: Learning Sentiment Based Representations of Resource-Poor Languages using Siamese Networks
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术研究所）
针对情感分析对资源的依赖问题，提出基于孪生网络的SNASA模型，通过联合训练高低资源语言在公共情感空间学习表示，在多语言数据集上性能优于现有方法。
2018-04-03 cs.CL
Siamese recurrent networks learn first-order logic reasoning and exhibit zero-shot compositional generalization
University of Amsterdam（阿姆斯特丹大学）
神经网络可以学习逻辑吗？我们用当前的方法来处理这个经典问题，并证明了递归神经网络可以学习识别表达式之间的一阶逻辑蕴涵关系。我们在一阶谓词逻辑中定义了一种人工语言，生成了一个大型的样本“数据集”，并使用自动定理证明器来推断这些句子的随机对之间的关系。我们描述了一个暹罗神经架构训练预测的逻辑关系，并与递归和递归网络的实验。Siamese递归网络在蕴涵识别任务中取得了惊人的成功，在新句子（由已知单词组成）上达到了近乎完美的性能，甚至优于递归网络。我们报告了一系列的实验，以测试的能力的模型进行组合泛化。特别是，我们研究他们如何处理看不见的长度的句子，和句子包含看不见的话。我们发现，设置使用LSTM和GRU在这些测试中获得高分，表现出一种形式的组合。
2019-06-01 cs.AI cs.CL cs.LG
A Sentence Cloze Dataset for Chinese Machine Reading Comprehension
Research Center for SCIR, Harbin Institute of Technology（哈尔滨工业大学SCIR研究中心）；State Key Laboratory of Cognitive Intelligence, iFLYTEK Research, China（科大讯飞研究中心认知智能国家重点实验室）；iFLYTEK AI Research (Hebei), Langfang, China（科大讯飞（河北）人工智能研究院，廊坊）
由于中国NLP社区的不断努力，越来越多的中文机器阅读理解数据集变得可用。为了增加这一领域的多样性，在本文中，我们提出了一个新的任务称为句子完形填空式机器阅读理解（SC-MRC）。这个任务的目的是将正确的候选句子填入有几个空格的文章中。我们建立了一个名为CMRC 2019的中国数据集，以评估SC-MRC任务的难度。此外，为了增加难度，我们还制作了与正确候选人相似的假候选人，这需要机器在上下文中判断它们的正确性。建议的数据集包含超过10万个空白（问题）在超过10 K的段落，这是源于中国的叙事故事。为了评估数据集，我们基于预训练的模型实现了几个基线系统，结果表明，最先进的模型仍然远远低于人类的表现。我们发布数据集和基线系统，以进一步促进我们的社区。资源可通过https://github.com/ymcui/cmrc2019获得
2020-11-02 cs.CL
Siamese Networks for Semantic Pattern Similarity
Symanto（Symanto公司）；Mainiway（Mainiway公司）；Elemental Cognition（Elemental Cognition公司）
语义模式相似性是一个有趣的，但不经常遇到的NLP任务，其中两个句子不是通过它们的具体含义进行比较，而是通过它们更抽象的语义模式（例如，介词或框架）。我们利用暹罗网络模型的任务，并显示其有用性，在确定SQL模式看不见的问题，在数据库支持的问答的情况下。我们的方法实现了高精度，并包含一个内置的代理的信心，它可以用来保持精度任意高。
2018-12-17 cs.CL
The role of inhibitory control in garden-path sentence processing: A Chinese-English bilingual perspective
Guangdong University of Foreign Studies（广东外语外贸大学）；The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）
本研究从汉英双语视角探究抑制控制在花园路径句加工中的作用，发现其不影响母语花园路径恢复，与二语熟练度呈复杂关联，还确定了双语研究中测量抑制控制的优选Stroop任务版本。
2024-12-13 cs.CL
Corpus Augmentation by Sentence Segmentation for Low-Resource Neural Machine Translation
Gifu University（岐阜大学）
神经机器翻译（NMT）已被证明可以取得令人印象深刻的结果。NMT系统的翻译结果很大程度上依赖于平行语料库的规模和质量。然而，对于许多语言对，没有丰富的资源平行语料库存在。如本文所述，我们提出了一种语料库增强方法，通过使用回译分割语料库中的长句并生成伪平行句对。利用日汉科技论文摘录语料库（ASPEC-JC）进行日汉、汉日翻译的实验结果表明，该方法提高了翻译性能。
2019-05-22 cs.CL
Annotation of Chinese Predicate Heads and Relevant Elements
Guizhou University（贵州大学）；University of Massachusetts Boston（马萨诸塞大学波士顿分校）
谓语中心语是在句子中起结构中心作用的动词性表达。识别谓语中心语对理解句子至关重要。它在组织句子中的相关句法成分方面起着主导作用，包括主语成分，状语成分等。对于某些语言，如英语，词形态对识别谓语中心语很有价值。然而，汉语并没有提供任何形态信息来表明词的语法角色。一个汉语句子往往包含几个动词性表达，识别起谓语中心语作用的表达并不是一件容易的事情。此外，汉语句子不注重结构，词与词之间没有界限。因此，识别汉语谓语中心语涉及重大挑战。在中文信息抽取中，谓语中心语识别方面的研究还很少。没有普遍接受的评价数据集支持这一重要领域的工作。本文首次提出了汉语谓语中心语及其相关句法成分的注释准则。这个注释准则强调了谓语作为句子结构中心的作用。相关句法成分注释的设计也遵循这一原则。为了实现这一目标，提出了许多考虑因素，例如，谓词中心语的模式，扁平化的注释结构，以及更简单的句法单位类型。根据拟议的注释准则，对1 500多份文件进行了人工注释。语料库将在网上提供，供公众查阅。我们的目标是通过这一指南和注释语料库，广泛影响和推动中文信息抽取领域的研究，并为研究界提供长期缺乏的关键资源。
2021-04-01 cs.CL
Unsupervised Extractive Summarization with Heterogeneous Graph Embeddings for Chinese Document
Tencent（腾讯）
在无监督提取摘要的场景中，学习高质量的句子表示对于从输入文档中选择突出句子至关重要。以往的研究多集中于采用统计方法或预训练语言模型（PLMs）来提取句子嵌入，而忽略了词语和句子之间的异质交互类型所固有的丰富信息。在本文中，我们首次提出了一种无监督的提取摘要方法与异构图嵌入（HGE）的中文文档。构建了一个异构文本图，通过结合图的结构信息来捕获不同粒度的交互。此外，我们提出的图是通用和灵活的，其中可以很容易地集成额外的节点，如关键字。实验结果表明，我们的方法始终优于强基线在三个摘要数据集。
2022-11-09 cs.CL
Query Focused Multi-document Summarisation of Biomedical Texts
Macquarie University（麦考瑞大学）；Australian National University（澳大利亚国立大学）
本文介绍了麦考瑞大学和澳大利亚国立大学参与2020年BioASQ挑战赛（BioASQ8b）的任务B阶段。我们的整体框架实现了查询集中的多文档提取摘要，通过应用分类或回归层的候选句子嵌入和问题和句子嵌入之间的比较。我们使用BERT和BioBERT、Siamese架构和强化学习对变体进行了实验。当使用BERT来获得词嵌入，然后使用LSTM层来获得句子嵌入时，我们观察到最佳结果。使用Siamese架构或BioBERT的变体没有改善结果。
2020-08-27 cs.CL
Sentence Segmentation for Classical Chinese Based on LSTM with Radical Embedding
School of software Engineering, Beijing University of Posts and Telecommunications（北京邮电大学软件学院）；Department of statistics, Harvard University（哈佛大学统计系）
在本文中，我们开发了一种低于字符的特征嵌入，称为部首嵌入，并将其应用于LSTM模型，用于前现代汉语文本的句子分割。数据集包括来自3个不同朝代的150多本中国古典书籍，包含不同的文学风格。LSTM CRF模型是解决序列标记问题的最先进方法。我们的新模型增加了一个激进的嵌入组件，从而提高了性能。基于上述中文书籍的实验结果表明，该方法在句子分割方面，尤其是在唐墓志文本中，具有更好的准确性。
2018-10-05 cs.CL cs.LG
Quantifying patterns of punctuation in modern Chinese prose
Faculty of Computer Science and Telecommunications, Cracow University of Technology（克拉科夫理工大学计算机科学与电信学院）；Institute of Nuclear Physics, Polish Academy of Sciences（波兰科学院核物理研究所）；School of Modern Languages, Georgia Institute of Technology（佐治亚理工学院现代语言学院）
本研究将标点分布分析扩展至中文当代文学，发现中文文本标点间距遵循 Weibull 模型且符合 Zipf 定律，句末标点的灵活性促成了多重分形结构，证实了中西方文本标点模式具有跨语言普遍性。
2025-03-06 cs.CL
MuCGEC: a Multi-Reference Multi-Source Evaluation Dataset for Chinese Grammatical Error Correction
Soochow University（苏州大学）；DAMO Academy（达摩院）；Alibaba Group（阿里巴巴集团）
本文介绍了MuCGEC，一个多参考多源汉语语法错误纠正（CGEC）评估数据集，由7,063个句子组成，这些句子来自三个汉语作为第二语言（CSL）学习者源。每句话由三名注释者更正，他们的更正由一名高级注释者仔细审查，导致每句话有2.3个参考文献。我们用两个主流的CGEC模型进行实验，即，序列到序列模型和序列到编辑模型，两者都通过大型预训练语言模型进行了增强，在以前的数据集和我们的数据集上实现了具有竞争力的基准性能。我们还讨论了CGEC评估方法，包括多个引用的效果和使用基于字符的度量。我们的注释指南、数据和代码可从\url{https://github.com/HillZhang1999/MuCGEC}获得。
2022-05-04 cs.CL
LACoS-BLOOM: Low-rank Adaptation with Contrastive objective on 8 bits Siamese-BLOOM
Apple（苹果公司）
本文提出LACoS-BLOOM，通过8比特量化、LoRA适配器和Siamese对比目标微调BLOOM，在单GPU上高效训练71亿参数模型，显著提升英语及多语言句子相似度任务性能。
2023-05-10 cs.AI cs.CL
Low-Resource NMT: A Case Study on the Written and Spoken Languages in Hong Kong
The Chinese University of Hong Kong（香港中文大学）
本研究构建了基于Transformer的书面中文到书面粤语的低资源NMT系统，通过挖掘维基百科平行句对扩充训练数据，在多数测试集上超越百度翻译。
2025-05-23 cs.CL
MemeFaceGenerator: Adversarial Synthesis of Chinese Meme-face from Natural Sentences
Peking University, Beijing, China（北京大学，中国北京）
中国模因脸是广泛存在于中国社区网络中的一种特殊的网络亚文化。它通常包括一个模板图像修改了一些有趣的细节和文字说明。在本文中，我们提出了MemeFaceGenerator，生成对抗网络的注意力模块和模板信息作为补充信号，自动生成模因脸从文本输入。我们还开发了一个Web服务作为模因人脸合成的系统演示。MemeFaceGenerator已经被证明能够从随机文本输入中生成高质量的meme-faces。
2019-08-14 cs.CL cs.LG
Pseudo Siamese Network for Few-shot Intent Generation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Salesforce Research（赛富时研究院）
Few-Shot意图检测是一个具有挑战性的任务，由于稀缺的注释问题。在本文中，我们提出了一个伪暹罗网络（PSN）生成标记数据的Few-Shot意图和缓解这个问题。PSN由两个结构相同但权重不同的子网络组成：动作网络和对象网络。每个子网络都是一个基于变换的变分自编码器，它试图对句子中不同成分的潜在分布进行建模。动作网络学习理解动作令牌，对象网络关注对象相关的表达。它提供了一个可解释的框架，用于生成具有给定意图中存在的动作和对象的话语。在两个真实数据集上的实验表明，PSN在广义Few Shot意图检测任务中达到了最先进的性能。
2021-05-03 cs.CL
Classical Chinese Sentence Segmentation for Tomb Biographies of Tang Dynasty
National Chengchi University（国立政治大学）
唐代的墓葬传记提供了有关中国历史的宝贵信息。原始传记是没有词界和句界的文言文本。本文以三部已出版的唐代墓葬传记为例，研究了机器学习算法在识别唐代墓葬传记中句子停顿和结尾的有效性。我们认为分割任务作为一个分类问题。有标点符号和没有标点符号的汉字分为两类。我们应用了一种基于机器学习的机制，条件随机场（CRF），对文本中的字符（和单词）进行分类，并研究了选定类型的词汇信息对分割建议质量的贡献。在DH 2018会议上提出的这一提案讨论了一些基本实验及其评估。通过考虑上下文信息和采用中文文献专家提供的方法，我们获得了优于80%的F1测量。采用深度神经网络的更复杂的实验帮助我们进一步改进了最近工作的结果。
2019-08-28 cs.CL cs.LG
Dependency Grammar and the Parsing of Chinese Sentences
依存语法一直被语言学家用作其语法形式体系的句法成分的基础。它也被用于自然语言解析。在中国，人们已经尝试使用这种语法形式主义来使用基于语料库的技术分析汉语句子。本文回顾了依存语法的性质，体现在四个公理的依存结构的良构条件。它表明，允许多个总督所做的一些追随者，这种形式主义是不必要的。本文还讨论了在句法分析时，从建立功能结构的角度出发，用功能标签扩充依存语法的做法。这也将有助于语义解释。
1994-12-01 cmp-lg cs.CL
An entity-driven recursive neural network model for chinese discourse coherence modeling
Jiangxi Normal University（江西师范大学）
中文语篇连贯性建模是自然语言处理领域的一个挑战性课题，现有的方法大多集中于特征工程的需要，即采用复杂的特征来捕捉文本中句子之间的逻辑、句法或语义关系.本文在现有的英语语篇连贯性神经网络模型的基础上，提出了一个实体驱动的递归深层模型，用于中文语篇连贯性的评估.具体而言，针对现有模型不能识别句子间实体（名词）重叠的不足，将实体信息引入递归神经网络中，并通过句子排序和机器翻译连贯性评价任务验证了该模型的有效性，其性能明显优于现有的强基线.
2017-04-14 cs.CL
Sentence-level Online Handwritten Chinese Character Recognition
Harbin Institute of Technology（哈尔滨工业大学）；Meituan（美团）
单联机手写体汉字识别（单OLHCCR）取得了突出的性能。然而，在实际应用场景中，用户往往需要书写多个汉字来组成一个完整的句子，这些汉字中的上下文信息对提高句子级OLHCCR的准确性、鲁棒性和效率具有重要意义。在这项工作中，我们首先提出了一个简单而直接的端到端网络，即香草组合网络~（VCN）来解决业务级OLHCCR。它将卷积神经网络与序列建模结构相结合，利用手写字符先前的上下文信息。尽管VCN的性能比最先进的单一OLHCCR模型好得多，但当面对书写不好的字符（如潦草的书写、遗漏或折断的笔画）时，它暴露出高度的脆弱性。为了提高并行级OLHCCR的鲁棒性，我们进一步提出了一种新的深度时空融合网络DSTFN。该算法以预训练的自回归框架为主干，将每个汉字投影到词嵌入中，并在多层融合模块中多次融合手写体汉字的空间方位特征及其上下文信息。我们还构建了一个大规模的手写水平的数据集，命名为CSOHD评估模型。大量的实验结果表明，DSTFN达到了最先进的性能，表现出较强的鲁棒性相比，VCN和现有的单一OLHCCR模型。深入的实证分析和案例研究表明，DSTFN能显著提高手写输入的效率，对不完整笔画的手写体汉字也能准确识别。
2021-07-04 cs.CL cs.CV
Recovering Dropped Pronouns in Chinese Conversations via Modeling Their Referents
Beijing University of Posts and Telecommunications（北京邮电大学）；Brandeis University（布兰迪斯大学）
代词在汉语句子中经常被省略，这种情况在会话类型中更常见，因为它们的所指可以很容易地从上下文中理解。恢复丢失的代词对于诸如需要解析这些丢失的代词的指称的信息抽取或当中文是源语言时的机器翻译等应用是必不可少的。在这项工作中，我们提出了一种新的端到端的神经网络模型来恢复会话数据中丢失的代词。我们的模型是基于一个结构化的注意力机制，模型的下降代词的参考利用两个句子级和单词级的信息。三种不同的会话类型的结果表明，我们的方法实现了显着的改进，目前的艺术状态。
2019-05-17 cs.CL
A Simple yet Effective Training-free Prompt-free Approach to Chinese Spelling Correction Based on Large Language Models
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
本研究提出一种无需训练、无需提示的中文拼写纠错方法，通过将大语言模型作传统语言模型使用，结合最小失真模型与两种奖励策略，在五个公开数据集上性能比肩领域内最先进模型。
2024-10-05 cs.CL
A New Evaluation Method: Evaluation Data and Metrics for Chinese Grammar Error Correction
Guangdong University of Foreign Studies（广东外语外贸大学）
汉语语法纠错作为自然语言处理中的一项基础性工作，逐渐受到广泛关注，成为研究热点。然而，现有的CGEC评价体系的一个明显不足是评价值受中文分词结果或不同语言模型的影响较大。在不同的分词系统或不同的语言模型下，同一个纠错模型的评价值会有很大的不同。然而，预期这些度量应该独立于分词结果和语言模型，因为它们可能导致在评估不同方法时缺乏唯一性和可比性。为此，本文提出了基于参考和无参考两个维度的CGEC评价指标，其中基于参考的评价指标引入了句子级准确度和字符级BLEU来评价正确句子。此外，在无参照度量方面，我们采用了字符级语义保持来衡量修正后句子的语义保持程度。我们对这三个指标的合理性和有效性进行了深入的评价和分析，并期望它们成为CGEC的新标准。
2022-04-30 cs.CL
Chinese Spelling Correction as Rephrasing Language Model
Shanghai Jiao Tong University（上海交通大学）
本文针对中文拼写纠错中字符级标注过度依赖错误、泛化与迁移受限的问题，提出通过填充槽位改写整句的 ReLM，在微调和零样本基准上取得显著领先结果。
2024-02-28 cs.CL
TopoLedgerBERT: Topological Learning of Ledger Description Embeddings using Siamese BERT-Networks
Silverfin（西尔弗芬公司）；Ghent University（根特大学）
本文提出 TopoLedgerBERT，通过孪生 BERT 网络融合会计科目表层次信息并结合数据增强，实现更准确的企业账簿账户标准化映射。
2024-04-19 cs.CE cs.CL
Bidirectional Chinese and English Passive Sentences Dataset for Machine Translation
Centre de Llenguatge i Computacio (CLiC), Universitat de Barcelona, Spain（巴塞罗那大学语言与计算中心，西班牙）；Institut de Recerca en Sistemes Complexos (UBICS), Universitat de Barcelona, Spain（巴塞罗那大学复杂系统研究中心，西班牙）
本文提出一个双向多领域被动语句语料库，用于评估机器翻译中被动语句的处理能力，发现模型更受源文本语气影响，且LLMs在翻译多样性上表现更优。
2026-03-16 cs.CL cs.DB
LLM-Detector: Improving AI-Generated Chinese Text Detection with Open-Source LLM Instruction Tuning
Macao Polytechnic University（澳门理工大学）；Fudan University（复旦大学）；Wuhan University（武汉大学）
针对现有AI生成中文文本检测模型域内过拟合、域外及句子级检测效果差的问题，提出基于开源LLM指令微调的LLM-Detector，在两级检测任务上均优于基线且泛化性强、易部署。
2024-02-02 cs.CL
A Deep Neural Network Approach To Parallel Sentence Extraction
Université de Montréal（蒙特利尔大学）
并行句子抽取是解决多语言自然语言处理应用中数据稀疏问题的一项任务。我们提出了一种端到端的深度神经网络方法来检测两种不同语言的句子之间的翻译等价性。与以前的方法相比，这些方法通常依赖于多个模型和各种单词对齐特征，通过利用句子的连续向量表示，我们消除了对任何领域特定特征工程的需要。使用siamese双向递归神经网络，我们的结果对一个强大的基线的基础上，国家的最先进的并行句子提取系统显示出显着改善的质量提取的并行句子和统计机器翻译系统的翻译性能。我们相信这项研究是第一个研究深度学习的平行句子提取任务。
2017-09-28 cs.CL
A Cascade Sequence-to-Sequence Model for Chinese Mandarin Lip Reading
Zhejiang University（浙江大学）
唇读的目的是从说话者的嘴部动作中解读文本。近年来，唇读方法在单词和句子两个层面上都取得了很大的进步。然而，与英语不同，汉语普通话是一种基于音调的语言，依赖于音高来区分词汇或语法意义，这大大增加了唇读任务的歧义。在本文中，我们提出了一个级联序列到序列模型（CSMCM）的汉语普通话唇读，明确模型的音调时，预测的句子。声调是基于视觉信息和句法结构建模的，并与视觉信息和句法结构一起用于预测句子。为了评估CSSMCM，收集并发布了一个名为CMLR（汉语普通话唇读）的数据集，该数据集由中国网络电视网站上的10万多个自然句子组成。在CMLR数据集上进行训练时，所提出的CSMCM超过了最先进的唇读框架的性能，这证实了汉语普通话唇读声调显式建模的有效性。
2019-11-28 cs.CL cs.CV
Pairwise Supervised Contrastive Learning of Sentence Representations
AWS AI（亚马逊云科技人工智能）
最近在句子表示学习中的许多成功都是通过简单地对具有三重丢失或连体丢失的自然语言推理（NLI）数据集进行微调来实现的。然而，它们有一个共同的缺点：矛盾对中的句子不一定来自不同的语义范畴。因此，单独优化语义蕴涵和矛盾推理目标不足以捕获高级语义结构。这个缺点是由这样一个事实加剧的，即香草连体或三元组损失只从单独的句子对或三元组中学习，这些句子对或三元组经常遭受糟糕的局部最优。在本文中，我们提出了PairSupCon，一个实例歧视为基础的方法，旨在桥梁语义蕴涵和矛盾的理解与高层次的分类概念编码。我们评估PairSupCon的各种下游任务，涉及理解句子语义在不同的粒度。我们优于以前的国家的最先进的方法与$10\%$ - $13\%$平均改善八个聚类任务，和$5\%$ - $6\%$平均改善七个语义文本相似性（STS）任务。
2022-01-29 cs.CL cs.LG
A Hierarchical Attention Based Seq2seq Model for Chinese Lyrics Generation
University of Science and Technology of China（中国科学技术大学）；Ping An Technology (Shenzhen) Co., Ltd（平安科技（深圳）有限公司）
本文对中文歌词的上下文感知生成进行了全面的研究。传统的文本生成模型是逐词生成序列或句子，没有考虑句子之间的上下文关系。针对歌词的特点，提出了一种基于层次注意力的Seq 2Seq（Sequence-to-Sequence）歌词生成模型。该模型通过对词级和句子级上下文信息的编码，提高了生成的主题相关性和一致性。一个大型的中文歌词语料库也被用于模型训练。最后，自动和人工评估的结果表明，我们的模型是能够组成完整的中文歌词与一个统一的主题约束。
2019-06-15 cs.CL cs.LG
Extractive Summarization for Arabic Documents Using SAraBERT with a Semantic Siamese Similarity Evaluation Metric
American University of Beirut（贝鲁特美国大学）
该研究提出增强版AraBERT（SAraBERT）及语义连体相似度评估指标，通过BLEU、ROUGE等验证，证明SAraBERT在阿拉伯语文档抽取式摘要任务中有效。
2026-08-24 cs.AI cs.CL
Cross-domain Chinese Sentence Pattern Parsing
Beijing Language and Culture University（北京语言大学）；Tsinghua University（清华大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Beijing Jiaotong University（北京交通大学）
本文针对中文句式解析器跨领域能力不足的问题，提出在自训练框架中利用大语言模型结合源领域句法规则与目标领域句子动态生成训练数据，实验表明其在教材和新闻领域上F1值超越规则基线1.68个百分点。
2024-04-08 cs.AI cs.CL
Language Models at the Syntax-Semantics Interface: A Case Study of the Long-Distance Binding of Chinese Reflexive ziji
Georgetown University（乔治城大学）
本文探讨语言模型能否解决受句法语义制约的汉语反身代词ziji的约束问题，通过构建合成与自然句子数据集评估21个模型，发现现有模型无法稳定复现人类判断，严重依赖序列线索且忽略细微约束。
2025-04-02 cs.CL
Building an Ellipsis-aware Chinese Dependency Treebank for Web Text
Peking University（北京大学）
Web 2.0带来了大量用户产生的数据，这些数据揭示了一个人的思想、经验和知识，这些数据是信息抽取和知识库构建等许多任务的重要来源。然而，文本的口语化特征对当前更适应语言形式的自然语言处理技术提出了新的挑战。省略是一种常见的语言现象，特别是在口语中，当人们从语境中理解某些词时，省略了它们，这阻碍了依存句法分析的提高，而依存句法分析对于依赖句子意义的任务具有重要意义。为了促进这一领域的研究，我们发布了一个包含319个微博的中文依存关系树库，其中包含572个句子，并保留了遗漏和上下文。
2018-01-23 cs.CL
Segmenting Natural Language Sentences via Lexical Unit Analysis
Tencent AI Lab（腾讯人工智能实验室）
在这项工作中，我们提出了词汇单元分析（LUA），一般序列分割任务的框架。给定一个自然语言句子，LUA评分的所有有效的分割候选人，并利用动态规划（DP），以提取最大的得分。LUA具有许多吸引人的特性，例如内在地保证预测的分割是有效的，并促进全局最优的训练和推理。此外，LUA的实际时间复杂度可以降低到线性时间，这是非常有效的。我们在15个数据集上对句法组块、命名实体识别、槽填充、汉语分词和汉语词性标注等5个任务进行了广泛的实验。我们的模特已经在其中13个项目上取得了最先进的表现。结果还表明，识别长片段的F1得分显著提高。
2021-04-16 cs.CL
Zero-shot Chinese Discourse Dependency Parsing via Cross-lingual Mapping
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
由于缺乏标记数据，语篇分析在某些语言中仍然具有挑战性。本文提出了一种利用英语语篇标注数据和句法分析技术进行zero-shot中文文本级依存句法分析的方法。首先从句子和基本话语单位（EDU）两个层面构建汉英映射，然后利用对应英文译文的句法分析结果构建中文文本的话语树。该方法不需要大规模的中文标注数据，就能自动进行汉语篇章分析。
2019-11-27 cs.CL
Automatic Alignment of English-Chinese Bilingual Texts of CNS News
本文提出了一种结合词汇分析和统计分析的方法对中国新闻社的英汉双语新闻报道进行对齐。由于英汉两种语言在句法结构上的差异，在句子层次上进行匹配时，往往会出现多个句子同时匹配的情况。有鉴于此，目前的工作也试图通过允许更精细的匹配从两个文本之间的条款，如果可能的话，创建更短的对齐对。目前的方法是基于句子或分句长度的统计相关性，同时使用明显的锚点，如数字和地名经常出现在新闻报道作为词汇线索。
1996-08-27 cmp-lg cs.CL
When Classical Chinese Meets Machine Learning: Explaining the Relative Performances of Word and Sentence Segmentation Tasks
National Chengchi University（国立政治大学）；National Chiao Tung University（国立交通大学）；University of California, Riverside（加州大学河滨分校）
在我们的实验中，我们考虑了三个主要的文本来源关于中国唐代，旨在分割文本的文言文。这些语料库包括《唐墓传》、《新唐书》和《旧唐书》。我们证明了使用深度学习方法可以获得令人满意的分割结果。更有趣的是，我们发现，我们在不同的实验设计中观察到的一些相对优势可能是可以解释的。训练语料库之间的相对相关性为我们采用不同的语料库组合来训练分类器时获得的分割结果中观察到的差异提供了提示/解释。
2020-07-22 cs.CL cs.LG
Chinese Song Iambics Generation with Neural Attention-based Model
Tsinghua University（清华大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Huilan Limited（汇兰有限公司）；Tsinghua National Lab for Information Science and Technology（清华信息科学与技术国家实验室）
汉语诗歌的学习和创作是一项富有魅力而又富有挑战性的任务。传统的方法涉及各种语言建模和机器翻译技术，然而，它们在生成具有复杂模式约束的诗歌时表现不佳，例如宋词，一种涉及可变长度句子和严格节奏模式的着名诗歌类型。本文将基于注意力的序列到序列模型应用于中文歌曲抑扬格的生成。具体来说，我们通过双向长短期记忆（LSTM）模型对线索句进行编码，然后用编码器提供的信息预测整个抑扬格，以基于注意力的LSTM的形式，可以通过输入线索的精细结构来规范生成过程。研究了几种改进模型的技术，包括全局上下文集成、混合风格训练、特征向量初始化和自适应。自动和主观评价的结果表明，我们的模型确实可以学习复杂的结构和节奏模式的歌曲抑扬格，生成是相当成功的。
2016-06-21 cs.CL
Hybrid Oracle: Making Use of Ambiguity in Transition-based Chinese Dependency Parsing
MOE Key Laboratory of Computational Linguistics（教育部计算语言学重点实验室）；School of Electronics Engineering and Computer Science（电子工程与计算机科学学院）；Peking University（北京大学）
在基于转换的依赖分析器的训练中，使用预言机来预测句子及其黄金树的转换序列。然而，过渡系统可能会表现出模糊性，即可能有多个正确的过渡序列形成黄金树。我们建议利用该属性训练神经依赖解析器，并提出了混合预言。新的预言机给出了解析状态的所有正确转换，这些转换用于交叉熵损失函数以提供更好的监督信号。它还用于为一个句子生成不同的转换序列，以更好地探索训练数据，提高解析器的泛化能力。实验结果表明，在中文依存句法分析中，使用混合预言机训练的句法分析器的性能优于使用传统预言机训练的句法分析器。我们从语言学的角度进行分析。该代码可在https://github.com/lancopku/nndep上获得。
2018-02-06 cs.CL
EdaCSC: Two Easy Data Augmentation Methods for Chinese Spelling Correction
Automated institute, Wuhan University of Technology（武汉理工大学自动化学院）；School of Software, University of Science and Technology of China（中国科学技术大学软件学院）
针对中文拼写纠错在多错别字句子和过度纠正方面的不足，本文提出切分长句与减少错别字两种数据增强方法，并通过多训练流程选模，在 SIGHAN 尤其 SIGHAN15 上达到先进性能。
2024-09-08 cs.AI cs.CL
Building domain specific lexicon based on TikTok comment dataset
The University of Adelaide（阿德莱德大学）
在情感分析任务中，预测句子的情感倾向是一个重要分支。以往的研究多集中在英语的情感分析上，如基于句子的配价、唤醒、支配等分析句子的情感倾向。两种语言的情感倾向不同。例如，汉语和英语之间的句子顺序可能会呈现不同的情感。本文尝试了一种建立领域专用词典的方法。这样，该模型就可以对具有情感倾向的汉语词汇进行分类。该方法在文献[13]的基础上，通过中文TikTok评论和情感词典源（种子词）的词嵌入，训练超密集空间嵌入表。该模型的结果是一个特定领域的词汇，它代表了词的情感倾向。我收集了中国TikTok的评论作为训练数据。通过将训练结果与PCA方法进行比较，评价了该模型在中文情感分类中的性能，结果表明，该模型在中文情感分类中取得了较好的效果。源代码已经发布在github上：https://github.com/h2222/douyin_comment_dataset
2020-12-16 cs.AI cs.CL
ERAS: Evaluating the Robustness of Chinese NLP Models to Morphological Garden Path Errors
Tandon School of Engineering（坦登工程学院）；New York University（纽约大学）；Center for Data Science（数据科学中心）
本文提出基准ERAS，通过对比有无局部分割歧义的句子，揭示中文分词和情感分析模型因忽视形态句法上下文而易犯形态学花园路径错误。
2024-10-16 cs.AI cs.CL
RE$^2$: Improving Chinese Grammatical Error Correction via Retrieving Appropriate Examples with Explanation
Research Center for SCIR, Harbin Institute of Technology（SCIR研究中心，哈尔滨工业大学）；State Key Laboratory of Cognitive Intelligence, iFLYTEK Research（认知智能国家重点实验室，iFLYTEK研究院）；Artificial Intelligence and Human Language Lab, Beijing Foreign Studies University（人工智能与语言实验室，北京外国语大学）
针对基于文本相似度检索示例易与语法错误模式不匹配的问题，本文提出 RE²，利用语法错误解释选择参考示例以增强 LLM，并构建高质量 GEE 数据集，实验证明其可有效提升 CGEC 性能。
2025-09-30 cs.CL
