Kanbun-LM: Reading and Translating Classical Chinese in Japanese Methods by Language Models
Waseda University（早稻田大学）
针对日本汉文训读资源稀缺问题，本文构建首个文言文到Kanbun数据集，提出字符重排与机器翻译任务，并评测语言模型表现及评估方法。
2024-07-02 cs.CL
Improving Character-level Japanese-Chinese Neural Machine Translation with Radicals as an Additional Input Feature
Gifu University（岐阜大学）
近年来，神经机器翻译（NMT）已经被证明取得了令人印象深刻的结果。虽然输入词的一些附加语言特征改善了词级NMT，但迄今为止还没有使用任何附加字符特征来改善字符级NMT。在本文中，我们表明，汉字（或汉字）的偏旁部首，作为一个字符的特征信息，可以很容易地提供进一步的改进，在字符级的NMT。在WAT 2016日汉科技论文摘录语料库（ASPEC-JP）上的实验表明，该方法从困惑度和BLEU两个方面提高了翻译质量。具有偏旁输入特征模型的字符级NMT在测试集中获得了40.61个BLEU点的最新结果，这比使用ASPEC-JP的WAT 2016日中翻译子任务的最佳系统提高了约8.6个BLEU点。在开发测试集和测试集的语料库中，与没有额外输入特征的字符级NMT相比，改进分别高达约1.5和1.4 BLEU点。
2018-05-08 cs.CL
Translation via Annotation: A Computational Study of Translating Classical Chinese into Japanese
Department of Linguistics University of Colorado, Boulder（语言学系科罗拉多大学博尔德分校）；School of Computer Science University of Oklahoma（计算机科学学院俄克拉荷马大学）
本文提出通过注释系统将古典汉语翻译成日语，利用LLM和新数据集提升低资源环境下序列标注任务的性能。
2026-01-21 cs.CL
LLMs Struggle with NLI for Perfect Aspect: A Cross-Linguistic Study in Chinese and Japanese
the University of Tokyo（东京大学）；RIKEN（日本学术振兴会）
针对汉语和日语完成体中时态形式缺失对NLI的挑战，本文构建了每种语言1350对的模板数据集，实验发现先进大语言模型在细微时态与参照时间推理上仍存在明显不足，凸显跨语言时间语义评估的重要性。
2025-08-16 cs.CL
Which Encoding is the Best for Text Classification in Chinese, English, Japanese and Korean?
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）；Center for Data Science, New York University（纽约大学数据科学中心）；Facebook AI Research, Facebook Inc.（Facebook 公司人工智能研究院）
本文对中、日、韩、英四种语言的不同编码方法进行了实证研究。研究了不同的编码级别，包括UTF-8字节、字符、单词、罗马化字符和罗马化单词。对于所有编码级别，只要适用，我们就提供与线性模型，fastText和卷积网络的比较。对于卷积网络，我们比较了使用字符串图像、one-hot（或one-of-n）编码和嵌入的编码机制。总共有473个模型，使用14个大规模文本分类数据集，包括中文，英文，日文和韩文。从这些结果中得出的一些结论包括，基于UTF-8的字节级独热编码始终为卷积网络产生有竞争力的结果，即使没有完美的分词，单词级n-gram线性模型也具有竞争力，fastText使用字符级n-gram编码提供最佳结果，但当特征过于丰富时可能会过拟合。
2017-08-17 cs.CL cs.LG
Long Short-Term Memory for Japanese Word Segmentation
Yahoo Japan Corporation（雅虎日本公司）；Tokyo Metropolitan University（东京都立大学）
本研究提出了一种用于日语分词（JWS）的长短期记忆（LSTM）神经网络方法。以往的中文分词（CWS）研究成功地使用了递归神经网络，如LSTM和门控递归单元（GRU）。然而，与中文相比，日语包括几种字符类型，如平假名、片假名和汉字，这些字符类型会产生拼写变化，并增加分词的难度。此外，对于JWS任务来说，考虑全局上下文是很重要的，而传统的JWS方法依赖于本地特性。为了解决这个问题，本研究提出采用基于LSTM的方法来JWS。实验结果表明，该模型实现了国家的最先进的准确性与各种日语语料库。
2018-09-27 cs.CL
Corpus Augmentation by Sentence Segmentation for Low-Resource Neural Machine Translation
Gifu University（岐阜大学）
神经机器翻译（NMT）已被证明可以取得令人印象深刻的结果。NMT系统的翻译结果很大程度上依赖于平行语料库的规模和质量。然而，对于许多语言对，没有丰富的资源平行语料库存在。如本文所述，我们提出了一种语料库增强方法，通过使用回译分割语料库中的长句并生成伪平行句对。利用日汉科技论文摘录语料库（ASPEC-JC）进行日汉、汉日翻译的实验结果表明，该方法提高了翻译性能。
2019-05-22 cs.CL
WeChat Neural Machine Translation Systems for WMT21
Tencent Inc（腾讯公司）；Beijing Jiaotong University（北京交通大学）
本文介绍了微信AI参与WMT 2021共享新闻翻译任务，内容为英语->中文，英语->日语，日语->英语和英语->德语。我们的系统基于Transformer（Vaswani等人，2017）与几个新的和有效的变种。在我们的实验中，我们采用数据过滤、大规模合成数据生成（即，反向翻译、知识蒸馏、正向翻译、迭代的领域内知识转移）、高级微调方法以及增强的基于Self-BLEU的模型集成。我们的约束系统分别在英语->中文，英语->日语，日语->英语和英语->德语上实现了36.9，46.9，27.8和31.3的大小写敏感BLEU分数。英语->中文、英语->日语和日语->英语的BLEU得分在所有提交中最高，英语->德语的BLEU得分在所有受约束的提交中最高。
2021-09-13 cs.AI cs.CL
Analysis of Japanese Compound Nouns using Collocational Information
复合名词的分析是自然语言处理系统的关键问题之一，特别是对于那些旨在广泛覆盖领域的系统。本文提出了一种结合词语搭配统计和同义词词典分析日语复合名词结构的方法。本文以16万个词语搭配为语料，对平均长度为4.9个字的复合名词进行了分析。该方法的准确度约为80%。
1994-12-25 cmp-lg cs.CL
Linguistically-driven Multi-task Pre-training for Low-resource Neural Machine Translation
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
在本研究中，我们提出了新的序列到序列预训练目标低资源机器翻译（NMT）：日语特定序列到序列（JASS）的语言对涉及日语作为源或目标语言，英语特定序列到序列（ENSS）的语言对涉及英语。JASS侧重于掩蔽和重新排序日语语言单位称为文组，而ENSS是基于短语结构掩蔽和重新排序任务。在ASPEC日语-英语和日语-汉语，维基百科日语-汉语，新闻英语-韩语语料库上的实验表明，JASS和ENSS优于MASS和其他现有的语言无关的预训练方法，对于日语-英语任务，最高可达+2.9 BLEU点，对于日语-汉语任务，最高可达+7.0 BLEU点，对于英语-韩语任务，最高可达+1.3 BLEU点。实证分析侧重于JASS和ENSS中各个部分之间的关系，揭示了JASS和ENSS子任务的互补性。使用LASER，人类评估和案例研究的准确性评估表明，我们提出的方法在没有注入语言知识的情况下显着优于预训练方法，并且与流畅性相比，它们对充分性有更大的积极影响。我们在这里发布代码：https://github.com/Mao-KU/JASS/tree/master/linguistically-driven-pretraining.
2022-01-20 cs.CL
Japanese Lexical Complexity for Non-Native Readers: A New Dataset
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；CyberAgent Inc.（CyberAgent公司）；RIKEN（理化学研究所）
该研究构建了首个日语词汇复杂度预测（LCP）数据集，通过区分不同母语标注者的复杂度评分满足读者L1特定需求，并在基线实验中验证了基于BERT系统的有效性。
2023-06-30 cs.CL
Japanese/English Cross-Language Information Retrieval: Exploration of Query Translation and Transliteration
跨语言信息检索（CLIR），其中查询和文档是在不同的语言，最近已成为信息检索社区内的主要主题之一。本文提出了一个日/英CLIR系统，我们结合了查询翻译和检索模块。我们目前的目标是检索技术文档，因此我们的系统的性能在很大程度上取决于技术术语的翻译质量。然而，技术术语翻译仍然存在问题，因为技术术语通常是复合词，因此通过组合现有的基本词来逐步创建新术语。此外，日语还经常以其特殊的表音符号来表示外来词。因此，现有的词典很难达到足够的覆盖面。为了解决第一个问题，我们制作了一本日语/英语词典，并在逐字的基础上翻译复合词。我们还使用概率方法来解决翻译歧义。对于第二个问题，我们使用了音译的方法，它对应的基础词词典中未列出的单词在目标语言的语音对应。我们评估我们的系统使用CLIR的测试集，并表明复合词翻译和音译方法提高了系统的性能。
2002-06-09 cs.CL
Mostly-Unsupervised Statistical Segmentation of Japanese Kanji Sequences
由于书面日语中缺少单词分隔符，因此分词通常被认为是处理日语文本的关键第一步。典型的日本分割算法依赖于词典和句法分析或预分割数据，但这些都是劳动密集型的，并且词典-句法技术容易受到未知词问题的影响。相比之下，我们介绍了一种新的，更强大的统计方法，利用未分割的训练数据。尽管它的简单性，该算法产生的长汉字序列的性能相当，有时超过国家的最先进的形态分析仪在各种错误度量。该算法也优于另一个大部分无监督的统计算法以前提出的中国。此外，我们提出了一个两级的注释计划，日本将多个分割粒度，并引入两个新的评价指标，都基于一个兼容的括号的概念，可以同时考虑多个粒度。
2002-05-10 cs.CL
Morphological Analysis of Japanese Hiragana Sentences using the BI-LSTM CRF Model
Ibaraki University（茨城大学）；Tokyo University of Agriculture and Technology（东京农工大学）
本研究提出了一种使用Bi-LSTM CRF模型开发日语平假名句子形态分析器神经模型的方法。形态分析是一种将文本数据划分为单词并分配信息（如词性）的技术。这种技术在日语自然语言处理系统的下游应用中起着至关重要的作用，因为日语在单词之间没有单词分隔符。平假名是一种日本表音文字，用于儿童或无法阅读汉字的人的文本。平假名句的词法分析比普通日语句子的词法分析要困难，因为平假名句中可供划分的信息较少。对于平假名句子的形态分析，我们使用基于普通日语文本的模型证明了微调的有效性，并检查了训练数据对各种体裁文本的影响。
2022-01-10 cs.CL cs.LG
English-Japanese Neural Machine Translation with Encoder-Decoder-Reconstructor
Tokyo Metropolitan University（东京都立大学）
神经机器翻译（NMT）最近在机器翻译领域变得流行。然而，NMT在翻译中存在着重词或漏词的问题。为了解决这个问题，Tu et al.（2017）提出了一种使用反向翻译的NMT编码器-解码器-重建器框架。在这种方法中，他们以与Bahdanau等人（2015）相同的方式选择了最佳的前向翻译模型，然后训练了一个双向翻译模型作为微调。他们的实验表明，它提供了显着提高BLEU分数在汉英翻译任务。我们证实，我们的重新实施也表现出同样的趋势，并重申了问题的重复和遗漏的单词在翻译的英日任务太多。此外，我们通过将其与前向翻译和后向翻译的联合训练模型进行比较来评估预训练的有效性。
2017-06-26 cs.CL
JiraiBench: A Bilingual Benchmark for Evaluating Large Language Models' Detection of Human Self-Destructive Behavior Content in Jirai Community
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；The Hong Kong Polytechnic University（香港理工大学）；The University of Tokyo（东京大学）
JiraiBench通过双语评估揭示文化接近性在检测自毁内容中的重要性，展示跨语言知识迁移的潜力。
2026-01-25 cs.CL cs.CY
Internal Knowledge Without External Expression: Probing the Generalization Boundary of a Classical Chinese Language Model
Eaglewood Japan Co., Ltd.（日本鹰木公司）
研究通过训练纯经典中文语料库的Transformer模型，探讨模型能否区分已知与未知输入，并揭示内部与外部不确定性之间的差异。
2026-07-24 cs.AI cs.CL
No Language Data Left Behind: A Comparative Study of CJK Language Datasets in the Hugging Face Ecosystem
Yonsei University（延世大学）；AIM Intelligence（AIM智能）；MODULABS；Sionic AI；Lablup
本研究比较分析HuggingFace上3300多个中日韩数据集，揭示文化、机构与社区驱动的差异，并提出改进文档、许可与跨语言共享的策略，以促进东亚LLM开发。
2025-10-15 cs.CL
Co-word Analysis using the Chinese Character Set
University of Amsterdam（阿姆斯特丹大学）；K.U. Leuven（鲁汶大学）；Institute of Scientific and Technical Information of China（中国科学技术信息研究所）
直到最近，中文文本还不能使用共词分析进行研究，因为中文（和日语）中的单词没有空格分隔。一个单词可以由一个或多个字符组成。在线提供的分离中文文本的程序使得使用语义图分析它们成为可能。汉字不仅包含信息，而且包含意义。这可以增强语义图的可读性。本文对《中国科技论文引文数据库》收录的1652种期刊名称中出现10次以上的58个词进行了统计分析。词出现矩阵的可视化和因素分析。
2009-11-07 cs.CL cs.DL
Multilingual and Continuous Backchannel Prediction: A Cross-lingual Study
Graduate School of Informatics, Kyoto University, Japan（京都大学信息学研究科）
本文提出一个多语言连续回声预测模型，研究跨语言时间行为差异，揭示语言特定模式与通用线索，为设计更自然的口语对话系统提供依据。
2025-12-16 cs.CL cs.HC cs.SD
Multi-Fusion Chinese WordNet (MCW) : Compound of Machine Learning and Manual Correction
Qufu Normal University（曲阜师范大学）
普林斯顿词网（PWN）是一个基于认知语言学的词汇语义网络，它的出现促进了自然语言处理的发展。在PWN的基础上，我们开发了五个中文词网，解决了语法和语义问题。它们包括：东北大学中文WordNet（NEW）、Sinica双语本体WordNet（BOW）、东南大学中文WordNet（SEW）、台湾大学中文WordNet（CWN）、中文开放WordNet（COW）。通过使用它们，我们发现这些词网络的准确率和覆盖率较低，不能完全描绘PWN的语义网络。因此，我们决定建立一个新的中文词网，称为多融合中文词网（MCW），以弥补这些不足。其核心思想是借助牛津双语词典和新华双语词典对SEW进行扩展，然后进行修正，具体来说，我们在修正过程中使用了机器学习和人工调整。制定了两个标准来帮助我们的工作。通过相关度计算、词相似度和词义消歧三个任务的实验，比较了词元的准确率，同时也比较了词元的覆盖率。结果表明，MCW可以受益于通过我们的方法的覆盖率和准确性。然而，它仍然有改进的空间，特别是在引理方面。在未来，我们将继续提高MCW的准确性，并扩展其中的概念。
2020-02-05 cs.AI cs.CL
Difficult for Whom? A Study of Japanese Lexical Complexity
Nara Institute of Science and Technology（奈良科学技术研究所）；Universitat Pompeu Fabra（庞培法布拉大学）
本研究验证日语词汇复杂性数据集的代表性，发现母语为汉语者对复杂性感知不同，并比较群体与个体模型性能，表明个体LCP预测困难，微调BERT仅带来边际改进。
2024-10-24 cs.CL
Character, Word, or Both? Revisiting the Segmentation Granularity for Chinese Pre-trained Language Models
State Key Lab of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）；Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算学部）；Lark Platform Engineering-AI（飞书平台工程-人工智能）
预训练的语言模型（PLM）在各种NLP任务中表现出惊人的改进。大多数中文PLM只是将输入文本视为字符序列，而完全忽略了单词信息。虽然整个词掩码可以缓解这一点，但单词中的语义仍然没有得到很好的表示。在本文中，我们重新审视了中文PLM的分割粒度。本文提出了一种同时考虑字和词的混合粒度汉语BERT（MigBERT）。为了实现这一点，我们设计了学习字符和单词级表示的目标函数。我们对各种中文NLP任务进行了广泛的实验，以评估现有的PLM以及建议的MigBERT。实验结果表明，MigBERT在所有这些任务上都实现了新的SOTA性能。进一步的分析表明，词比字的语义更丰富。更有趣的是，我们表明MigBERT也适用于日本人。我们的代码和模型已经在这里发布了~ \footnote{https://github.com/xnliang98/MigBERT}。
2023-03-22 cs.CL
Dialect-Robust Speech Language Models with Synthetic Pseudo-Dialect Augmentation
SB Intuitions；Waseda University（早稻田大学）
针对方言数据稀缺导致SLM性能下降的问题，提出用标准TTS合成伪方言语音并引入中间标准文本预测，在日德汉方言翻译上显著提升性能，且无需方言语音资源。
2026-10-08 cs.CL eess.AS
Learning the Ordering of Coordinate Compounds and Elaborate Expressions in Hmong, Lahu, and Chinese
Carnegie Mellon University（卡内基梅隆大学）
并列复合词（CC）和复杂表达（EE）是东亚和东南亚语言中常见的并列结构。Mortensen（2006）声称：（1）苗族、拉祜族和汉语中EE和CC的线性排序可以通过语音层次结构来预测;（2）这些语音层次结构缺乏明确的语音依据。这些主张是重要的，因为形态句法经常被视为与音系学的前馈关系，而音系学的概括通常被认为是语音上的“自然”。我们研究了CC和EE的排序是否可以凭经验学习，以及计算模型（分类器和序列标记模型）是否学习类似于Mortensen（2006）所提出的不自然的层次结构。我们发现，决策树和支持向量机学习预测的基础上的语音CC/EE的顺序，与DTs学习层次结构惊人地相似，莫滕森提出的。然而，我们也发现，一个神经序列标记模型是能够学习的顺序，详细的表达苗族非常有效，而不使用任何语音信息。我们认为，EE排序可以通过两个独立的路线：语音和词汇分布，提出了一个更细致入微的图片比以前的工作。[ISO 639-3：hmn，lhu，cmn]
2022-07-03 cs.AI cs.CL
Analyzing Syntactic Generalization Capacity of Pre-trained Language Models on Japanese Honorific Conversion
The University of Tokyo（东京大学）
本文构建考虑社会关系的日语敬语转换数据集，评估 GPT-3 在微调和提示学习下的句法泛化能力，发现微调整体更优，但难泛化到含直接引语的复合敬语句。
2023-06-05 cs.CL
Breaking the Representation Bottleneck of Chinese Characters: Neural Machine Translation with Stroke Sequence Modeling
Harbin Institute of Technology（哈尔滨工业大学）
现有的研究一般将汉字作为最小的表征单位。然而，这样的汉字表示将遭受两个瓶颈：1）学习瓶颈，学习不能受益于其丰富的内部特征（例如，偏旁部首和笔画）;以及2）参数瓶颈，每个单独的字符必须由唯一的向量表示。本文介绍了一种新的汉字表示方法，即StrokeNet，它通过拉丁化的笔画序列（例如，“ao 1（凹）”到“ajaie”和“tu 1（凸）”到“aeaqe”）。具体来说，StrokeNet将每个笔画映射到特定的拉丁字符，从而允许类似的中文字符具有类似的拉丁表示。随着StrokeNet引入神经机器翻译（NMT），许多强大但不适用于非拉丁语言的技术（例如，共享子字词汇学习和基于密文的数据增强）现在可以被完美地实现。在广泛使用的NIST中文-英语、WMT 17中文-英语和IWSLT 17日文-英语NMT任务上的实验表明，StrokeNet可以在更少的模型参数下提供比强基线更显著的性能提升，在WMT 17中文-英语任务上实现26.5 BLEU，这比任何先前报道的结果都要好，而不使用单语数据。代码和脚本可以在https://github.com/zjwang21/StrokeNet上免费获得。
2022-11-23 cs.AI cs.CL
Accent Estimation of Japanese Words from Their Surfaces and Romanizations for Building Large Vocabulary Accent Dictionaries
PKSHA Technology Inc.（PKSHA科技公司）
在日语文语转换（TTS）中，需要在输入的句子中添加重音信息。然而，存在有限数量的公开可用的口音词典，并且那些词典（例如UniDic）不包含许多复合词、专有名词等，这是实际TTS系统所需要的。为了建立一个包含这些单词的大规模口音词典，作者开发了一种口音估计技术，该技术从单词的有限信息（即表面（例如汉字）和yomi（简化的语音信息））中预测单词的口音。实验结果表明，该技术可以估计口音与高精度，特别是对某些类别的话。作者将该技术应用于现有的大词汇日语词典NEologd，并获得了大词汇日语口音词典。许多情况下，已经观察到，使用本词典产生更适当的语音信息比UniDic。
2020-09-21 cs.CL eess.AS
Neural Machine Translation of Logographic Languages Using Sub-character Level Information
Tokyo Metropolitan University（东京都立大学）
最近的神经机器翻译（NMT）系统已经通过具有注意力机制和子词单元的编码器-解码器模型得到了极大的改进。然而，具有语标和字母书写系统的语言之间的重要差异长期以来一直被忽视。本研究的重点是这些差异，并使用一个简单的方法来提高NMT系统的性能，利用分解的子字符级信息的语标语言。实验结果表明，该方法不仅提高了汉英NMT系统的翻译能力，而且由于利用了相似子字单位所带来的共享信息，进一步提高了中日NMT系统的翻译能力。
2018-09-07 cs.CL
LCTG Bench: LLM Controlled Text Generation Benchmark
AI Shift Inc.（AI Shift公司）；CyberAgent Inc.（CyberAgent公司）；Tokyo Institute of Technology（东京工业大学）
本文提出首个日语LLM可控性评估基准LCTG Bench，提供统一框架评估多语言及日语专用模型，揭示了多语言模型与日语专用模型在可控性上的显著差距。
2025-01-27 cs.CL
Seeking Meaning in a Space Made out of Strokes, Radicals, Characters and Compounds
汉字可以比作分子结构：字类似于分子，部首类似于原子，书法笔画对应于基本粒子，当汉字形成化合物时，它们就像分子结构。在化学中，所有这些结构层次的结合产生了我们所感知的物质。在语言中，笔画、偏旁部首、汉字和复合词的连接产生意义。但意义是什么时候产生的呢？我们都知道偏旁在某种意义上是汉字的基本语义成分，那么笔画呢？考虑到许多汉字都是通过将单个笔画添加到偏旁（组合）组成的，我们可以合理地问笔画是否具有意义。在这次演讲中，我将介绍我的项目，将传统的NLP技术扩展到部首和笔画，旨在更深入地了解表意语言对世界的建模方式。
2011-04-21 cs.CL
Computational Modelling of Plurality and Definiteness in Chinese Noun Phrases
Hubei Provincial Key Laboratory of Artificial Intelligence（湖北省人工智能重点实验室）；National Language Resources Monitoring and Research Center for Network Media（国家网络媒体语言资源监测与研究中心）；School of Computer Science, Central China Normal University（华中师范大学计算机学院）；Department of Information and Computing Sciences, Utrecht University（乌得勒支大学信息与计算科学系）
本研究聚焦汉语名词短语复数与定指标记省略现象，构建带语境和语义标签的汉语名词短语语料库，验证汉语使用者频繁省略相关标记的现象，并训练经典机器学习与前沿预训练语言模型预测短语的复数性和定指性，报告并分析模型性能。
2024-03-07 cs.CL
Analyzing the Safety of Japanese Large Language Models in Stereotype-Triggering Prompts
Graduate School of Science and Technology, University of Tsukuba（筑波大学科学技术研究科）；Institute of Systems and Information Engineering, University of Tsukuba（筑波大学系统与信息工程学院）；Department of Electronics, Information and Bioengineering, Politecnico di Milano（米兰理工大学电子、信息与生物工程系）
本研究构建了3,612个刻板印象触发提示，对比分析日语、英语和中文基础模型在直接评估下的安全性，发现日语原生模型LLM-jp拒绝率最低且更易生成有毒响应，揭示了日语LLM伦理安全机制的不足。
2025-03-05 cs.CL cs.CY
Statistical Augmentation of a Chinese Machine-Readable Dictionary
本文描述了一种利用语料库中自动收集的汉字组来扩充汉语词典的方法。该方法是特别有用的提取领域特定的和区域的话不容易在机器可读的字典。使用人类评估者和先前可用的字典对输出进行评估。我们还评估了自动中文分词的性能改进。结果表明，我们的方法输出合法的单词，缩略语结构，成语，名称和标题，以及技术化合物，其中许多是缺乏从原来的字典。
1994-06-07 cmp-lg cs.CL
Machine learning approach of Japanese composition scoring and writing aided system's design
自动评分系统对于任何语言来说都是非常复杂的。因为自然语言本身就是一个复杂的模型。我们在评价自然语言生成的文章时，需要从词汇特征、语法特征、语义特征、篇章结构等多个维度来看待文章，甚至人类有时候也无法对一篇作文进行准确的评分，因为不同的人对同一篇文章的看法不同。但是作文评分系统可以极大地帮助语言学习者。它能使语言学习者在输出的过程中不断提高自己。虽然机器在语义和语用层面上对一篇作文进行直接评价仍然是困难的，特别是对于日语、汉语等处于高语境文化中的语言，但我们可以使机器在词汇和语法层面上对一篇作文进行评价，这可以作为作文评分者或语言学习者的辅助工具。特别是对于外语学习者来说，词汇和句法内容通常是他们更关心的。在实验中，我们做了以下几个方面的工作：1）利用分词工具和词典实现了对文章的分词，并提取了词的特征，生成了文章的词的复杂度特征。和Bow技术进行主题特征提取。2)我们设计了一个图灵完备自动机模型，并为JLPT考试中出现的语法创建了300多个自动机。并利用这些自动机进行语法特征提取。3)我们提出了一种统计方法来给一个特定主题的作文打分，最终的分数将取决于所有提交给系统的文章。4)我们为语言学习者设计了一个语法提示功能，让他们知道自己目前能使用的语法。
2020-08-26 cs.CL
Empirical observations of ultraslow diffusion driven by the fractional dynamics in languages: Dynamical statistical properties of word counts of already popular words
The Institute of Statistical Mathematics（统计数理研究所）；The Research Organization of Information and Systems（信息与系统研究机构）
超低扩散（即对数扩散）已被广泛研究的理论，但几乎没有观察到经验。在本文中，首先，我们通过分析三个不同的全国性语言数据库：（i）报纸文章（日语），（ii）博客文章（日语），和（iii）维基百科的页面浏览量（英语，法语，中文和日语），发现已经流行的单词的字数的时间序列的超慢扩散。其次，我们用理论分析表明，这种扩散基本上是由指数为$β\approx 0.5$的幂律遗忘的随机行走模型解释的，它与分数朗之万方程有关。指数$β$表征遗忘的速度，并且$β\approx 0.5$对应于（i）平稳和非平稳之间的边界（或阈值）以及（ii）$β=1$的IID噪声和$β=0$的正常随机游走之间的中间动态。第三，流行词词数时间序列的生成模型是一种Poisson过程，其参数由上述随机游走模型采样得到，该模型不仅能近似地再现经验均方位移，而且能近似地再现功率谱密度和概率密度函数。
2018-06-29 cs.CL cs.CY physics.soc-ph
Cross-Language Information Retrieval for Technical Documents
本文提出了一个面向技术文档的日英跨语言信息检索系统。我们的系统首先将包含技术术语的给定查询翻译成目标语言，然后检索与翻译后的查询相关的文档。技术术语的翻译仍然存在问题，因为技术术语通常是复合词，因此新术语可以通过简单地组合现有的基础词来逐步创建。此外，日语经常根据其表音来表示外来词。因此，现有的词典很难达到足够的覆盖面。针对第一个问题，我们使用了复合词翻译方法，该方法使用双语词典和搭配统计来解决翻译歧义。对于第二个问题，我们提出了一种音译方法，该方法识别目标语言中的语音对等项。我们还显示了我们的系统使用测试收集CLIR的有效性。
1999-07-07 cs.CL
Real-time Neural-based Input Method
Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软）；The University of Tokyo（东京大学）
输入法是每个移动和桌面设备上提供文本建议的基本服务。它将连续的键盘输入转换为目标语言中的字符，这是日语和汉语用户不可缺少的。由于关键的资源限制和有限的网络带宽的目标设备，应用神经模型的输入法没有得到很好的探索。在这项工作中，我们应用基于LSTM的语言模型的输入法，并评估其性能的预测和转换任务与日本BCCWJ语料库。我们明确指出，瓶颈是转换过程中缓慢的softmax计算。为了解决这个问题，我们提出了增量softmax近似方法，该方法使用选定的子集词汇计算softmax，并在未来步骤中更新词汇时固定陈旧概率。我们将这种方法称为增量选择性softmax。实验结果表明，当转换大词汇量的日语输入序列时，softmax算法的计算速度提高了2个数量级，在普通CPU上达到了实时的【形】速度。我们还利用模型压缩的潜力，实现了92%的模型大小减少，而不损失准确性。
2018-10-19 cs.CL cs.LG
Zero-shot Cross-lingual Conversational Semantic Role Labeling
City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；City University of Hong Kong（香港城市大学）；Huawei（华为）；Northwestern Polytechnical University（西北工业大学）
虽然会话语义角色标注（CSRL）在汉语会话任务中显示出了其有用性，但由于缺乏用于句法分析器训练的多语种CSRL注释，它在非汉语语言中的应用仍然不足。为了避免昂贵的数据汇集和错误传播的预防为基础的方法，我们提出了一个简单而有效的方法来执行zero-shot跨语言CSRL。我们的模型隐式地学习语言不可知论，会话结构感知和语义丰富的表示与分层编码器和精心设计的预训练目标。实验结果表明，我们的模型在两个新收集的英语CSRL测试集上的性能大大优于所有基线。更重要的是，我们证实了有用的CSRL的非中文会话任务，如问题在上下文改写任务的英语和多轮对话响应生成任务的英语，德语和日语的CSRL信息纳入下游会话为基础的模型。我们相信这一发现对于研究存在省略和回指问题的非汉语对话任务具有重要意义。
2022-04-11 cs.AI cs.CL
Chinese Word Boundary Recovery through Character Alignment Projection
The University of British Columbia（不列颠哥伦比亚大学）；Korea Advanced Institute of Science & Technology（韩国科学技术院）
提出基于对齐投影的两步方法，从带噪句子中恢复词边界，并构建两个评估基准，实验表明该方法能有效纠正过度切分错误。
2026-05-27 cs.CL
Language Transfer for Early Warning of Epidemics from Social Media
Canon Medical Research Europe（佳能医疗欧洲研究院）；University of St Andrews（圣安德鲁斯大学）；University of Edinburgh（爱丁堡大学）
可以分析社交媒体上的声明，以识别出现红旗医学症状的个人，从而及早发现流感等疾病的传播。由于疾病不尊重文化边界，并且可能在讲不同语言的人群之间传播，因此我们希望建立多语言模型。然而，为每种语言训练模型所需的数据可能难以获得、昂贵且耗时，特别是对于低资源语言。以日语作为我们的目标语言，我们探索的方法，在一种语言的数据可能会被用来建立一个不同的语言模型。我们评估了机器翻译数据的训练策略和通过使用多语言模型的zero-shot传输策略。我们发现，源语言的选择影响的性能，与汉语-日语是一个更好的语言对比英语-日语。机器翻译数据的训练显示出希望，特别是当与少量目标语言数据结合使用时。
2019-10-10 cs.AI cs.CL cs.LG
How much is said in a microblog? A multilingual inquiry based on Weibo and Twitter
University of Oxford（牛津大学）；University of Hong Kong（香港大学）
本文提出了一个多语种的研究，每一个微博文本的帖子，（a）有多少可以说，（b）有多少是写在字符和字节，（c）有多少是说在不同的组织在不同的语言的帖子的信息内容。本研究以三种不同的语言（英语、中文和日语）为重点，分析了主要大使馆和新闻机构的微博和Twitter账户。我们首先根据公开的《世界人权宣言》和TED演讲的翻译字幕，建立了量化数字文本中“能说多少”的标准。这些并行语料库使我们能够确定用不同语言和字符编码表示相同内容所需的字符和位数。然后，我们推导出微博和Twitter上选定帐户创作的微博帖子中实际包含的信息量。我们的研究结果证实，语言与较大的字符集，如中文和日语包含更多的信息，每个字符比英文，但实际的信息内容包含在微博文本的组织类型和语言的职位而有所不同。最后，我们讨论了不同语言的微博文本限制的设计意义。
2015-06-13 cs.CL cs.CY cs.SI
A Supervised Word Alignment Method based on Cross-Language Span Prediction using Multilingual BERT
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）
本文提出了一种基于跨语言跨度预测的有监督词对齐方法。我们首先将单词对齐问题形式化为从源句子中的标记到目标句子中的跨度的独立预测的集合。由于这相当于SQuAD v2.0风格的问答任务，因此我们使用多语言BERT解决了这个问题，该问题是在手动创建的黄金单词对齐数据上进行微调的。我们通过向问题中添加标记的上下文，大大提高了单词对齐的准确性。在使用中文，日语，德语，罗马尼亚语，法语和英语之间的五个单词对齐数据集的实验中，我们表明，所提出的方法显着优于以前的监督和无监督的单词对齐方法，而无需使用任何双文本进行预训练。例如，我们对中英文数据的F1得分为86.7，比以前最先进的监督方法高出13.3分。
2020-04-29 cs.CL
Text Classification through Glyph-aware Disentangled Character Embedding and Semantic Sub-character Augmentation
Hosei University（法政大学）
我们提出了一个新的基于字符的文本分类框架的非字母的语言，如中文和日语。我们的框架包括一个变分字符编码器（VCE）和字符级文本分类器。VCE由一个$β$ -变分自动编码器（$β$ -VAE）组成，该编码器学习所提出的字形感知解纠缠字符嵌入（GDCE）。由于GDCE提供了零均值单位方差的特征嵌入，是维度独立的，它适用于我们的可解释的数据增强，即语义子字符增强（SSA）。在本文中，我们评估了我们的框架，使用日本文本分类任务的文件和文件级别。我们证实，我们的GDCE和SSA不仅提供了嵌入的可解释性，但也提高了分类性能。我们的建议取得了竞争力的结果，国家的最先进的模型，同时还提供模型的可解释性。我们的代码可在https://github.com/IyatomiLab/GDCE-SSA上获得
2020-11-09 cs.AI cs.CL cs.LG
Translating Pro-Drop Languages with Reconstruction Models
ADAPT Centre, Dublin City University（都柏林城市大学 ADAPT 中心）；Tencent AI Lab（腾讯人工智能实验室）
代词在诸如中文的亲降语言中经常被省略，通常导致关于完整翻译的产生的重大挑战。神经机器翻译中的代词脱落问题至今还没有引起足够的重视。在这项工作中，我们提出了一种新的基于重建的方法来减轻DP翻译问题的NMT模型。首先，所有源句子中的DP自动标注与双语训练语料库中提取的平行信息。接下来，从NMT模型中的隐藏表示重建带注释的源句子。利用辅助训练目标，在重建分数方面，与NMT模型相关联的参数被引导以产生尽可能多地被鼓励嵌入注释的DP信息的增强的隐藏表示。在汉英和日英对话翻译任务上的实验结果表明，该方法在强NMT基线上显著且一致地提高了翻译性能，该NMT基线直接建立在用DP标注的训练数据上。
2018-01-10 cs.CL
Incorporating Chinese Radicals Into Neural Machine Translation: Deeper Than Character Level
ADAPT Centre（ADAPT中心）；Dublin City University（都柏林城市大学）；Soochow University（苏州大学）
在神经机器翻译（NMT）中，研究人员面临着不可见（或词汇表外的OOV）单词翻译的挑战。为了解决这个问题，一些研究人员提出将西方语言如英语和德语分成子词或复合词。在本文中，我们试图解决这个OOV问题，并提高NMT充分性与更难的语言中文，其字符是更复杂的组成。我们将汉语偏旁部首与NMT模型结合，通过不同的设置来解决汉英翻译中的未见词问题。另一方面，这也可以被认为是机器翻译系统的语义部分，因为汉语偏旁通常承载着它们所构成的词的本质意义。有意义的偏旁部首和新的汉字可以通过我们的模型被整合到NMT系统中。我们使用基于注意力的NMT系统作为强基线系统。在2006年和2008年NIST标准汉英翻译共享任务数据上的实验表明，我们设计的模型在LEPOR、BEER和BLEU和NIST评分等一系列最新的评价指标上都优于基线模型，尤其是在适当性水平的翻译上。在不同的实验环境下，我们也发现了一些有趣的结果，这些结果与其他语言不同。例如，研究人员最近证明，全字符级NMT在其他一些语言中可能表现良好或处于最先进的状态，然而，在中文NMT模型中，词边界知识对于模型学习很重要。
2019-06-24 cs.CL
New Perspectives in Sinographic Language Processing Through the Use of Character Structure
Institut Télécom - Télécom Bretagne（电信学院 - 布列塔尼电信学院）
汉字具有复杂的层次结构，承载着语义和语音信息。我们使用这种结构来增强文本模型，并在标准NLP操作中获得更好的结果。首先，为了解决图形变化的问题，我们定义了异体字类。其次，一个字符中包含一个子字符的关系，为我们提供了一个异体字类的有向图。我们为这个图提供两个权重：语义性（子字符和字符之间的语义关系）和语音性（语音关系），并计算每个字符的“最语义子字符路径”。最后，将这些路径中包含的信息添加到一元语法中，我们声称可以提高文本挖掘方法的效率。我们在两个语料库（中文和日文）的文本分类任务上评估了我们的方法，总共有1800万个字符，并在线性SVM分类器获得的89.6%精度的高基线上提高了3%。其他可能的应用和前景的系统进行了讨论。
2014-05-21 cs.CL
DeepTCM1.0: A Multi-Expert AI Agent for Deciphering Mechanisms of Chinese Herbal Formulae Based on General Large Language Models
本研究构建基于DeepSeek V3.2的多专家智能体框架DeepTCM1.0，以桂枝汤为案例，结合中医理论与现代科学解析中药复方机制，通过多维度评估验证框架性能。
2026-08-20 cs.AI cs.CL
Implicit Geographic Inference in LLM Medical Triage: Language-Driven Disparities in Emergency Recommendations
研究大型语言模型在相同症状下，仅因患者提示语言不同而产生不同的医疗分诊推荐，发现模型根据输入语言隐式推断地理位置，导致急诊推荐率差异显著。
2026-05-31 cs.AI cs.CL cs.CY
Boundary-Free Contextual Biasing: Depth-Adaptive Gating and Reading-Space Matching for Unsegmented Languages
Recho Inc.（Recho公司）
提出无边界上下文偏置解码器，利用字符级Aho-Corasick自动机与深度门控和阅读空间匹配，在日语和汉语无词边界场景下提升罕见词召回率，并发布首个开放日语基准。
2026-10-08 cs.CL cs.SD eess.AS
Chinese ModernBERT with Whole-Word Masking
Ant Group（蚂蚁集团）
Chinese ModernBERT通过硬件感知词表、整词掩码动态课程、两阶段长上下文预训练及阻尼余弦调度，在中文编码任务上取得高效性能，并超越Qwen-0.6B-embedding。
2025-10-14 cs.AI cs.CL
EXECUTE: A Multilingual Benchmark for LLM Token Understanding
School of Computation, Information and Technology, TU Munich（技术学院，慕尼黑技术大学）；Center for Information and Language Processing, LMU Munich（信息与语言处理中心，慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Munich Data Science Institute（慕尼黑数据科学研究所）
针对大语言模型在多语言中的令牌理解能力，提出EXECUTE基准，扩展CUTE至多种文字系统，发现字符或词级问题因语言而异，并评估中日韩子字符理解。
2025-05-23 cs.CL
Bit-level BPE: Below the byte boundary
Google LLC（谷歌公司）；MBZUAI（穆罕默德·本·拉希德智能研究院）；Institute of Science Tokyo（东京科学研究院）
针对字节级回退导致 CJK 与 emoji 等长尾 token 序列变长、训练推理开销增加的问题，本文提出一种可无损缩短序列长度的简单压缩技术。
2025-06-09 cs.CL
Compound interpretation is based on analogy
Northwest University（西北大学）；University of Tübingen（蒂宾根大学）
本文提出复合词类比模型（CAM），通过成分嵌入与家族平均位移向量预测复合词嵌入，在普通话复合词上优于CAOSS模型，并验证了其认知合理性，表明复合词理解基于局部类比泛化。
2026-10-02 cs.CL
