Semantic-Preserving Adversarial Text Attacks
University of Technology Sydney（悉尼科技大学）；China University of Petroleum (East China)（中国石油大学（华东））；University of Melbourne（墨尔本大学）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
深度神经网络（DNN）被认为容易受到对抗性图像的攻击，而它们在文本分类中的鲁棒性却很少被研究。文献中已经提出了几种文本攻击方法，包括字符级、单词级和文本级攻击。然而，它仍然是一个挑战，以尽量减少必要的词的变化，以诱导错误分类，同时确保词汇的正确性，语法的合理性，语义相似性。在本文中，我们提出了一种基于Bigram和Unigram的自适应语义保存优化（BU-SPO）方法来检查深层模型的脆弱性。我们的方法有四个主要优点。首先，我们提出攻击文本文档，不仅在unigram字的水平，但也在bigram水平，更好地保持语义，避免产生无意义的输出。其次，我们提出了一种混合的方法来取代输入的单词与选项之间的同义词候选人和义素候选人，这大大丰富了潜在的替代相比，只使用同义词。第三，设计了一个优化算法，语义保持优化（SPO），确定单词替换的优先级，以降低修改成本。最后，我们进一步改进了SPO与语义过滤器（命名为SPOF），以找到具有最高语义相似度的对抗性示例。我们评估我们的BU-SPO和BU-SPOF对IMDB，AG的新闻，和雅虎的有效性！通过攻击四种流行的DNN模型来回答文本数据集。实验结果表明，与现有方法相比，我们的方法通过改变最少的单词数量来实现最高的攻击成功率和语义率。
2023-03-03 cs.CL stat.ML
Using eigenvectors of the bigram graph to infer morpheme identity
本文描述了一些实验的结果，探索统计方法来推断句法行为的词和词素从一个原始语料库在一个无监督的方式。它与Brown et al（1992）以及从其发展而来的工作有某些共同点：它采用统计技术来分析句法行为，基于与给定单词相邻的单词。然而，我们使用的特征向量分解的最近邻图产生一个二维渲染的单词的语料库中，相同的句法类别的话往往形成邻里。我们利用这种技术扩展形态学自动学习的价值。特别地，我们通过形态学的无监督学习来查看从语料库中导出的后缀，并且我们询问这些后缀中的哪些具有一致的句法功能（例如，在英语中，-tion主要是名词标记，但-s既标记名词复数又标记动词上的第三人称），我们确定此方法适用于此任务。
2002-07-02 cs.CL
Author-Specific Linguistic Patterns Unveiled: A Deep Learning Study on Word Class Distributions
University Hospital Erlangen（埃尔兰根大学医院）；FAU Erlangen-Nürnberg（埃尔兰根-纽伦堡大学）
该研究利用词性标注、二元组分析与深度神经网络进行文学作者分类，发现词类序列模式更能体现作者风格，验证了计算方法捕捉风格差异的有效性，为作者画像和文学研究提供支持。
2025-01-17 cs.CL
A Comparison of Two Smoothing Methods for Word Bigram Models
两种词二元模型平滑方法的比较Linda Bauman Peto多伦多大学计算机科学系摘要从文本语料库中估计的词二元模型需要平滑方法来估计不可见二元模型的概率。删除估计方法使用公式：Pr（i| j）= lambda f_i +（1-lambda）f_i|其中f_i和f_i| j分别是i的相对频率和给定j的i的条件相对频率，并且λ是优化参数。MacKay（1994）提出了一种使用Dirichlet先验的贝叶斯方法，它产生了一个不同的公式：Pr（i| j）=（alpha/F_j + alpha）m_i +（1 - alpha/F_j + alpha）f_i|其中F_j是j的计数，alpha和m_i是优化参数。本文描述了一个实验，在这个实验中，这两种方法在一个200万字的语料库上进行训练，这些语料库来自加拿大的Hansard，并在他们分配给一个共享测试语料库的实验困惑的基础上进行比较。这些方法被证明是同样准确的，麦凯的方法使用更少的资源。
1994-10-31 cmp-lg cs.CL
A New Statistical Parser Based on Bigram Lexical Dependencies
本文描述了一种新的统计分析器，它是基于概率的依赖关系的中心词在分析树。标准的bigram概率估计技术扩展到计算单词对之间的依赖关系的概率。使用《华尔街日报》数据的测试表明，该方法的性能至少与SPATTER（Magerman 95，Jelinek et al 94）一样好，后者在此任务上具有统计分析器的最佳结果。该方法的简单性意味着该模型在15分钟内训练了40，000个句子。使用波束搜索策略，解析速度可以提高到每分钟200多个句子，准确性损失可以忽略不计。
1996-05-06 cmp-lg cs.CL
Word frequency and sentiment analysis of twitter messages during Coronavirus pandemic
Ramanujan College (University of Delhi)（德里大学拉马努金学院）；University of Delhi（德里大学）
本文针对COVID-19疫情期间的Twitter消息，采用词频统计（幂律分布拟合）与情感分析方法，揭示了词频模型拟合良好且多数推文呈中性极性。
2024-06-01 cs.CL cs.IR cs.SI
Determinants of Training Corpus Size for Clinical Text Classification
King’s College London（伦敦国王学院）
本文研究了临床文本分类中训练语料库大小的影响因素，通过分析词汇特性发现，增加强预测词能提升分类性能，而噪声词会降低准确性。
2026-01-22 cs.CL cs.LG
Prosodic Features from Large Corpora of Child-Directed Speech as Predictors of the Age of Acquisition of Words
University of Edinburgh（爱丁堡大学）；Stanford University（斯坦福大学）
儿童习得语言的能力是一个被广泛研究的现象，影响词汇学习速度和模式的因素仍然是一个活跃的研究课题。虽然已经提出了许多模型来预测词汇习得的年龄，但很少强调儿童获得的原始输入。在这项工作中，我们提出了一个比较大规模的多模态语料库的韵律文本对齐的儿童导向语音。我们的语料库包含自动提取的词级韵律特征，我们调查这些信息作为预测年龄的收购的效用。我们表明，韵律功能提高预测能力的正则化回归，并证明他们的效用的背景下，多模态分解语言模型训练和测试儿童导向的语音。
2017-09-27 cs.CL
Dispersion Measures as Predictors of Lexical Decision Time, Word Familiarity, and Lexical Complexity
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本研究针对离散度度量外部验证不足的问题，在五种语言中评估各类离散度对词汇决策时间等的预测效果，发现对数分布范围表现最优，并解释了过往研究的矛盾结果。
2025-01-11 cs.CL
Word Acquisition in Neural Language Models
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Department of Cognitive Science（认知科学系）；Halıcıoğlu Data Science Institute（Halıcıoğlu数据科学研究所）
我们研究了神经语言模型如何在训练过程中获取单个单词，提取学习曲线和MacArthur-Bates沟通发展量表上超过600个单词的获取年龄（Fenson等人，2007年）。借鉴儿童词汇习得的研究，我们评估了LSTM、BERT和GPT-2中词汇习得年龄的多个预测因素。我们发现，具体性，字长和词汇类的影响是有针对性的不同，在儿童和语言模型，加强互动和感觉运动经验在儿童语言习得的重要性。语言模型比儿童更依赖于词频，但像儿童一样，他们在较长的话语中表现出较慢的单词学习。有趣的是，模型在单向和双向模型以及LSTM和Transformer架构的训练过程中遵循一致的模式。模型在训练早期基于unigram标记频率进行预测，然后松散地过渡到bigram概率，最终收敛到更细微的预测。这些结果揭示了儿童分布式学习机制的作用，同时也为语言模型中更像人类的语言习得提供了见解。
2021-10-05 cs.CL
How Well Does First-Token Entropy Approximate Word Entropy as a Psycholinguistic Predictor?
The Ohio State University（俄亥俄州立大学）；New York University（纽约大学）
本研究针对首词元熵近似单词熵存在低估与偏差的问题，提出允许单词含可变词元数的蒙特卡洛单词熵估计法，实验发现二者与阅读时长的回归结果有差异，提示使用首词元近似语境熵需谨慎。
2025-07-29 cs.CL
LAST at CMCL 2021 Shared Task: Predicting Gaze Data During Reading with a Gradient Boosting Decision Tree Approach
Institut de recherche en sciences psychologiques（心理科学研究所）；Université catholique de Louvain（鲁汶天主教大学）
LightGBM模型采用了目标词的词汇特征和从词频列表、心理测量数据和二元关联度量中获得的特征，并针对2021年CMCL眼动追踪数据预测共享任务进行了优化。它在五项眼动追踪预测指标中的两项上获得了所有团队的最佳表现，使其在官方挑战标准中排名第一，并超越了所有参与挑战的基于深度学习的系统。
2021-04-27 cs.CL
An experimental and computational study of an Estonian single-person word naming
University of Tartu（塔尔图大学）；Institute of Estonian Language（爱沙尼亚语言研究所）；University of Tübingen（图宾根大学）；Institute of Estonian and General Linguistics（爱沙尼亚与一般语言研究所）
本研究结合眼动追踪与爱沙尼亚语单被试单词命名实验，对比判别词典模型（DLM）指标与经典词汇预测因子对眼动及命名相关指标的预测效果，发现意义在单词命名任务中作用显著。
2025-09-03 cs.CL
Learning to Embed Words in Context for Syntactic Tasks
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
我们提出的模型嵌入的话在周围的话。这样的模型，我们称之为令牌嵌入，表示特定于给定上下文的单词的特征，例如词义，句法类别和语义角色。我们探索简单，高效的令牌嵌入模型的基础上，标准的神经网络架构。我们在大量未注释的文本上学习令牌嵌入，并将其作为词性标记器和依赖解析器的特征进行评估，这些特征是在少量注释数据上训练的。我们发现，具有令牌嵌入的预测器在一系列上下文窗口和训练集大小上始终优于基线预测器。
2017-06-12 cs.CL
Generalized Topic Modeling
最近有显着的活动，在开发算法与可证明的保证主题建模。在标准的主题模型中，主题（例如体育、商业或政治）被视为单词上的概率分布$\vec a_i$，并且通过首先在主题上选择混合$\vec w$，然后生成单词i.i.d.从缔合的混合物$A{\vec w}$中分离。给定大量这样的文档，目标是恢复主题向量，然后根据它们的主题混合来正确地对新文档进行分类。在这项工作中，我们认为这个框架的一个广泛的推广，其中的话不再被假定为独立同分布绘制。而是主题是段落序列上的复杂分布。由于人们甚至不能希望在一般情况下表示这样的分布（即使段落使用一些自然特征表示），我们的目标是直接学习文档分类器。也就是说，我们的目标是学习一个预测器，该预测器在给定一个新文档的情况下，准确地预测其主题混合，而无需显式地学习分布。我们提出了几个自然条件下，人们可以有效地做到这一点，并讨论在这个模型中的噪声容限和样本的复杂性等问题。更一般地说，我们的模型可以被视为机器学习中多视图或协同训练设置的泛化。
2016-11-04 cs.CL cs.DS cs.IR
The realization of tones in spontaneous spoken Taiwan Mandarin: a corpus-based survey and theory-driven computational modeling
Eberhard Karls Universität Tübingen（蒂宾根大学）；National Taiwan Normal University（国立台湾师范大学）
本研究基于台湾普通话自发口语语料，利用GAMs和GPT-2模型发现词义和上下文嵌入对声调f0轮廓的预测作用超过声调模式，揭示了语境含义与语音实现深度纠缠。
2025-03-29 cs.CL
Contextual Semantic Relevance and Word Surprisal Predict N400 and P600 Dynamics During Naturalistic Reading
Tongji University（同济大学）；University of Tuebingen（图宾根大学）
研究借助语料库，通过回归分析等测试语境语义相关性和词惊喜度对脑电活动的预测，发现二者与脑电反应相关但模式有别，语境语义相关性在P600窗口解释力强，表明自然阅读依赖二者，其提供了话语语义与脑电动态的计算联系。
2026-07-08 cs.CL
Language Model is a Branch Predictor for Simultaneous Machine Translation
Zhejiang University（浙江大学）
受CPU分支预测启发，提出用语言模型预测未来源词以提前解码，降低同步机器翻译延迟并提升质量，可无缝集成于现有模型。
2023-12-22 cs.AI cs.CL
Comparing Formulaic Language in Human and Machine Translation: Insight from a Parliamentary Corpus
最近的一项研究表明，与人类翻译相比，神经机器翻译包含更多由相对高频单词组成的强关联公式化序列，但远没有由相对罕见单词组成的强关联公式化序列。这些结果是在翻译高质量的报纸文章的基础上获得的，其中人类翻译可以被认为不是很字面。本研究试图复制这一研究使用议会语料库。这些文本由三个著名的神经机器翻译系统从法语翻译成英语：DeepL、谷歌翻译和微软翻译。结果证实了新闻语料库的观察，但差异不太强烈。他们认为，在比较人类翻译和机器翻译时，使用通常会导致更多直译的文本类型（如议会语料库）可能更可取。关于这三种神经机器系统之间的差异，谷歌翻译包含的高度搭配的二元组（由CollGram技术识别）似乎比Deepl和微软翻译少。
2022-06-22 cs.CL
Form and meaning co-determine the realization of tone in Taiwan Mandarin spontaneous speech: the case of T2-T3 and T3-T3 tone sandhi
University of Tübingen（图宾根大学）；National Taiwan Normal University（台湾师范大学）
研究探讨台湾闽南语自发口语中T2-T3与T3-T3声调演变，通过GAMM模型分析音高轮廓，发现考虑词语或词义影响后，T3-T3声调与T2-T3声调无法区分，表明声调演变完整。
2026-03-17 cs.CL
A new kid on the block: Distributional semantics predicts the word-specific tone signatures of monosyllabic words in conversational Taiwan Mandarin
Quantitative Linguistics, Eberhard Karls Universität Tübingen（数量语言学，图宾根大学）；Center for Language Studies, Radboud University（语言研究所以，拉德堡德大学）
研究通过分布语义揭示口语台语单字的调型特征，证明语义对音高实现的决定性影响。
2025-11-21 cs.CL cs.SD
Clozing the Gap: Exploring Why Language Model Surprisal Outperforms Cloze Surprisal
University of Maryland（马里兰大学）；Nanyang Technological University（南洋理工大学）
本研究通过三个假设（低分辨率、语义相似词区分、低频词概率准确性）解释了语言模型概率在预测处理努力上优于完形填空数据的原因。
2026-05-26 cs.CL
Using Known Words to Learn More Words: A Distributional Analysis of Child Vocabulary Development
为什么孩子会比别人先学会一些单词？了解儿童个体差异以及词汇差异，可能有助于了解语言学习过程。我们调查了基于项目的变化，在词汇发展中使用的词汇属性的分布统计数据来自一个大型语料库的儿童为导向的语音。与之前的分析不同，我们预测了横截面的单词轨迹，揭示了词汇发展的趋势，这些趋势在单个时间点可能并不明显。我们还表明，无论是在一个单一的年龄组或跨年龄作为一个整体，最好的分布预测一个孩子是否知道一个词是其他已知的单词的数量，该词往往共同出现。关键词：习得年龄;词汇发展;词汇多样性;儿童言语;
2021-11-21 cs.CL stat.OT
Analyse spectrale des textes: détection automatique des frontières de langue et de discours
Université des Antilles-Guyane（安的列斯-圭亚那大学）
我们提出了一个理论框架，在此框架内，可以推断的基础上收集的统计信息，语料库的词汇信息。可以根据词汇表中单词的类别以及它们在特定语言中的句法属性进行推断。基于相同的统计数据，可以构建组合相似性矩阵（二元语法转换矩阵）或聚合相似性矩阵（任何一对单词共享共同上下文的概率）。当相对于它们的句法相似性聚类时，单词倾向于分组为子语言词汇，并且当相对于它们的聚合相似性聚类时，分组为句法或语义类。实验已经探索了这两种可能性中的第一种。他们的结果被解释的语料库的生成过程（S）的马尔可夫链建模的框架：我们表明，转换矩阵的频谱分析的结果可以被解释为集群内的单词的概率分布。这种方法产生了一个软聚类的词汇到子语言，这有助于异构语料库的生成。作为一个应用程序，我们展示了如何多语言文本可以在视觉上分割成语言同质段。我们的方法是特别有用的情况下，发生在语料库中的混合相关的语言。
2008-10-07 cs.CL cs.IR
Multi-channel Reverse Dictionary Model
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
反向词典将目标词的描述作为输入，并将目标词与匹配该描述的其他词一起输出。现有的反向词典方法不能成功地处理高变化的输入查询和低频目标词。受人的联想到词的推理过程的启发，我们提出了多通道逆向词典模型，它可以同时缓解这两个问题。我们的模型包括一个句子编码器和多个预测器。期望预测器从输入查询中识别目标词的不同特征。我们评估我们的模型在英语和中文数据集，包括字典定义和人类书面描述。实验结果表明，我们的模型达到了最先进的性能，甚至超过了最流行的商业反向字典系统的人类书面描述数据集。我们还进行了定量分析和案例研究，以证明我们的模型的有效性和鲁棒性。本工作的所有代码和数据可以在https://github.com/thunlp/MultiRD上获得。
2019-12-19 cs.AI cs.CL cs.IR
A corpus-based investigation of pitch contours of monosyllabic words in conversational Taiwan Mandarin
Eberhard Karls Universität Tübingen（蒂宾根大学）；Radboud University（拉德堡德大学）
本研究基于台湾普通话自然口语语料库，利用广义加性模型和随机森林分析单音节词音高曲线，揭示声调语境和词义共同决定声调实现，其中T2和T3在语境控制后呈现为低平调，轻声自身呈现为低调。
2024-10-19 cs.CL cs.SD eess.AS
A Classification Approach to Word Prediction
语言模型的最终目标是在给定上下文的情况下准确预测缺失单词的值。我们提出了一种单词预测的方法，该方法基于学习每个单词的表示作为其上下文中的单词和语言学谓词的函数。这种方法提出了一些我们要解决的新问题。首先，为了学习好的单词表征，有必要使用上下文的表达性表征。我们提出了一种使用外部知识来生成表达性上下文表示的方法，以及一种能够处理以这种方式生成的大量特征的学习方法，这些特征可能有助于每次预测。其次，由于每个预测的“竞争”单词数量很大，因此需要将“注意力集中”在其中一个较小的子集上。我们展示了一个“关注焦点”机制的表现字预测的贡献。最后，我们描述了一个大规模的实验研究中，所提出的方法被证明在单词预测任务产生显着的改善。
2000-09-28 cs.AI cs.CL cs.LG
The scarcity of crossing dependencies: a direct outcome of a specific constraint?
Universidade da Coruña（拉科鲁尼亚大学）；Universitat Politècnica de Catalunya (UPC)（加泰罗尼亚理工大学）
句子的结构可以表示为一个网络，其中顶点是单词，边表示句法依赖关系。有趣的是，交叉句法依赖在人类语言中并不常见。这就引出了一个问题，即语言中交叉点的缺乏是否源于对交叉点的独立和具体的限制。我们提供的统计证据表明，这是不是这样的，作为一个简单的预测器，基于零假设的本地概率，两个依赖性交叉给定其长度的依赖性交叉的句子从广泛的语言的比例可以准确地估计。这个预测器的相对误差平均不会超过5%，而假设句子中单词的随机排序的基线预测器的误差至少要大6倍。我们的研究结果表明，自然语言中交叉频率低既不是源于隐藏的语言知识，也不是由于交叉本身的不可取性，而只是依赖长度最小化原则的副作用。
2017-11-14 cs.CL cs.SI physics.soc-ph
Human-Like Decision Making: Document-level Aspect Sentiment Classification via Hierarchical Reinforcement Learning
Soochow University（苏州大学）；Alibaba Group（阿里巴巴集团）
最近，神经网络在文档层面的方面情感分类（DASC）上显示出了很好的结果。然而，这些方法往往提供很少的透明度w.r.t.其内在的工作机制，缺乏可解释性。为了模拟人类分析文档中方面情感的步骤，提出了一种新的层次强化学习（HRL）方法。该方法结合了小句选择和选词策略来解决DASC任务中的数据噪声问题。首先，提出了一个高层次的政策，以选择方面相关的条款和丢弃嘈杂的条款。然后，提出了一个低层次的政策，以选择情感相关的话，并删除所选条款内的噪音的话。最后，一个情感评级预测器被设计为提供奖励信号来指导子句和词的选择。实验结果表明，令人印象深刻的有效性，所提出的方法DASC超过国家的最先进的基线。
2019-10-21 cs.AI cs.CL
Fast and accurate factorized neural transducer for text adaption of end-to-end speech recognition models
Microsoft Speech Group（微软语音组）
神经传感器由于其自然的流式传输能力，成为目前最流行的语音识别端到端模型。然而，它是具有挑战性的，以适应它与纯文本数据。因子化神经传感器（FNT）模型的提出，以减轻这个问题。与标准神经传感器模型相比，FNT对纯文本适应数据的适应能力的提高是以降低准确性为代价的。我们提出了几种方法来提高FNT模型的性能。它们是：在训练过程中增加CTC准则，在自适应过程中增加KL发散损失，使用预训练的语言模型来播种词汇预测器，以及通过用n-gram语言模型内插词汇预测器的有效自适应方法。这些方法的组合结果在一个相对的字错误率从标准的FNT模型减少了9.48%。此外，使用词汇预测器的n-gram插值极大地提高了自适应速度，具有令人满意的自适应性能。
2023-02-23 cs.CL cs.SD eess.AS
Corpus-Based Approaches to Igbo Diacritic Restoration
The University of Sheffield（谢菲尔德大学）
本研究提出基于语料库的伊戈语重标点恢复方法，通过三种模型开发灵活的数据集生成框架，以解决低资源语言的重标点恢复问题。
2026-01-26 cs.CL cs.CY cs.IR
fMRI predictors based on language models of increasing complexity recover brain left lateralization
Centre d’Analyse et de Mathématique Sociales（社会分析与数学中心）；CNRS（法国国家科学研究中心）；EHESS（法国社会科学高等研究院）；Cognitive Neuroimaging Unit（认知神经成像单元）；INSERM（法国国家健康与医学研究院）；CEA（法国原子能委员会）；Neurospin center（Neurospin中心）
本研究通过28个不同规模的语言模型分析fMRI数据，发现模型预测大脑反应的性能及左右半球差异均遵循参数缩放定律，从而将计算模型与左半球语言优势的经典发现相统一。
2024-11-04 cs.AI cs.CL q-bio.NC
