TGIF: Tree-Graph Integrated-Format Parser for Enhanced UD with Two-Stage Generic- to Individual-Language Finetuning
Cornell University（康奈尔大学）
我们提出了我们对IWPT 2021共享任务的贡献，即解析为增强的通用解析。我们的主要系统组件是一个混合树图解析器，它集成了（a）增强图的生成树预测与（b）生成树中不存在的附加图边。我们还采用了一种微调策略，首先训练一个语言通用解析器，将所有可用语言的数据串联起来，然后在第二步中，分别对每种语言进行微调。此外，我们还开发了一套与共享任务相关的完整的预处理模块，包括标记化，句子分割和多词标记扩展，基于预训练的XLM-R模型和我们自己的字符级语言模型的预训练。我们的提交在测试集上达到了89.24的宏观平均ELAS。它在所有团队中排名第一，与下一个表现最好的提交相比，ELAS绝对值的差距超过2，并且在17种语言中的16种语言中得分最高。
2021-07-14 cs.CL
Discovery of Natural Language Concepts in Individual Units of CNNs
Seoul National University（首尔国立大学）；Kakao（Kakao公司）；Kakao Brain（Kakao Brain研究院）
尽管深度卷积网络在许多自然语言任务中实现了性能的提高，但由于难以解释，它们一直被视为黑箱。特别是，很少有人知道它们如何在中间层表示语言。为了理解在语言任务上训练的深度卷积网络的表示，我们证明了单个单元对特定的词素、单词和短语有选择性地做出响应，而不是对任意和不可解释的模式做出响应。为了定量分析这种有趣的现象，我们提出了一种概念对齐方法的基础上如何单位响应复制文本。我们使用不同的架构对多个数据集进行分析，以执行分类和翻译任务，并为深入了解模型如何理解自然语言提供新的见解。
2019-02-28 cs.CL cs.LG stat.ML
An Exploratory Analysis of the Relation Between Offensive Language and Mental Health
University of Bucharest（布加勒斯特大学）；Rochester Institute of Technology（罗切斯特理工学院）
在本文中，我们分析了攻击性语言的使用和心理健康之间的相互作用。我们获得了为攻击性语言识别和抑郁症检测而创建的公开数据集，并对训练计算模型，以比较有和没有自我报告抑郁症诊断的个人群体在社交媒体帖子中使用攻击性语言的情况。我们还研究了根据最近的相关研究显示出抑郁迹象的个人群体所写的样本。我们的分析表明，攻击性语言更频繁地使用的样本写的个人与自我报告的抑郁症以及个人表现出抑郁症的迹象。这里讨论的结果在礼貌/进攻性和心理健康的研究开辟了新的途径。
2021-06-24 cs.CL
Comparing Pre-trained Human Language Models: Is it Better with Human Context as Groups, Individual Traits, or Both?
Stony Brook University（史蒂文斯布鲁克大学）；Bocconi University（博科尼大学）
本文比较了在预训练语言模型中融入群体属性、个体特质及二者组合三种人类上下文方法，在五个用户级和文档级任务上发现并无普适最佳方案，但以人为中心的语言建模为不同方法提供了发展空间。
2024-07-18 cs.AI cs.CL cs.LG
Quantitative Entropy Study of Language Complexity
Central China Normal University（华中师范大学）；Wuhan University of Technology（武汉理工大学）；University of Bergen（卑尔根大学）
我们研究了中文和英文文本的熵，中文文本基于字符，两种语言基于词。在语言和辩论对手的个人风格之间存在着显著的差异。熵分析的方向是低熵，即复杂度较高。这样的文本分析将适用于不同风格的个人，不同年龄的单个个人，以及人口的不同群体。
2017-01-15 cs.CL physics.soc-ph
From Retrieval to Weights: Parametric Individualization of Small Language Models with Individual Text Corpora
Bergische Universität Wuppertal（伍珀塔尔大学）；Goethe-Universität Frankfurt（法兰克福大学）
本研究通过DoRA微调将个体文本语料库整合进小语言模型权重，实现参数化个性化，实验表明适配器能有效拟合个体文本，为个性化辅导代理奠定基础。
2026-09-10 cs.CL cs.IR
The Social Dynamics of Language Change in Online Networks
Georgia Institute of Technology（佐治亚理工学院）；Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）
语言变化是一种复杂的社会现象，揭示了交流的途径和社会文化的影响。但是，虽然语言变化长期以来一直是社会语言学的研究课题，但传统的语言学研究方法依赖于间接证据，根据老年人和年轻人之间的差异来估计变化的方向。在本文中，我们使用数百万Twitter用户的数据集来跟踪语言变化的进展。首先，我们表明语言变化可以被视为一种社会影响形式：我们观察到语音拼写和“网络语言”缩写的复杂传染（例如，lol），但不适用于口语中较老的方言标记。接下来，我们使用参数化霍克斯过程模型来测试特定类型的社交网络连接是否比其他类型更有影响力。我们发现，关系强度起着重要的作用：密集嵌入的社会关系是显着更好的语言影响力的管道。地理位置似乎发挥更有限的作用：我们发现相对较少的证据来支持这一假设，即个人更受地理地方的社会关系，即使在他们使用的地理方言标记。
2016-09-07 cs.CL cs.SI physics.soc-ph
A bifurcation threshold for contact-induced language change
University of Konstanz（康斯坦茨大学）
语言变化的一种机制是第二语言学习者在语言接触中所扮演的角色。如果在一个言语社区中，相对于第一语言（L1）使用者的数量，有足够多的L2使用者，那么那些在L2习得中造成困难的特征可能会从语言中消失。本文提出了一个数学帐户，这种接触的情况下，基于随机模型的学习和非线性种群动力学。平衡的确定性减少的模型，描述了一个混合人口的L1和L2扬声器，充分的特点。语言是否会因第二语言学习者的引入而发生变化，取决于三个因素：第二语言学习者在总人口中所占的比例，说话者在习得第二语言时所面临的困难程度，以及竞争语言变体的语言内部效用。这些因素相关的数学公式描述了一个阶段的过渡，从保留的L2-困难的功能，其损失从两个扬声器人口。这提供了可以根据经验数据进行测试的预测。在这里，该模型的评估与两个案例研究的帮助下，形态水平在南非荷兰语和侵蚀的空科目在非洲裔秘鲁西班牙语;该模型被发现在这两种情况下的历史发展大致一致。
2022-08-18 cs.CL physics.soc-ph
A Computational Approach to Analyzing Language Change and Variation in the Constructed Language Toki Pona
Georgia Institute of Technology（佐治亚理工学院）
本研究采用计算与语料库方法分析人工语言Toki Pona的语言变化与变异，发现其受社会语言学因素影响并随社区使用自然演化，与自然语言规律一致。
2025-08-14 cs.CL
Analyzing Individual Neurons in Pre-trained Language Models
Qatar Computing Research Institute（卡塔尔计算研究所）；HBKU Research Complex（哈马德·本·哈利法大学研究中心）；MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
虽然已经进行了大量的分析来证明在深度NLP模型中学习的表示所捕获的语言知识，但很少关注单个神经元。我们使用预测形态，语法和语义的核心语言任务对预训练的语言模型进行神经元级分析，问题如下：i）预训练模型中的单个神经元是否捕获语言信息？（2）网络的哪些部分对某些语言现象了解更多？（三）信息的分布和重点如何？以及iv）不同的体系结构在学习这些属性方面有何不同？我们发现了小的神经元子集来预测语言任务，与预测语法的高级任务相比，较低级别的任务（例如形态学）位于更少的神经元中。我们的研究还揭示了有趣的跨架构比较。例如，我们发现XLNet中的神经元在预测属性时比BERT和其他神经元更局部化和不相交，在其他神经元中它们更分散和耦合。
2020-10-06 cs.CL
Words are the Window to the Soul: Language-based User Representations for Fake News Detection
Amazon（亚马逊）；University of Amsterdam（阿姆斯特丹大学）
语言使用反映了个体的认知和社会特征。此外，容易在网上传播假新闻的人往往有共同的特点。在这些想法的基础上，我们引入了一个模型，该模型仅基于他们产生的语言在社交媒体上创建个人的表示，并使用它们来检测假新闻。我们表明，基于语言的用户表示是有益的这项任务。我们还对假新闻传播者的语言进行了扩展分析，表明其主要特征在两个英语数据集上大多是独立的和一致的。最后，我们利用社交图中语言使用和连接之间的关系来评估我们数据中回音室效应的存在。
2020-11-14 cs.CL
Identifying Moments of Change from Longitudinal User Text
Queen Mary University of London（伦敦玛丽女王大学）；The Alan Turing Institute（阿兰·图灵研究所）；University of Warwick（华威大学）
通过在线平台上分享的内容观察个人行为和情绪的变化，这一点越来越重要。到目前为止，关于这一主题的大多数研究都侧重于：（a）在一批职位中确定有风险或有某种心理健康状况的个人，或（b）在职位一级提供等同的标签。这种工作的一个缺点是缺乏强有力的时间组成部分，无法根据个人的轨迹进行纵向评估，从而无法及时采取干预措施。在这里，我们定义了一个新的任务，即根据个人在网上分享的内容来识别个人的变化时刻。我们考虑的变化是情绪的突然转变（转换）或情绪的逐渐发展（升级）。我们已经创建了详细的指南来捕捉变化时刻和500个手动注释的用户时间线（18.7K帖子）的语料库。我们已经开发了各种基线模型，从相关任务中汲取灵感，并表明通过上下文感知的顺序建模获得最佳性能。我们还介绍了新的指标，用于捕获罕见的事件在时间窗口。
2022-05-11 cs.CL
On the Pitfalls of Analyzing Individual Neurons in Language Models
Technion – Israel Institute of Technology（以色列理工学院）
虽然许多研究表明，语言信息是以隐藏的单词表征编码的，但很少有人研究单个神经元，以显示它是如何以及在哪些神经元中编码的。其中，常见的方法是使用一个外部的探针排名神经元根据其相关性的一些语言属性，并评估所获得的排名使用相同的探针，产生it.We显示两个陷阱，在这种方法：1。它混淆了不同的因素：探测质量和排名质量。我们将它们分开，并对每一个得出结论。2.它关注编码的信息，而不是模型使用的信息。我们表明，这些是不一样的。我们比较了两个最近的排名方法和一个简单的，我们介绍，并评估他们在这两个方面。
2022-08-01 cs.CL
Do Not Fire the Linguist: Grammatical Profiles Help Language Models Detect Semantic Change
University of Amsterdam（阿姆斯特丹大学）；University of Oslo（奥斯陆大学）；University of Helsinki（赫尔辛基大学）
词语使用中的形态和句法变化（如捕获的，例如，语法概况）已被证明是一个词的意义变化的良好预测。在这项工作中，我们探讨是否大的预先训练的语境化语言模型，词汇语义变化检测的常用工具，这种形态句法变化敏感。为此，我们首先在10个数据集上比较了语法配置文件与多语言神经语言模型（XLM-R）的性能，涵盖7种语言，然后将这两种方法结合起来，以评估它们的互补性。我们的研究结果表明，将语法配置文件与XLM-R集成可以提高大多数数据集和语言的语义变化检测性能。这表明，语言模型并没有完全覆盖在语法配置文件中明确表示的细粒度的形态和句法信号。一个有趣的例外是测试集，其中分析的时间跨度比它们之间的时间间隔长得多（例如，长达一个世纪的跨度，它们之间有一年的间隔）。形态句法的变化是缓慢的，所以语法概况不检测在这种情况下。相比之下，语言模型，由于其访问词汇信息，能够检测快速的主题变化。
2022-04-12 cs.CL
Reliable Detection and Quantification of Selective Forces in Language Change
University of Edinburgh（爱丁堡大学）；Tallinn University（塔林大学）
本研究提出一种量化语言演变中选择强度的新方法，在英语不规则动词、西班牙语拼写改革案例中验证其可靠性，揭示语音简洁性选择优先性及社会驱动演变的选择强度变化特征，为语言演变机制假说提供定量检验手段。
2023-08-21 cs.CL
ChronoLens: Measuring Language Change Across Time, Languages, and Linguistic Levels
ChronoLens框架结合多语言模型等技术，分析1803-2026年五议会传统的海量文本，揭示同语言内各语言层面变化幅度相当、不同语言变化轨迹有差异，为跨语言历史语言变化研究提供方法。
2026-08-05 cs.AI cs.CL
American == White in Multimodal Language-and-Image AI
University of Washington（华盛顿大学）
三个最先进的语言和图像AI模型，CLIP，SLIP和BLIP，评估了以前在社会和实验心理学中观察到的偏见的证据：将美国身份等同于白人。嵌入关联测试（EAT）使用标准化图像的自我识别的亚洲，黑人，拉丁裔/o，和白人个体从芝加哥人脸数据库（CFD）揭示，白人个体更多地与集体内组的话比亚洲，黑人，或拉丁裔/o的个人。在对社会心理学家报告的美国身份的三个核心方面的评估中，单一类别的EAT显示，白人个体的形象与爱国主义和出生在美国有关，但与心理学的先前发现一致，白人个体与不太可能平等对待所有种族和背景的人有关。三个下游机器学习任务显示了将美国人与白人联系起来的偏见。在使用BLIP的视觉问答任务中，97%的白人个体被识别为美国人，而亚洲个体只有3%。当被问及所描绘的个人生活在什么州时，该模型对亚洲人的回答是53%的中国，但对白人的回答总是美国州。在图像描述任务中，BLIP对亚裔个体的种族评论高达36%，但从不对白人个体的种族评论。最后，提供来自CFD的初始化图像和文本“an American person”，使用CLIP的基于文本的指导的合成图像生成器（VQGAN）使所有种族的个体的肤色变亮（基于像素亮度，对于黑人个体，变亮35%）。结果表明，将美国身份等同于白人的偏见是由语言和图像AI学习的，并传播到此类模型的下游应用程序。
2022-07-01 cs.AI cs.CL cs.CV
Modeling the dynamics of language change: logistic regression, Piotrowski's law, and a handful of examples in Polish
Institute of Polish Language（波兰语研究所）；Polish Academy of Sciences（波兰科学院）
本研究探讨了逻辑回归模型的历时过程。语言中的非线性变化现象最早由Raimund Piotrowski观察到（因此被称为Piotrowski定律），即使实际的语言证据通常反对在这种情况下使用“定律”的概念。在我们的研究中，我们应用逻辑回归模型9变化发生在15和18世纪之间的波兰语。这些变化中的大多数的证实过程密切遵循预期值，这证明语言变化可能确实类似于非线性相变情景。我们还扩展了原来的Piotrowski的方法，提出多项式逻辑回归这些情况下，很难描述其标准版本。此外，我们建议考虑个别语言变化的情况下，联合，以检查他们可能的共线性，或更有可能，他们在时间的函数不同的动态。最后，我们通过测试子语料库大小对模型拟合优度的影响来评估我们的结果。
2022-05-28 cs.CL
Analysis of Language Change in Collaborative Instruction Following
Cornell University（康奈尔大学）；City University of New York（纽约市立大学）
我们在一个协作的、以目标为导向的教学任务中分析语言随时间的变化，在这个任务中，效用最大化的参与者形成惯例并增加他们的专业知识。以前的工作主要是在参考游戏的背景下研究这种情况，并一致发现，语言的复杂性是沿着多个维度，如话语长度，作为惯例的形成。相比之下，我们发现，由于能够提高指令效用，教师增加语言的复杂性，沿着这些先前研究的维度，以更好地与越来越熟练的指令追随者合作。
2021-09-09 cs.CL
Temporal Analysis of Language through Neural Language Models
New York University（纽约大学）；Google Inc.（谷歌公司）
我们提供了一种通过按时间顺序训练的神经语言模型自动检测语言随时间变化的方法。我们在Google Books Ngram语料库上对模型进行训练，以获得特定于每一年的词向量表示，并识别出从1900年到2009年发生了显著变化的词。该模型将诸如“cell”和“gay”之类的词识别为在该时间段内发生了变化。该模型同时确定了这些词发生变化的具体年份。
2014-05-14 cs.CL
Discourse and conversation impairments in patients with dementia
神经变性表征具有不同痴呆亚型的个体（例如，阿尔茨海默病、原发性进行性失语症和帕金森病患者），导致认知、语言和社会功能的进行性下降。言语和语言障碍是具有局灶性神经退行性疾病的个体的早期症状，伴有认知、社交和行为领域的缺陷。本文回顾了语言和沟通缺陷的研究结果，并确定了痴呆症的生产和感知的话语。它讨论了有关（一）语言功能，认知表征和损伤，（二）交际能力，情感，移情和心理理论，（三）言语互动的研究结果。它认为，临床话语分析可以提供一个全面的评估个人的语言和沟通能力，补充现有的神经语言学评估（鉴别）诊断，预后和治疗效果评估。
2022-12-03 cs.CL
Large Language Models on Lexical Semantic Change Detection: An Evaluation
University of Toronto（多伦多大学）
针对LLM在词汇语义变化检测中研究不足的问题，本文提出新的提示方案并对三代语言模型进行综合评估，以填补该领域空白。
2023-12-10 cs.CL
Structure vs. Language: Investigating the Multi-factors of Asymmetric Opinions on Online Social Interrelationship with a Case Study
Tianjin University（天津大学）
虽然目前的研究往往从客观的角度来研究在线社会关系的属性，但在社会计算研究中，我们还需要了解个体对他们之间相互关系的主观看法。受社会语言学理论的启发，最新的研究表明，互动语言可以揭示个体对彼此关系的不对称看法。为了解释意见在相互关系上的不对称性，本文将研究范围从单一关系扩展到网络社会的结构性语境。我们分析了交互式语言特征和相互关系的结构语境之间的相关性。考虑了社会网络中顶点、边和三角形的结构上下文。通过对安然邮件数据集的统计分析，我们发现个体对人际关系的看法（以交互语言特征衡量）与其在社会网络中的一些重要结构语境有关。这一结果可以帮助我们理解和测量的个人意见，他们的相互关系与更多的内在信息。
2016-11-02 cs.CL cs.SI
Language models emulate certain cognitive profiles: An investigation of how predictability measures interact with individual differences
University of Zurich（苏黎世大学）；University of Potsdam（波茨坦大学）
本文研究语言模型的惊讶度与熵度量在纳入个体认知能力后对阅读时间的预测力，发现认知高分者对可预测性效应更不敏感，且现有语言模型更接近低言语智力读者的模式。
2024-08-02 cs.CL
Communicative need modulates competition in language change
University of Edinburgh（爱丁堡大学）
所有现存的语言都会随着时间的推移而变化。其原因是多方面的，其中之一是新的语言成分的出现和借用。新成分与语义或语法功能相似的旧成分之间的竞争可能会导致说话者更喜欢其中一个，而放弃另一个。我们介绍了一种通用的方法来量化历时语料库中的语言元素之间的竞争，它不需要语言特定的资源，比足够大的语料库。这种方法很容易适用于广泛的语言和语言子系统。在这里，我们将其应用于词汇数据在五个语料库不同的语言，类型，体裁和时间跨度。我们发现，交际需求的变化是一致的预测词汇竞争动态。近似同义词更有可能直接竞争，如果它们属于一个话题，其重要性是随着时间的推移，语言使用者是恒定的，可能会导致其中一个竞争词的灭绝。相比之下，在对语言使用者越来越重要的话题中，近同义词往往不直接竞争，而是可以共存。这表明，除了词与词之间的直接竞争外，语言变化还可能受到主题或语义子空间之间的竞争的驱动。
2020-06-16 cs.CL
XD at SemEval-2020 Task 12: Ensemble Approach to Offensive Language Identification in Social Media Using Transformer Encoders
Emory University（埃默里大学）
本文提出了六个文档分类模型，使用最新的Transformer编码器和高性能的集成模型的攻击性语言识别的任务，在社交媒体。对于单个模型，应用深Transformer层来执行多头注意力。对于集成模型，从这些单独的模型中提取的话语表示被连接并馈送到线性解码器中以做出最终决定。我们的集成模型优于单个模型，并显示出比开发集上的单个模型高出8.6%的改进。在测试集上，它达到了90.9%的宏F1，成为该共享任务的子任务A中85个参与者中的高性能系统之一。我们的分析表明，尽管集成模型显着提高了开发集的准确性，但在测试集上的提高并不明显。
2020-07-21 cs.CL
Multilingual Neural Machine Translation with Knowledge Distillation
Microsoft Research Asia（微软亚洲研究院）；Zhejiang University（浙江大学）；Peking University（北京大学）
多语种机器翻译是一种用单一模型翻译多种语言的翻译技术，由于其离线训练和在线服务的高效性而备受关注。然而，由于语言多样性和模型容量的限制，传统的多语言翻译通常会产生较低的准确性，与使用每个语言对的单独模型的对应物相比。在本文中，我们提出了一种基于蒸馏的方法来提高多语言机器翻译的准确性。具体而言，首先训练个体模型并将其视为教师，然后通过知识蒸馏训练多语言模型以同时拟合训练数据并匹配个体模型的输出。在IWITOWN、WMT和Ted talk翻译数据集上的实验证明了该方法的有效性。特别是，我们证明了一个模型足以处理多种语言（在我们的实验中多达44种语言），其准确性与单个模型相当甚至更好。
2019-04-30 cs.CL
How Individual Traits and Language Styles Shape Preferences In Open-ended User-LLM Interaction: A Preliminary Study
MBZUAI Abu Dhabi UAE（阿布扎赫 MBZUAI）
本研究通过用户实验发现LLM的语言风格影响用户偏好，且该影响因用户个体特质和群体而异，为理解交互偏好提供了初步证据。
2025-04-23 cs.CL
A Neural Architecture for Generating Natural Language Descriptions from Source Code Changes
The University of Tokyo（东京大学）
我们提出了一个模型来自动描述的变化，在源代码中引入的程序使用自然语言。我们的方法接收一组代码提交作为输入，其中包含用户引入的修改和消息。这两种模态用于训练编码器-解码器架构。我们评估了我们的方法在十二个现实世界的开源项目从四个不同的程序设计语言。定量和定性的结果表明，所提出的方法不仅可以在标准的项目内设置，而且在跨项目设置生成可行的和语义上的声音描述。
2017-04-17 cs.CL
Graph-based Clustering for Detecting Semantic Change Across Time and Languages
Faculty of Mathematics and Computer Science, Heidelberg University（海德堡大学数学与计算机科学学院）；Heidelberg Institute for Theoretical Studies（海德堡理论研究所）；Department of Computing Science, University of Aberdeen（阿伯丁大学计算科学学院）
针对现有基于上下文嵌入的聚类方法语义变化检测性能差、难捕捉低频词义的问题，提出基于图的聚类方法，在SemEval2020多语言二分类任务上性能超越现有方法，还可作为可视化工具检测跨时间、跨语言的语义变化。
2024-02-01 cs.CL
Speaker and Language Change Detection using Wav2vec2 and Whisper
Radboud University Nijmegen（奈梅亨拉德堡德大学）
我们调查了最近的Transformer网络预训练的自动语音识别的能力，以检测说话人和语言的变化。我们通过简单地将说话者（变化）或语言目标添加到标签来实现这一点。对于Wav2vec2预训练的网络，我们还研究了说话人改变符号的表示是否可以被调节以捕获说话人身份特征。使用一些构建的数据集，我们表明，这些能力是肯定存在的，与说话人识别的顺序为10%的错误率和几个百分点的语言检测错误率相等。我们将发布代码以供复制。
2023-02-18 cs.CL cs.LG cs.SD
Linguistically Grounded Models of Language Change
与语言进化有关的问题最近引起了人们极大的兴趣（Margarcoe，2002）。这篇简短的论文旨在质疑这些模型的科学地位及其与经证实的数据的关系。我们表明，一个不能直接建模的非语言因素（外源性因素），即使他们在语言进化中发挥了至关重要的作用。然后，我们研究语言模型和证实的语言数据之间的关系，以及它们对认知语言学的贡献。
2006-07-11 cs.AI cs.CL
Analysis of Individual Conversational Volatility in Tandem Telecollaboration for Second Language Learning
Insight SFI Research Centre for Data Analytics（Insight SFI数据分析研究中心）；Dublin City University（都柏林城市大学）；School of Applied Languages and Intercultural Studies（应用语言与跨文化研究学院）
第二语言学习可以通过串联协作来实现，其中学生被分组到视频会议呼叫中，同时在呼叫中学习其他学生的母语。这将学生置于一个在线环境中，在这个环境中，更外向的人可以积极贡献和参与对话，而那些更害羞和不确定自己的第二语言技能的人可以坐下来，通过电话进行交流。我们已经构建并部署了L2L系统，该系统记录了通话中所有参与者的对话语句的时间。我们生成可视化，包括参与率和时间表为每个学生在每次通话，并提出这些在仪表板上。我们最近开发了一种称为个人对话波动的措施，用于衡量每个学生在每次通话中对对话的贡献有多大。我们提出了一个分析的会话波动性措施的样本，19个讲英语的学生从我们的大学谁是学习法语，在每一个86串联远程colorcalles在一个教学学期。我们的分析表明，有必要研究互动的性质，看看分配给他们的讨论主题的选择是否对一些学生来说太难了，这可能在某种程度上影响了他们的参与。
2022-06-28 cs.CL
Metaphorical Language Change Is Self-Organized Criticality
Huazhong University of Science and Technology（华中科技大学）
解决隐喻语言变化的驱动问题的一个方法是提供一个有前提条件的隐喻结构和生成规则的统计轮廓。本文从语言复杂系统观和隐喻动态观两个方面论证了隐喻的语言变化是一种自组织临界状态，隐喻的语言表达可以被刻画为具有时空相关性的分形。同时，这些隐喻表达自组织成一个自相似的，标度不变的分形，遵循幂律分布;在时间上，长范围的相互依赖约束的自组织过程中的转换规则的方式是一个语言系统的内在。本文通过对大规模历时语料库中随机抽取的12个动词隐喻的统计分析，验证了这一观点。
2022-11-19 cs.CL nlin.AO
"Translation can't change a name": Using Multilingual Data for Named Entity Recognition
Carnegie Mellon University（卡内基梅隆大学）
命名实体（NE）通常在共享公共字母表的不同语言中没有拼写变化。我们表明，这可以被利用，以提高命名实体识别（NER），通过使用无监督的词集群从二级语言的功能，在国家的最先进的判别NER系统。我们观察到显着的性能增加，发现人和位置识别特别改善，和遗传学上接近的语言提供更有价值的功能比更遥远的语言。
2014-05-04 cs.CL
Baby Scale: Investigating Models Trained on Individual Children's Language Input
Stanford University（斯坦福大学）
研究基于儿童语言输入训练的模型在不同数据规模下的表现，探讨模型性能与儿童语言发展之间的关系，发现儿童数据在语法任务上表现良好，但在语义和世界知识任务上不如合成数据。
2026-03-31 cs.AI cs.CL cs.LG
ExpertIVS: Sociological Expert Driven Individual Value Simulation in Large Language Models
The International Joint Institute of Tianjin University（天津大学国际联合研究院）；Tianjin University（天津大学）；TJUNLP Lab, School of Computer Science and Technology, Tianjin University（天津大学计算机科学与技术学院）；National Governance Institute, Tianjin Normal University（天津师范大学国家治理研究院）；College of Computer and Information Engineering, Tianjin Normal University（天津师范大学计算机与信息工程学院）
本研究针对大型语言模型社会模拟中个体价值观建模的不足，提出ExpertIVS框架，通过14个社会学专家智能体重构个体画像，经多国家多人群实验验证其在价值观还原、泛化等方面性能优于基线。
2026-08-24 cs.AI cs.CL
Slangvolution: A Causal Analysis of Semantic Change and Frequency Dynamics in Slang
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
语言在不断变化，这些变化背后的机制仍然是一个有争议的问题。在这项工作中，我们通过因果关系的镜头来接近语言的演变，不仅为了模拟各种分布因素如何与语言变化相关联，而且为了模拟它们如何因果地影响它，特别是我们研究了俚语，这是一种非正式的语言，通常仅限于特定的群体或社会环境。我们分析了俚语词汇的语义变化和频率变化，并将其与标准的非俚语词汇进行了比较。通过因果发现和因果推理技术，我们测量了词的类型（俚语/非俚语）对语义变化和频率变化的影响，以及它与频率，多义词和词性的关系。我们的分析为语言变化的研究提供了一些新的见解，例如，我们发现，俚语词经历较少的语义变化，但往往有较大的频率变化随着时间的推移。
2022-05-07 cs.CL
Improving Temporal Generalization of Pre-trained Language Models with Lexical Semantic Change
Soochow University（苏州大学）；Microsoft Research Asia（微软亚洲研究院）
最近的研究表明，大规模的神经语言模型具有较差的时间泛化能力，即，在来自过去几年的静态数据上预训练的语言模型在新兴数据上随着时间的推移表现更差。现有方法主要执行连续训练以减轻这种不对准。虽然在一定程度上有效，但在语言建模和下游任务上都远未得到解决。词汇语义变化是自然语言的基本现象之一，时间泛化与词汇语义变化密切相关。基于这一观察，我们提出了一个简单而有效的词汇级掩蔽策略来后训练收敛的语言模型。在两个预训练的语言模型、两个不同的分类任务和四个基准数据集上的实验证明了我们提出的方法比现有的时间适应方法的有效性，即，用新数据进行持续训练。我们的代码可在\url{https://github.com/zhaochen0110/LMLM}上获得。
2022-10-31 cs.CL
Syntactic Language Change in English and German: Metrics, Parsers, and Convergences
University of Aberdeen（阿伯丁大学）；University of Mannheim（曼海姆大学）；Ghent University（根特大学）；Goethe University Frankfurt（法兰克福歌德大学）
本文利用160年议会辩论语料和五个依存解析器，系统分析英语与德语的15项句法度量，发现两语言变迁趋势高度趋同，并警示解析器选择会显著影响句法变迁结论。
2024-03-28 cs.AI cs.CL
Semantic coordinates analysis reveals language changes in the AI field
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Surgical Safety Technologies（外科安全技术公司）；Li Ka Shing Knowledge Institute, St Michael’s Hospital（李嘉诚知识研究所，圣迈克尔医院）
语义变化可以反映数百年来信仰的变化，但是否可以在短时间内检测到快速变化的社区的趋势则不太清楚。我们提出了语义坐标分析，这是一种基于语义变化的方法，可以在很短的时间内揭示一个领域的出版物（我们以AI为例）中语言的变化。我们使用GloVe风格的概率比来量化从多个视角的移动方向和范围。我们表明，语义坐标分析可以检测到反映研究兴趣变化的变化（例如，“深度”进一步从“严格”转向“神经”），以及研究活动的发展（例如，“协作”中的“竞争”比“协作”中的“竞争”要少）。
2020-11-01 cs.CL
Model Misalignment and Language Change: Traces of AI-Associated Language in Unscripted Spoken English
本研究通过分析2210万词的无脚本科技播客口语语料，发现2022年ChatGPT发布后LLM相关词汇使用量显著上升，揭示人类口语词汇选择向AI语言模式趋同的趋势，为AI对人类语言系统的影响提供了新证据。
2025-08-01 cs.AI cs.CL
From Individual to Society: A Survey on Social Simulation Driven by Large Language Model-based Agents
Fudan University（复旦大学）；East China Normal University（华东师范大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Shanghai Innovation Institute（上海创新研究院）
本文综述 LLM 智能体驱动的社会模拟，将其划分为个体、场景与社会三类，并梳理架构、任务、评估、数据集、基准及趋势。
2024-12-04 cs.CL cs.CY
You've Changed: Detecting Modification of Black-Box Large Language Models
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
针对黑盒LLM服务行为变化难检测的问题，提出通过比较生成文本的语言与心理语言学特征分布、结合统计检验的监控方法，经多模型验证可有效区分模型变化，还能检测提示注入攻击，无需昂贵基准评估。
2025-04-14 cs.AI cs.CL
Vision-Language Agents for Interactive Forest Change Analysis
本文提出一种基于大语言模型的视觉-语言代理，用于处理遥感图像变化解释任务，通过多级变化解释框架和交互式查询提升森林变化分析的准确性与效率。
2026-03-30 cs.AI cs.CL cs.CV
Deep Sound Change: Deep and Iterative Learning, Convolutional Neural Networks, and Language Change
Department of Linguistics, University of California, Berkeley（加利福尼亚大学伯克利分校语言学系）
本文提出了一种结合深度学习和迭代学习的声音变化建模框架。语音的获取和传输通过在未注释的原始语音数据上训练生成对抗网络（GANs）来建模。本文认为，几个属性的声音变化出现从建议的架构。GANs（Goodfellow et al. 2014 arXiv：1406.2661，Donahue et al. 2019 arXiv：1705.07904）是唯一适合建模语言变化的网络，因为网络是在原始的无监督声学数据上训练的，不包含语言特定的特征，并且正如Beguplant（2020 arXiv：2006.03965）所认为的那样，在其潜在空间中编码语音和音位表示，并生成语言信息丰富的创新数据。第一代网络是在TIMIT的人类语音中的相关序列上训练的。随后的几代不是在TIMIT上训练的，而是在上一代生成的输出上训练的，因此在迭代学习任务中开始相互学习。初始的allophonic分布随着每一代逐渐丢失，这可能是由于来自训练数据中的吸气的全局分布的压力。这些网络显示出语音目标逐渐转移的迹象，这是语音逐渐变化的特征。在端点，输出表面上类似于语音变化--规则丢失。
2021-09-22 cs.CL cs.SD eess.AS
QueerBench: Quantifying Discrimination in Language Models Toward Queer Identities
本研究针对现有NLP偏见研究对酷儿群体关注不足的问题，提出基于模板和MLM任务的评估框架QueerBench，量化英文大语言模型对LGBTQIA+群体的歧视，发现模型对该群体的有害性得分差距达7.2%。
2024-06-18 cs.AI cs.CL cs.CY
Contextualized language models for semantic change detection: lessons learned
University of Oslo（奥斯陆大学）
我们提出了一个定性分析的（可能是错误的）输出的上下文嵌入为基础的方法检测历时语义变化。首先，我们介绍了一种集成方法优于先前描述的上下文方法。这种方法被用来作为一个深入分析的程度，语义变化预测的英语单词跨越50年的基础。我们的研究结果表明，语境化的方法往往可以预测高的变化分数的话，没有经历任何真正的历时语义转变的词典意义上的术语（或至少这些转变的状态是值得怀疑的）。这种挑战性的情况下，详细讨论了与实例，并提出了他们的语言分类。我们的结论是，预训练的上下文化语言模型容易出现词典意义的混淆变化和上下文方差的变化，这自然源于其分布性质，但与基于静态嵌入的方法中观察到的问题类型不同。此外，它们经常合并在一起的语法和语义方面的词汇实体。我们对这些问题提出了一系列可能的未来解决方案。
2022-08-31 cs.CL
Merge-based syntax is mediated by distinct neurocognitive mechanisms: A clustering analysis of comprehension abilities in 84,000 individuals with language deficits across nine languages
UTHealth（德克萨斯大学健康科学中心）；Boston University（波士顿大学）
本研究通过聚类分析84,000名九种语言缺陷个体的理解能力，发现合并句法由三种不同神经认知机制介导，支持合并操作并非单一不可分割的观点。
2025-08-04 cs.CL
Modeling Language Change in Historical Corpora: The Case of Portuguese
Saarland University（萨尔大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；Macquarie University（麦考瑞大学）
本文提出了一些实验来模拟变化的历史葡萄牙语语料库组成的文学文本的时间文本分类的目的。算法进行了训练，以分类文本的出版日期，考虑到词汇的变化表示为词的n元语法，和形态句法的变化表示的词性（POS）分布。我们报告的结果，99.8%的准确率使用字单字功能与支持向量机分类器预测出版日期的文件在一个世纪和半个世纪的时间间隔。进行特征分析，以调查最翔实的功能，为这项任务，以及它们是如何与语言变化。
2016-09-30 cs.CL
Translating and Evolving: Towards a Model of Language Change in DisCoCat
Graduate Center, CUNY（纽约市立大学研究生中心）；ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）；UC Riverside（加州大学河滨分校）；UC San Diego（加州大学圣地亚哥分校）
Coecke et al.（2010）提出的范畴成分分布（DiscoCat）意义模型在意义的各个方面都取得了成功。然而，它未能模拟语言可以改变的事实。我们提供了一种方法，使我们能够代表语言模型和它们之间的翻译，使我们能够描述从一种语言到另一种语言的翻译，或在同一语言的变化。我们统一了（Coecke et al.，2010）和（Kartsaklis等人，2013），在某种程度上，允许我们将语言视为意义的目录。我们形式化的概念，一个词汇在DiscoCat，并定义了一个字典的意义之间的两个词汇。所有这些都是在monoidal范畴的框架内完成的。我们给出了如何应用我们的方法的例子，并给出了一个具体的建议，成分在语料库中的翻译。
2018-11-08 cs.AI cs.CL math.CT
Semantic Change Detection for the Romanian Language
University Politehnica of Bucharest（布加勒斯特理工大学）
本研究针对罗马尼亚语语义变化检测问题，分析构建Word2Vec、ELMo两类词嵌入模型的不同策略，在英语及罗马尼亚语数据集上实验，明确了低资源语言语义变化特征及影响检测效果的核心因素。
2023-08-23 cs.AI cs.CL
Detecting Harmful Online Conversational Content towards LGBTQIA+ Individuals
Michigan State University（密歇根州立大学）
在线讨论、小组讨论、讨论页编辑等，经常包含有害的会话内容即，仇恨言论、死亡威胁和攻击性语言，特别是针对某些人口群体的语言。例如，识别为LGBTQIA+社区和/或BIPOC（黑人，土著人，有色人种）成员的个人在网上遭受虐待和骚扰的风险更高。在这项工作中，我们首先介绍了一个真实世界的数据集，这将使我们能够研究和理解有害的在线会话内容。然后，我们进行了一些探索性的数据分析实验，以从数据集中获得更深入的见解。我们稍后描述了我们用于检测有害的在线反LGBTQIA+对话内容的方法，最后，我们实现了两个基线机器学习模型（即，支持向量机和逻辑回归），并微调3个预训练的大语言模型（BERT、RoBERTa和Hate BERT）。我们的研究结果验证了大语言模型在检测在线反LGBTQIA+会话内容检测任务上可以实现非常有前途的性能。
2022-06-15 cs.CL
Exploring the Structure of AI-Induced Language Change in Scientific English
Florida State University（佛罗里达州立大学）
本研究基于PubMed摘要分析AI引发的科学英语词频变化，发现激增词带动整个语义簇共同增加，表明变化主要为语义和语用层面，而骤降词则呈现更复杂的有机变化模式。
2025-06-26 cs.AI cs.CL
