Eliciting Chain-of-Thought in Base LLMs via Gradient-Based Representation Optimization
Zijian Wang, Yanxiang Ma, Chang Xu（作者）
本文提出了一种基于概率条件生成的隐藏状态优化方法，通过梯度优化提升基础LLM的链式思维推理能力，有效解决隐藏状态操纵中的分布偏移问题。
2025-11-24 cs.CL
Meta-Task Prompting Elicits Embeddings from Large Language Models
University of Amsterdam（阿姆斯特丹大学）；University of Maryland（马里兰大学）；University of Technology Sydney（悉尼科技大学）；Microsoft Corporation（微软公司）；Tencent IEG（腾讯互动娱乐事业群）
本文提出MetaEOL方法，通过元任务提示从大型语言模型生成无监督句子嵌入，无需微调，在STS基准和下游任务中表现优异，并揭示新的缩放定律。
2024-07-22 cs.CL
A Survey of LLM Prompt Datasets: Taxonomy, Linguistic Patterns, and Practical Uses
School of Computer Science and Technology（计算机科学与技术学院）；Beijing Jiaotong University（北京交通大学）；Department of Computer Science（计算机科学系）；Aalborg University（奥尔堡大学）
本文深入分析了129个异构LLM提示数据集，通过多层级语言分析揭示提示与一般文本的区别模式，并通过三个下游实验验证了提示过滤、领域分类和提示质量预测的实用性。
2026-08-28 cs.CL cs.LG
PromptPrism: A Linguistically-Inspired Taxonomy for Prompts
Amazon AWS（亚马逊AWS）
PromptPrism通过语言学启发的分类法，为提示的结构、语义和语法分析提供系统框架，提升提示优化和性能评估的效率。
2026-01-23 cs.CL
GrACE: A Generative Approach to Better Confidence Elicitation and Efficient Test-Time Scaling in Large Language Models
Queen Mary University of London（伦敦玛丽女王大学）
本文提出GrACE，一种生成方法，用于改进大语言模型的置信度 elicitation 和测试时的高效扩展，通过实时计算隐藏状态与特殊标记嵌入的相似性，实现可靠且可扩展的置信度评估。
2026-04-07 cs.CL
Cross-Dialect Sentence Transformation: A Comparative Analysis of Language Models for Adapting Sentences to British English
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
本研究比较了不同语言模型将美式、印度和爱尔兰英语方言转换为英式英语的能力，发现印度和爱尔兰英语翻译与英式英语相似度较高，而美式英语略低；Llama-2-70b表现最佳，强调了模型选择对翻译质量的关键作用。
2023-11-05 cs.AI cs.CL
It's How You Ask: Gender-Associated Linguistic Bias in LLMs
该研究发现LLMs会因提示中女性常用的语言特征生成更短欠正式的回应，其影响远大于明确性别线索，且事后缓解困难，呼吁关注语言变异以缓解LLM介导职场交流的差异化影响。
2026-08-14 cs.AI cs.CL
Mining Large Language Models for Low-Resource Language Data: Comparing Elicitation Strategies for Hausa and Fongbe
Carnegie Mellon University Africa（卡内基梅隆大学非洲分校）；Centre for Text Technology（文本技术中心）；North-West University（北开普大学）；South Africa（南非）
本文研究通过策略性提示从LLM中提取可用于Hausa和Fongbe两种西非语言的文本数据，发现Hausa需功能性文本和对话，而Fongbe需受限生成提示，GPT-4o Mini在提取目标语言词汇上表现更优。
2026-04-14 cs.AI cs.CL
Say It Differently: Linguistic Styles as Jailbreak Vectors
Independent Researcher（独立研究者）
本研究探究语言风格作为越狱向量的攻击面，构建风格增强越狱基准并评估模型，发现风格重构可大幅提升越狱成功率，同时提出风格中性化预处理步骤缓解该问题，揭示当前安全管道漏洞。
2025-11-13 cs.AI cs.CL
Semantics or spelling? Probing contextual word embeddings with orthographic noise
Cornell University（康奈尔大学）
通过向输入单词引入单字符交换的正字法噪声，发现预训练语言模型生成的上下文词嵌入对噪声高度敏感，且敏感性与子词分词相关，表明这些表示可能不是可靠的语义代理。
2024-08-08 cs.CL
Eliciting the Translation Ability of Large Language Models via Multilingual Finetuning with Translation Instructions
Bytedance Research（字节跳动研究院）；Nanjing University（南京大学）
本研究通过对XGLM-7B进行带翻译指令的多语言微调与分析，揭示多语言LLM翻译能力的影响因素与指令执行机制，证实微调可提升其对未见语言对的翻译表现。
2024-04-15 cs.CL
mPLM-Sim: Better Cross-Lingual Similarity and Transfer in Multilingual Pretrained Language Models
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Institute of Informatics, LMU Munich（慕尼黑大学信息学研究所）；Konrad Zuse School of Excellence in Reliable AI（康拉德·祖斯可靠人工智能卓越学院）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高级技术学院）；Unbabel（Unbabel公司）；Instituto de Telecomunicações（电信研究所）
本文提出mPLM-Sim语言相似性度量，利用多平行语料库从多语言预训练模型中归纳跨语言相似性，并证明其能比传统语言学度量更有效地选择源语言，提升零样本跨语言迁移性能1%-2%。
2024-07-05 cs.CL
Cross-Linguistic Transfer in Multilingual NLP: The Role of Language Families and Morphology
Rensselaer Polytechnic Institute（伦斯勒理工学院）
该研究从语系与形态学视角探究多语言NLP的跨语言迁移，分析语系亲缘度、形态相似性及语言距离对迁移效果的影响，并梳理融入类型学与形态信息的预训练新兴方法。
2025-05-20 cs.CL
GiBERT: Introducing Linguistic Knowledge into BERT through a Lightweight Gated Injection Method
The Alan Turing Institute（艾伦·图灵研究所）；University of Warwick（华威大学）；Imperial College London（伦敦帝国理工学院）；Queen Mary University of London（伦敦玛丽女王大学）
像BERT这样的大型预训练语言模型是最近许多NLP任务改进背后的驱动力。然而，BERT只被训练来预测缺失的单词-无论是在面具后面还是在下一个句子中-并且除了通过无监督的预训练获得的信息之外，没有词汇，句法或语义信息的知识。我们提出了一种新的方法来显式地将语言知识以词嵌入的形式注入到预训练的BERT的任何层中。当注入基于依赖性和反拟合嵌入时，我们在多个语义相似性数据集上的性能改进表明这些信息是有益的，并且目前在原始模型中缺失。我们的定性分析表明，反拟合嵌入注入特别有助于涉及同义词对的情况下。
2020-10-23 cs.CL
Can LLMs Interpret and Leverage Structured Linguistic Representations? A Case Study with AMRs
University of Colorado Boulder（科罗拉多大学博尔德分校）；Northwestern University（西北大学）
本文研究了大型语言模型在结构化语言表示下的表现，发现短文任务中添加AMR会降低性能，但长文任务如对话摘要能提升模型表现，尤其在大模型中效果更显著。
2025-06-27 cs.CL
Focusing Condition: Inference-Time Self-Contrastive Steering Elicits Better Conditional Text Embeddings in LLMs
本文提出推理时自对比引导（SCS）方法，通过构建无条件嵌入并干预注意力机制，提升大语言模型的条件文本嵌入质量，无需训练且即插即用。
2026-09-29 cs.CL
Profiling Patient Transcript Using Large Language Model Reasoning Augmentation for Alzheimer's Disease Detection
Inventec Corporation（英业达股份有限公司）
提出利用大语言模型推理增强的患者转录分析框架，系统提取语言缺陷属性并整合到Albert模型，在ADReSS数据集上显著提升AD检测准确率和F1，增强可解释性。
2024-09-19 cs.CL
Scale, Drivers, and Limits of Representational Alignment Across Large Language Models
University of California, San Diego（加利福尼亚大学圣迭戈分校）
该研究针对大型语言模型的表征对齐问题，提出NW-RSA与CF-RSA方法，发现模型粗粒度几何对齐强但局部邻域分歧大，逻辑范围变化对对齐影响最显著，修正了表征普遍性的相关结论。
2026-10-14 cs.AI cs.CL
Evaluating the Effectiveness of Linguistic Knowledge in Pretrained Language Models: A Case Study of Universal Dependencies
Minzu University of China（中央民族大学）
本文通过将通用依存关系（UD）集成到预训练语言模型中，研究其在跨语言对抗性释义识别任务上的效果，发现UD能显著提升准确率和F1分数，并缩小与大型语言模型的差距，证明了UD在域外任务中的有效性。
2025-06-05 cs.CL
Benchmarking Adversarial Robustness to Bias Elicitation in Large Language Models: Scalable Automated Assessment with LLM-as-a-Judge
University of Calabria（卡利博利亚大学）
提出可扩展基准框架，用LLM-as-a-Judge评估LLM对抗性偏见诱导的鲁棒性，发布CLEAR-Bias数据集，发现偏见韧性不均且无模型完全鲁棒。
2025-10-16 cs.AI cs.CL
Inductive Linguistic Reasoning with Large Language Models
Greenwich High School（格林威治高中）；University of Pennsylvania（宾夕法尼亚大学）
本文通过极低资源语言谜题研究大语言模型的抽象多语言推理能力，提出两阶段类比提示方法，有效提升GPT-4o和Llama-3.1-405B-Instruct等模型在modeLing和LINGOLY数据集上的推理性能。
2024-12-09 cs.AI cs.CL
Human Variability vs. Machine Consistency: A Linguistic Analysis of Texts Generated by Humans and Large Language Models
University of Konstanz（康斯坦茨大学）
本文基于M4数据集和250个语言特征，结合LFTK、句法深度、语义与情感度量及PCA分析，识别人类与LLM文本在特征变异性、认知负荷和内容丰富度上的差异。
2024-12-04 cs.CL
When Abundance Conceals Weakness: Knowledge Conflict in Multilingual Models
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Hangzhou Dianzi University（杭州电子科技大学）
研究提出CLEAR框架，分析多语言模型在跨语言知识冲突中的解决机制，揭示任务类型对冲突解决的影响，显示语言资源丰富度与语言亲和力在不同任务中的决定性作用。
2026-01-11 cs.CL
FPT: Feature Prompt Tuning for Few-shot Readability Assessment
Peking University（北京大学）；National Key Laboratory for Multimedia Information Processing（多媒体信息处理国家重点实验室）；School of Software and Microelectronics, Peking University（北京大学软件与微电子学院）；School of Computer Science, Peking University（北京大学计算机学院）
针对少样本可读性评估中传统提示缺乏语言知识、语言特征利用不稳健的问题，提出 FPT 框架，将语言特征注入可训练软提示并用新损失校准类别排序，显著优于现有提示方法、语言特征方法及 gpt-3.5-turbo-16k。
2024-04-10 cs.CL
A Proposal for Linguistic Similarity Datasets Based on Commonality Lists
Queen Mary University of London（伦敦玛丽女王大学）
相似性是心理学和语言学的两个分支（理论和计算）中使用的核心概念。来自这两个领域的相似性数据集在设计上有所不同：心理数据集集中在某个主题上，如水果名称，而语言数据集包含来自不同类别的单词。后者使人类对没有共同点的单词和意义上有差异的单词分配低相似性分数，使相似性分数模糊不清。在这项工作中，我们讨论了多类别数据集的相似性收集过程，避免得分模糊，并建议改变评估程序，以反映心理文献的见解，单词，短语和句子的相似性。我们建议要求人类提供一个共同点和差异的列表，而不是数值相似性分数，并采用人类判断的结构，超越成对相似性模型评估。我们相信，所提出的方法将产生的数据集，测试的意义表示模型更彻底的人类治疗的相似性。
2016-06-17 cs.CL
One Model, Many Morals: Uncovering Cross-Linguistic Misalignments in Computational Moral Reasoning
University of Michigan（密歇根大学）
本研究通过将道德推理基准翻译成五种语言，系统评估了LLMs的跨语言道德判断，发现显著不一致和文化错位，并提炼出道德推理错误类型学，呼吁更具文化意识的AI。
2026-09-29 cs.AI cs.CL
Token Prepending: A Training-Free Approach for Eliciting Better Sentence Embeddings from LLMs
State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）
本文提出免训练的Token Prepending技术，通过将各层解码的句子嵌入前置到下一层输入开头，缓解因果注意力导致的前序token信息偏差，从而在多种LLMs和任务上显著提升基于提示的句子嵌入性能。
2025-07-03 cs.AI cs.CL
Visio-Linguistic Brain Encoding
INRIA（法国国家信息与自动化研究所）；IIIT Hyderabad（印度海得拉巴国际信息技术学院）；Microsoft（微软）
实现有效的脑机接口需要了解人类大脑如何编码刺激跨模态，如视觉，语言（或文本）等。大脑编码的目的是构建功能磁共振成像大脑活动的刺激。存在过多的神经编码模型，它们研究单一模式刺激的大脑编码：视觉（预训练的CNN）或文本（预训练的语言模型）。最近的一些论文也获得了单独的视觉和文本表示模型，并使用简单的算法进行后期融合。然而，以前的工作未能探索：（a）图像Transformer模型编码视觉刺激的有效性，以及（b）视觉和文本推理的共同关注多模态建模。在本文中，我们系统地探讨了图像Transformers（ViT，DEiT和BEiT）和多模态Transformers（VisualBERT，LXMERT和CLIP）对大脑编码的有效性。在两个流行的数据集BOLD 5000和Pereira上进行的广泛实验提供了以下见解。(1)据我们所知，我们是第一个调查图像和多模态Transformers的大脑编码的有效性。(2)我们发现，VisualBERT，多模态Transformer，显着优于以前提出的单模CNN，图像Transformers以及其他以前提出的多模态模型，从而建立新的国家的最先进的。至高无上的语言模型提出了一个问题，即使被动地观看图像的视觉区域引起的反应是否隐含的语言处理的影响。未来的fMRI任务可以在适当的实验环境中验证这种计算洞察力。
2022-04-18 cs.AI cs.CL cs.CV
Position-based Prompting for Health Outcome Generation
University of Liverpool（利物浦大学）；Amazon（亚马逊）
使用提示来探测预训练的语言模型（PLMs）间接地暗示了语言模型（LM）可以被视为知识库。为此，这一现象一直是有效的，特别是当这些LM不仅针对特定领域的数据，而且还针对提示本身的风格或语言模式进行微调时。我们观察到，在提示中满足特定的语言模式是一个不可持续的约束，不必要地延长了探测任务，特别是因为，它们往往是手动设计的，可能的提示模板模式的范围可以根据提示的目标和域而变化。因此，我们探索了一种想法，使用位置-注意力机制，以捕获的位置信息的每个词在提示相对于掩码填充，从而避免了需要重新构建提示时，提示的语言模式的变化。使用我们的方法，我们证明了罕见的提示模板（在健康结果生成的案例研究），如后缀和混合模式，其缺失的信息分别在开始和多个随机的地方的提示引出答案的能力。更重要的是，使用各种生物医学PLM，我们的方法始终优于默认掩码语言模型（MLM）表示用于预测掩码令牌的基线。
2022-03-30 cs.CL cs.LG
HFL at SemEval-2022 Task 8: A Linguistics-inspired Regression Model with Data Augmentation for Multilingual News Similarity
iFLYTEK Research（科大讯飞研究院）；Harbin Institute of Technology（哈尔滨工业大学）
本文介绍了我们为SemEval-2022任务8：多语言新闻文章相似性设计的系统。我们提出了一个受语言学启发的模型，使用一些特定于任务的策略进行训练。系统的主要技术有：1）数据增强，2）多标记丢失，3）自适应R-Drop，4）首尾结合的样本重建。并对双塔建筑等一些消极的设计方法作了简要的分析。我们的系统在排行榜上排名第一，同时在官方评估集上实现了0.818的Pearson相关系数。
2022-04-11 cs.CL
Zero-shot cross-lingual transfer language selection using linguistic similarity
Kitami Institute of Technology（北见工业大学）
我们研究了不同的自然语言处理任务，特别是情感分析，命名实体识别和依存句法分析的转换语言的选择。为了选择最佳的转换语言，我们建议利用不同的语言相似性度量来衡量语言之间的距离，并根据这些信息而不是依靠直觉来选择转换语言。我们证明，语言相似性与跨语言迁移性能的所有建议的任务。我们还表明，有一个统计上的显着差异，在选择最佳的语言作为转移源，而不是英语。这使我们能够选择一种更合适的传输语言，可以用来更好地利用高资源语言的知识，以提高缺乏数据的语言应用程序的性能。在这项研究中，我们使用了来自三个语系的八种不同语言的数据集。
2023-01-31 cs.CL
Towards explainable evaluation of language models on the semantic similarity of visual concepts
National Technical University of Athens（雅典国立技术大学）
NLP研究的最新突破，例如Transformer模型的出现，无可争议地促进了几项任务的重大进展。然而，很少有研究的鲁棒性和可解释性问题的评价策略。在这项工作中，我们研究了高性能的预训练语言模型的行为，重点是视觉词汇表的语义相似性的任务。首先，我们解决了需要解释的评价指标，必要的理解检索实例的概念质量。我们提出的指标提供了宝贵的见解，在当地和全球层面上，展示了广泛使用的方法的无能。其次，对抗性干预显着的查询语义暴露不透明的指标和突出学习的语言表示模式的漏洞。
2022-09-08 cs.AI cs.CL
Picking BERT's Brain: Probing for Linguistic Dependencies in Contextualized Embeddings Using Representational Similarity Analysis
Johns Hopkins University（约翰斯·霍普金斯大学）
顾名思义，语言的语境化表征通常是由它们编码语境的能力所激发的。这些表征捕捉了上下文的哪些方面？我们介绍了一种方法来解决这个问题，使用代表性相似性分析（RSA）。作为案例研究，我们调查在何种程度上动词嵌入编码动词的主语，代词嵌入编码代词的先行词，和一个完整的句子表示编码句子的头词（由依赖分析确定）。在所有情况下，我们表明，BERT的语境化嵌入反映了正在研究的语言依赖性，并且BERT编码这些依赖性在更大程度上比它编码更少的语言突出的控制。这些结果表明，我们的方法之间的假设，哪些方面的情况下编码的语言表示进行裁决的能力。
2020-11-24 cs.CL
"You Are An Expert Linguistic Annotator": Limits of LLMs as Analyzers of Abstract Meaning Representation
Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
本文通过零/少样本直接解析与自然语言查询两种设置评估 GPT-3、ChatGPT 和 GPT-4 的 AMR 分析能力，发现其虽能捕捉基本语义结构，但完全准确解析成功率近乎为零。
2023-12-11 cs.AI cs.CL
Llamas Know What GPTs Don't Show: Surrogate Models for Confidence Estimation
Stanford University（斯坦福大学）
本研究提出结合语言询问与代理模型概率的方法，以估计无法访问softmax概率的LLM（如GPT-4）的置信度，在12个问答数据集上达到84.6%的平均AUC，优于单独方法。
2023-11-15 cs.CL cs.LG
Analyzing the Effect of Linguistic Similarity on Cross-Lingual Transfer: Tasks and Experimental Setups Matter
Munich Center for Machine Learning（慕尼黑机器学习中心）；Apple（苹果公司）
该研究针对263种多语系语言和三类NLP任务分析跨语言迁移，发现语言相似性对迁移性能的影响受任务类型、输入表示形式及相似性定义等因素制约。
2025-05-21 cs.CL
Language models align with human judgments on key grammatical constructions
Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University（哈佛大学坎普ner自然与人工智能研究所）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Georgia Tech（佐治亚理工学院）；Massachusetts Institute of Technology（麻省理工学院）
本文重新评估了Dentella等人关于LLMs无法区分语法性的结论，通过采用成熟实践发现LLMs不仅能高准确率判断语法性，还能捕捉人类判断的细粒度变异。
2024-08-30 cs.AI cs.CL
Reinforcement Learning with Metacognitive Feedback Elicits Faithful Uncertainty Expression in LLMs
Yale University（耶鲁大学）；Google Research（谷歌研究院）
提出强化学习与元认知反馈（RLMF）和元认知数据选择方法，通过模型自我判断质量优化偏好学习，实现忠实校准（FC），在保持准确性的同时显著提升LLM不确定性表达的忠实度。
2026-10-14 cs.AI cs.CL
A Neural Network-Based Linguistic Similarity Measure for Entrainment in Conversations
University of Pittsburgh（匹兹堡大学）；Microsoft Corporation, Redmond（微软公司）
语言夹带是指人们在交谈中相互模仿的现象。量化夹带的核心工具是会话伙伴之间的语言相似性度量。目前的相似性度量大多基于词袋法，这种方法依赖于语言标记，忽略了语言的整体结构和对话语境。为了解决这个问题，我们建议使用一个神经网络模型来执行夹带的相似性度量。我们的模型是上下文感知的，它进一步利用一个新的组件来学习跨对话的共享高级语言特征。我们首先研究我们的新组件的有效性。然后，我们使用该模型进行基于语料库的夹带分析中的相似性度量。我们观察到这两个评价任务的可喜成果。
2021-09-04 cs.CL cs.LG
A study of conceptual language similarity: comparison and evaluation
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））
本研究详细探讨并评估了基于基本概念表示的语言相似性新方法，并在二分类任务上验证了其有效性。
2023-05-22 cs.CL
Does It Capture STEL? A Modular, Similarity-based Linguistic Style Evaluation Framework
Utrecht University（乌得勒支大学）
风格是自然语言的组成部分。然而，评估方法的风格措施是罕见的，往往是特定的任务，通常不控制的内容。我们提出了模块化，细粒度和内容控制的相似性为基础的风格评估框架（STEL），以测试任何模型的性能，可以比较两个句子的风格。我们用风格的两个一般维度（正式/非正式和简单/复杂）以及风格的两个具体特征（压缩和替代）来说明STEL。我们发现，基于BERT的方法优于简单版本的常用的风格措施，如3克，标点符号频率和基于LIWC的方法。我们邀请向STEL添加更多的任务和任务实例，并希望促进风格敏感措施的改进。
2021-09-10 cs.CL
LLM The Genius Paradox: A Linguistic and Math Expert's Struggle with Simple Word-based Counting Problems
University of Southern California（南加州大学）
本文通过多组评估验证了 LLM 在简单单词计数任务上失败并非源于 tokenization、架构或训练数据等固有缺陷，并证明引导推理比微调和上下文学习更能稳健高效地提升计数表现。
2025-02-06 cs.AI cs.CL
Representational Similarity Alignment of Figurative Language in Humans and Large Language Models
本文研究了LLM在解读隐喻性语言方面是否能像人类一样，发现GPT-4在表征层面最接近人类，但所有模型在处理讽刺、俚语和隐喻时均表现不佳。
2026-10-14 cs.AI cs.CL
Derivational Morphology Reveals Analogical Generalization in Large Language Models
Allen Institute for AI（艾伦人工智能研究所）；LMU Munich（慕尼黑大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Oxford（牛津大学）
研究通过英语形容词名词化派生形态学，引入新方法比较认知模型与 GPT-J 的预测，发现类比模型比基于规则的模型更能解释 LLMs 在可变模式上的泛化行为，表明类比过程在 LLMs 语言泛化中作用更大。
2024-11-12 cs.AI cs.CL cs.LG
AgentGroupChat: An Interactive Group Chat Simulacra For Better Eliciting Emergent Behavior
Fudan University（复旦大学）；Rhine AI（莱茵人工智能公司）；Shanghai University of Engineering and Science（上海工程技术大学）；Xiaohongshu Inc.（小红书公司）；Fudan-Aishu Cognitive Intelligence Joint Research Center（复旦-爱数认知智能联合研究中心）
本文提出AgentGroupChat交互式群聊模拟器，通过言语策略智能体模拟多角色动态辩论，揭示语言、人设与策略适应性如何共同激发集体涌现行为。
2024-04-04 cs.AI cs.CL cs.CY
Dialect vs Demographics: Quantifying LLM Bias from Implicit Linguistic Signals vs. Explicit User Profiles
University of Washington（华盛顿大学）
研究通过对比显式身份声明与隐含方言信号，揭示LLM在不同敏感领域中的偏见来源，发现隐含方言可降低拒绝率但影响内容安全。
2026-04-22 cs.AI cs.CL cs.CY
Cross-Cultural Similarity Features for Cross-Lingual Transfer Learning of Pragmatically Motivated Tasks
Carnegie Mellon University（卡内基梅隆大学）；Seoul National University（首尔国立大学）；Sogang University（西江大学）
跨语言迁移学习的许多工作都在探索如何为多语言任务选择更好的迁移语言，主要集中在语言之间的类型和谱系相似性上。我们假设，这些措施的语言接近是不够的，当与语用动机的任务，如情感分析。作为一种替代方案，我们引入三个语言特征，捕捉跨文化的相似性，体现在语言模式和量化不同方面的语言语用：语言上下文层次，比喻语言，和情感概念的形化。我们的分析表明，所提出的语用特征捕捉跨文化的相似性，并与现有的工作在社会语言学和语言人类学。我们进一步证实了在跨语言情感分析中选择迁移语言的下游任务中语用驱动迁移的有效性。
2021-04-08 cs.CL
Disentangling the Linguistic Competence of Privacy-Preserving BERT
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
本研究通过解释技术分析差分隐私对BERT内部表示的影响，发现其降低整体相似性并损害跨词上下文的语言能力。
2023-10-17 cs.CL
Computational analyses of linguistic features with schizophrenic and autistic traits along with formal thought disorders
NAIST（奈良先端科学技术大学院大学）
本研究通过日语音频报告数据集，利用机器学习分析语言特征，探究分裂型与自闭症特质及形式思维障碍的关系，发现功能词和抽象、时间特征对FTD估计关键，且内容词在不同预测中作用不同。
2023-10-14 cs.CL
Explainable Authorship Verification in Social Media via Attention-based Similarity Learning
Ruhr University Bochum（波鸿鲁尔大学）；Bucknell University（巴克内尔大学）
作者身份验证是分析两个或多个文本的语言模式，以确定它们是否由同一作者撰写的任务。传统上，分析是由考虑语言特征的专家进行的，这些特征包括拼写错误，语法不一致和文体。另一方面，机器学习算法可以被训练来完成相同的任务，但传统上依赖于所谓的风格特征。这些功能的缺点是，它们的可靠性大大降低了简短和主题不同的社交媒体文本。在这项跨学科的工作中，我们提出了一个最近发表的分层连体神经网络的方法，它是可行的学习神经功能和可视化的决策过程的实质性扩展。为了这个目的，一个新的大规模语料库的短亚马逊评论文本比较研究的编译，我们表明，暹罗网络拓扑结构优于国家的最先进的方法，建立在风格特征。我们对网络内部注意力权重的语言分析表明，所提出的方法确实能够抓住一些传统的语言类别。
2019-11-19 cs.CL
Exploring Linguistic Similarity and Zero-Shot Learning for Multilingual Translation of Dravidian Languages
PES University（PES大学）
本文利用音译和语言相似性构建单编码器-解码器模型，在达罗毗荼语系多语言翻译中实现零样本翻译，并在50%语言方向上训练时达到与大规模枢轴模型相差3 BLEU以内的性能。
2023-08-10 cs.CL cs.CV
Patterns of Persistence and Diffusibility across the World's Languages
Aalborg University（奥尔堡大学）
本研究构建了包含1,966种语言多维度数据的大规模图谱，通过探索基因稳定性和接触诱导变化，揭示了跨语言同词化与语音相似性的成因，为多语言NLP和比较语言学提供了资源。
2024-01-05 cs.CL
Cross-neutralising: Probing for joint encoding of linguistic information in multilingual models
University of Amsterdam（阿姆斯特丹大学）；ILLC（语言逻辑与计算研究所）
多语言句子编码器广泛用于跨语言传输NLP模型。然而，这种转移的成功取决于模型对跨语言相似性和变化模式进行编码的能力。然而，人们对这些模型如何做到这一点知之甚少。我们提出了一个简单的方法来研究语言之间的关系是如何编码在两个国家的最先进的多语言模型（即M-BERT和XLM-R）。研究结果提供了深入了解他们的信息共享机制，并建议在这些模型中，语言属性是在类型相似的语言中联合编码的。
2021-03-13 cs.CL
CommonMorph: Participatory Morphological Documentation Platform
CommonMorph通过专家定义、贡献者 elicitation 和社区验证三阶段方法，简化形态学数据收集，支持多种形态学系统，提供开源设计和UniMorph兼容输出，用于保护语言多样性。
2026-04-06 cs.CL
