The formation of perceptual space in early phonetic acquisition: a cross-linguistic modeling approach
The University of Hong Kong（香港大学）
本研究通过跨语言建模方法，利用自编码器在无上下文声学信息上进行无监督训练，发现母语与非母语条件能形成可比的感知空间表示，揭示了早期语音习得中感知空间与语音类别的形成机制。
2024-07-26 cs.CL cs.LG cs.SD
Modeling Color Terminology Across Thousands of Languages
Johns Hopkins University（约翰斯·霍普金斯大学）
有一个广泛的学术史，什么构成了一个“基本”的颜色词，以及一个广泛证明的收购序列的基本颜色词在许多语言中，阐述了在柏林和凯（1969年）的开创性工作。本文采用了一套不同的措施，大量的跨语言数据的操作和批评柏林和凯的颜色词假设。总的来说，我们设计的14个基于语义的计算语言学指标-以及它们的聚合-与柏林和凯的基本/次要颜色项分区（伽马=0.96）及其假设的通用获取序列密切相关。测量和结果提供了来自计算语言学的进一步经验证据来支持他们的主张，以及额外的细微差别：他们建议将分区视为光谱而不是二分法。
2019-10-03 cs.CL
A Bayesian account of pronoun and neopronoun acquisition
本文提出基于nCRFP的概率图模型，用于建模代词和新代词的灵活获取，以实现对queer人群的尊重与灵活性。
2025-04-03 cs.CL
Temporal Common Sense Acquisition with Minimal Supervision
University of Pennsylvania（宾夕法尼亚大学）；Allen Institute for AI（艾伦人工智能研究所）
时间常识（例如，事件的持续时间和频率）对于理解自然语言至关重要。然而，它的获取是具有挑战性的，部分原因是这些信息往往没有明确地表达在文本中，并且人类对这些概念的注释是昂贵的。这项工作提出了一种新的序列建模方法，利用显式和隐式提到的时间常识，从一个大型语料库中提取，建立TACOLM，时间常识语言模型。我们的方法被证明是给质量预测的各种维度的时间常识（UDST和一个新收集的数据集从RealNews）。它还产生表示的相关任务，如持续时间比较，父子关系，事件相互引用和时间QA（在TimeBank，HiEVE和MCTACO），比使用标准的BERT更好。因此，它将是时态NLP的重要组成部分。
2020-05-08 cs.CL
Language Modeling with Power Low Rank Ensembles
Carnegie Mellon University（卡内基梅隆大学）
我们提出了功率低秩集合（PLRE），一个灵活的框架，用于n元语言建模，其中低秩矩阵和张量的集合用于获得平滑的概率估计的话在上下文中。我们的方法可以理解为n-gram建模到非整数n的推广，并且包括标准技术，例如绝对折扣和Kneser-Ney平滑作为特殊情况。PLRE训练是有效的，我们的方法在大型语料库的困惑度以及下游机器翻译任务中的BLEU得分方面优于最先进的修改后的Kneser Ney基线。
2014-10-03 cs.CL cs.LG stat.ML
Deep Temporal Modeling and Ensemble Fusion for Multimodal Emotion Recognition from Physiological Signals
Howard University（霍华德大学）
本研究评估LSTM、TCN和Transformer在WESAD数据集上的多模态情感识别性能，通过消融实验和传感器级早期融合，并采用晚期融合集成策略，最终集成方法达到98.91%准确率和98.56%宏F1分数。
2026-06-16 cs.CL
Towards Interactive Language Modeling
University of Amsterdam（阿姆斯特丹大学）；Meta AI Labs（Meta人工智能实验室）
照顾者和儿童之间的互动在人类语言习得和发展中起着至关重要的作用。鉴于这一观察结果，显式交互在人工语言建模中几乎没有作用是值得注意的-这也是针对人类语言的习得，但通过人工模型。此外，语言建模的交互式方法有可能使语言模型变得更加通用，并对下游应用产生相当大的影响。出于这些考虑，我们开拓了交互式语言建模的空间。作为第一个贡献，我们提出了一个路线图，我们在其中详细说明了需要采取的步骤，以实现交互式语言建模。然后，我们以身作则，在这一路线图上迈出第一步，展示我们方法的初步可行性。因此，这项工作旨在成为交互式语言建模更大研究议程的开始。
2022-09-28 cs.AI cs.CL
Towards Collaborative Plan Acquisition through Theory of Mind Modeling in Situated Dialogue
University of Michigan（密歇根大学）；Massachussets Institute of Technology（麻省理工学院）
本文研究情境对话中的协作计划获取问题，提出基于感知和对话历史预测自身及伙伴缺失知识的计算策略，发现预测伙伴缺失知识并显式建模其对话行为与心智状态效果更优。
2023-05-18 cs.AI cs.CL cs.CV
BERT-based Ensembles for Modeling Disclosure and Support in Conversational Social Media Text
Netaji Subhas Institute of Technology（内塔吉·苏巴斯理工学院）；International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
人们越来越有兴趣了解人类如何发起和进行对话。会话的情感理解关注的是说话者如何利用情感对情景和彼此做出反应的问题。在CL-Aff共享任务中，组织者发布了Get it #OffMyChest数据集，其中包含来自休闲和忏悔对话的Reddit评论，标记为披露和保密特征。在本文中，我们介绍了一个预测集成模型，利用微调的上下文词嵌入，罗伯特和阿尔伯特。我们表明，我们的模型在所有考虑的指标优于基础模型，实现了$3\%$的F1分数的改善。我们进一步进行统计分析，并概述对给定数据集的更深入见解，同时为数据集提供新的影响特征。
2020-06-01 cs.CL cs.SI
Automatic Personality Prediction; an Enhanced Method Using Ensemble Modeling
University of Tabriz（大不里士大学）
人的个性在很大程度上由他/她在演讲或写作中使用的词语来体现。由于信息基础设施（特别是互联网和社交媒体）的普及，人类的通信方式发生了显著的变革，不再是面对面的通信。通常，自动个性预测（或感知）（APP）是对不同类型的人类生成/交换的内容（如文本、语音、图像、视频等）的个性的自动预测。本研究的主要目的是提高APP从文本的准确性。为此，我们提出了五种新的APP方法，包括基于词频向量、基于本体、基于丰富本体、基于潜在语义分析（LSA）和基于深度学习（BiLSTM）的方法。这些方法作为基础，通过基于分层注意力网络（HAN）作为元模型的集成建模（堆叠），相互促进，以提高APP的准确性。结果表明，集成建模提高了APP的准确性。
2022-06-08 cs.AI cs.CL cs.LG
Deep Bayesian Active Learning for Preference Modeling in Large Language Models
University of Oxford（牛津大学）
针对大语言模型偏好标注成本高的问题，提出新型贝叶斯主动学习策略BAL-PM，通过兼顾高不确定性样本与提示分布熵减少冗余采集，实验显示其所需标签量较现有方法降低33%-68%。
2024-10-28 cs.CL cs.LG stat.ML
OptiHive: Ensemble Selection for LLM-Based Optimization via Statistical Modeling
针对基于大语言模型的优化求解器可靠性差、延迟高的问题，提出OptiHive框架，通过批量生成多类组件、统计建模筛选最优求解器，在复杂优化任务上大幅提升最优率。
2025-11-16 cs.AI cs.CL
EfficientCLIP: Efficient Cross-Modal Pre-training by Ensemble Confident Learning and Language Modeling
Kuaishou Technology（快手科技）；Zhongnan University of Economics and Law（中南财经政法大学）；Zhejiang University（浙江大学）
虽然大规模的学前教育在弥合视觉和语言之间的差距方面取得了巨大的成就，但它仍然面临着一些挑战。首先，前期培训费用昂贵。其次，没有有效的方法来处理降低模型性能的数据噪声。第三，以前的方法只利用有限的图像-文本配对数据，而忽略了更丰富的单模态数据，这可能导致对单模态下游任务的泛化能力差。在这项工作中，我们提出了一个有效的CLIP方法，通过增强自信学习，以获得一个噪音较小的数据子集。使用额外丰富的非成对单模态文本数据来提高文本分支的泛化能力。在中文跨模态检索任务上，与CLIP和WenLan相比，我们仅用1/10的训练资源就实现了最先进的性能，同时对单模态任务（包括文本检索和文本分类）表现出了出色的泛化能力。
2021-09-22 cs.CL cs.CV cs.LG
Computational modeling of early language learning from acoustic speech and audiovisual input without linguistic priors
本文提出了一种从语音和视听输入中无语言先验进行早期语言学习的计算建模方法，展示了自监督和视觉基础模型在学习语音特征方面的有效性，并探讨了这些模型与婴儿语言发展实证发现的联系。
2026-03-11 cs.AI cs.CL eess.AS
Unsupervised Language Acquisition
本文提出了一种无监督语言习得的计算理论，精确地定义了从普通的口语或书面语中学习语言的过程，没有老师的明确帮助。该理论在很大程度上基于从机器学习和统计估计中借用的概念。特别是，学习是通过将语言的随机生成模型与证据相匹配来进行的。本文的大部分内容都致力于解释这种一般学习策略达到语言学上理想的语法所必须具备的条件。本文介绍了各种技术创新，其中包括一个共同的证据和语法表示，和一个学习策略，分离的“内容”的语言参数从他们的表示。基于它的算法很少遇到困扰其他语言习得计算方法的搜索问题。该理论已被测试的问题，学习词汇和语法，从未分割的文本和连续的语音，和声音之间的映射和表示的意义。它在各种客观标准上都表现得非常好，获得的知识使它能够像人类一样为话语分配几乎完全相同的结构。这项工作已应用于数据压缩，语言建模，语音识别，机器翻译，信息检索，以及其他依赖于语言的结构或随机描述的任务。
1996-11-12 cmp-lg cs.CL
Evaluating Neural Language Models as Cognitive Models of Language Acquisition
University of Pennsylvania（宾夕法尼亚大学）；Stony Brook University（石溪大学）
本文指出现有神经语言模型语法能力评估基准不够严谨，建议使用经过严格评估的语料库以更准确研究语言习得机制。
2023-10-31 cs.AI cs.CL
