PoWER-BERT: Accelerating BERT Inference via Progressive Word-vector Elimination
IBM Research India(IBM印度研究院);IBM Research USA(IBM美国研究院)
我们开发了一种新的方法,称为POWER-BERT,提高流行的BERT模型的推理时间,同时保持准确性。它的工作原理是:a)利用与字向量(中间编码器输出)有关的冗余并消除冗余向量。b)基于自我注意机制,通过开发用于测量其重要性的策略来确定要消除哪些词向量。c)通过增加BERT模型和损失函数来学习要消除多少词向量。在标准GLUE基准测试上的实验表明,与BERT相比,POWER-BERT在推理时间上减少了4.5倍,准确率损失<1%。我们表明,POWER-BERT提供了显着更好的准确性和推理时间之间的权衡比以前的方法。我们证明,我们的方法达到了6.8倍的推理时间减少与<1%的准确性损失时,适用于ALBERT,高度压缩版本的BERT。POWER-BERT的代码可在https://github.com/IBM/PoWER-BERT上公开获得。
2020-09-08 cs.CL cs.LG stat.ML
Identifying Intensity of the Structure and Content in Tweets and the Discriminative Power of Attributes in Context with Referential Translation Machines
AI Enablement(AI赋能部门);Huawei Türkiye R&D Center(华为土耳其研发中心)
本文提出用堆叠RTM将属性—词语相似性及多语言推文情感强度预测建模为MTPP,在任务10与任务1上均取得良好效果。
2024-07-06 cs.AI cs.CL
On the Predictive Power of Neural Language Models for Human Real-Time Comprehension Behavior
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院)
人类的阅读行为是根据自然语言的统计数据调整的:人类受试者阅读一个单词所花费的时间可以通过对该单词在上下文中的概率的估计来预测。然而,它仍然是一个悬而未决的问题,什么样的计算架构最好地表征了人类实时的部署的期望,这些期望决定了阅读的行为特征。在这里,我们测试了二十多个模型,独立地操纵计算架构和训练数据集的大小,关于他们的下一个词的预期如何预测人类在自然主义文本语料库上的阅读时间行为。我们发现,在模型架构和训练数据集大小之间,单词对数概率和阅读时间之间的关系是(接近)线性的。接下来,我们评估这些模型的特征如何决定其心理测量预测能力,或预测人类阅读行为的能力。一般来说,一个模型对下一个词的预期越好,它的心理预测能力就越好。然而,我们发现在不同的模型架构之间存在着重要的差异。对于任何给定的困惑,深度Transformer模型和n-gram模型通常显示出优于LSTM或结构监督神经模型的心理测量预测能力,特别是对于眼动数据。最后,我们比较模型的心理预测能力,他们的句法知识的深度,作为测量的电池的句法泛化测试开发的方法从受控的心理语言学实验。一旦困惑被控制,我们发现句法知识和预测能力之间没有显着的关系。这些结果表明,可能需要不同的方法来最好地模拟人类的实时的语言理解行为在自然主义的阅读与行为的控制语言材料设计的有针对性的探测句法知识。
2020-06-02 cs.CL
Comparison between the Structures of Word Co-occurrence and Word Similarity Networks for Ill-formed and Well-formed Texts in Taiwan Mandarin
University of Southern California(南加州大学);Taipei Medical University(台北医学大学)
本研究针对台湾国语的不规范论坛文本与规范司法文本,对比词共现网络和词相似网络的无标度、小世界、异配性三种结构属性,验证相关特征在不同语言与网络类型间的普适性。
2024-08-18 cs.AI cs.CL
Network of two-Chinese-character compound words in Japanese language
Waseda University(早稻田大学)
本文报道了日语双汉字复合词网络的一些统计性质。在这个网络中,一个节点代表一个汉字,一条边代表一个两个汉字的复合词。研究发现,该网络具有“小世界”和“无标度”性质。“仅由常用汉字(日语中的{ \it joyo-kanji})形成的网络被认为是原始网络的子类,也具有小世界属性。然而,网络的度分布没有表现出明确的幂律。为了再现幂律性质的消失,提出了一个常用汉字选择过程的模型。
2009-02-24 cs.CL physics.soc-ph
Parsing a Flexible Word Order Language
本文提出了一种逻辑形式主义,它通过扩大排序关系的库存和扩展它们的应用领域到非同胞来增加GPSG的ID/LP格式的表达能力。这允许一个简洁的,模块化的和复杂的词序的陈述。
1995-05-03 cmp-lg cs.CL
A Comparative Study of Transformers on Word Sense Disambiguation
Mastercard AI(万事达卡人工智能部门);Indian Institute of Technology (BHU)(印度理工学院(瓦拉纳西))
本文比较研究了九种Transformer模型在词义消歧任务中的上下文化能力,通过在上下文词嵌入上使用kNN分类方法,在SensEval-2和SensEval-3上取得了优于现有最优方法的结果。
2021-11-30 cs.CL
Scattered Factor Universality -- The Power of the Remainder
Kiel University(基尔大学)
散射因子(圆)普适性由Barker等人于2020年首次引入。如果$w$的字母表中每个长度为$k$的词都作为分散因子出现在$w$中,则一个词$w$被称为$k$ -通用于某个自然数$k$;如果$w$的共轭是$k$-通用的,则它被称为循环$k$ -通用的。这里,如果通过删除$w$的部分从$w$获得$u$,即存在(可能为空)具有$w=v_1u_1v_2\cdots v_nu_nv_{n+1}$的字$v_1,\dots,v_{n+1}$,则字$u=u_1\cdots u_n$被称为$w$的分散因子。在这项工作中,我们证明了两个问题,左开放在上述文件中,即一个概括的主要定理之一,以任意字母和轻微修改的另一个定理,使我们的循环普遍性的普遍性。在路上,我们提出了深刻的见解的行为,其余的所谓的拱因式分解Hebrard时,重复的话被认为是。
2021-04-19 cs.CL math.CO
BERTRAM: Improved Word Embeddings Have Big Impact on Contextualized Model Performance
Sulzer GmbH(苏尔寿有限公司);LMU Munich(慕尼黑大学)
预训练深度语言模型使NLP的性能大幅提升。尽管取得了这一成功,Schick和Schütze(2020)最近表明,这些模型很难理解罕见的单词。对于静态词嵌入,这个问题已经通过单独学习稀有词的表示来解决。在这项工作中,我们将这一想法转移到预训练的语言模型中:我们引入了BERTRAM,这是一种基于BERT的强大架构,能够推断出适合作为深度语言模型输入表示的稀有单词的高质量嵌入。这是通过使单词的表面形式和上下文在深层架构中相互作用来实现的。将BERTRAM集成到BERT中会导致性能大幅提高,这是由于在稀有词探测任务和三个下游任务上稀有和中频词的表示得到了改进。
2020-04-29 cs.CL
The Expressive Power of Word Embeddings
我们试图更好地理解几个公开发布的嵌入的质量差异。我们提出了几个任务,有助于区分不同的嵌入的特点。我们对情感极性和同义词/反义词关系的评估表明,即使在没有句子结构的情况下,嵌入也能够捕捉到令人惊讶的细微差别的语义。此外,基准测试的嵌入显示了很大的差异,在质量和测试嵌入捕获的语义特性。最后,我们展示了不同维数和每个维度的分辨率对嵌入空间捕获的有效有用特征的影响。我们的贡献突出了嵌入对于NLP任务的重要性以及它们的质量对最终结果的影响。
2013-05-29 cs.CL cs.LG stat.ML
A Paradoxical Property of the Monkey Book
Umeå University(于默奥大学)
“猴子书”是一本由随机分布的字母和空白组成的书,其中一组字母被两个空白包围被定义为一个单词。我们比较统计的字分布的猴子书与相应的分布一般类的随机书籍,后者是书籍的话是随机分布的。结果表明,猴子书的字分布统计是不同的,相当不同于一个典型的抽样书或真正的书。特别是猴子书服从希普斯的幂律到一个非常好的近似值,与抽样和真实书籍的单词分布相反,它们以一种特征的方式偏离希普斯定律。有些违反直觉的结论是,一本“猴子书”之所以遵守希普斯的幂律,正是因为它的词频分布不是一个平滑的幂律,这与基于简单数学论证的预期相反,如果一个是幂律,那么另一个也是。
2011-03-14 cond-mat.stat-mech cs.CL cs.IR
Variation of word frequencies in Russian literary texts
本文研究俄语文学语篇中词频的变化。我们的研究结果表明,根据指数$0.62,$的幂律,一个词在文本中的频率的标准差取决于它的平均频率,这表明较罕见的词具有相对较大程度的频率波动性(即,“突发性”)。几个潜在因素模型已估计调查的词频分布的结构。一个词的频率波动依赖于它的平均频率可以解释为潜在因素分布的不对称性。
2015-05-05 cs.CL physics.soc-ph stat.AP
Word Embeddings and Their Use In Sentence Classification Tasks
Hebrew University of Jerusalm(耶路撒冷希伯来大学)
本文分为两部分。第一部分讨论了词嵌入。我们讨论了它们的必要性,一些创建它们的方法,以及它们的一些有趣的属性。我们还将它们与图像嵌入进行比较,并了解如何将词嵌入和图像嵌入结合起来执行不同的任务。在第二部分中,我们实现了一个在预先训练的词向量上训练的卷积神经网络。该网络用于几个分级分类任务,并实现了最先进的(或可比的)结果,证明了预训练词嵌入比随机嵌入的强大功能。
2016-10-26 cs.CL cs.LG
Word Embedding Visualization Via Dictionary Learning
UC Berkeley(加州大学伯克利分校);Tsinghua University(清华大学);Redwood Center for Theoretical Neuroscience, UC Berkeley(加州大学伯克利分校雷德伍德理论神经科学中心);School of Optometry, UC Berkeley(加州大学伯克利分校视光学院)
基于共现统计的词嵌入技术已被证明是非常有用的提取词的语义和句法表示为低维连续向量。在这项工作中,我们发现字典学习可以将这些词向量作为更基本的词因子的线性组合。我们证明了许多学习的因素具有令人惊讶的强大的语义或语法意义,对应于以前通过人工检查确定的因素。因此,字典学习为理解词嵌入表示提供了强大的可视化工具。此外,我们表明,字的因素可以帮助识别关键的语义和句法差异,在词类比任务,并改善国家的最先进的词嵌入技术在这些任务中的大幅度。
2021-03-15 cs.CL cs.LG
Distinguishing Fact from Fiction: Pattern Recognition in Texts Using Complex Networks
Colorado School of Mines(科罗拉多矿业学院)
我们建立了具体的数学标准来区分不同类型的书面故事,虚构和非虚构。具体来说,我们从小说和新闻故事中构建了一个语义网络,其中$N$独立词作为顶点或节点,边或链接分配给给定顶点的$m$位置内出现的词;我们称之为$m$词距离。然后,我们使用复杂网络理论的措施来区分新闻和小说,研究所需的最小文本长度以及优化的词距离$m$。文献样本被发现是最有效的表示其相应的幂律度分布$P(k)$和聚类系数$C(k)$ ;我们还研究了平均测地距离,并发现我们所有的文本是小世界网络。我们在$k=\sqrt{N}$观察到一个自然的断点,在那里度分布中的幂律发生了变化,导致$P(k)$的主体和尾部分别符合幂律。我们的线性判别分析产生了$73.8 \pm 5.15%$的准确性,正确分类的小说和$69.1 \pm 1.22%$的新闻故事。我们发现最佳的词距离为$m=4$,最小文本长度为100到200个词$N$。
2010-10-13 cond-mat.stat-mech cs.CL physics.soc-ph
RingGesture: A Ring-Based Mid-Air Gesture Typing System Powered by a Deep-Learning Word Prediction Framework
Reality Labs Research(现实实验室研究);Meta;University of Bristol(布里斯托尔大学)
本文提出基于戒指与IMU的空中手势打字系统RingGesture,并通过融合手势解码、空间纠错和上下文语言模型分数的Score Fusion框架,显著提升输入速度、准确率与可用性。
2024-10-08 cs.AI cs.CL cs.CV