Just rephrase it! Uncertainty estimation in closed-source language models via multiple rephrased queries
University of Bristol(布里斯托尔大学);Nanyang University(南洋大学);INRIA Grenoble Rhône-Alpes(法国国家信息与自动化研究所格勒诺布尔罗讷-阿尔卑斯分部)
本文提出通过多次改写原始查询并比较回答相似性来估计闭源大语言模型的不确定性,给出实用改写规则和理论框架,显著提升了不确定性校准效果。
2024-06-16 cs.AI cs.CL
Just Fine-tune Twice: Selective Differential Privacy for Large Language Models
Columbia University(哥伦比亚大学);Virginia Tech(弗吉尼亚理工大学);Google Research(谷歌研究院)
随着大语言模型在现实产品中的广泛采用,保护其免受隐私泄露变得越来越重要。然而,应用差分隐私(DP),一个规范的概念与可证明的隐私保证的机器学习模型,这些模型仍然具有挑战性,由于模型效用和隐私损失之间的权衡。利用语言数据中的敏感信息往往是稀疏的这一事实,Shi等人(2021)形式化了一种称为选择性差分隐私(SDP)的DP概念扩展,以仅保护由策略函数定义的敏感令牌。然而,他们的算法只适用于基于RNN的模型。在本文中,我们开发了一种新的框架,Just Fine-tune Twice(JFT),可以为最先进的大型变压器模型实现SDP。我们的方法很容易实现:它首先使用编辑的域内数据微调模型,然后使用私有训练机制使用原始域内数据再次微调模型。此外,我们还研究了策略函数执行不完善而丢失敏感令牌的情况,并开发了系统的方法来处理它。实验表明,与以前的基线相比,我们的方法具有很强的实用性。我们还分析了SDP隐私保证经验与金丝雀插入攻击。
2022-10-27 cs.AI cs.CL cs.CR
Not Just an Evaluation: A Case Study of Discourse Particle Sensitivity in Language Models
The University of Texas at Austin(得克萨斯大学奥斯汀分校);University of California, San Diego(加利福尼亚大学圣迭戈分校)
本研究通过行为与机制分析探究LLM对自然对话中“just”和“only”的敏感性,发现其对“just”更敏感、指令调优可提升敏感性,且二者敏感单元的迁移呈不对称性。
2026-10-12 cs.CL
Justifiable Artificial Intelligence: Engineering Large Language Models for Legal Applications
Leibniz Institute for Educational Media — GEI(莱布尼茨教育媒体研究所(GEI));Otto von Guericke University Magdeburg(奥托·冯·格里克马格德堡大学)
本文提出“可辩护的人工智能”新视角,主张通过获取支持和反对大型语言模型输出的证据,使其在法律领域的生成文本更具可信度或对错误信息负责,从而解决其缺乏可解释性导致的信任问题。
2023-11-27 cs.CL cs.HC cs.IR
JustLogic: A Comprehensive Benchmark for Evaluating Deductive Reasoning in Large Language Models
College of Computing \& Data Science, Nanyang Technological University, Singapore
本文提出合成演绎推理基准JustLogic,通过高复杂度、消除先验知识干扰和深入错误分析,严格评估LLMs演绎推理能力,发现SOTA推理模型优于人类平均但远低于人类上限。
2025-05-09 cs.AI cs.CL cs.LG
LLMs as a synthesis between symbolic and distributed approaches to language
Universitat Pompeu Fabra / ICREA(庞培法拉大学 / ICREA)
本文提出LLMs综合了符号与分布式两种语言处理传统,通过可解释性研究展示其灵活切换离散与连续表征,这可能是其成功的关键。
2025-09-24 cs.CL
Just-DREAM-about-it: Figurative Language Understanding with DREAM-FLUTE
Allen Institute for AI(艾伦人工智能研究所)
比喻性语言(例如,“他像风一样飞”)是具有挑战性的理解,因为很难分辨什么隐含的信息是从表面形式单独传达。我们假设,要完成这项任务,读者需要在脑海中详细阐述所描述的场景,以确定语言的合理含义。我们提出了梦想长笛,一个比喻的语言理解系统,这样做,首先形成一个“心理模型”的情况下描述的前提和假设之前,使蕴涵/矛盾的决定,并产生一个解释。DREAM-FLUTE使用现有的场景细化模型DREAM来构建其“心理模型”。在FigLang 2022共享任务评估中,DREAM-FLUTE获得了(联合)第一名(Acc@60=63.3%),并且可以通过集成技术表现得更好,证明了这种方法的有效性。更一般地说,这项工作表明,向预训练的语言模型添加反射组件可以提高其性能,超出标准的微调(Acc@60提高3.3%)。
2022-10-28 cs.CL
FlexModel: A Framework for Interpretability of Distributed Large Language Models
Vector Institute(向量研究所)
本文提出 FlexModel 框架,通过兼容分布式库、封装 PyTorch 模型并提供可注册 HookFunctions,降低多GPU、多节点大模型内部交互门槛,以支持可解释性研究。
2023-12-05 cs.AI cs.CL cs.DC
Capturing Minds, Not Just Words: Enhancing Role-Playing Language Models with Personality-Indicative Data
School of Data Science, Fudan University(复旦大学数据科学学院);School of Computer Science, Fudan University(复旦大学计算机科学技术学院)
本文提出利用心理量表问题蒸馏高级RPA生成性格指示数据,以增强小型角色扮演语言模型对角色心智的捕捉,实验证明该方法显著提升了模型的通用与性格相关角色扮演能力。
2024-10-15 cs.CL
Tracing Facts or just Copies? A critical investigation of the Competitions of Mechanisms in Large Language Models
University of Amsterdam(阿姆斯特丹大学)
本研究复现并调和了三项相关研究,探讨LLMs中注意力头如何处理事实与反事实信息的竞争,发现促进事实输出的注意力头实为一般复制抑制而非选择性反事实抑制,且其行为具领域依赖性。
2025-07-16 cs.AI cs.CL cs.LG
Explainable Fake News Detection With Large Language Model via Defense Among Competing Wisdom
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Hong Kong Baptist University(香港浸会大学);Guangdong Institute of Smart Education, Jinan University(暨南大学广东智慧教育研究院)
针对现有假新闻检测模型不可解释、群体智慧存在偏差等问题,提出基于防御的可解释检测框架,通过证据提取、大语言模型理由生成及防御推理模块,在两个基准上优于基线且提供高质量理由。
2025-02-18 cs.CL
Are Emergent Abilities in Large Language Models just In-Context Learning?
The University of Bath(巴斯大学);Technical University of Darmstadt(达姆施塔特工业大学)
该研究针对大语言模型涌现能力的评估混淆问题,提出结合上下文学习等混淆因素的新理论,经千余次实验验证所谓涌现能力是上下文学习、模型记忆与语言知识共同作用的结果,为模型高效使用提供参考。
2024-07-15 cs.CL
Customizing ChatGPT for Second Language Speaking Practice: Genuine Support or Just a Marketing Gimmick?
本文研究定制ChatGPT对话功能在促进英语作为第二语言口语练习中的有效性,发现定制版本提供更平衡的反馈和情感支持,但文化响应性未显著提升。
2026-03-16 cs.CL cs.HC
Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback
Harvard University(哈佛大学);Stanford University(斯坦福大学)
本文评估了从RLHF微调的语言模型中提取置信度的方法,发现口头化置信度比模型条件概率校准更好,在多个基准上将预期校准误差相对降低50%。
2023-10-24 cs.CL
Distributed LLMs and Multimodal Large Language Models: A Survey on Advances, Challenges, and Future Directions
Knight Foundation School of Computing and Information Sciences, Florida International University(佛罗里达国际大学奈特基金会计算与信息科学学院);Security, Optimization, and Learning for InterDependent networks laboratory(相互依赖网络的安全、优化与学习实验室);School of Computing, Southern Illinois University(南伊利诺伊大学计算机学院);SambaNova Systems(SambaNova系统公司)
本文综述了大语言模型、多模态大语言模型等各类语言模型的分布式解决方案,梳理训练、推理等全流程进展,按去中心化六大方向分类文献,指出当前方法空白并提出未来研究方向。
2025-03-20 cs.CL cs.CV cs.DC
DiLoCo: Distributed Low-Communication Training of Language Models
Google DeepMind(谷歌DeepMind)
提出DiLoCo分布式优化算法,在连接较差的设备孤岛上训练语言模型,通信量减少500倍且性能与完全同步优化相当,对数据分布和资源变化具有强鲁棒性。
2024-09-23 cs.CL cs.LG
Large Language Models Implicitly Learn to See and Hear Just By Reading
Department of Electrical Engineering Stanford University Stanford, CA 94305, USA(电气工程系 斯坦福大学)
本文发现仅在文本上训练的自回归大语言模型能隐式获得图像和音频理解能力,并在多个音频与图像分类数据集上验证了利用文本权重激活内部回路即可完成多模态任务,无需从头训练。
2025-09-23 cs.AI cs.CL cs.CV
Not just about size - A Study on the Role of Distributed Word Representations in the Analysis of Scientific Publications
Expert System(Expert System公司)
知识图谱在学术交流领域的出现,以及人工智能和自然语言处理的最新进展,使我们更接近智能系统可以帮助科学家完成一系列知识密集型任务的场景。在本文中,我们提出了实验结果的生成词嵌入从学术出版物的科学文本提取SciGraph的智能处理。我们比较了特定于领域的嵌入与从非常大的通用语料库生成的现有预训练向量的性能。我们的研究结果表明,语料库特异性和体积之间存在权衡。嵌入领域特定的科学语料库有效地捕捉领域的语义。另一方面,通过一般语料库获得可比的结果也可以实现,但只有在非常大的语料库的格式良好的文本。此外,我们还表明,知识领域之间的重叠程度是直接相关的领域评估任务中的嵌入的性能。
2018-04-05 cs.CL
JustMem: Just-Enough Memory Access for Long-Term Conversations
Beihang University(北京航空航天大学)
JustMem通过沿发现广度和读取保真度两个维度自适应调整内存访问,实现高效长期对话记忆,在LoCoMo和LongMemEval-S上取得最优性能并降低令牌开销。
2026-09-18 cs.CL
Tracking Typological Traits of Uralic Languages in Distributed Language Representations
University of Copenhagen(哥本哈根大学)
虽然语言类型学有着悠久的历史,但计算方法只是最近才流行起来。在计算语言学中使用分布式表示也变得越来越流行。最近的一个发展是学习语言的分布式表示,使得类型相似的语言在空间上彼此接近。虽然这种语言表征在经验上已经取得了成功,但它们并没有受到太多的类型学探索。在本文中,我们首先看看这种类型的语言表示是否在经验上对深层神经网络中的乌拉尔语言之间的模型转移有用。然后,我们调查哪些类型学特征编码在这些表示,试图预测功能的语言结构的世界地图集,在各个阶段的微调表示。我们专注于乌拉尔语言,并发现,一些类型学特征可以自动推断的准确性远远高于一个强大的基线。
2017-11-15 cs.CL
Symbolic, Distributed and Distributional Representations for Natural Language Processing in the Era of Deep Learning: a Survey
University of Rome Tor Vergata(罗马第二大学)
自然语言本质上是人类知识的离散符号表示。机器学习(ML)和自然语言处理(NLP)的最新进展似乎与上述直觉相矛盾:离散符号正在消失,被称为分布式和分布式表示的矢量或张量所消除。然而,在分布式/分布式表示和离散符号之间存在严格的联系,第一种是第二种的近似。更清楚地理解分布式/分布式表示和符号之间的严格联系肯定会导致全新的深度学习网络。在本文中,我们做了一个调查,旨在更新符号表示和分布式/分布式表示之间的联系。这是振兴解释离散符号在神经网络中如何表示的领域的正确时机。
2019-06-04 cs.CL
When Being Unseen from mBERT is just the Beginning: Handling New Languages With Multilingual Language Models
George Mason University(乔治梅森大学);Inria(法国国家信息与自动化研究所);Sorbonne Université(索邦大学)
基于大量原始数据预训练语言模型的迁移学习已经成为NLP达到最先进性能的新规范。然而,目前尚不清楚如何将这种方法应用于未被任何可用的大规模多语言语言模型所涵盖的语言,并且通常只有少量原始数据。在这项工作中,通过比较多语言和单语言模型,我们表明,这种模型的行为在看不见的语言以多种方式。一些语言从迁移学习中受益匪浅,并且表现得与密切相关的高资源语言相似,而其他语言显然没有。专注于后者,我们表明,这种失败的转移在很大程度上与用于编写这些语言的脚本的影响。对这些语言进行音译可以显著提高大规模多语言语言模型在下游任务中的能力。
2021-04-17 cs.CL
Coupling Distributed and Symbolic Execution for Natural Language Queries
Peking University(北京大学)
构建神经网络来使用自然语言查询知识库(表)是深度学习中的一个新兴研究课题。用于表查询的执行器通常需要多个执行步骤,因为查询可能具有复杂的结构。在以前的研究中,研究人员已经开发了完全分布式执行器或符号执行器表查询。分布式执行器可以以端到端的方式进行训练,但在执行效率和显式可解释性方面很弱。符号执行者在执行上是有效的,但是训练是非常困难的,尤其是在初始阶段。在本文中,我们建议耦合分布式和符号执行自然语言查询,其中的符号执行器是预先训练的分布式执行器的中间执行结果,在一步一步的方式。实验表明,我们的方法显着优于分布式和符号执行器,表现出高精度,高学习效率,高执行效率,高解释性。
2017-06-16 cs.AI cs.CL cs.LG
Online Language Adaptive Sampling for Better Distributed Cross-lingual Gains
Ontario Tech University(安大略理工大学);Doctrine(Doctrine公司);Stanford University(斯坦福大学);University of the Andes(安第斯大学);University of Toronto(多伦多大学)
针对多语言模型跨语言对齐中均匀采样次优的问题,提出在线自适应采样策略,按损失动态调整各语言采样概率,提升极低资源语言性能并均衡增益。
2026-09-15 cs.AI cs.CL
Natural Language Understanding with Distributed Representation
Center for Data Science, New York University(纽约大学数据科学中心)
这是< Natural Language Understanding with Distributed Representation>2015年秋季纽约大学数据科学中心DS-GA 3001课程的讲义。正如课程名称所示,本课堂讲稿向读者介绍了一种基于神经网络的自然语言理解/处理方法。为了使它尽可能独立,我花了很多时间描述机器学习和神经网络的基础知识,然后才介绍它们如何用于自然语言。在语言方面,我几乎只专注于语言建模和机器翻译,其中两个我个人认为是最吸引人的,也是自然语言理解的基础。
2015-11-24 cs.CL stat.ML
The Open Language Archives Community: An infrastructure for distributed archiving of language resources
通过电子媒体记录和描述语言的新方法,加上通过万维网发布结果的新方法,提供了历史上前所未有的语言资源。与此同时,使用这些新技术的方法的扩散正在造成与资源发现和资源创造有关的严重问题。本文描述了开放语言档案社区(OLAC)为解决这些问题而内置的。它的技术和使用基础架构通过构建分布式资源的单个虚拟库来解决资源发现问题。它的治理基础设施通过提供一种机制来解决资源创建的问题,通过这种机制,语言资源社区可以就推荐的最佳实践表达共识。
2003-06-10 cs.CL cs.DL
Document Classification by Inversion of Distributed Language Representations
University of Chicago Booth School of Business(芝加哥大学布斯商学院)
最近在分布式语言模型的结构和度量方面取得了许多进展:这些模型从单词映射到富含单词选择和组成信息的向量空间。这个向量空间是分布式语言表示。本文的目的是指出,任何分布式表示都可以通过贝叶斯规则的反演转换为分类器。该方法是简单和模块化的,因为它将与任何语言表示一起工作,其训练可以被公式化为优化概率模型。在我们对来自Yelp评论的200万个句子的应用中,我们还发现它的性能与复杂的专用算法一样好,甚至更好。
2015-07-24 cs.CL cs.IR stat.AP
Just ASK: Building an Architecture for Extensible Self-Service Spoken Language Understanding
本文介绍了机器学习架构的设计,该架构是Alexa Skills Kit(ASK)的基础,这是一个大规模的口语语言理解(SLU)软件开发工具包(SDK),使开发人员能够扩展亚马逊虚拟助手Alexa的功能。在亚马逊,基础设施支持通过ASK部署的25,000多个技能,以及AWS的Amazon Lex SLU服务。ASK强调第三方开发人员的灵活性、可预测性和快速迭代周期。它施加了归纳偏差,使其能够从极小和稀疏的数据集中学习鲁棒的SLU模型,并在这样做的过程中,为软件开发人员和对话系统研究人员消除了重大的进入障碍。
2018-03-02 cs.AI cs.CL cs.NE
KEIS@JUST at SemEval-2020 Task 12: Identifying Multilingual Offensive Tweets Using Weighted Ensemble and Fine-Tuned BERT
Jordan University of Science and Technology(约旦科技大学)
这项研究介绍了我们的团队KEIS@JUST参与SemEval-2020任务12,该任务代表了多语言攻击性语言的共享任务。我们参与了所有子任务提供的所有语言,除了英语的子任务A。已经开发了两种主要方法,第一种是处理阿拉伯语和英语两种语言,加权集成包括Bi-GRU和CNN,然后是高斯噪声和全局池化层乘以权重以提高整体性能。第二种是对其他语言进行的,除了循环神经网络(如Bi-LSTM和Bi-GRU)之外,还从BERT进行了迁移学习,然后是全局平均池化层。词嵌入和上下文嵌入已被用作特征,此外,数据增强仅用于阿拉伯语。
2020-05-15 cs.CL cs.LG
Distributed NLI: Learning to Predict Human Opinion Distributions for Language Reasoning
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
我们介绍了分布式NLI,一个新的NLU任务的目标是预测分布的人类判断自然语言推理。我们表明,通过应用额外的分布估计方法,即蒙特卡罗(MC)辍学,深度增强,重新校准和分布蒸馏,模型可以比softmax基线更有效地捕获人类判断分布。我们表明,MC辍学是能够实现体面的性能,没有任何分布注释,而重新校准可以提供额外的分布注释进一步改进,建议多个注释的价值为一个例子,在模拟人类判断的分布。尽管有这些改进,最好的结果仍然远远低于估计的人类上限,这表明预测人类判断的分布仍然是一个开放的,具有挑战性的问题,有很大的改进空间。我们展示了MC丢弃和重新校准的常见错误。最后,我们给出了使用这些方法的指导方针与不同级别的数据可用性,并鼓励未来的工作建模的人类意见分布的语言推理。我们的代码和数据可在https://github.com/easonnie/ChaosNLI上公开获取
2022-04-07 cs.AI cs.CL cs.LG
Language Models not just for Pre-training: Fast Online Neural Noisy Channel Modeling
Facebook AI Research(Facebook人工智能研究院);Twitter Cortex
大量未标记数据的预训练模型已经成为提高许多NLP任务准确性的有效方法。另一方面,传统的机器翻译具有通过噪声信道建模来利用未标记数据的悠久历史。同样的想法最近被证明可以为神经机器翻译带来巨大的改进。不幸的是,使用现代序列到序列模型的原始噪声信道建模比替代方案慢一个数量级。我们通过引入有效的近似来解决这个问题,从而在提高准确度的同时,与强集成一样快地使用噪声信道方法进行推断。我们还表明,噪声通道方法可以通过在WMT罗马尼亚语-英语翻译上实现新的艺术水平来超越强大的预训练结果。
2020-11-13 cs.CL
Word forms - not just their lengths- are optimized for efficient communication
University of California, Berkeley(加州大学伯克利分校)
一个词的长度和它的使用频率之间的反比关系,最早由G. K. Zipf在1935年提出,是一个经典的经验法则,适用于各种人类语言。我们证明,长度是一个更普遍的属性的一个方面的话:他们是如何独特的相对于其他词在一种语言。区别性在识别流利语音中的单词中起着关键作用,因为它反映了在为模糊信号选择最佳候选时潜在竞争者的实力。语音信息量是在一种语言的声音或字符序列的统计模型下对单词的字符串概率的测量,它简明地捕捉了独特性。通过对13种语言的大规模语料库的分析,我们发现独特性在预测频率方面明显优于字长。这一发现提供了证据表明,听众的处理限制形状细粒度方面的词的形式跨越语言。
2017-05-31 cs.CL
Just on Time: Token-Level Early Stopping for Diffusion Language Models
本文提出了一种无需训练的标记级早期停止方法,通过动态确定标记收敛点,减少扩散步骤并提升生成效率。
2026-10-08 cs.CL cs.LG
Representation Learning for Natural Language Processing
本书旨在回顾和介绍NLP分布式表示学习的最新进展,包括为什么表示学习可以改善NLP,表示学习如何参与NLP的各种重要主题,以及分布式表示仍然没有很好地解决哪些挑战。
2021-02-07 cs.CL
Learning Cross-lingual Distributed Logical Representations for Semantic Parsing
Singapore University of Technology and Design(新加坡科技设计大学)
随着用于语义解析的多语言数据集的发展,最近的研究工作已经研究了在多语言设置中学习语义解析器的问题。然而,如何提高一个特定语言的单语语义分析器的性能,利用不同语言的数据注释仍然是一个研究问题,是未充分探讨。在这项工作中,我们提出了一项研究,以显示如何学习分布式表示的逻辑形式的数据注释在不同的语言可以用于提高单语语义分析器的性能。我们扩展了现有的两个单语语义解析器,将这种跨语言的分布式逻辑表示的功能。实验表明,我们提出的方法是能够产生改进的语义解析结果的标准多语言GeoQuery数据集。
2018-06-14 cs.CL
DLoRA: Distributed Parameter-Efficient Fine-Tuning Solution for Large Language Model
University of California, Riverside(加利福尼亚大学河滨分校);New York University(纽约大学)
本文提出分布式PEFT框架DLoRA,通过云端与用户设备协同微调及Kill and Revive算法,在保护隐私的同时降低端侧计算通信开销并保持高准确率。
2024-04-08 cs.AI cs.CL cs.DC
Semantically Distributed Robust Optimization for Vision-and-Language Inference
Arizona State University(亚利桑那州立大学)
对视觉-语言模型的分析表明,在释义、否定、语篇蕴涵、同义词或反义词替换等语言现象下,视觉-语言模型是脆弱的。虽然已经设计了数据增强技术来减轻这些故障模式,但是可以将这些知识集成到培训管道中的方法仍然没有得到充分的探索。在本文中,我们提出了\textbf{SDRO},一个模型不可知的方法,利用一组语言转换在分布式鲁棒优化设置,以及一个集成技术,利用这些转换在推理。在具有图像(NLVR $^2$)和视频(VIOLIN)的基准数据集上的实验证明了性能的改进以及对对抗攻击的鲁棒性。二进制VQA的实验探索这种方法的推广到其他V\&L任务。
2022-03-14 cs.CL cs.CV
PyPLN: a Distributed Platform for Natural Language Processing
Fundação Getulio Vargas(热图利奥·瓦加斯基金会);Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学)
本文提出了一个分布式自然语言处理平台PyPLN。PyPLN利用大量的NLP和文本处理开源工具,管理各种配置上的工作负载分布:从单个服务器到Linux服务器集群。PyPLN是使用Python 2.7.3开发的,但只要Linux版本可用,就可以很容易地将其他软件用于特定任务。PyPLN促进了文档和语料库级别的分析,通过易于使用的Web界面简化了语料库和分析结果的管理和发布。在当前(beta)版本中,它支持英语和葡萄牙语,并支持计划在未来版本中使用的其他语言。为了支持葡萄牙语,PyPLN使用PALAVRAS解析器\citep{Bick2000}。目前PyPLN提供以下功能:编码规范化的文本提取(到UTF-8),词性标记,标记频率,语义注释,n-gram提取,单词和句子库以及跨语料库的全文搜索。该平台以GPL-v3许可。
2013-02-19 cs.CL cs.IR
Differentially Private Distributed Learning for Language Modeling Tasks
Samsung R&D Institute Russia(三星俄罗斯研发研究所)
机器学习应用中的一个巨大挑战是,训练数据可能与算法所面临的真实世界数据不同。在语言建模中,用户的语言(例如私人消息)可能在一年内发生变化,并且与我们在公开数据中观察到的完全不同。同时,公共数据可用于获取一般知识(即英语的一般模型)。我们研究的方法来分布式微调的一般模型用户的私人数据的额外要求,保持一般数据的质量和通信成本最小化。我们提出了一种新的技术,显着提高预测质量的用户的语言相比,一个一般的模型,并优于梯度压缩方法的通信效率。该方法速度快,对非正式英语文本的困惑减少了近70%,节省率提高了8.7个百分点。我们还表明,我们的方法适用的任务范围不仅限于语言建模。最后,我们提出了一个实验框架,用于评估语言模型的分布式训练的差分隐私,并表明我们的方法具有良好的隐私保证。
2018-03-06 cs.CL cs.CR cs.LG
Learning to Write Rationally: How Information Is Distributed in Non-Native Speakers' Essays
College of Information Sciences and Technology(信息科学与技术学院);Center for Language Science(语言科学中心);The Pennsylvania State University(宾夕法尼亚州立大学)
本研究通过分析不同母语背景的二语学习者的论文,发现较高L2熟练度能降低语言产出的预期不确定性,但信息分布的均匀性在L2写作中具有普遍性,受L1背景和L2熟练度影响较小。
2024-11-05 cs.CL
Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness
针对分布式语言模型训练的通信成本瓶颈,研究基于共享随机性拓展SPSA提出去中心化低带宽微调方法,仅交换单字节投影梯度,兼具隐私与动态适配优势,并通过概念验证实验证实潜力。
2023-06-16 cs.CL cs.DC cs.LG
Translate Meanings, Not Just Words: IdiomKB's Role in Optimizing Idiomatic Translation with Language Models
Fudan University(复旦大学)
针对习语翻译难题,本文提出多语言习语知识库IdiomKB,利用大模型构建,通过检索比喻意义提升小模型翻译性能,并引入GPT-4评估指标验证其有效性。
2023-12-25 cs.CL
Multilingual Distributed Representations without Word Alignment
University of Oxford(牛津大学)
意义的分布式表示是在NLP中对单词和短语之间的协方差关系进行编码的一种自然方式。通过克服数据稀疏性问题,以及提供离散表示中不可用的语义相关性信息,分布式表示已被证明在许多NLP任务中是有用的。最近的工作表明,如何组成的语义表示可以成功地应用到单语应用,如情感分析。与此同时,在学习跨语言的共享单词级表示方面取得了一些初步成功。我们结合这两种方法,提出了一种学习分布式表示在多语言设置的方法。我们的模型学习将相似的嵌入分配给对齐的句子,将不相似的嵌入分配给不对齐的句子,而不需要单词对齐。我们表明,我们的表示是语义信息,并将其应用到一个跨语言的文档分类任务,我们优于以前的最先进的状态。此外,通过采用并行语料库的多语言对,我们发现,我们的模型学习表示,捕捉语义关系的语言,没有并行数据被使用。
2014-03-20 cs.CL
UsingWord Embedding for Cross-Language Plagiarism Detection
Compilatio;Univ. Grenoble Alpes(格勒诺布尔-阿尔卑斯大学)
本文提出将分布式词表示(词嵌入)用于跨语言文本相似性检测。本文的主要贡献如下:(a)我们介绍了新的跨语言相似性检测方法的基础上分布式表示的单词;(b)我们结合不同的方法提出,以验证其互补性,并最终获得整体F1得分为89.15%的英语-法语相似性检测在块级(88.5%在句子级)上一个非常具有挑战性的语料库。
2017-02-10 cs.CL
Polyglot: Distributed Word Representations for Multilingual NLP
Stony Brook University(石溪大学)
分布式词表示(词嵌入)最近在语言建模和几个NLP任务中的竞争性能做出了贡献。在这项工作中,我们训练词嵌入超过100种语言使用相应的维基百科。我们定量地证明了我们的词嵌入的效用,通过使用它们作为训练这些语言的一个子集的词性标注器的唯一功能。我们发现他们的表现与英语,丹麦语和瑞典语的最先进方法相比具有竞争力。此外,我们调查的语义特征,这些嵌入通过接近的词组。我们将公开发布这些嵌入,以帮助研究人员开发和增强多语言应用程序。
2014-06-27 cs.CL cs.LG
Towards cross-lingual distributed representations without parallel text trained with adversarial autoencoders
The University of Edinburgh(爱丁堡大学)
当前学习不同语言之间兼容的文本的矢量表示的方法通常需要一定量的并行文本,在单词、句子或至少文档级别对齐。然而,我们假设,不同的自然语言共享足够的语义结构,原则上应该可以通过分析单词的单语分布来学习兼容的矢量表示。为了评估这一假设,我们提出了一个计划,映射词向量训练的源语言向量语义兼容的词向量训练的目标语言使用对抗自动编码器。我们提出了初步的定性结果,并讨论了这种技术的未来可能的发展,如跨语言的句子表示的应用。
2016-08-09 cs.CL cs.LG cs.NE
Joint Unsupervised and Supervised Training for Multilingual ASR
Google(谷歌)
自监督训练在预训练模型和促进语音识别的下游微调(如多语言ASR)方面显示出了有希望的收益。大多数现有的方法采用2阶段方案,其中在第一预训练阶段优化自监督损失,在第二阶段恢复标准监督微调。在本文中,我们提出了一种端到端(E2 E)联合无监督和监督训练(JUST)方法,将监督RNN-T损失和自监督对比和掩蔽语言建模(MLM)损失结合起来。我们在公共数据集多语言LibriSpeech(MLS)上验证了它的性能,该数据集包括8种语言,并且非常不平衡。在MLS上,我们探索(1)从头开始训练,(2)从预训练的检查点进行微调。实验表明,JUST可以始终优于其他现有的最先进的方法,并击败单语基线的显着保证金,展示了JUST的处理多语言ASR中的低资源语言的能力。我们所有语言的平均WER优于平均单语基线33.3%,最先进的2阶段XLSR 32%。在像波兰语这样的低资源语言上,我们的WER不到单语基线的一半,甚至超过了使用外部监督的监督迁移学习方法。
2021-11-15 cs.CL cs.LG cs.SD
IMBUE: Improving Interpersonal Effectiveness through Simulation and Just-in-time Feedback with Human-Language Model Interaction
University of Washington(华盛顿大学);Stanford University(斯坦福大学);Microsoft Research(微软研究院)
IMBUE系统基于DBT的DEAR MAN框架,利用语言模型模拟沟通训练并提供即时反馈,首次同时提升沟通技能与情绪管理,实验证明其能显著增强自我效能、减少负面情绪并提高技能掌握度。
2024-02-19 cs.CL cs.HC