Isolating Language-Coding from Problem-Solving: Benchmarking LLMs with PseudoEval
The Hong Kong University of Science and Technology(香港科技大学)
针对现有代码生成基准无法区分问题求解与语言编码瓶颈的问题,构建多语言基准 PseudoEval,以伪代码为输入隔离瓶颈,发现 Python 瓶颈在问题求解、Rust 在语言编码,且问题求解可跨语言迁移。
2025-02-26 cs.CL cs.SE
LynyrdSkynyrd at WNUT-2020 Task 2: Semi-Supervised Learning for Identification of Informative COVID-19 English Tweets
University of Maryland(马里兰大学);University of Southern California(南加州大学);Adobe Research(Adobe研究院)
我们描述了WNUT-2020共享任务的系统,该任务是识别信息丰富的COVID-19英语推文。我们的系统是各种机器学习方法的集合,利用传统的基于特征的分类器以及预训练语言模型的最新进展,这些模型有助于从推文中捕获语法,语义和上下文特征。我们进一步使用伪标签,以纳入有关大流行病发布的未标记Twitter数据。我们的最佳性能模型在提供的验证集上获得了0.9179的F1分数,在盲测试集上获得了0.8805的F1分数。
2020-09-08 cs.CL cs.SI
BabelSteering: Multilingual Safety Alignment via English Steering Vectors
University of Göttingen(哥廷根大学);German State Police NRW(北莱茵-威斯特伐利亚州德国警察)
本研究提出BabelSteering激活引导方法,利用英语安全监督的拒绝方向实现多语言安全对齐,可提升多语言有害请求拒绝率且任务效用损失极小,还引入多语言翻译评估流程。
2026-08-18 cs.CL
FAMA: The First Large-Scale Open-Science Speech Foundation Model for English and Italian
Fondazione Bruno Kessler (FBK)(布鲁诺·凯斯勒基金会)
本文推出首个面向英语和意大利语的开放科学语音基础模型FAMA,基于15万小时以上开源数据训练,并发布1.6万小时新数据集,性能具竞争力且速度快达8倍。
2025-05-30 cs.AI cs.CL cs.SD
Solving puzzles described in English by automated translation to answer set programming and learning how to do that translation
Arizona State University(亚利桑那州立大学)
我们提出了一个系统,能够自动解决组合逻辑难题(简化)英语。它涉及到翻译成答案集编程(ASP)的难题的英文描述,并使用ASP求解器提供的难题的解决方案。为了翻译这些描述,我们使用了一种基于概率组合范畴语法(PCCG)的基于微积分的方法,其中单词的含义与参数相关联,以便能够区分同一单词的多种含义。许多单词的含义和参数都是学习的。在ASP中使用适用于大量逻辑谜题的本体来表示谜题。
2011-08-18 cs.AI cs.CL cs.LO
Automated Python Translation
George Mason University(乔治梅森大学);University of Central Florida(中佛罗里达大学)
针对非英语使用者理解Python代码的障碍,提出将Python自然模态自动翻译成其他语言的任务,构建自动化管道并比较机器翻译与大语言模型策略,获取多库多语言翻译并测试质量,为通用Python提供路径。
2025-04-16 cs.CL
CodeMixBench: Evaluating Large Language Models on Code Generation with Code-Mixed Prompts
Department of Computer Science(计算机科学系);Chandigarh University Punjab(昌迪加尔大学旁遮普);Department of Technology Management and Innovation(技术管理与创新系);New York University(纽约大学)
本文提出CodeMixBench基准,通过在三种语言对的提示中引入受控代码混合,评估1.5B至15B开源代码生成模型的鲁棒性,发现代码混合提示一致降低Pass@1性能,为多语言代码生成研究提供新方向。
2025-05-08 cs.CL cs.LG
Exploring Large Language Models for Translating Romanian Computational Problems into English
University of Bucharest(布加勒斯特大学);Softbinator;UiPath;It Just Works Inc.;QPillars
本文评估多种LLM在结构化提示与人工监督下将罗马尼亚语信息学竞赛题翻译为英语的准确性和稳定性,并扩充OJI双语数据集,证明其可接近人工翻译质量。
2025-01-09 cs.CL cs.LG cs.SE
AIOS Compiler: LLM as Interpreter for Natural Language Programming and Flow Programming of AI Agents
Rutgers University(罗格斯大学)
本文提出CoRE系统,利用LLM作为解释器,统一自然语言、伪代码和流程编程,构建语言智能体,并引入外部记忆和工具调用以增强执行能力。
2024-05-21 cs.AI cs.CL cs.LG
Rethinking Pivot Programming Languages in Code Language Models
Ulm University(乌尔姆大学);University of Southern Denmark(南丹麦大学)
本研究在控制混淆因素下重新审视代码语言模型中的枢轴编程语言,发现Python的特殊角色源于其面向英语的亲和性,而非普遍的几何中心性。
2026-09-22 cs.CL
Progressive Refinement: An Iterative Pseudo-Labeling Approach for Mandarin-English Code-Switching ASR
针对汉英混合语音识别训练数据不足的问题,提出迭代伪标签方法,通过多阶段训练与迭代优化利用无标注数据,在SEAME数据集上显著降低混合错误率。
2026-07-07 cs.CL
Leveraging Pseudo-labeled Data to Improve Direct Speech-to-Speech Translation
Bytedance(字节跳动)
直接语音到语音翻译(S2 ST)近年来受到越来越多的关注。由于数据稀缺和复杂的语音到语音映射,这项任务非常具有挑战性。在本文中,我们报告了我们最近在S2 ST的成就。首先,我们建立了一个S2 ST Transformer基线,它优于原来的Translatotron。其次,我们利用伪标记的外部数据,并获得了一个新的国家的最先进的Fisher英语到西班牙语测试集的结果。事实上,我们利用伪数据与流行的技术相结合,这些技术在应用于S2 ST时并不平凡。此外,我们评估我们的方法在句法相似(西班牙语-英语)和遥远(英语-汉语)的语言对。我们的实现可以在https://github.com/fengpeng-yue/speech-to-speech-translation上获得。
2022-05-18 cs.CL eess.AS
A Paradigm Change for Formal Syntax: Computational Algorithms in the Grammar of English
The Hebrew University of Jerusalem(希伯来大学)
语言科学越来越少地依赖形式句法作为其基础。原因可能是它缺乏心理现实,故意回避。科学哲学家呼吁范式转变,用生物学中的机制来解释。我们转向程序设计语言作为基于过程的英语语法的启发式模型。选择功能词和实词的组合作为建模的主题。这样的组合非常频繁,它们的输出是句子的重要直接成分。我们在面向对象编程中发现了它们的相似之处,其中所有方法元素作为接口,而内容完整元素作为其实现,定义计算对象。该模型的拟合进行了测试,得出三个功能特性的算法至关重要,并检查其存在于英语语法。我们测试了现实的接口实现机制的心理语言学和神经语言学的证据有关的处理,发展和损失的句法。这种机制的紧密配合和心理现实表明,范式转移到语法的算法理论是可能的。
2022-05-24 cs.CL
Cross-lingual Pseudo-Projected Expectation Regularization for Weakly Supervised Learning
Stanford University(斯坦福大学)
我们考虑了一个多语言弱监督学习的情况下,知识从注释语料库中的资源丰富的语言是通过双文本传输,以指导学习其他语言。过去的方法将标签投射到bitext中,并将它们作为特征或黄金标签进行训练。我们提出了一种新的方法,项目模型的期望,而不是标签,这设施模型的不确定性跨语言边界的转移。我们将期望编码为约束,并使用广义期望标准(Mann和McCallum,2010)训练一个判别式CRF模型。在标准的汉英和德英NER数据集上进行评估,当不使用标记数据时,我们的方法表现出64%和60%的F1分数。使用有监督的CRF获得相同的准确性需要12 k和1.5k个标记句子。此外,当与标记的例子相结合时,我们的方法比最先进的监督方法有了显着的改进,在中国OntoNotes和德国CoNLL-03数据集上获得了迄今为止最好的报告数字。
2013-10-06 cs.AI cs.CL
APE-then-QE: Correcting then Filtering Pseudo Parallel Corpora for MT Training Data Creation
Indian Institute of Technology Bombay(印度理工学院孟买分校)
本研究提出APE-then-QE的“修复-过滤-使用”方法,结合自动后编辑与质量评估模型从伪平行语料中筛选高质量平行语料,用于机器翻译训练,在英马互译任务上实现显著性能提升,且方法具备语言通用性。
2023-12-18 cs.CL
Using LSTMs to Model the Java Programming Language
Marist College(玛丽斯特学院)
递归神经网络(RNN),特别是长短期记忆网络(LSTM),可以有效地建模自然语言。本研究调查的能力,这些相同的LSTM执行下一个“字”预测的Java程序设计语言。来自四个不同存储库的Java源代码经历了一个转换,该转换保留了源代码的逻辑结构,并删除了代码的各种特定性,如变量名和文字值。这样的数据集和附加的英语语言语料库用于训练和测试标准LSTM预测序列中的下一个元素的能力。结果表明,LSTM可以有效地对Java代码进行建模,实现22以下的困惑度和0.47以上的准确度,这比LSTM在英语语言上的表现有所改善,后者表现出85的困惑度和0.27的准确度。该研究可以在其他领域,如语法模板建议和自动错误修补的适用性。
2019-08-26 cs.CL cs.PL cs.SE
Ezhil: A Tamil Programming Language
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
Ezhil是一种基于泰米尔语的解释过程程序设计语言。选择泰米尔语关键字和语法,使母语为泰米尔语的人在Ezhil系统中编写程序。Ezhil允许更接近泰米尔语言逻辑结构的计算机程序的简单表示,相当于现代英语程序设计语言中的条件,分支和循环语句。Ezhil是一种紧凑的程序设计语言,针对泰米尔语新手计算机用户。这里报告了Ezhil的语法和一些示例程序,这些程序来自使用Python编程语言1的初始概念验证实现。据我们所知,Ezhil语言是第一个免费提供的泰米尔程序设计语言。
2009-07-28 cs.CL cs.PL
Extract and Edit: An Alternative to Back-Translation for Unsupervised Neural Machine Translation
University of California, Santa Barbara(加州大学圣巴巴拉分校)
对大型平行语料库的过度依赖极大地限制了机器翻译系统对大多数语言对的适用性。在以前的无监督神经机器翻译方法中,主要使用反向翻译,其中生成伪句子对以训练具有重建损失的模型。然而,伪句子通常是低质量的,因为翻译错误在训练过程中积累。为了避免这个根本问题,我们提出了一种替代的,但更有效的方法,提取编辑,提取,然后编辑的目标单语语料库的真实句子。此外,我们还引入了一个比较翻译损失来评估翻译的目标句子,从而训练无监督翻译系统。实验表明,所提出的方法始终优于以前的国家的最先进的无监督机器翻译系统在两个基准(英语-法语和英语-德语)和两个低资源的语言对(英语-罗马尼亚语和英语-俄罗斯)超过2(高达3.63)BLEU点。
2019-04-04 cs.CL
DAVE: Deriving Automatically Verilog from English
New York University(纽约大学)
虽然数字系统的规范是以自然语言提供的,但工程师们付出了巨大的努力将它们翻译成数字系统编译器所理解的程序设计语言。自动化这一过程允许设计人员使用他们最熟悉的语言-原始自然语言-并专注于其他下游设计挑战。我们探索使用最先进的机器学习(ML),通过微调GPT-2,一个自然语言ML系统,自动从英语中派生Verilog片段。我们描述了我们的方法,用于生成新手级数字设计任务的合适数据集,并提供了GPT-2的详细探索,在我们的任务集上发现了令人鼓舞的翻译性能(94.8%正确),能够处理简单和抽象的设计任务。
2020-08-27 cs.CL cs.LG cs.SE
Flick: Few Labels Text Classification using K-Aware Intermediate Learning in Multi-Task Low-Resource Languages
University of New South Wales Australia(新南威尔士大学(澳大利亚));University of Technology Sydney Australia(悉尼科技大学(澳大利亚));University of Southampton United Kingdom(南安普顿大学(英国));Macquarie University Australia(麦考瑞大学(澳大利亚));MBZUAI UAE(阿联酋人工智能研究所)
针对低资源语言少标签文本分类难题,Flick提出从更广泛初始簇提炼高置信度伪标签,引入新的伪标签细化组件及自适应top-k选择机制,经14个数据集验证,展现出优越性能和适应性。
2026-07-28 cs.AI cs.CL
MCoNaLa: A Benchmark for Code Generation from Multiple Natural Languages
Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学);Inspired Cognition(Inspired Cognition公司)
虽然最近在自然语言和程序设计语言的交叉点上出现了新兴的应用程序,例如代码生成和代码摘要,但这些应用程序通常以英语为中心。这就给不精通英语的程序开发人员造成了障碍。为了减轻这种差距,在跨语言的技术发展,我们提出了一个多语言数据集,MCoNaLa,基准代码生成从自然语言命令扩展到英语之外。从英语代码/自然语言挑战(CoNaLa)数据集的方法建模,我们用三种语言注释了总共896个NL代码对:西班牙语,日语和俄语。我们提出了一个定量的性能评估的MCoNaLa数据集的测试与国家的最先进的代码生成系统。虽然这三种语言的困难各不相同,但所有系统都明显落后于英语系统,这揭示了使代码生成适应新语言的挑战。
2023-02-07 cs.CL
Self-Training for End-to-End Speech Translation
Facebook AI(脸书人工智能研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
端到端语音翻译的主要挑战之一是数据稀缺。我们利用从未标记的音频生成的伪标签的级联和端到端的语音翻译模型。这在Must-C英语-法语和英语-德语数据集上提供了8.3和5.7的BLEU增益,达到了最先进的性能。伪标签的质量的影响进行了研究。我们的方法被证明是更有效的比简单的预训练编码器上的语音识别任务。最后,我们通过使用端到端模型而不是级联模型直接生成伪标签来证明自训练的有效性。
2020-10-13 cs.CL cs.SD eess.AS
Spelling Error Correction Using a Nested RNN Model and Pseudo Training Data
iFLYTEK Research(科大讯飞研究院)
提出了一种用于英语拼写纠错的嵌套递归神经网络(nested RNN)模型,并基于语音相似度生成伪数据对其进行训练。该模型融合了拼写信息和上下文信息,采用端到端的方式进行训练。这避免了特征工程,并且不像传统方法那样依赖于噪声信道模型。实验表明,该方法在纠正拼写错误方面优于现有系统。
2018-11-01 cs.CL
Retrieval-Augmented Multilingual Keyphrase Generation with Retriever-Generator Iterative Training
Amazon Inc.(亚马逊公司);Salesforce Research(赛富时研究院);University of Pittsburgh(匹兹堡大学);Chinese University of Hong Kong(香港中文大学)
关键词生成是自动预测给定一段长文本的关键词的任务。非英语语言中的关键词生成虽然近年来蓬勃发展,但尚未得到广泛的研究。在本文中,我们提请注意一个新的设置名为多语言关键词生成,我们贡献了两个新的数据集,EscherceMKP和AcademicMKP,涵盖六种语言。在技术上,我们提出了一种检索增强的方法,用于多语言的关键词生成,以减轻数据短缺的问题,在非英语语言。检索增强模型利用英语数据集中的关键短语注释,以促进在低资源语言中生成关键短语。给定非英语段落,跨语言密集段落检索模块找到相关的英语段落。然后,相关联的英语关键词作为外部知识的关键词生成在当前语言。此外,我们开发了一个检索器生成器迭代训练算法来挖掘伪平行通道对,以加强跨语言通道检索器。综合实验和烧蚀表明,所提出的方法优于所有基线。
2022-06-01 cs.AI cs.CL cs.LG
Unsupervised Bitext Mining and Translation via Self-trained Contextual Embeddings
Amazon(亚马逊);University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
我们描述了一种无监督的方法来创建伪平行语料库的机器翻译(MT)从未对齐的文本。我们使用多语言BERT来创建源和目标句子嵌入以进行最近邻搜索,并通过自训练来调整模型。我们通过在BUCC 2017双文本挖掘任务中提取平行句子对来验证我们的技术,并观察到F1分数比以前的无监督方法增加了24.5分(绝对值)。然后,我们通过补充从同一语料库中挖掘的伪并行文本来改进在维基百科上预训练的基于XLM的无监督神经MT系统,在WMT'14法语-英语和WMT'16德语-英语任务上将无监督翻译性能提高了3.5 BLEU,并优于以前的最先进水平。我们用伪平行的Wikipedia句子对丰富了IWEEE '15英语-越南语语料库,在低资源MT任务上获得了1.2 BLEU的改进。我们证明了无监督的双文本挖掘是增强MT数据集的有效方法,并补充了现有的技术,如使用预训练的上下文嵌入进行初始化。
2020-10-15 cs.CL cs.LG
GigaST: A 10,000-hour Pseudo Speech Translation Corpus
Bytedance(字节跳动)
本文构建10,000小时伪语音翻译语料库GigaST,将GigaSpeech文本机译为德语和中文、人工翻译测试集,并通过MuST-C实验验证其可提升ST性能。
2023-06-06 cs.CL cs.SD eess.AS
ProphetNet-X: Large-Scale Pre-training Models for English, Chinese, Multi-lingual, Dialog, and Code Generation
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软);Nanjing University of Science and Technology(南京理工大学)
目前,预训练技术在自然语言处理领域中无处不在。AptNet是一种基于预训练的自然语言生成方法,在英文文本摘要和问题生成任务上表现出强大的性能。在本文中,我们将OpenNet扩展到其他领域和语言,提出了OpenNet家族的预训练模型:OpenNet X,其中X可以是英语、汉语、多语言等,我们预训练了一个跨语言生成模型OpenNet Multi,一个汉语生成模型OpenNet Zh,两个开放领域对话生成模型OpenNet Dialog-En和OpenNet Dialog-Zh。此外,我们还提供了一个PLG(程序设计语言生成)模型,以显示除了NLG(自然语言生成)任务的生成性能。在我们的实验中,AptNet-X模型在10个基准测试中实现了新的最先进的性能。所有的型号都共享相同的模型结构,这使得用户可以轻松地在不同的模型之间切换。我们公开了代码和模型,并将不断更新更多的预训练模型和微调脚本。
2021-06-22 cs.CL
Unsupervised ASR via Cross-Lingual Pseudo-Labeling
Apple(苹果公司)
提出跨语言伪标签方法,利用其他语言的字符级声学模型和目标语言模型约束,在无目标语言标注音频下实现高效无监督ASR。
2024-02-16 cs.CL cs.LG cs.SD
Controlled Natural Languages and Default Reasoning
Stony Brook University(石溪大学)
受控自然语言是知识表示和推理的有效语言。它们是基于某些自然语言设计的,具有受限的词汇和语法。CNL与它们的基础语言相比是明确和简单的。它们保持了自然语言的表达性和连贯性。在这份报告中,我们专注于一类CNLs,称为面向机器的CNLs,它具有定义良好的语义,可以确定性地翻译成形式语言,如Prolog,做逻辑推理。在过去的20年里,出现了许多面向机器的CNL,并已被用于许多应用领域的问题解决和问答。然而,很少有人支持非单调推理。在我们的工作中,我们提出了非单调扩展CNL支持可废止推理。在本报告的第一部分,我们调查CNLs和比较三个有影响力的系统:尝试控制英语(ACE),可处理英语(PENG)和计算机可处理英语(CPL)。我们比较他们的语言设计,语义解释和推理服务。在本文的第二部分,我们首先分析了自然语言中典型的非单调性,如缺省、例外和会话含义。然后,我们提出了他们的CNL表示和相应的形式化形式的可废止推理称为逻辑程序设计与推理和论证理论(LPDA)。
2019-05-11 cs.AI cs.CL
Using Inverse lambda and Generalization to Translate English to Formal Languages
Arizona State University(亚利桑那州立大学)
我们提出了一个系统,翻译自然语言句子公式的正式或知识表示语言。我们的系统使用了两个逆演算算子,使用它们可以将一些单词、短语和句子的语义表示作为输入,并从中导出其他单词和短语的语义表示。我们的逆lambda运算符适用于许多形式语言,包括一阶逻辑,数据库查询语言和回答集编程。我们的系统使用一个句法组合类别解析器来解析自然语言句子,并根据它们的解析来构造句子的语义。两者使用相同的解析器。除了逆微积分运算符,我们的系统使用泛化的概念来学习语义表示的话,从语义表示的其他词是相同的类别。与此同时,我们使用现有的统计学习方法来分配权重,以处理单词的多种含义。我们的系统产生的标准语料库上的机器人命令和控制和数据库查询的自然语言接口的改进结果。
2011-08-18 cs.CL
Synthetic Function Demonstrations Improve Generation in Low-Resource Programming Languages
Microsoft Research, Microsoft(微软研究院,微软)
本文提出通过生成合成演示数据提升低资源编程语言生成性能,通过教师模型生成训练数据并微调学生模型,在Excel公式领域取得显著效果。
2026-05-11 cs.CL
Converting Epics/Stories into Pseudocode using Transformers
SCTR’s Pune Institute of Computer Technology(SCTR浦那计算机技术学院)
本文提出两阶段 Transformer 方法,将敏捷用户故事先转为代码再转为伪代码,并发现分别训练的 CodeT5 在 BLEU 分数上表现最佳。
2023-12-08 cs.CL
Cross-lingual Transfer or Machine Translation? On Data Augmentation for Monolingual Semantic Textual Similarity
CyberAgent(赛博代理)
针对非英语单语语义文本相似度性能落后的问题,对比跨语言迁移与机器翻译两种数据增强技术,发现二者性能相当,且维基百科领域数据优于NLI领域数据,结合后可提升单语STS性能。
2024-03-08 cs.CL
Study of Encoder-Decoder Architectures for Code-Mix Search Query Translation
Flipkart Data Science(Flipkart数据科学部门)
随着互联网和智能手机的广泛普及,电子商务平台的用户群越来越多样化。由于母语用户不熟悉英语,他们的首选浏览模式是他们的区域语言或他们的区域语言和英语的组合。从我们最近对查询数据的研究中,我们注意到我们收到的许多查询都是代码混合的,特别是Hinglish,即用英语(拉丁语)脚本编写的一个或多个印地语单词的查询。我们提出了一个基于转换器的方法代码混合查询翻译,使用户能够搜索这些查询。我们证明了在大型未标记英语文本语料库上训练的预训练编码器-解码器模型的有效性。使用通用域翻译模型,我们创建了一个伪标签数据集,用于在搜索查询上训练模型,并验证了各种数据增强技术的有效性。此外,为了减少模型的延迟,我们使用知识蒸馏和权重量化。通过实验评估和A/B测试验证了该方法的有效性。该模型目前在Flipkart应用程序和网站上运行,为数百万个查询提供服务。
2022-08-07 cs.CL
Boosting Unsupervised Machine Translation with Pseudo-Parallel Data
Charles University(查理大学)
针对低资源语言无监督机器翻译质量落后的问题,提出结合单语语料库挖掘的伪平行句对与反向翻译合成句对的训练策略,在英译乌任务上取得高达14.5 BLEU分的提升。
2023-10-22 cs.CL
FreeTxt-Vi: A Benchmarked Vietnamese-English Toolkit for Segmentation, Sentiment, and Summarisation
VinUniversity(Vin大学);Cardiff University(卡迪夫大学);Lancaster University(兰卡斯特大学)
FreeTxt-Vi是一种用于越南-英语双语文本分段、情感分析和摘要的开源工具包,通过统一的NLP流水线实现高效多语言文本处理。
2026-03-05 cs.CL
Accurate Knowledge Distillation with n-best Reranking
Apple(苹果公司)
本文提出用多样化模型对 n-best 假设重排序以生成高质量伪标签,增强序列级知识蒸馏,并在 WMT'21 翻译任务上以少两个数量级的参数取得媲美 47 亿参数大模型的准确率。
2024-06-12 cs.CL
SpeechJBB: Probing Safety Alignment and Comprehension in Large Audio Language Models under Code-Switched Speech
Mila - Quebec AI Institute(魁北克AI研究所);McGill University(麦吉尔大学);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
提出SpeechJBB数据集,通过代码切换有害音频和伪词插入方法,揭示大型音频语言模型在多语言和口语设置下的安全漏洞。
2026-09-01 cs.CL cs.SD eess.AS
Constructing Multilingual Code Search Dataset Using Neural Machine Translation
The University of Tokyo(东京大学);Microsoft Research Asia(微软亚洲研究院)
本研究使用神经机器翻译模型构建了包含四种自然语言和四种编程语言的多语言代码搜索数据集,实验表明数据规模比翻译质量对模型性能的影响更大。
2023-06-27 cs.CL cs.SE
Fully Differentiable Neural Forced Alignment via Soft Dynamic Programming
Rotem Rousso(罗特姆·鲁斯索);Eyal Cohen(埃亚尔·科恩);Joseph Keshet(乔赛夫·基谢特)
提出一种端到端全可微神经架构,通过双分支编码器和可训练软动态规划解码器,结合对比损失,在音素对齐任务上超越现有方法。
2026-06-25 cs.CL cs.SD eess.AS
Tencent AI Lab - Shanghai Jiao Tong University Low-Resource Translation System for the WMT22 Translation Task
Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯人工智能实验室)
本文介绍了腾讯人工智能实验室-上海交通大学(TAL-SJTU)针对WMT 22共享任务的低资源翻译系统。我们参与英语$\Leftrightarrow$利沃尼亚语的一般翻译任务。我们的系统是基于M2 M100与新的技术,使其适应目标语言对。(1)跨模型词嵌入对齐:受跨语言词嵌入对齐的启发,我们成功地将预训练的词嵌入转移到M2 M100,使其能够支持Livonian。(2)逐步适应战略:我们利用爱沙尼亚语和拉脱维亚语作为多对多翻译培训的辅助语言,然后适应英语-立窝尼亚语。(3)数据增强:为了扩大英语-立窝尼亚语的并行数据,我们以爱沙尼亚语和拉脱维亚语为枢纽语言构建了伪并行数据。(4)微调:为了充分利用所有可用数据,我们使用验证集和在线反向翻译对模型进行了微调,进一步提高了性能。在模型评估中:(1)我们发现,由于Unicode标准化不一致,以前的工作低估了Livonian的翻译性能,这可能导致高达14.9 BLEU得分的差异。(2)除了标准验证集之外,我们还使用往返BLEU来评估模型,我们发现这更适合这项任务。最后,我们的无约束系统实现BLEU分数为17.0和30.4的英语/从利沃尼亚。
2022-10-17 cs.CL
Dialect-Robust Speech Language Models with Synthetic Pseudo-Dialect Augmentation
SB Intuitions;Waseda University(早稻田大学)
针对方言数据稀缺导致SLM性能下降的问题,提出用标准TTS合成伪方言语音并引入中间标准文本预测,在日德汉方言翻译上显著提升性能,且无需方言语音资源。
2026-10-08 cs.CL eess.AS
RoCode: A Dataset for Measuring Code Intelligence from Problem Definitions in Romanian
University POLITEHNICA of Bucharest(布加勒斯特理工大学);University of Bucharest, HTL Research Center(布加勒斯特大学HTL研究中心);PRHLT Research Center, Universitat Politècnica de València(瓦伦西亚理工大学PRHLT研究中心);ValgrAI - Valencian Graduate School and Research Network of Artificial Intelligence(ValgrAI - 瓦伦西亚人工智能研究生院与研究网络)
本文提出RoCode竞赛编程数据集,包含2642道罗马尼亚语题目及多语言解答,用于评估非英语代码智能并推动多语言代码模型发展。
2024-02-20 cs.CL
Bridging the Language Gap: Enhancing Multilingual Prompt-Based Code Generation in LLMs via Zero-Shot Cross-Lingual Transfer
Department of Statistics and Data Science, Yale University(耶鲁大学统计与数据科学系);School of Information, University of Texas at Austin(德克萨斯大学奥斯汀分校信息学院)
针对非英语提示下 LLM 代码生成质量不均的问题,提出结合 LASER 与神经投影的零样本跨语言迁移方法,仅用英语训练即可提升多语言代码生成质量。
2025-05-09 cs.CL