MultiPL-E: A Scalable and Extensible Approach to Benchmarking Neural Code Generation
大语言模型已经展示了生成自然语言和程序设计语言文本的能力。这样的模型为多语言代码生成提供了可能性:代码生成模型能将知识从一种语言推广到另一种语言吗?虽然当代的代码生成模型可以生成语义正确的Python代码,但对它们在其他语言中的能力知之甚少。我们提出了MultiPL-E,一个将单元测试驱动的代码生成基准转换为新语言的系统。我们通过使用MultiPL-E将两个流行的Python代码生成基准转换为18种额外的程序设计语言,创建了第一个大规模多语言代码生成基准。我们使用MultiPL-E将HumanEval基准测试和MBPP基准测试扩展到18种语言,包括一系列编程范式和流行程度。使用这些新的并行基准测试,我们评估了三种最先进的代码生成模型:Codex,CodeGen和InCoder的多语言性能。我们发现Codex在其他几种语言的Python上的性能相当甚至超过了它。MultiPL-E中表示的程序设计语言的范围使我们能够探索语言频率和语言特征对模型性能的影响。最后,将代码生成基准编译为新的程序设计语言的MultiPL-E方法是可伸缩和可扩展的,使得评估新的模型、基准和语言变得简单。
2022-12-19 cs.LG cs.PL
$\mathtt{MedGraph:}$ Structural and Temporal Representation Learning of Electronic Medical Records
Monash University(蒙纳士大学);Monash Health(蒙纳士健康中心)
电子病历(EMR)数据包含患者就诊的历史序列,每次就诊都包含丰富的信息,如患者人口统计学、医院利用率和医疗代码,包括诊断、程序和药物代码。大多数现有的EMR嵌入方法捕获访问代码的关联,通过构建输入访问表示为二进制向量与医疗代码的静态词汇。利用这种有限的表示,它们无法封装访问的丰富属性信息(人口统计和利用信息)和/或代码(例如,医学代码描述)。此外,目前的工作认为访问同一个病人作为离散时间的事件,忽略了它们之间的时间差。然而,访视之间的时间间隔描绘了患者病史的动态,从而对未来的访视产生不同的影响。为了解决这些局限性,我们提出了$\mathtt{MedGraph}$,监督EMR嵌入方法,捕获两种类型的信息:(1)访问代码的关联在属性二分图,和(2)通过一个点过程的时间顺序的访问。$\mathtt{MedGraph}$为访问和代码生成高斯嵌入,以对不确定性进行建模。我们通过广泛的实验研究评估了$\mathtt{MedGraph}$的性能,并表明$\mathtt{MedGraph}$在几个医疗风险预测任务中优于最先进的EMR嵌入方法。
2020-07-23 cs.LG stat.ML
Structural priors for data-efficient language learning
University of Göttingen(哥廷根大学)
本文研究通过非语言数据(如音乐、概率文法、元胞自动机)进行结构迁移作为语言建模的权重初始化,发现其可降低损失但下游表现不稳定,仅部分替代语言数据。
2026-09-11 cs.AI cs.CL cs.LG
DISP-LLM: Dimension-Independent Structural Pruning for Large Language Models
Florida State University(佛罗里达州立大学);Samsung Research America(三星美国研究院)
针对大语言模型现有结构化剪枝灵活性不足或额外参数多的问题,提出维度无关结构化剪枝方法DISP-LLM,放宽约束消除嵌入维度结构依赖,在多个LLM上性能超越现有最优方法,首次实现结构化剪枝精度接近半结构化剪枝。
2024-11-04 cs.CL cs.LG
Multi-agent Communication meets Natural Language: Synergies between Functional and Structural Language Learning
DeepMind
我们提出了一种方法相结合的多智能体通信和传统的数据驱动的方法来自然语言学习,最终目标是教学代理人与人类在自然语言。我们的出发点是一个语言模型,它是在通用的而不是特定于任务的语言数据上训练的。然后,我们把这个模型在一个多智能体的自我发挥的环境中,产生特定于任务的奖励,用于适应或调节模型,把它变成一个任务条件语言模型。我们介绍了一种新的方法,结合这两种类型的学习的思想的基础上重新排序的语言模型样本,并表明,这种方法优于其他人在与人类沟通的视觉参考通信任务。最后,我们提出了一个分类的不同类型的语言漂移,可以发生在旁边的一组措施来检测它们。
2020-05-14 cs.AI cs.CL cs.LG
Staircase Network: structural language identification via hierarchical attentive units
University of Eastern Finland(东芬兰大学);AIST(日本产业技术综合研究所)
语言识别系统通常直接训练以优化目标语言标签上的分类错误,而不使用模型参数估计中的外部或元信息。然而,标签并不是相互独立的,例如,语言家族强制执行依赖性,这对分类产生了负面影响。其他外部信息源(例如音频编码、电话或视频语音)也会降低分类准确度。在本文中,我们试图解决这些问题,通过构建一个深层次的神经网络,其中不同层次的元信息被封装的关注预测单元,也嵌入到训练过程中。所提出的方法学习辅助任务,以获得强大的内部表示,并构建一个层次模型内的注意单元的变体。最终的结果是对目标语言和一个密切相关的语系的结构预测。该算法在其架构和训练中反映了一种“阶梯”学习方式,从基本音频编码到语言族级别,最后到目标语言级别。该过程不仅提高了泛化能力,而且解决了深度神经网络模型中的不平衡类先验和信道可变性问题。我们的实验结果表明,所提出的架构优于国家的最先进的i向量的方法上的小型和大型语言语料库的显着保证金。
2018-04-30 cs.AI cs.CL cs.LG
Large Language Model Agent for Structural Drawing Generation Using ReAct Prompt Engineering and Retrieval Augmented Generation
Lyles School of Civil and Construction Engineering(莱尔斯土木与建设工程学院);Purdue University(普渡大学);School of Mechanical Engineering(机械工程学院)
本文提出结合 ReAct 提示工程、RAG 与 LLM 智能体的结构图纸生成方法,可将自然语言描述转换为 AutoCAD 图纸,降低人工绘图负担。
2025-07-26 cs.AI cs.LG
Learning Structural Kernels for Natural Language Processing
University of Sheffield(谢菲尔德大学);University of Melbourne(墨尔本大学);Uppsala University(乌普萨拉大学)
结构核函数是一种灵活的学习范式,在自然语言处理中得到了广泛的应用。然而,基于核的方法中的模型选择问题通常被忽视。以前的方法主要依赖于为内核超参数设置默认值或使用网格搜索,这是缓慢和粗粒度的。相比之下,贝叶斯方法允许通过基于梯度的方法最大化训练数据上的证据来进行有效的模型选择。在本文中,我们将展示如何使用高斯过程在结构内核的上下文中执行此操作。在树核上的实验结果表明,与基于网格搜索的超参数优化相比,该方法具有更好的预测性能。本文提出的框架可以适用于除树之外的其他结构,例如,字符串和图形,从而扩展了基于内核的方法的实用性。
2015-08-10 cs.CL cs.LG
Modeling Bilingual Sentence Processing: Evaluating RNN and Transformer Architectures for Cross-Language Structural Priming
University of Florida(佛罗里达大学)
本研究评估 RNN 和 Transformer 模型在汉英跨语言结构启动中的表现,发现 Transformer 优于 RNN,挑战了传统循环处理观点,提示基于线索的检索机制作用。
2024-10-15 cs.CL cs.LG
A Survey of Code-switched Speech and Language Processing
Microsoft Research India(微软印度研究院);Carnegie Mellon University(卡内基梅隆大学)
语码转换是一种常见的语言交际现象,在世界多语言社会中普遍存在。本文综述了码转换语音和自然语言处理的计算方法。我们激励为什么处理代码转换的文本和语音是必不可少的智能代理和系统,与用户在多语言社区。由于代码转换的数据和资源是稀缺的,我们列出了什么是可用的各种代码转换语言对的语言处理任务,他们可以用来。我们回顾了各种语音和NLP应用中的语码转换研究,包括语言处理工具和端到端系统。我们的结论与未来的方向和开放的问题在该领域。
2020-07-22 cs.CL cs.LG stat.ML
Transfer of Structural Knowledge from Synthetic Languages
School of Computer Science & Engineering(计算机科学与工程学院);Constructor University(Constructor大学);CAIRO THWS;Würzburg, Germany(德国魏尔堡)
本研究通过引入新的合成语言和Tiny-Cloze基准,证明从合成语言到英语的迁移学习能提升微调模型在多种自然语言理解任务上的性能。
2025-05-21 cs.CL cs.LG
Not All Code Is Equal: A Data-Centric Study of Code Complexity and LLM Reasoning
King's College London, United Kingdom(伦敦国王学院);King Abdullah University of Science(阿卜杜勒阿齐兹国王科学大学)
本文通过研究代码结构复杂性对大语言模型推理能力的影响,发现结构特性在提升推理性能中起关键作用,优于单纯扩大训练数据规模。
2026-01-29 cs.LG
Language-encoded network topology enables large language models to reason about complex networks
Stanford University(斯坦福大学);Stanford University School of Medicine(斯坦福大学医学院)
本文提出BioGlyph将网络拓扑编码为结构角色语言,提升开源LLMs的网络结构推理能力,在20个跨领域网络上准确率较现有方法最高提升26个百分点。
2026-09-04 cs.LG
Structural Inference: Interpreting Small Language Models with Susceptibilities
通过易感性分析,研究如何利用线性响应框架解释小型语言模型的功能模块结构。
2026-03-06 cs.LG
Scalable Syntax-Aware Language Models Using Knowledge Distillation
DeepMind;University of Oxford(牛津大学)
先前的工作表明,在少量的训练数据上,句法神经语言模型比顺序语言模型更成功地学习结构敏感的概括。然而,它们的计算复杂性使得缩放困难,并且当序列模型可以访问越来越大量的训练数据时,结构偏差是否仍然是必要的仍然是一个悬而未决的问题。为了回答这个问题,我们引入了一种有效的知识蒸馏(KD)技术,该技术将知识从在小语料库上训练的语法语言模型转移到LSTM语言模型,从而使LSTM能够开发其学习的更大训练数据的结构敏感表示。在有针对性的语法评估,我们发现,虽然顺序LSTM执行比以前报道的要好得多,我们提出的技术大大提高了这个基线,产生一个新的艺术状态。我们的研究结果和分析肯定了结构偏差的重要性,即使在模型中,从大量的数据学习。
2019-06-14 cs.CL cs.LG
Leveraging Structural Properties of Source Code Graphs for Just-In-Time Bug Prediction
University of Saskatchewan(萨斯喀彻温大学)
数据可视化最常见的用途是最大限度地减少正确理解的复杂性。图是理解关系数据最常用的表示之一。它产生了一种简化的数据表示,如果以文本格式保存,则很难理解。在这项研究中,我们提出了一种方法来利用源代码的关系属性的形式的图形,以确定在不同版本的软件演化和维护的软件系统中的即时(JIT)错误预测。提出了一种将提交补丁的源代码转换为等价图表示的方法,并将其命名为源代码图(SCG)。为了理解和比较多个源代码图,我们提取了这些图的几个结构属性,如密度,周期数,节点,边缘等,然后我们利用这些SCG的属性值来可视化和检测错误的软件提交。我们处理超过246K的软件提交从12个主题系统在本次调查中。我们对这12个用C++和Java程序设计语言编写的开源软件项目的调查表明,如果我们将SCG的特征与类似研究中使用的传统特征相结合,我们将获得基于机器学习(ML)的错误提交检测模型的性能提高。使用Wilcoxon符号秩检验,我们还发现在预测有缺陷和无缺陷提交时F1分数的增加具有统计学显著性。由于基于SCG的特征值代表了软件系统中源代码更新或更改的风格或结构属性,因此它表明了仔细维护源代码风格或结构以保持软件系统无错误的重要性。
2022-01-25 cs.LG cs.SE
Detecting Structural Irregularity in Electronic Dictionaries Using Language Modeling
University of Maryland(马里兰大学)
字典通常使用保存到基于可扩展置标语言(XML)的标准的工具来开发。这些标准通常允许高级重复元素表示词汇条目,并利用这些重复元素的后代以XML树的形式表示每个词汇条目内的结构。在许多情况下,出版的字典中有错误和不一致之处,手动查找这些错误和不一致之处的成本很高。本文讨论了一种利用统计语言模型快速审计词典词条结构规则性的方法。该方法学习XML树中可能出现的XML节点的模式,然后计算字典中每个XML树与这些模式的概率,以查找偏离规范的条目。
2014-10-29 cs.CL cs.LG
A Graph Perspective to Probe Structural Patterns of Knowledge in Large Language Models
University of Oregon(俄勒冈大学);Adobe Research(Adobe研究);Cisco AI Research(思科人工智能研究);Pacific Northwest National Laboratory(太平洋西北国家实验室);Rensselaer Polytechnic Institute(拉特格斯理工学院)
本文从图视角研究大型语言模型知识的结构模式,揭示知识同质性,并开发图机器学习模型基于局部邻居估计实体知识,进而选择低知识三元组进行微调以提升性能。
2025-05-27 cs.CL cs.LG cs.SI
Game of LLMs: Discovering Structural Constructs in Activities using Large Language Models
School of Interactive Computing, Georgia Institute of Technology(佐治亚理工学院交互计算学院)
针对智能家居场景下固定窗口活动识别的不足,本研究利用大语言模型挖掘活动的底层结构构造单元,并提出基于构造单元的活动识别流程,助力短时长、低频活动识别及智能家居活动监测任务。
2024-06-19 cs.CL cs.LG
ViStruct: Visual Structural Knowledge Extraction via Curriculum Guided Code-Vision Representation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Northwestern University(西北大学)
提出ViStruct训练框架,利用编程语言结构表示视觉信息并结合课程学习,提升视觉语言模型对多粒度视觉结构知识的抽取与理解能力。
2023-11-22 cs.CL cs.CV cs.LG
Multi-View Empowered Structural Graph Wordification for Language Models
College of Management and Economics, Tianjin University(天津大学管理与经济学部);Lenovo Research(联想研究院)
本文提出Dr.E框架,通过双残差向量量化变分自编码器实现LLM与图结构的token级对齐,并结合多视图结构增强,在标准图任务上取得有竞争力的性能。
2024-12-28 cs.CL cs.LG
Endowing Protein Language Models with Structural Knowledge
Max Planck Institute of Biochemistry(马克斯·普朗克生物化学研究所)
该研究提出Protein Structure Transformer框架,通过结构提取器模块将结构信息整合进蛋白质语言模型的自注意力机制,在仅含54.2万结构的小数据集上预训练后,参数效率更优且性能超越ESM-2,刷新蛋白质功能预测基准。
2024-01-26 cs.LG q-bio.BM q-bio.QM
Foundations of Structural Statistics: Topological Statistical Theory
拓扑统计理论为经典统计理论的现代数学重建提供了基础:结构统计强调伴随分布族的结构假设和它们之间的结构保持变换集,由它们的统计态射给出。由此产生的语言旨在集成复杂的结构化模型空间,如深度学习模型,并缩小与拓扑和微分几何的差距。为了保持与经典统计学的兼容性,该语言包括标准信息标准的相应概念,如充分性和完整性。
2020-06-20 cs.LG math.ST stat.TH
Structural Pruning of Pre-trained Language Models via Neural Architecture Search
Amazon Web Services(亚马逊网络服务);Helsing(赫尔辛公司)
本文提出利用神经架构搜索(NAS)进行预训练语言模型的结构化剪枝,通过多目标方法识别Pareto最优子网络集,并采用两阶段权重共享NAS加速搜索,实现效率与泛化性能的最优权衡。
2024-08-25 cs.CL cs.LG
Structural Abstraction as an Inductive Bias for Non-Stationary Language Model Training
University of Southern California(南加州大学)
提出抽象增强训练(AAT)方法,通过联合优化具体实例及其结构抽象,减少灾难性干扰并提升关系泛化能力,在非平稳语言模型训练中验证了结构抽象作为稳定学习信号的有效性。
2026-05-22 cs.CL cs.LG
Structural Interpretations of Protein Language Model Representations via Differentiable Graph Partitioning
Nanyang Technological University(南洋理工大学)
本文提出一种插件式框架,通过将ESM-2表示投影到蛋白质接触图并应用SoftBlobGIN网络,实现结构感知的消息传递和学习功能子结构,提升下游任务性能。
2026-05-09 cs.AI cs.LG q-bio.BM
A Transformer Based Generative Chemical Language AI Model for Structural Elucidation of Organic Compounds
X Scientific
本文提出基于 Transformer 的端到端生成式化学语言模型,直接由 IR、UV 和 1H NMR 光谱生成候选结构,在约 10.2 万光谱训练后实现 83% top-15 准确率。
2024-10-25 cs.LG physics.chem-ph physics.comp-ph
Integrating Large Language Models for Automated Structural Analysis
University of Alberta(阿尔伯塔大学)
针对尚无系统框架利用大型语言模型(LLMs)进行自动结构分析的空白,提出集成LLMs与结构分析软件的新型框架,通过特定领域提示设计等策略提升性能,基于GPT-4o的框架在基准数据集上达100%准确率。
2025-04-13 cs.LG cs.SE
PanGu-Coder: Program Synthesis with Function-Level Language Modeling
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Huawei Cloud(华为云)
我们提出了PanGu-Coder,一个预训练的解码器的语言模型,采用PanGu-Alpha架构的文本到代码生成,即程序设计语言解决方案的合成给出了一个自然语言的问题描述。我们使用两阶段策略训练PanGu-Coder:第一阶段使用因果语言建模(CLM)对原始程序设计语言数据进行预训练,而第二阶段使用因果语言建模和掩蔽语言建模(MLM)训练目标的组合,专注于文本到代码生成的下游任务,并对松散策划的自然语言程序定义和代码函数进行训练。最后,我们讨论PanGu-Coder-FT,它是微调的竞争性编程问题和代码的组合与持续集成测试。我们评估PanGu-Coder,重点是它是否生成功能正确的程序,并证明它比类似大小的模型(如CodeX)具有相同或更好的性能,同时参加较小的上下文窗口和较少的数据训练。
2022-07-22 cs.AI cs.CL cs.LG
Cross-Lingual Transfer of Cognitive Processing Complexity
University of Amsterdam(阿姆斯特丹大学);University of Copenhagen(哥本哈根大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
当人类阅读文本时,他们的眼球运动受到输入句子结构复杂性的影响。这一认知现象在不同语言间存在,最近的研究表明,多语言语言模型利用语言之间的结构相似性来促进跨语言迁移。我们使用了双水平眼动追踪模式作为结构复杂性的认知指标,并表明多语言模型XLM-RoBERTA可以成功地预测13种类型多样的语言的不同模式,尽管只对英语数据进行了微调。我们量化了模型对结构复杂性的敏感性,并区分了一系列复杂性特征。我们的研究结果表明,该模型开发了一个有意义的偏向句子长度,但也集成了跨语言的差异。我们进行了一个随机词序的对照实验,发现该模型似乎还捕捉到了更复杂的结构信息。
2023-02-27 cs.CL cs.LG
Structure-informed Language Models Are Protein Designers
ByteDance AI Lab(字节跳动人工智能实验室);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文证明了语言模型是基于结构的强蛋白质设计者。我们提出了LM设计,一个通用的方法来重新编程基于序列的蛋白质语言模型(pLM),已经从宇宙中的天然蛋白质序列学习了大量的顺序进化知识,获得一个即时的能力,设计出更好的蛋白质序列,为给定的折叠。我们对pLM进行结构手术,将一个轻量级的结构适配器植入pLM,并赋予其结构意识。在推理过程中,进行迭代精化以有效地优化生成的蛋白质序列。实验表明,LM-设计大大提高了最先进的结果,使序列恢复的准确率提高了4%至12%(例如,在CATH 4.2/4.3单链基准上为55.65%/56.63%,并且当设计蛋白质复合物时>60%)。我们提供了广泛而深入的分析,这些分析验证了LM-Design确实可以(1)利用结构和序列知识来准确处理结构上不确定的区域,(2)受益于缩放数据和模型大小,以及(3)推广到其他蛋白质(例如,抗体和从头蛋白质)
2023-02-09 cs.LG
Structural Certification for Reliable Physical Design with Language Models
Heysuvi Labs, LLC(Heysuvi实验室);Institute of Biological and Chemical Systems - Functional Molecular Systems, Karlsruhe Institute of Technology(生物和化学系统研究所-功能分子系统,卡尔斯鲁厄技术大学)
提出Physics-Anchored Certification (PHACT)框架,通过提议-认证循环将断言权从模型转移到确定性引擎,在五个科学领域实现零错误认证。
2026-06-29 cs.AI cs.LG
CoCoNUT: Structural Code Understanding does not fall out of a tree
Cornell University(康奈尔大学)
本文提出 CoCoNUT 数据集,通过追踪代码执行路径揭示当前 LLMs 在结构化控制流理解上的不足,并引入递归、并行处理和 OOP 等关键结构子集进行评估。
2025-03-03 cs.LG cs.SE
Trust in One Round: Confidence Estimation for Large Language Models via Structural Signals
The University of Sydney(悉尼大学);University of Technology Sydney(技术大学悉尼)
通过分析模型最终层隐藏状态轨迹中的多尺度结构信号,提出结构置信度方法,实现单次通过的高效、稳健置信度估计,适用于高社会影响和资源受限的LLM应用。
2026-02-01 cs.CL cs.LG
Neural Code Search Revisited: Enhancing Code Snippet Retrieval through Natural Language Intent
Nokia Bell Labs(诺基亚贝尔实验室)
在这项工作中,我们提出并研究注释代码搜索:检索的代码片段配对的简要说明,他们的意图使用自然语言查询。在三个基准数据集上,我们研究了如何通过利用描述来更好地捕获代码片段的意图来改进代码检索系统。基于迁移学习和自然语言处理的最新进展,我们为用自然语言描述注释的代码创建了一个特定于域的检索模型。我们发现,与不使用描述但试图仅从未注释的代码计算片段意图的最先进的代码检索方法相比,我们的模型产生了更相关的搜索结果(平均倒数排名的绝对增益高达20.6%)。
2020-08-27 cs.IR cs.LG cs.SE
QRïS: A Preemptive Novel Method for Quishing Detection Through Structural Features of QR
Deakin University(德金大学)
针对Quishing检测中黑盒方法缺乏可解释性的问题,提出QRïS,通过提取QR码24个结构特征并训练ML模型实现透明可复现的抢先检测,准确率达83.18%,并以移动应用验证实际可行性。
2025-10-20 cs.CR cs.LG
AstBERT: Enabling Language Model for Financial Code Understanding with Abstract Syntax Trees
Ant Group(蚂蚁集团)
利用预先训练好的语言模型来理解源代码,由于其在发现金融风险方面的巨大潜力,越来越受到金融机构的关注。然而,在应用这些语言模型来直接解决与程序设计语言相关的问题时存在几个挑战。例如,领域知识在自然语言(NL)和程序设计语言(PL)之间的转换需要从不同的角度理解来自数据的语义和句法信息。为此,我们提出了AstBERT模型,这是一种预训练的PL模型,旨在使用抽象语法树(AST)更好地理解金融代码。具体来说,我们从支付宝代码库中收集了大量的源代码(包括Java和Python),并通过代码解析器的帮助将语法和语义代码知识融入我们的模型中,其中可以解释和集成源代码的AST信息。我们评估所提出的模型的性能上的三个任务,包括代码问答,代码克隆检测和代码细化。实验结果表明,我们的AstBERT在三个不同的下游任务取得了良好的性能。
2022-10-11 cs.AI cs.LG
Structural Transfer Learning in NL-to-Bash Semantic Parsers
University of Oxford(牛津大学)
本文提出定量理解机器翻译任务间结构重叠的方法,应用于 NLBash 任务发现其可归约为词汇对齐且与 NL-to-SQL 结构重叠强烈,并揭示预训练计算量增加不总能增强向 NLBash 的迁移效果。
2023-07-31 cs.AI cs.CL cs.LG
Reasoning Distillation and Structural Alignment for Improved Code Generation
Universidade Estadual de Campinas(坎皮纳斯州立大学)
本文提出将 VLLM 的推理能力蒸馏到小模型,并通过结构感知损失对齐问题与代码方案,从而在多个代码生成基准上显著提升 pass@1 等指标。
2025-10-20 cs.AI cs.CL cs.LG