OpenAutoNLU: Open Source AutoML Library for NLU
MWS AI;ITMO University(ITMO大学);MBZUAI
OpenAutoNLU是一个开源的自动机器学习库,提供自然语言理解任务的文本分类和命名实体识别功能,通过数据感知的训练制度选择和低代码API实现高效自动化。
2026-03-02 cs.CL cs.LG
ChemAgent: Self-updating Library in Large Language Models Improves Chemical Reasoning
Yale University(耶鲁大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学);Shanghai Jiao Tong University(上海交通大学)
针对大语言模型在化学推理中存在的公式处理、步骤执行等难题,提出带自更新记忆库的ChemAgent框架,通过任务分解与信息检索优化推理,在SciBench数据集上最高提升46%性能,可应用于药物发现等领域。
2025-01-11 cs.AI cs.CL
HugNLP: A Unified and Comprehensive Library for Natural Language Processing
East China Normal University(华东师范大学);National University of Singapore(新加坡国立大学);Ant Group(蚂蚁集团);Alibaba Group(阿里巴巴集团)
在本文中,我们介绍了HugNLP,一个统一而全面的自然语言处理(NLP)库,其后端是HuggingFace Transformers,旨在让NLP研究人员轻松利用现成的算法,并在现实世界的场景中使用用户定义的模型和任务开发新方法。HugNLP由一个分层结构组成,包括模型,处理器和应用程序,统一了不同NLP任务上预训练语言模型(PLM)的学习过程。此外,我们还展示了一些特色的NLP应用,以展示HugNLP的有效性,例如知识增强的PLM,通用信息抽取,低资源挖掘,代码理解和生成等。源代码将在GitHub上发布(https://github.com/wjn1996/HugNLP)。
2023-02-28 cs.CL
Evaluating Large Language Models with fmeval
Amazon Web Services(亚马逊网络服务);Ruhr University Bochum(鲁尔大学波鸿分校)
本文介绍开源库 fmeval,用于评估大型语言模型的任务性能与负责任AI维度,并阐述其设计原则、实现及问答任务选型案例。
2024-07-15 cs.CL cs.LG
TextBox 2.0: A Text Generation Library with Pre-trained Language Models
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE(教育部下一代智能搜索与推荐工程研究中心);DIRO, Université de Montréal(蒙特利尔大学计算机科学与运筹学系);School of Information, Renmin University of China(中国人民大学信息学院);Xidian University(西安电子科技大学)
为了促进文本生成的研究,本文提出了一个全面和统一的库,TextBox 2.0,专注于使用预先训练的语言模型(PLM)。为了全面,我们的库涵盖了$13$常见的文本生成任务及其相应的$83$数据集,并进一步整合了$45$ PLM,涵盖了通用、翻译、中文、对话、可控、提炼、提示和轻量级PLM。我们还实施了$4$高效的培训策略,并提供了$4$生成目标,用于从头开始预培训新的PLM。为了统一,我们设计了支持整个研究流程(从数据加载到训练和评估)的接口,确保每个步骤都可以以统一的方式完成。尽管功能丰富,但通过友好的Python API或命令行,很容易使用我们的库。为了验证我们的图书馆的有效性,我们进行了广泛的实验和四种类型的研究方案。该项目发布在链接:https://github.com/RUCAIBox/TextBox。
2022-12-26 cs.CL
Adapters: A Unified Library for Parameter-Efficient and Modular Transfer Learning
Technical University of Darmstadt(达姆施塔特工业大学);Cohere;University of Cambridge(剑桥大学);Google DeepMind(谷歌DeepMind)
本文介绍了开源库Adapters,它通过统一接口集成10种适配器方法,支持大型语言模型中参数高效且模块化的迁移学习,允许通过组合块设计复杂设置,并在NLP任务中验证了其有效性。
2023-11-18 cs.AI cs.CL cs.LG
LLMBox: A Comprehensive Library for Large Language Models
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
本文提出面向大语言模型的综合统一库LLMBox,具备统一数据接口、全面评估体系及高易用性与效率三大优势,经大量实验验证其有效性,可助力LLM的开发、训练与评估。
2024-07-08 cs.CL
LIBMoE: A Library for comprehensive benchmarking Mixture of Experts in Large Language Models
LibMoE为大规模语言模型混合专家提供统一框架,通过全面分析路由动态、初始化影响及训练模式差异,推动MoE研究标准化与创新。
2026-07-28 cs.AI cs.CL cs.LG
LLM Reasoners: New Evaluation, Library, and Analysis of Step-by-Step Reasoning with Large Language Models
UC San Diego(加州大学圣地亚哥分校);University of Florida(佛罗里达大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
针对大语言模型推理链评估缺自动化方法、推理方法缺统一实现的问题,提出AutoRace全自动评估方法与LLM Reasoners统一推理库,系统分析了多类推理方法的影响因素。
2024-08-11 cs.AI cs.CL
Fairness Evaluation of Large Language Models in Academic Library Reference Services
Indiana University(印第安纳大学);Montana State University(蒙塔纳州立大学);Wuhan University(武汉大学);Guangdong University of Foreign Studies(广东外语外贸大学);San José State University(圣何塞州立大学);Macalester College(麦基尔学院)
本研究评估了大型语言模型在学术图书馆参考服务中对不同用户身份的公平性,发现其在种族和民族上无差异,但存在对女性的轻微刻板印象偏见,显示其在公平沟通方面的潜力。
2025-11-21 cs.AI cs.CL cs.DL
Hearing voices at the National Library -- a speech corpus and acoustic model for the Swedish language
National Library of Sweden(瑞典国家图书馆)
本文介绍了我们在KBLab(瑞典国家图书馆(KB)数据驱动研究的基础设施)开发新的自动语音识别(ASR)声学模型的工作。我们评估不同的方法,一个可行的语音到文本的管道视听资源在瑞典,使用wav 2 vec 2.0架构结合从KB的集合创建的语音语料库。这些方法包括从头开始预训练瑞典语的声学模型,以及微调现有的单语和多语言模型。我们使用的基于集合的语料库是从数百万小时的演讲中取样的,有意识地尝试平衡地区方言,以产生更具代表性,因此更民主的模型。这使得声学模型,“VoxRex”,优于瑞典ASR的现有模型。我们还评估了将此模型与各种预训练的语言模型相结合,这进一步提高了性能。最后,我们强调了这种技术对文化遗产机构的潜力,这些机构拥有大量以前未标记的视听数据。我们的模型在这里发布以供进一步探索和研究:https://huggingface.co/KBLab。
2022-05-19 cs.CL
Ensuring Safe and High-Quality Outputs: A Guideline Library Approach for Language Models
XiaMen University(厦门大学);Yanshan University(雁山大学);IDEA Research(IDEA研究);Inner Mongolia University(内蒙古大学);Microsoft(微软);Microsoft Research Asia(微软亚洲研究院)
提出Guide-Align两阶段方法,通过安全模型构建指南库并检索指导LLM生成,显著提升安全性与质量,13B参数的Labrador模型在对齐能力上超越GPT-4。
2024-03-23 cs.AI cs.CL
Composition Vision-Language Understanding via Segment and Depth Anything Model
Carnegie Mellon University(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校);AWS(亚马逊云科技)
提出一个统一库,结合 DAM、SAM 和 GPT-4V,通过符号实例级的分割与深度分析融合,显著提升视觉问答和组合推理等零样本多模态任务的表现。
2024-06-07 cs.AI cs.CV cs.LG
TreeThink: A Modular Tree Search Library for Mathematical Reasoning with LLMs
Bogazici University(博阿齐奇大学);Codeway Studios(Codeway工作室);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡大学);Koç University(科克大学);KUIS AI Lab(KUIS人工智能实验室)
介绍开源Python库TreeThink,用于神经定理证明的模块化全异步树搜索,集成多种方法技术,支持多种语言,连接REPL服务器,经评估在miniF2F和MATH500上有跨语言证明搜索等优势及异步加速。
2026-09-10 cs.CL
Towards Self-Robust LLMs: Intrinsic Prompt Noise Resistance via CoIPO
Zhejiang University(浙江大学);Tsinghua University(清华大学);Meituan LongCat Interaction Team(美团LongCat交互团队);ETH Zürich(苏黎世联邦理工学院)
本文提出CoIPO方法,通过对比学习提升大语言模型对提示噪声的内在鲁棒性,实验表明其在NoisyPromptBench上表现优于现有方法。
2026-02-09 cs.AI cs.CL cs.LG
ArcMMLU: A Library and Information Science Benchmark for Large Language Models
Wuhan University(武汉大学);Tsinghua University(清华大学)
本文提出中文图书馆与信息科学领域基准ArcMMLU,包含超6000个高质量问题,覆盖档案学、数据科学、图书馆学和信息科学四个子领域,用于系统评估大语言模型的知识与推理能力,并揭示其性能差距与改进方向。
2023-11-30 cs.CL
Towards Model as a Library: Offline, Community-Sourced AI for Low-Resource African Languages
Centre of Research, Experimentation and Production(研究、实验与生产中心);SCEMI, University of Ngaoundere(恩冈代雷大学SCEMI);Stellenbosch Institute for Advanced Study(斯泰伦博斯高等研究院);Wallenberg Research Centre at Stellenbosch University(斯泰伦博斯大学瓦伦贝格研究中心)
针对非洲低资源语言,提出“模型即库”架构,将社区注册的小型语音模型作为设备端依赖,实现离线、无幻觉的结构化数据收集,并提议转译现有数字表单以支持语音优先采集。
2026-10-01 cs.AI cs.CL cs.HC
Enhancing Decision Analysis with a Large Language Model: pyDecision a Comprehensive Library of MCDA Methods in Python
Federal Fluminense University(弗鲁米嫩塞联邦大学)
pyDecision库集成70种MCDA方法与ChatGPT,提供可视化工具,增强决策分析的交互性和直观性,但需谨慎验证大语言模型输出。
2024-04-09 cs.AI
ShapeLib: Designing a library of programmatic 3D shape abstractions with Large Language Models
Stanford University(斯坦福大学);Adobe Research(Adobe研究);University College London(伦敦大学学院);Brown University(布朗大学)
提出ShapeLib方法,利用大型语言模型的先验知识,通过引导式工作流自动设计可泛化的程序化3D形状抽象库,并支持下游形状编辑与生成。
2026-05-31 cs.AI cs.CV cs.GR
When Language Model Meets Private Library
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Microsoft Research Asia(微软亚洲研究院)
随着预训练技术的迅速发展,大量的语言模型已经在大规模的代码语料库上进行了预训练,并在代码生成中表现良好。在本文中,我们研究了如何使预先训练好的语言模型具有为私有库生成代码生成的能力。在实践中,程序员使用私有库编写代码是很常见的。然而,这对语言模型来说是一个挑战,因为它们在训练期间从未见过私有API。受私有库通常附带详细的API文档这一事实的启发,我们提出了一个具有两个模块的新框架:APIRetriever发现有用的API,然后APICoder使用这些API生成代码。对于API检索器,我们提出了一个稠密检索系统,并设计了一个友好的交互,涉及使用。对于APICoder,我们可以直接使用现成的语言模型,或者在包含API信息的代码语料库上持续预训练基础模型。这两个模块都是用公共图书馆的数据训练的,可以推广到私人图书馆。此外,我们为私有库制作了三个基准测试,分别为TorchDataEval、MonkeyEval和BeatNumEval。实验结果表明,令人印象深刻的性能,我们的框架。
2022-10-31 cs.CL cs.PL cs.SE
LipidBERT: A Lipid Language Model Pre-trained on METiS de novo Lipid Library
METiS Pharmaceuticals(METiS制药公司)
本文提出LipidBERT,利用METiS内部1000万虚拟脂质库进行BERT式预训练并结合LNP湿实验数据微调,实现最先进的LNP性质预测,展示了干湿实验整合在脂质筛选中的价值。
2025-05-03 cs.CL physics.chem-ph q-bio.BM
RECALL: Library-Like Behavior In Language Models is Enhanced by Self-Referencing Causal Cycles
MBZUAI(穆罕默德·本·扎耶德人工智能大学);RIKEN AIP(理化学研究所人工智能项目);Tohoku University(东北大学)
本文提出自引用因果循环(RECALL)机制,使LLM能绕过反转诅咒,通过循环token连接训练数据,增强从后续token回忆前文的能力,并经形式化与实验验证。
2025-01-23 cs.AI cs.CL
Time Interpret: a Unified Model Interpretability Library for Time Series
Babylon Health(巴比伦健康);Skippr
本文介绍 time_interpret,一个基于 Captum 的统一时序模型可解释性库,提供特征归因、数据集、模型与评估工具,并发布多种配套的新归因方法。
2023-06-06 cs.AI cs.LG
Library Hallucinations in LLM-Generated Code: A Risk Analysis Grounded in Developer Queries
King’s College London(伦敦国王学院);University College London(伦敦大学学院)
本文研究了LLM生成代码中库幻觉的风险,通过分析用户提示变化对库幻觉的影响,揭示了系统性漏洞,并提出了LibHalluBench基准测试以评估这些幻觉。
2026-08-24 cs.CL cs.SE
iNLTK: Natural Language Toolkit for Indic Languages
Jio Haptik(Jio Haptik公司)
我们推出了iNLTK,这是一个开源NLP库,由预训练的语言模型和对13种印度语言的数据增强、文本相似性、句子嵌入、词嵌入、令牌化和文本生成的开箱即用支持组成。通过使用来自iNLTK的预训练模型对公开数据集进行文本分类,我们的表现明显优于之前报道的结果。在这些数据集上,我们还表明,通过使用iNLTK的预训练模型和数据增强,我们可以使用不到10%的训练数据实现超过95%的先前最佳性能。iNLTK已经被社区广泛使用,在GitHub上有40,000多次下载,600多颗星和100多个分叉。该库可在https://github.com/goru001/inltk上查阅。
2020-10-10 cs.CL
Game Reasoning Arena: A Framework and Benchmark for Assessing Reasoning Capabilities of Large Language Models via Game Play
LAION Juelich Supercomputing Center (JSC)(LAION尤利奇超级计算机中心(JSC));Research Center Juelich (FZJ)(尤利奇研究中心(FZJ))
本文提出游戏推理竞技场框架,基于OpenSpiel封装多种游戏并支持多种智能体,通过API、本地部署和分布式执行系统评估大语言模型的决策推理与博弈论行为。
2025-08-18 cs.AI cs.GT
CodeTF: One-stop Transformer Library for State-of-the-art Code LLMs
Salesforce AI Research(Salesforce AI研究院)
CodeTF是一个面向最新代码大模型的统一Transformer库,通过模块化设计和可扩展框架,提供统一接口以快速开发和部署代码大语言模型及代码智能应用。
2025-12-22 cs.AI cs.SE
Library Learning Doesn't: The Curious Case of the Single-Use "Library"
University of Toronto(多伦多大学);Vector Institute(矢量研究院);Dalhousie University(达尔豪斯大学)
本文考察 LEGO-Prover 与 TroVE 两个数学推理库学习系统,发现其在 miniF2F 和 MATH 上极少复用函数,性能提升主要源于自我纠错与自我一致性。
2024-10-26 cs.CL cs.LG cs.SC
Library-Aware Doubles and Iterative Repair for Large Language Model-Generated Unit Tests in OpenSIL Firmware
School of Software Design and Data Science(软件设计与数据科学学院);Seneca Polytechnic(森纳学院);Advanced Micro Devices Canada(加拿大先进微器件公司)
针对OpenSIL固件单元测试因构建约束易失败的问题,提出LLM引导的多智能体自动化测试生成与迭代修复流程,在76个函数中73个生成可编译测试,行覆盖率达98.8%。
2026-06-23 cs.AI cs.MA cs.SE
llmNER: (Zero|Few)-Shot Named Entity Recognition, Exploiting the Power of Large Language Models
University of Chile(智利大学);Millennium Institute for Foundational Research on Data(数据基础研究千年研究所);Catholic University of Chile(智利天主教大学);Faculty of Physical and Mathematical Sciences, University of Chile(智利大学物理与数学学院)
本文提出 llmNER 库,通过简化提示构建与结果解析,支持基于大型语言模型的零样本和少样本命名实体识别,并在两个 NER 任务上验证其灵活性与有效性。
2024-06-06 cs.CL
lambeq: An Efficient High-Level Python Library for Quantum NLP
Cambridge Quantum Computing(剑桥量子计算公司)
我们介绍了lambeq,第一个用于量子自然语言处理(QNLP)的高级Python库。这个开源工具包提供了一个详细的模块和类层次结构,实现了将句子转换为字符串图、张量网络和量子电路的管道的所有阶段,可以在量子计算机上使用。Lambeq支持句法分析、字符串图的重写和简化、语法创建和操作、以及用于准备句子的量子友好表示的多个组合模型,采用不同程度的语法敏感性。我们提出了通用的体系结构,并详细描述了最重要的模块,演示了使用说明性的例子。此外,我们在实践中测试工具包,使用它来执行一些简单的NLP任务的实验,实现经典和量子管道。
2021-10-08 cs.AI cs.CL quant-ph
Adaptive Self-improvement LLM Agentic System for ML Library Development
Department of Computer Science, Stanford University, USA(计算机科学系,斯坦福大学)
本文提出一种自适应自改进LLM智能体系统,通过在数据有限的架构专用编程语言场景下进行复杂推理,使机器学习库代码生成性能较单一LLM基线最高提升3.9倍。
2025-09-19 cs.CL
MLDebugging: Towards Benchmarking Code Debugging Across Multi-Library Scenarios
School of Computer Science and Engineering, Central South University, China(中南大学计算机科学与工程学院);The University of Hong Kong(香港大学);Research Center for SCIR, Harbin Institute of Technology, Harbin, China(哈尔滨工业大学SCIR研究中心);School of Communication and Information Engineering, Shanghai University, China(上海大学通信与信息工程学院)
针对现有代码调试研究忽略现实多库场景的问题,该研究推出涵盖126个Python库、7类问题的MLDebugging多库调试基准,经主流LLM评估发现当前模型多库调试能力不足,为后续研究提供参考。
2025-06-15 cs.AI cs.SE
MaskForge: Structure-Aware Adaptive Attacks for Jailbreaking Diffusion Large Language Models
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Johns Hopkins University(约翰霍普金斯大学);University of Southern California(南加州大学);Responsible AI Research (RAIR) Centre, The University of Adelaide(阿德莱德大学负责任人工智能研究中心)
提出MaskForge,一种全黑盒自适应攻击方法,通过优化结构模式库实现扩散大语言模型的红队测试,平均攻击成功率达79.3%。
2026-06-01 cs.AI cs.CR
CERT: Continual Pre-Training on Sketches for Library-Oriented Code Generation
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Microsoft Research Asia(微软亚洲研究院);Korea University(高丽大学);University of Chinese Academy of Sciences(中国科学院大学);Microsoft Azure AI(微软Azure人工智能)
代码生成是一个长期存在的挑战,旨在基于自然语言描述生成代码片段。通常,昂贵的文本代码配对数据对于训练代码生成模型是必不可少的。最近,由于预训练技术的成功,大型语言模型在大规模未标记代码语料库上训练,并在代码生成中表现良好。在本文中,我们研究了如何利用一个未标记的代码语料库训练一个面向库的代码生成模型。由于程序员重用第三方库是一种常见的做法,在这种情况下,由于库数量庞大,文本代码配对数据更难获得。我们观察到,面向库的代码片段更有可能共享类似的代码草图。因此,我们提出CERT有两个步骤:草图生成器生成草图,然后生成器填充草图中的细节。草绘器和生成器都使用未标记的数据在基础模型上进行持续的预训练。此外,我们制作了两个基准程序PandasEval和NumpyEval来评估面向库的代码生成。实验结果证明了CERT令人印象深刻的性能。例如,它在PandasEval上的pass@1方面比基本模型有15.67%的绝对改进。我们的工作可以在www.example.com上找到。
2022-06-14 cs.CL cs.PL cs.SE
TransformerRanker: A Tool for Efficiently Finding the Best-Suited Language Models for Downstream Classification Tasks
Humboldt-Universität zu Berlin(柏林洪堡大学);Science Of Intelligence(科学智能研究院)
本文提出开源轻量库TransformerRanker,通过LogME、H-Score、kNN可迁移性估计与层聚合,在无需微调的情况下为下游分类任务高效排序并选择最合适的PLM。
2024-09-09 cs.CL
OntoLearner: A Modular Python Library for Ontology Learning with Large Language Models
TIB – Leibniz Information Centre for Science and Technology(TIB – 莱布尼茨科学与技术信息中心);L3S Research Center, Leibniz University of Hannover(L3S研究中心,莱布尼茨汉诺威大学);IBM Research(IBM研究院)
提出OntoLearner框架,统一本体访问、LLM驱动学习管道和标准化基准,通过跨领域大规模实验揭示本体学习的主要瓶颈是模型知识编码与本体组织的结构性不匹配。
2026-07-03 cs.AI
Bloom Library: Multimodal Datasets in 300+ Languages for a Variety of Downstream Tasks
University of Dayton Research Institute(代顿大学研究院);SIL International(国际暑期语言学院);TU Darmstadt(达姆施塔特工业大学);Masakhane
我们提出了布鲁姆图书馆,语言多样化的一组多模态和多语言数据集的语言建模,图像描述,视觉讲故事,和语音合成/识别。这些数据集代表了每个包含的下游任务的最多或最多的多语言数据集。总体而言,Bloom Library数据集的初始版本涵盖了32个语言家族的363种语言。我们为数据中表示的各种语言训练下游任务模型,显示数据在低资源,多模态NLP中未来工作的可行性,并为某些语言(例如,Bisu [bzi],估计有700名用户)。其中一些首创的基线可以与高资源语言的最先进性能相媲美。Bloom Library数据集在Creative Commons许可下在Hugging Face数据集中心发布,以促进下游任务中更多语言多样性的研究。
2022-10-26 cs.AI cs.CL
GrASP: A Library for Extracting and Exploring Human-Interpretable Textual Patterns
Imperial College London(伦敦帝国学院);IBM Research(IBM研究院)
数据探索是每个数据科学和机器学习项目的重要步骤,包括涉及文本数据的项目。我们提供了一种新颖的语言工具,以公开可用的Python库的形式从文本数据中提取模式。该库集成了现有GrASP算法的第一个公共实现。它允许用户使用一些通用的内置语言属性(如上位词,词性标签和句法依赖标签)提取模式,如原始算法所设想的那样,以及特定于域的自定义属性,这些属性可以通过实现两个函数并入库中。该库配备了一个基于Web的界面,使人类用户能够方便地探索数据,通过提取的模式,使用互补的模式为中心和以示例为中心的意见:前者包括自然语言的阅读和统计每个提取的模式;后者显示每个提取的模式应用程序的训练样本。我们证明了有用的分类(垃圾邮件检测和参数挖掘),模型分析(机器翻译),并在数据集(SNLI和20新闻组)的文物发现库。
2022-06-16 cs.AI cs.CL cs.LG
COREALMLIB: An ALM Library Translated from the Component Library
Miami University(迈阿密大学)
本文介绍了COREALMLIB,一个ALM库的常识知识的动态领域。该库是通过将组件库(CLIB)的一部分翻译成模块化动作语言ALM而获得的。CLIB由通用的可重用和可组合的常识概念组成,这些概念是在对本体和词汇资源进行深入研究的基础上选择的。我们的翻译目标是CLIB状态(即,流畅度)和动作。最终的ALM库包含123个动作类的描述,这些动作类被分组为43个可重用的模块,这些模块被组织成一个层次结构。它可以在线获得,并对行动语言,答案集编程和自然语言理解社区的研究人员感兴趣。我们相信,我们的翻译比CLIB翻译有两个主要优势:(i)它以一种更精细的容忍和可读的方式指定了关于动作的公理,(ii)它可以与ASP推理算法无缝集成(例如,规划与规划)。与此相反,CLIB中的公理是使用类似于STRIPS的运算符来描述的,CLIB的推理引擎不能处理规划和预测。正在考虑在TPLP上发表。
2016-08-12 cs.AI cs.LO
Leveraging Language to Learn Program Abstractions and Search Heuristics
MIT(麻省理工学院);Cornell University(康奈尔大学);Center for Brains, Minds and Machines (CBMM) - MIT(麻省理工学院大脑、心智与机器中心)
归纳程序合成,或从期望行为的示例中推断程序,为构建可解释的、鲁棒的和可推广的机器学习系统提供了通用范例。有效的程序合成取决于两个关键要素:一个强大的函数库,用于构建程序;一个有效的搜索策略,用于查找解决给定任务的程序。我们介绍LAPS(语言的抽象和程序搜索),一种技术,使用自然语言的注释,以指导联合学习的图书馆和神经引导的搜索模型的合成。当集成到一个国家的最先进的图书馆学习系统(DreamCoder),LAPS产生更高质量的图书馆,并提高搜索效率和泛化的三个领域-字符串编辑,图像合成和抽象推理的场景-即使在测试时没有自然语言提示。
2022-05-03 cs.AI cs.CL cs.LG
CyNetDiff -- A Python Library for Accelerated Implementation of Network Diffusion Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对网络扩散模型模拟计算成本高且高级语言性能不足的问题,本文提出Python库CyNetDiff,通过Cython编写核心组件,在保持高级语言灵活性的同时提供低级语言的计算性能。
2024-04-25 cs.AI cs.SI
evalci: A Python Library for Statistically Rigorous Comparison of Language Model Evaluations
Shreyaskc(Shreyas K Chandrahas)
研究语言模型评估中仅依单一准确率数字判断优劣的问题,用evalci库通过统计方法处理结果表,给出严谨结论,如置信区间等,还通过案例分析发现部分排行榜差距无统计学意义。
2026-07-07 cs.AI cs.CL
Strings from the Library of Babel: Random Sampling as a Strong Baseline for Prompt Optimisation
University College London(伦敦大学学院);Comcast AI Technologies(康卡斯特人工智能技术公司)
该研究提出从语言模型词表随机采样词元作为提示分隔符的方法,实验证明其性能接近现有自优化方法、优于人工基线,挑战了有效提示需可读或任务相关的认知,为提示优化提供强基线。
2024-04-17 cs.AI cs.CL
Mergenetic: a Simple Evolutionary Model Merging Library
First Author Affiliation(第一作者机构)
本文提出开源库 Mergenetic,将模型合并与进化算法灵活结合,并引入轻量级适应度估计器降低评估成本,在适度硬件上跨任务和语言取得有竞争力的结果。
2025-05-16 cs.AI cs.LG cs.NE
Serenity: Library Based Python Code Analysis for Code Completion and Automated Machine Learning
Cornell University(康奈尔大学);Concordia University(康考迪亚大学)
像Python这样的动态类型语言已经变得非常流行。在其他优势中,Python的动态特性及其与本机代码的直接链接使其成为许多研究领域的事实语言,如人工智能。然而,这种灵活性使得静态分析非常困难。虽然为Python创建一个健全的分析仍然是一个悬而未决的问题,但我们在这项工作中提出了Serenity,这是一个用于Python的静态分析的框架,它足以完成某些任务。Serenity框架利用了两种基本机制:(a)依赖于语言翻译核心的动态分派,以及(b)库的极端抽象,以生成代码的抽象。我们在两个应用程序中展示了Serenity分析的效率和实用性:代码完成和自动机器学习。在这两个应用中,我们证明了这种分析具有很强的信号,并且可以被利用来建立最先进的性能,分别与神经模型和动态分析相媲美。
2023-01-05 cs.AI cs.PL
Up and Down the Abstraction Ladder: Code-Based Skills for Language Agents
University of Warsaw(华沙大学);Princeton University(普林斯顿大学);IDEAS NCBR;University College London(伦敦大学学院);McGill University(麦吉尔大学);AKCES NCBR;Mila(米拉研究所);Mistral AI;Institute of Mathematics, Polish Academy of Sciences(波兰科学院数学研究所)
本研究通过CodeHack技能库在NetHack环境中系统评估代码抽象对语言代理的影响,发现技能可提升性能、降低推理成本并加速学习,同时保留原始动作以维持灵活性。
2026-09-28 cs.AI
LCSHBench: A Multilingual, Consensus-Grounded Benchmark for Library of Congress Subject Heading Assignment
Library of Congress(国会图书馆)
提出LCSHBench基准,基于多图书馆共识构建多语言书目记录集,通过精确匹配和概念匹配评估自动主题编目,并展示低秩微调嵌入器在跨语言检索中的改进。
2026-06-03 cs.AI cs.DL cs.IR