IBM

Categorical Prior Lock-in: Why In-Context Learning Fails for Structured Data

类别先验锁定：为何上下文学习在结构化数据上失败

Antonio Pelusi, Stefano Braghin, Alberto Trombetta

机构 * University of Insubria（因苏布里亚大学） ； IBM Research Ireland（IBM 爱尔兰研究院） 纠错

AI总结 研究大语言模型在结构化数据生成中上下文学习的局限性，发现其无法更新预训练中的类别先验分布，导致罕见类完全无法生成；参数高效微调可解决但带来记忆化风险。

Comments 9 pages, 5 figures. Empirical study of in-context learning and LoRA fine-tuning for synthetic tabular data generation, introducing the phenomenon of categorical prior lock-in. Under review

CRANE: Constrained Reasoning Injection for Code Agents via Nullspace Editing

CRANE：通过空域编辑实现代码代理的约束推理注入

Mingzhi Zhu, Michele Merler, Raju Pavuluri, Stacy Patterson

机构 * Rensselaer Polytechnic Institute（拉特格斯理工学院） ； IBM Research（IBM研究院） 纠错

AI总结 CRANE通过空域编辑技术，结合推理和工具使用能力，提升代码代理性能，在多个基准测试中取得显著成果。

BioMamba: Domain-Adaptive Biomedical Language Models

BioMamba: 领域自适应的生物医学语言模型

Ling Yue, Mingzhi Zhu, Sixue Xing, Yunning Cao, Yanbo Wang, Shimin Shan, Jinfei Liu, Vijil Chenthamarakshan, Shaowu Pan, Payel Das, Tianfan Fu

机构 * Rensselaer Polytechnic Institute（拉特格斯理工学院） ； Jiaxing New Jies Thermal Power Co. Ltd.（嘉兴新捷热电有限公司） ； North University of China（北方大学） ； Zhejiang University（浙江大学） ； IBM Research（IBM研究院） ； Nanjing University（南京大学） 纠错

AI总结 提出基于Mamba2的领域自适应预训练方法BioMamba，在PubMed、C4和Wikipedia混合数据上持续训练，显著降低生物医学困惑度并保持通用语言能力。