TMLR

Efficient Zeroth-Order Federated Finetuning of Language Models on Resource-Constrained Devices

资源受限设备上语言模型的高效零阶联邦微调

Mohamed Aboelenien Ahmed, Kilian Pfeiffer, Ramin Khalili, Heba Khdr, Jörg Henkel

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； Huawei（华为） ； Heisenberg Research Center (Munich), Germany（海森堡研究中心（慕尼黑），德国） 纠错

AI总结 提出一种基于零阶优化的联邦微调方法，通过分块模型并分配更多扰动到后一块，复用中间激活减少前向评估次数，在保持内存和通信优势的同时将计算量降低至其他零阶方法的1/3。

Comments Published at TMLR

Beyond the Linear Separability Ceiling: Aligning Representations in VLMs

超越线性可分上限：对齐视觉-语言模型中的表征

Enrico Vompa, Tanel Tammet, Mohit Vaishnav

机构 * Applied Artificial Intelligence Group（应用人工智能小组） ； Tallinn University of Technology（塔林技术大学） 纠错

AI总结 提出线性可分上限（LSC）诊断框架，发现VLM存在对齐差距，并通过对比目标重塑视觉流形，使模型在抽象组合推理任务上显著超越LSC。

Comments Accepted TMLR

FORGE: Foundational Optimization Representations from Graph Embeddings

FORGE：基于图嵌入的基础优化表示

Zohair Shafi, Serdar Kadioglu

机构 * Khoury College of Computer Science Northeastern University（诺埃弗大学计算机科学学院） ； AI Center of Excellence, Fidelity Investments（富达投资人工智能卓越中心） ； Department of Computer Science, Brown University（布朗大学计算机科学系） 纠错

AI总结 提出FORGE框架，通过无监督预训练向量量化图自编码器学习混合整数规划实例的通用表示，无需求解器或最优解，在下游任务中提升求解器性能并超越现有方法。

Comments Published in TMLR