语言大模型 / LLM

Adapting Large Language Models to Low-Resource Tibetan: A Two-Stage Continual and Supervised Fine-Tuning Study

将大型语言模型适应于低资源藏语：一种两阶段持续和监督微调研究

Lifeng Chen, Ryan Lai, Tianming Liu

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)；pretraining(abstract)

AI总结 本研究通过两阶段方法将Qwen2.5-3B适应到藏语，通过持续预训练和监督微调提升翻译质量，实现低资源语言的模型适应。

How to Train Long-Context Language Models (Effectively)

如何有效训练长上下文语言模型

Tianyu Gao, Alexander Wettig, Howard Yen, Danqi Chen

机构 * Princeton Language and Intelligence（普林斯顿语言与智能） 纠错

专题命中 指令微调 ：language model(title,abstract)；instruction tuning(abstract)；SFT(abstract)；分类 cs.CL、cs.LG

AI总结 ProLong-8B 通过有效利用长上下文数据，实现了在长上下文任务上的卓越性能，尽管训练数据量仅为 Llama-3.1-8B-Instruct 的 5%。

Comments Accepted to ACL 2025. Our code, data, and models are available at https://github.com/princeton-nlp/ProLong

InvertiTune: High-Quality Data Synthesis for Cost-Effective Single-Shot Text-to-Knowledge Graph Generation

InvertiTune：用于低成本单次文本到知识图谱生成的高质量数据合成

Faezeh Faez, Marzieh S. Tahaei, Yaochen Hu, Ali Pourranjbar, Mahdi Biparva, Mark Coates, Yingxue Zhang

机构 * Huawei Noah’s Ark Lab（华为诺亚实验室） ； Autodesk ； Ascend Team, Huawei Technologies（华为 Ascend 团队） ； McGill University（麦吉尔大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 InvertiTune通过高质量数据合成提升单次文本到知识图谱生成的效率与性能。

YOLOA: Real-Time Affordance Detection via LLM Adapter

YOLOA：通过LLM适配器实现实时的可及性检测

Yuqi Ji, Junjie Ke, Lihuo He, Jun Liu, Kaifan Zhang, Yu-Kun Lai, Guiguang Ding, Xinbo Gao

机构 * School of Electronic Engineering, Xidian University（电子工程学院，西安电子科技大学） ； School of Software, Tsinghua University（软件学院，清华大学） ； School of Computer Science and Informatics, Cardiff University（计算机科学与信息学院，卡迪夫大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 YOLOA通过LLM适配器实现实时可及性检测，结合对象检测与可及性学习，取得高精度与高效率的平衡。

Comments 13 pages, 9 figures, conference

MarkTune: Improving the Quality-Detectability Trade-off in Open-Weight LLM Watermarking

MarkTune: 改善开放权重语言模型水印中的质量-可检测性权衡

Yizhou Zhao, Zhiwei Steven Wu, Adam Block

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 指令微调 ：LLM(title)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 MarkTune通过理论框架提升开放权重语言模型中质量与可检测性的平衡，优于GaussMark并保持生成质量。

NAS-LoRA: Empowering Parameter-Efficient Fine-Tuning for Visual Foundation Models with Searchable Adaptation

NAS-LoRA: 通过可搜索适应增强视觉基础模型的参数高效微调

Renqi Chen, Haoyang Su, Shixiang Tang

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.CL、cs.AI

AI总结 NAS-LoRA 通过引入可搜索适应的神经网络架构搜索块，提升视觉基础模型在特定领域中的参数高效微调性能，减少训练成本24.14%。

Text-Printed Image: Bridging the Image-Text Modality Gap for Text-centric Training of Large Vision-Language Models

文本打印图像：为以文本为中心的大型视觉-语言模型训练弥合图像-文本模态差距

Shojiro Yamabe, Futa Waseda, Daiki Shiono, Tsubasa Takahashi

机构 * Turing Inc.（图灵公司） ； Institute of Science Tokyo（东京科学研究院） ； The University of Tokyo（东京大学） ； Tohoku University（东北大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出文本打印图像（TPI）技术，通过生成合成图像弥合图像-文本模态差距，提升以文本为中心的大型视觉-语言模型训练效果。

Thinking with Programming Vision: Towards a Unified View for Thinking with Images

通过编程视觉思考：迈向图像思考的统一视角

Zirun Guo, Minjie Hong, Feng Zhang, Kai Jia, Tao Jin

机构 * Zhejiang University（浙江大学） ； ByteDance BandAI（字节跳动BandAI） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL

AI总结 CodeVision提出一种灵活的代码作为工具框架，通过两阶段训练提升模型对图像变化和多工具推理的鲁棒性，实验显示显著提升性能并促进新兴能力。

When Harmful Content Gets Camouflaged: Unveiling Perception Failure of LVLMs with CamHarmTI

当有害内容被伪装时：通过CamHarmTI揭示LVLMs的感知失败

Yanhui Li, Qi Zhou, Zhihong Xu, Huizhong Guo, Wenhai Wang, Dongxia Wang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 本文提出CamHarmTI基准，揭示LVLMs在识别伪装有害内容时的感知不足，并通过微调提升模型性能。