你能做到多小？面向金融交易中商户信息抽取的 270M-8B 模型 LoRA 微调
How Small Can You Go? LoRA Fine-Tuning 270M-8B Models for Merchant Information Extraction in Financial Transactions
AI总结：
针对金融交易中从嘈杂银行字符串提取结构化商户信息的生产需求，系统评估 24 种模型变体，发现 Qwen 3.5 4B 在参数量减半下 F1 仅低 0.35 点，0.8B 模型匹配 2.5-4 倍大模型性能，且思维链微调提升有限。
摘要：
金融交易处理需要从嘈杂、缩写的银行交易字符串中大规模提取结构化商户信息。我们当前的生产系统是 LoRA 微调的 LLaMA 3.1-8B，在该任务上达到了 96.95% 的 F1 分数，但部署 80 亿参数模型带来了高昂的内存、延迟和成本约束。为了识别更高效的替代方案，我们进行了一项以部署为中心的研究，涵盖四个模型家族的 24 种模型变体：Gemma 3（270M、1B、4B）、Qwen 3.5（0.8B、2B、4B）、Aya（3.35B）和 LLaMA 3.1-8B，系统评估了准确率、推理吞吐量、训练成本和硬件行为，以评估生产适用性。我们的发现表明：（1）使用 LoRA 秩为 8 复现 LLaMA 3.1-8B 微调达到 96.75% F1，仅比秩为 32 的基线低 0.20 个点；（2）仅使用 JSON 提示的 Qwen 3.5 4B 达到 96.60% F1，比 8B 基线低 0.35 个点，同时参数量大约减半；（3）0.8B 的 Qwen 3.5 模型达到 94.75% F1，与 2.5-4 倍大的模型性能相当，提供了有吸引力的延迟-准确率权衡；（4）思维链微调通常使大多数模型的 F1 提升 0.3-1.8 个点，尽管 Qwen 3.5 4B 在直接仅 JSON 提示下表现最佳；（5）Qwen 3.5 的 Think 和 Nothink 训练模板产生几乎相同的结果（F1 差异 <0.004），表明对于结构化抽取任务，显式推理监督是不必要的。我们进一步将所有 14 个微调后的子 8B 模型部署为 Databricks Model Serving 端点，并观察到基准性能可靠地迁移到生产环境，平均 F1 变化仅为 0.8 个点。基于 Cohere2 架构的 Aya 3.35B 是唯一的例外，在服务条件下 F1 下降了 3-5 个点。基于这些结果，我们提供了跨准确率和延迟需求的部署建议，……
英文摘要：
Merchant information extraction turns noisy financial transaction descriptors into structured fields at production scale. Our deployed LoRA-fine-tuned LLaMA~3.1-8B reaches 96.95\% F1, but its memory and throughput motivate smaller replacements. We evaluate 23 retained fine-tuning runs plus a separately trained production reference, spanning Gemma~3 (270M--4B), Qwen~3.5 (0.8B--4B), Aya~3.35B, and LLaMA~3.1-8B across LoRA ranks, prompts, training templates, and serving environments. A rank-8 LLaMA fine-tune reaches 96.75\% F1, only 0.20 points below the rank-32 production reference. Qwen~3.5~4B with JSON-Only prompting reaches 96.60\% F1 and strict record-level exact match of 91.67\%, with a $3.8\times$ lower inverse-throughput time estimate than the rank-8 8B model. Qwen~3.5~0.8B reaches 94.75\% F1, and Qwen Think and Nothink templates differ by less than 0.004 F1. Across 14 Databricks endpoints, mean F1 change from local evaluation is $-0.0081$; Aya is the only family with a 2.7--5.1 point decline. These results show that compact fine-tuned models can preserve most extraction accuracy, but model selection must account for prompt choice, throughput, and serving-stack behavior.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
