发表机构
ETH Zurich; Agency for Science, Technology and Research (A*STAR)（苏黎世联邦理工学院; 新加坡科技研究局）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
FedPref 是用于结构化放射报告抽取的联邦偏好学习方法，通过冻结公共语言模型、本地排序与共享模型更新训练适配器，在不均数据场景下提升抽取性能且无需共享敏感数据。
AI 中文摘要
放射报告以自由文本形式描述检查结果与位置，但下游搜索和分析需这些信息符合固定 schema 格式。学习此类抽取任务需要标签，而标签在各机构间分布不均：小型医院本地证据较少，数据汇聚可能不可行。我们提出 FedPref：冻结公共语言模型生成备选 JSON 抽取结果，本地标注对其排序，各站点仅共享模型更新，协同训练紧凑的 Qwen3-8B 适配器。当重复单模型样本出现坍塌时，异构教师池提供跨模型对比。在来自6个模拟医院的开发数据（数据量与疾病患病率不均）上，FedPref 相比各站点独立训练，将客户端平均 F1 值提升2.49个百分点，最差站点 F1 值提升9.10个百分点，数据量最少的站点提升最大。对汇聚的偏好对集合进行集中训练，客户端平均 F1 值比 FedPref 高2.66个百分点。在包含400份报告的锁定人工验证金标准测试集上，FedPref 达到68.68的 F1 值，汇聚训练达到71.67，二者排序关系保持一致。因此 FedPref 可让拥有不均、未汇聚数据的机构在不共享报告或标注的情况下从协作中获益。
英文摘要
Radiology reports describe findings and locations in free text, but downstream search and analysis require these relations in a fixed schema. Learning this extraction requires labels that are unevenly distributed across institutions: smaller hospitals have less local evidence, and pooling data may be infeasible. We introduce FedPref: frozen public language models propose alternative JSON extractions, local annotations rank them, and sites collaboratively train compact Qwen3-8B adapters while sharing only model updates. A heterogeneous teacher pool provides cross-model contrast when repeated single-model samples collapse. On development data from six simulated hospitals with unequal data volume and disease prevalence, FedPref improves client-mean F1 by 2.49 points and worst-site F1 by 9.10 points compared with training each site in isolation, with the largest gains at the sites holding the least data. Central training on the pooled preference-pair union is 2.66 points higher on client-mean F1. On a locked, 400-report manually validated gold test set, FedPref reaches 68.68 F1 and pooled training 71.67, preserving that same ordering. FedPref thus lets institutions with unequal, unpooled data benefit from collaboration without ever sharing reports or annotations.
CommentsAccepted at ELAMI 2026, held in conjunction with MICCAI 2026. To appear in the Springer proceedings
