发表机构
University of Waterloo（滑铁卢大学）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
针对百万级模型湖检索成本高的问题，提出ModelLakeFishing框架，利用证据图和HNSW索引实现高效检索，在3百万模型上达到29.68%的gold@10，并保留93.47%的穷举基线性能。
AI 中文摘要
开放模型湖可能包含数百万个可复用模型，使得为新数据集识别合适模型变得代价高昂。我们提出ModelLakeFishing，一个面向指定目标数据集、预测任务和评估指标的查询的模型检索框架。它整合元数据和历史评估结果到一个模型-数据集-任务证据图中，使用关系感知图编码器学习模型和查询嵌入，并利用分层可导航小世界（HNSW）搜索对模型嵌入进行索引。在查询时，HNSW检索出1000个候选模型而无需对每个模型进行评分，之后一个训练侧任务先验根据请求的指标对候选模型进行重排序，并返回前10个结果。我们在一个包含3,016,439个模型和247,803个观察到的模型-数据集性能对的数据湖上，使用三种根感知划分进行评估，这些划分将测试性能边排除在表示学习和检索之外。ModelLakeFishing实现了平均合格查询的gold@10为0.2968，即在29.68%的合格查询中，前10个结果中恢复了观察到的最佳模型，并保留了使用相同评分和重排序过程的穷举基线的gold@10的93.47%。给定预计算的查询嵌入，检索和重排序的中位时间为0.747毫秒，第95百分位时间为1.102毫秒。这些结果展示了从稀疏关系证据中对百万级模型湖进行高效检索的能力。
英文摘要
Open model lakes may contain millions of reusable models, making it costly to identify suitable models for a new dataset. We present ModelLakeFishing, a model-retrieval framework for queries specifying a target dataset, prediction task, and evaluation metric. It consolidates metadata and historical evaluations into a model-dataset-task evidence graph, learns model and query embeddings with a relation-aware graph encoder, and indexes model embeddings using Hierarchical Navigable Small World (HNSW) search. At query time, HNSW retrieves 1,000 candidates without scoring every model, after which a training-side task prior reranks candidates for the requested metric and returns the top 10. We evaluate on a lake of 3,016,439 models and 247,803 observed model-dataset performance pairs using three root-aware splits that hold test performance edges out of representation learning and retrieval. ModelLakeFishing achieves a mean eligible-query gold@10 of 0.2968, recovering the observed-best model in the top 10 for 29.68% of eligible queries and retaining 93.47% of the gold@10 of an exhaustive baseline using the same scoring and reranking procedure. Given precomputed query embeddings, retrieval and reranking take 0.747 ms median and 1.102 ms at the 95th percentile. These results demonstrate efficient retrieval over million-model lakes from sparse relational evidence.
