Top-5 overlap = precision@5:只看方法自己的 top-5 里有几个是 PSPA 的 top-5。
- 如果 PSPA 的某个 hotspot 被方法排到第 6、7 名,overlap 一分不给(不在方法 top-5 里);
- 无序(方法 top-5 里排第 1 还是第 5 无所谓);
- 是 P-R 曲线上的一个点。
AP = 用方法的完整排序去检索 PSPA 那 5 个 hotspot,是整条 precision-recall 曲线的积分:
- PSPA 的 hotspot 排在方法第 6、7 名,AP 仍然给分(precision = 命中数/名次),只是名次越靠后分越低;
- 顶部加权:越早找到 PSPA 的 hotspot,precision 越高;
- 是曲线,不是单点。
举个例子:PSPA 的 top-5 被方法分别排在第 1、6、7、9、12 名:
- top-5 overlap = 1/5 = 0.2(只有第 1 名落在方法 top-5 里,其余全丢);
- AP = mean(1/1, 2/6, 3/7, 4/9, 5/12) ≈ 0.47(第 6、7… 名的 hotspot 都算,只是打折)。