列表不同,并不等于列表更差
升级 NumPy 会让推荐系统发生什么:201 个受控案例、四种机制,且质量没有可测量的下降。
在完全不变的 ALS 推荐器下——相同的数据、种子、初始因子和参数——把 NumPy 从 2.0.2 升级到 2.1.3,使我主力机器上 8.5% 测试用户的 top-10 列表发生了变化。没有任何报错:两个环境都能构建、导入并完成所有运行。而在另一台 AMD 处理器和一台 Intel 处理器上,同样的升级得到了逐位一致的模型。
那么推荐器变差了吗?没有。离线质量的差异保持在 0.002 NDCG@10 以内。“输出变了”与“输出变差了”之间的差距,正是这项研究要讨论的问题。
分开回答的四个问题
- 记录的检查点(数据、模型、分数或排序列表)是否改变?
- 是否有用户的 top-10 列表改变?
- 输出是否违反契约:推荐已看过的物品、无效 ID 或非有限分数?
- 离线排序质量是否出现可测量的下降?
201 个案例的结果
| 结果 | 案例数 |
|---|---|
| 两侧检查点完全一致 | 164 |
| 检查点静默变化 | 14 |
| ……其中 top-10 列表改变 | 9 |
| 可见的运行时失败 | 16 |
| 不适用 | 7 |
| 质量退化或契约违规 | 0 |
变化从何而来
- 平局。NumPy 2.0 的
argpartition与argsort会重新排列分数完全相同的项。 - 内核。NumPy 自带的 OpenBLAS 在某一 CPU 上切换了内核族。
- 捆绑的二进制。更新的 OpenBLAS 让 EASE 矩阵求逆变化约 1e-15,没有列表改变。
- 一位之差。NumPy 2.0 的
log1p在最后一位不同,BM25 权重变化,但列表不变。
实用准则:分别度量检查点变化、列表变化、契约失败与相关性损失,不要把前两者当作最后一项。