萨姆兰德·哈桑Samrand Hassan

列表不同,并不等于列表更差

升级 NumPy 会让推荐系统发生什么:201 个受控案例、四种机制,且质量没有可测量的下降。

在完全不变的 ALS 推荐器下——相同的数据、种子、初始因子和参数——把 NumPy 从 2.0.2 升级到 2.1.3,使我主力机器上 8.5% 测试用户的 top-10 列表发生了变化。没有任何报错:两个环境都能构建、导入并完成所有运行。而在另一台 AMD 处理器和一台 Intel 处理器上,同样的升级得到了逐位一致的模型。

那么推荐器变差了吗?没有。离线质量的差异保持在 0.002 NDCG@10 以内。“输出变了”与“输出变差了”之间的差距,正是这项研究要讨论的问题。

分开回答的四个问题

  1. 记录的检查点(数据、模型、分数或排序列表)是否改变?
  2. 是否有用户的 top-10 列表改变?
  3. 输出是否违反契约:推荐已看过的物品、无效 ID 或非有限分数?
  4. 离线排序质量是否出现可测量的下降?

201 个案例的结果

结果案例数
两侧检查点完全一致164
检查点静默变化14
……其中 top-10 列表改变9
可见的运行时失败16
不适用7
质量退化或契约违规0

变化从何而来

  • 平局。NumPy 2.0 的 argpartition 与 argsort 会重新排列分数完全相同的项。
  • 内核。NumPy 自带的 OpenBLAS 在某一 CPU 上切换了内核族。
  • 捆绑的二进制。更新的 OpenBLAS 让 EASE 矩阵求逆变化约 1e-15,没有列表改变。
  • 一位之差。NumPy 2.0 的 log1p 在最后一位不同,BM25 权重变化,但列表不变。

实用准则:分别度量检查点变化、列表变化、契约失败与相关性损失,不要把前两者当作最后一项。

联系我

合作研究、学术报告,或一个棘手的工程难题——欢迎来信。