Другой список — не значит худший
Что происходит с рекомендательной системой при обновлении NumPy: 201 контролируемый случай, четыре механизма и никакой измеримой потери качества.
Обновление NumPy с 2.0.2 до 2.1.3 при неизменной ALS-модели — те же данные, сиды, начальные факторы и настройки — изменило список top-10 у 8,5 % тестовых пользователей на моей основной машине. Ничего не упало: обе среды собрались, импортировались и завершили все прогоны. На другом процессоре AMD и на процессоре Intel то же обновление дало побитово идентичные модели.
Стала ли система хуже? Нет. Офлайн-качество осталось в пределах 0,002 NDCG@10. Разрыв между «выдача изменилась» и «выдача ухудшилась» — и есть предмет исследования.
Четыре отдельных вопроса
- Изменилась ли записанная контрольная точка — данные, модель, оценки или ранжированный список?
- Изменился ли у кого-то список top-10?
- Нарушила ли выдача контракт: уже просмотренный объект, неверный ID, нечисловая оценка?
- Ухудшилось ли офлайн-качество ранжирования измеримо?
Что показал 201 случай
| Исход | Случаев |
|---|---|
| Идентичные контрольные точки | 164 |
| Скрытое изменение контрольной точки | 14 |
| …из них изменился top-10 | 9 |
| Явный сбой при выполнении | 16 |
| Неприменимо | 7 |
| Регрессия качества или нарушение контракта | 0 |
Откуда взялись изменения
- Равенства.
argpartitionиargsortв NumPy 2.0 иначе упорядочивают точно равные оценки. - Ядра. OpenBLAS из колеса NumPy сменил семейство ядер на одном CPU.
- Встроенный бинарник. Новый OpenBLAS изменил обращение матрицы EASE примерно на 1e-15; списки не изменились.
- Один бит.
log1pв NumPy 2.0 отличается в последнем бите; веса BM25 изменились, списки — нет.
Практическое правило: измеряйте изменения контрольных точек, изменения списков, нарушения контрактов и потерю релевантности по отдельности и не принимайте первые два за последнее.