Самранд ХасанSamrand Hassan
Русский

Другой список — не значит худший

Что происходит с рекомендательной системой при обновлении NumPy: 201 контролируемый случай, четыре механизма и никакой измеримой потери качества.

Обновление NumPy с 2.0.2 до 2.1.3 при неизменной ALS-модели — те же данные, сиды, начальные факторы и настройки — изменило список top-10 у 8,5 % тестовых пользователей на моей основной машине. Ничего не упало: обе среды собрались, импортировались и завершили все прогоны. На другом процессоре AMD и на процессоре Intel то же обновление дало побитово идентичные модели.

Стала ли система хуже? Нет. Офлайн-качество осталось в пределах 0,002 NDCG@10. Разрыв между «выдача изменилась» и «выдача ухудшилась» — и есть предмет исследования.

Четыре отдельных вопроса

  1. Изменилась ли записанная контрольная точка — данные, модель, оценки или ранжированный список?
  2. Изменился ли у кого-то список top-10?
  3. Нарушила ли выдача контракт: уже просмотренный объект, неверный ID, нечисловая оценка?
  4. Ухудшилось ли офлайн-качество ранжирования измеримо?

Что показал 201 случай

ИсходСлучаев
Идентичные контрольные точки164
Скрытое изменение контрольной точки14
…из них изменился top-109
Явный сбой при выполнении16
Неприменимо7
Регрессия качества или нарушение контракта0

Откуда взялись изменения

  • Равенства. argpartition и argsort в NumPy 2.0 иначе упорядочивают точно равные оценки.
  • Ядра. OpenBLAS из колеса NumPy сменил семейство ядер на одном CPU.
  • Встроенный бинарник. Новый OpenBLAS изменил обращение матрицы EASE примерно на 1e-15; списки не изменились.
  • Один бит. log1p в NumPy 2.0 отличается в последнем бите; веса BM25 изменились, списки — нет.

Практическое правило: измеряйте изменения контрольных точек, изменения списков, нарушения контрактов и потерю релевантности по отдельности и не принимайте первые два за последнее.

Связаться

Совместное исследование, доклад или сложная инженерная задача — напишите мне.