Исследование · 2025 – 2026
Скрытые изменения ранжирования при обновлении зависимостей
Контролируемое исследование того, что обновления NumPy, SciPy, pandas и PyTorch делают с выдачей рекомендательных систем: 201 случай, четыре механизма, без потери качества.
Обновление NumPy с 2.0.2 до 2.1.3 при неизменной ALS-модели — те же данные, сиды, начальные факторы и настройки — изменило список top-10 у 8,5 % тестовых пользователей на одной машине. Ничего не упало. На двух других процессорах то же обновление дало идентичные модели.
Результаты
Из 201 случая: 164 с идентичными контрольными точками, 14 скрытых изменений (в 9 изменился top-10), 16 явных сбоев и ни одной регрессии качества. Каждое скрытое изменение сводится к одному из четырёх механизмов, подтверждённых вмешательством; величина численной разницы не предсказывает, изменится ли список.