Самранд ХасанSamrand Hassan
Русский

Исследование · 2025 – 2026

Скрытые изменения ранжирования при обновлении зависимостей

Контролируемое исследование того, что обновления NumPy, SciPy, pandas и PyTorch делают с выдачей рекомендательных систем: 201 случай, четыре механизма, без потери качества.

Обновление NumPy с 2.0.2 до 2.1.3 при неизменной ALS-модели — те же данные, сиды, начальные факторы и настройки — изменило список top-10 у 8,5 % тестовых пользователей на одной машине. Ничего не упало. На двух других процессорах то же обновление дало идентичные модели.

Результаты

Из 201 случая: 164 с идентичными контрольными точками, 14 скрытых изменений (в 9 изменился top-10), 16 явных сбоев и ни одной регрессии качества. Каждое скрытое изменение сводится к одному из четырёх механизмов, подтверждённых вмешательством; величина численной разницы не предсказывает, изменится ли список.

Связаться

Совместное исследование, доклад или сложная инженерная задача — напишите мне.