Обзор API-сигналов / Рабочие заметки
Сравнение API до и после релиза
Как проверить изменение при разном составе запросов.
Сопоставьте окна
Выбирайте сопоставимые операции, объём и временные интервалы. Изменение доли тяжёлых запросов способно поднять общую задержку без регрессии.
Рассмотрите хвост
Проверяйте распределение задержки и тайм-ауты вместе. Среднее время только успешных ответов может улучшиться, когда медленные запросы начинают падать.
Проверьте гипотезу
Свяжите проблему с версией и конкретным сценарием. Решение о возврате принимайте по подтверждённому влиянию и заранее согласованным условиям.