Эти скачки серверной есть на всех кроссах и были изначально, они не влияют на задержки по сути, вы не на них жаловались, но убрать их стоит все же, да, позже займемся этой проблемой.
Средняя серверная задержка на кроссе не превышает 15 мс в пике, на мирах для сравнения можете в стате посмотреть на сайте.