Мне кажется, проблема не в накоплении больших чисел в пошатывании, а в том что таймер постоянно обновляется, и оно просто не успевает тикнуть.
Но это взгляд со стороны.