По большей части проблема в слабом железе, т.к клиент у игрока подгружает объекты с задержкой.
Пока в процессе решения.