Сегодня появилось немного свободного времени и спустя неделю после запуска Legion 7.3.5 x11, хотелось бы рассказать как прошла эта неделя и с какими проблемами мы столкнулись помимо внутреигровых багов (это по сути уже мелочи), начнем по порядку:
Первые сутки (точнее 6 часов) мы боролись с проблемой краша из-за многопоточной работы сервера, об этом в целом написано выше, но это было только начало... После его устранения наступил период относительно нормальной работы (нормальной как для свежего сервера, который раньше не гоняли под нагрузкой), был аптайм и по 12 часов, были и краши по чаще, но в целом мы их исправляли и ситуация уже через 2-3 дня могла быть стабильной, с постепенным выходом на режим от рестарта до рестарта, но...
Помимо обычных крашей, еще были обнаружены утечки памяти, из-за этого не хватало 128 гб оперативной памяти - это было обнаружено в понедельник, когда аптайм уже начал налаживаться, текущего объема памяти по расчетам хватало бы на аптайм около 14 часов при высокой нагрузке, решение было либо поиск и исправление кода ядра, либо взять другое железо с 256 гб оперативной памяти (забегая вперед, за неделю мы сделали и то и то) и тут вклинивается очередное но...
Вечер среды, начинают поступать жалобы о трудности при входе на игровой мир, такое иногда уже бывало на личе, связано с изменениями работы сети внутри ДЦ и фильтрации определенного типа сетевых пакетов, которого не должно быть в обычное время. Решалось это как правило в течении 1-2 дней, но не в данном случае....
Решено было немного подождать и посмотреть что будет на следующий день, утром лучше не стало и нужно было принимать меры, т.к мы уже сталкивались с этой проблемой ранее, начали пробовать проверенные варианты оперативного решения: менять местами сервера базы данных, игровые миры и т.д, в общей сложности за вчерашний день было сделано 4 попытки исправить проблему разными способами (перенастройка всего с 0 у меня уже перед глазами мерещится), сервер чаще всего не работал, чем работал, даже заказав новый сервер проблема не ушла, уже даже руки начинали опускаться, ушел спать с планом переезда в другой ДЦ на следующий день (возможно мы это и сделаем в будущем, есть варианты).
Но вчера ночью что-то не спалось (точнее уже сегодня), посетила идея как можно исключить вариант влияния фильтра пакетов по сети, за час развернул все с нуля на новой железке и о чудо, даже без нагрузки стало понятно, что проблемы больше нет, как и не наблюдаем мы ее уже сейчас.
Из-за всех этих перестановок и изменений, легион х4 тоже недоступен со вчерашнего дня, планируем вернуть его в строй сегодня-завтра, т.к нужно время чтобы перенести его на другое железо, а база там накопилась очень большая за столько лет, займет время вообщем.
Какие планы дальше:
- В новой конфигурации сервер еще немного нужно будет настроить, по этому пока мы это делаем, серверная задержка будет немного выше обычного, но не критично (большинство и не заметит скорее всего), думаю уже с завтра будет все хорошо.
- Мы продолжаем активно работать над исправлением багов (https://forum.wowcircle.com/forumdisplay.php?f=1506), т.к сервер долгое время был нестабилен, применение их днем переносится на утро, т.е каждый день при рестарте в 6 00 по МСК, фиксы, сделанные накануне в течении дня будут применяться.
- Планируется второй раунд рекламной компании начиная со следующей недели, когда основные критичные проблемы (я надеюсь) будут решены (речь уже идет про баги внутри игры) и сервер будет стабилен (по крайней мере без влияния внешних факторов).
Компенсация:
- В качестве основной меры компенсации был выбран вариант с выдачей бонусов, по 150 бонусов начислено на те аккаунты легиона, кто имел хотя бы одного персонажа 50 уровня и выше, а также время игры на нем от 5 часов и более, бонусы получили почти 10 тысяч аккаунтов. Таким образом мы хотим отблагодарить тех, кто играл в период нестабильной работы и оставался с нами.
