х300 также запущен, работы успешно завершены.
Вид для печати
х300 также запущен, работы успешно завершены.
В ближайший час, с 09 45 до 10 45, игровые миры логон, личный кабинет логон и регистрация могут быть кратковременно недоступны в связи с переносом логин сервера на новое оборудование.
Работы успешно завершены, все игровые миры logon и веб ресурсы вновь доступны.
Замена оборудования для логин сервера logon требовалась давно, она планировалась на следующую неделю, но пришлось чуть форсировать, т.к старое откровенно уже просело и не справлялось с нагрузкой, особенно это было заметно после дисконнекта одного из миров, когда при масс логине начинали лагать остальные миры, т.к логин сервер слишком долго отвечал на их запросы, либо просто переставало кого-либо пускать минут на 20-30.
Сейчас подобных проблем быть не должно.
C ночи наблюдаются проблемы с авторизацией на игровых мирах Logon 3 и Личным кабинетом. Вновь возникли проблемы в Дата Центре с оборудованием, сервер авторизации скоро будет перенесен на другое железо, сейчас занимаемся восстановлением работоспособности.
Сегодня, 5 марта. Начиная с 23:00 до ~4:00 (время московское) на игровом мире х1 PvE Король Лич пройдут плановые технические работы связанные с оптимизацией базы данных. Основные изменения будут направлены на модификацию системы для улучшения её эффективности.
Плановые технические работы завершены.
На реалме х1 cataclysm проводятся внеплановые технические работы. Об их завершении будет сообщено дополнительно
Технические работы завершены. Приносим извинения за временные неудобства, произошла внештатная проблема, которая приводила к некорректной работе игрового мира х1 cataclysm, сейчас уже всё в порядке
Игровой мир 5.4.8 x1 и его личный кабинет будут недоступны несколько часов для проведения технических работ.
Технические работы на моп х1 завершены, реалм станет доступен в ближайшие 15 минут.
Планируемые операции завершить не удалось, но были получены необходимые данные для реализации другим методом, скорее всего завтра или в понедельник вновь будут проведены подобные работы.
Игровой мир 5.4.8 x1 и его личный кабинет будут повторно недоступны несколько часов для проведения технических работ, которые не удалось корректно завершить вчера.
Через 40 минут, реалм 5.4.8 х1 и его личный кабинет станут доступны, но сделать то, что планировали вновь не удалось, на этот раз запрос конвертации достижений удалось оптимизировать и уже в 10 00 он был выполнен, но все изменения были отклонены т.к в таблице оказались дубли записей, о которых мы не могли знать заранее, сходу переписали запрос на его выполнение через процедуру, но протестировав его на таблице с меньшим количеством данных, стало понятно, что он еще медленнее предыдущего варианта, хоть и решал проблему дублей.
По этому мы скопировали данные на другой сервер и будем за выходные тестировать разные варианты запросов конвертации на нем, а в начале следующей недели вновь повторим попытку на лайве.
Также после запуска завершится прошлый сезон арены и начнется новый, рейтинг будет сброшен, по мимо этого, для восстановления экономики уровня х1, мы уменьшим кол-во золота у персонажей, в банках и на почте в 2 раза.
Нам известно, что многие игроки Logon 3 были отключены от сервера и не могут подключиться. Мы работаем над решением этой ситуации
- - - Updated - - -
Проблемы с сервером авторизации устранены
Logon 3: Так как сервис мобильной доставки смс сообщений Личного кабинета работал, слабо говоря "плохо", и многие не могли получить смс для подтверждения операций, нами решено было выключить этот функционал и произвести отвязку всех номеров от аккаунтов. Изменения уже вступили в силу. По мере возможностей, мы постараемся найти альтернативный сервис, чтоб возобновить функционал.
Последние пару часов на игровые миры logon ведется ддос атака, но т.к ддос идет по физическим адресам конкретных игровых миров, внешними фильтрами их защитить нельзя, а оборудование не всегда способно выдержать прямую атаку, поэтому некоторые миры могут быть недоступны какое-то время.
Конкретно сейчас удалось запустить все миры, кроме х15-х20, его оборудование не в силах самостоятельно отфильтровать ддос(на этот реалм почему-то приходится самая сильная атака), работоспособность всех остальных миров не гарантируется длительное время т.к по ним все еще идет атака.
Помимо этого сайт-форум-кабинет-логин сервер могут быть периодами недоступны в виду большой нагрузки и таймаутов запросов к недоступным серверам.
Ждем пока закончится, не паникуем, видимо кто-то новенький балуется, несколькими днями ранее ддосили также и другие проекты, но они видимо не в знают, что от ддоса по вов серверам толку 0, от этого онлайн они не теряют.
Игровой мир x15-x20 также доступен.
Утром немного перенастроили локальную защиту и перезапустили оборудование всех наших ресурсов, в следствии чего, в настоящий момент все игровые миры logon и веб ресурсы работают нормально и доступны для входа, старый метод ддоса в теории больше проходить не должен, но не факт, что ддос не повторится вновь, уже с помощью другого метода.
Объединение миров х100 и х300 перенесено на 26.08.15 в 09:00 по МСК, ибо в связи с ддос атакой, мы не могли провести его вчера.
Помимо объединения этих миров, произойдет еще 2 переноса:
- Игровой мир 5.4.8 x1 будет перенесен в Германию(последний этап подготовки для запуска кросс арен-бг), работы начнутся также завтра, примерно в 10:00 по МСК, при этом панды х1 и их кабинет будут недоступны около 3-4 часов(время примерное, возможно сделаю быстрее).
- Также форум и основной сайт будут перенесены на другое оборудование, это должно позитивно сказаться на производительности, они в свою очередь будут недоступны 1-2 часа, время начало работ также завтра, утро.
Ранее анонсированные работы начинаются, в эту тему будет публиковаться статус работ по переносу веба и моп х1, а за объединением х100 и х300 следите в отдельной теме http://forum.wowcircle.com/showthread.php?t=477419
Работы по переносу моп х1 завершены, он доступен для входа, его кабинет станет доступен чуть позже, в течении дня(ждем обновления адресов от биллнгов).
Сайт и форум также успешно перенесены и доступны, регистрация на логон3 и статистика по их мирам будет недоступна некоторое время(ждем обновления адресов от них).
MoP x1: проблемы с оборудованием на сервере авторизации, что стало причиной падений сервера.
Направлен запрос в ДЦ на устранение проблемы, ожидайте.
Завтра(09.09.15), игровой мир MoP 5.4.8 x1 будет недоступен ориентировочно с 10:00 по МСК, для настройки и установки системы кросс арены-бг, с нашими партнерами с пандавов.
Более подробная информация и сроки завершения работ будут озвучены завтра.
Работы начались по плану в районе 10:00 и уже завершены конкретно для нашего реалма MoP 5.4.8 x1, ждем готовности реалмов с пандавова, чтобы запустить их все сразу, ну или хотя бы большую часть.
Думаю на это потребуется еще как минимум 1.5 часа.
Решено было запустить реалм не дожидаясь завершения работ на мирах пандавова, ибо кросс уже готов.
Также хочу сразу сказать, что в ближайшие дни возможно краши-лаги-баги, постараемся решить все возникшие проблемы как можно скорее.
Сегодня в течении дня в ДЦ где расположен logon наблюдаются проблемы с сетью, из-за этого с миров часто выкидывало, или могли быть повышенные задержки.
Проблемы еще актуальны, сроки решения не называются.
Проблема была решена в 01:30.
Игровой мир х1 PvE WOTLK временно не доступен, мы выясняем причины некорректной работы сервера.
В связи с тем, что сегодня выходной, среагировать быстро не получилось, приносим извинения за временные неудобства.
- - - Updated - - -
Работа игрового мира восстановлена
Уважаемые пользователи!
Сообщаем вам, что в дата центре где находится logon3 проводятся технические работы на канале, могут быть проблемы с соединением с сервером и/или прерывание работы игровых миров Logon 3.
- - - Updated - - -
Канал сотрудниками дата центра в течении дня был восстановлен, но они продолжают работать над ним, так что по прежнему могут происходить разрывы соединения с игровым миром.
- - - Updated - - -
Все работы завершены
Игровые миры 3.3.5a x15-20 и x25 подвергаются ддос атаке, сроки возобновления работы пока сложно назвать.
Вчера с 17:00 игровые миры logon подверглись ддос атаке, сначала она была направлена только на 2 реалма и был обычный слабый UDP флуд, который просто забил лимит коннектов, это все быстро решается и уже в 18:00 все миры работали нормально.
Но уже с 18:30 пошла достаточно сильная ддос атака по TCP, суммарно в среднем около 4 гбит, если взять 6 реалмов на которые она совершалась, где-то часа 2 сервера работали под этим ддосом, но долго держаться и фильтровать нарастающую атаку на уровне серверов мы не могли(при этом канала хватало за глаза), но производительность падала каждые минут 15 и в игре уже начинались задержки, а в 20:30 сеть и ядро ОС на большинстве из этих сервов уже зависли от большого числа коннектов, так в целом продолжалось всю ночь, миры отваливались и начинали работать через какое-то время, но с задержками и проблемами с пингом т.к сеть и ядро ОС были нагружены.
Подключение внешних фильтров, которые мы использовали не так давно задерживалось, т.к время не очень удобное, в целом решили их и не подключать вовсе, а решить проблему по другому, ибо все равно с ними при текущей нагрузке вечером играть было бы не реально из-за пинга.
Совместно с компанией, у которой мы арендуем железки в МСК, было принято решение физически перевезти сервера в другой ДЦ, который предлагает защиту от ддоса на своем уровне т.е без внешних фильтров и повышения пинга, что позволит достаточно безболезненно работать под ддос атаками, а оффлайн если и будет, то минимальный, пока применят правила к конкретному типу атаки, пусть размещение и защита будет прилично дороже, чем сейчас, но зато будут какие-то гарантии работы и помощь со стороны ДЦ.
Когда именно произойдет переезд пока не понятно, но скорее всего это будет сегодня или завтра, оффлайн всех ресурсов logon(за исключением реалма панд) составит около 7-10 часов, это время нужно на физическую перевозку оборудования из одного ДЦ в другой , его размещение и настройку сети.
Пока этого не произошло, миры logon могут работать не стабильно т.к атака может возобновиться.
Все оборудование было успешно перевезено в новый ДЦ сегодня ночью, с утра занимались настройкой сети и связью между серверами, на текущий момент планируемые работы выполнены, все наши игровые миры и веб сайты доступны. Также возможно, что до нового ДЦ у многих провайдеров будет лучше маршрут, ибо он один из самых крупных в Москве, от сюда у большинства пинг в игре чуть снизится.
Но в ближайшие 1-2 дня еще могут быть какие-то внештатные ситуации и небольшой оффлайн миров или веба, ибо не все было проверено под нагрузкой.
Ситуация с ддос атакой, которая доставляла нам дискомфорт последние 5 день была временно урегулирована несколько часов назад, миры должны работать нормально.
Почему я говорю временно? А потому что никто не застрахован от повторения подобного сценария, мы или какой-то другой проект может в любую минуту подвергнуться новой атаке, таковые реалии сегодняшних дней и к сожалению, у любой защиты есть уязвимости, на устранение которых нужны достаточно большие финансы и ресурсы, при этом никто не даст гарантии, что защита будет работать на 100% и не принесет дискомфорта чистому трафику.
Но данная атака дала нам бесценный опыт, попутно мы переехали в ДЦ, который дает нам почти безлимитные каналы в случае атак и имеет ряд собственных фильтров, вопрос лишь железок и устройства сети, чтобы ддос не доходил до реальных адресов серверов, которые в свою очередь должны быть закрыты от внешних ресурсов.
Все это мы планируем реализовать уже в ближайшее время, работы думаю пройдут уже на следующей неделе, обо всем сделаю анонс заранее, оффлайн если и будет, то на несколько часов.
Спасибо за вашу поддержку и за то, что оставались с нами все это время, как уже анонсировал ранее, с завтрашнего дня, будут запущен ряд изменений, сроком на 1 неделю, в качестве компенсации за почти 40 часовой оффлайн миров за эти 5 дней, а именно: в 2 раза чаще будет происходить сброс кд на инсты, выдача апа, сброс капа валюты, увеличены рейты на хонор в 1.5 раза(не актуально для реалма панд).
Игровые миры logon 3.3.5a x5 и x100 будут недоступны в ближайший час, т.к происходит установка новой оперативной памяти, теперь вместо 64 ГБ, на обоих железках будет по 128 ГБ, это позволит работать от рестарта до рестарта без увеличения задержки, а также позволит повысить производительность за счет того, что теперь больше данных можно будет загрузить в память, а не читать напрямую с диска.
Личный кабинет logon и статистика на сайте в этот период также будут недоступны.
Работы все еще продолжаются, что-то не совсем корректно работает платформа с новой памятью, обещали решить в ближайшее время.
х100 в процессе загрузки, станет доступен в ближайшие 10 минут, там проблема была в том, что меняли целиком платформу, где было больше слотов под память, а вместе с ней был и другой сетевой контроллер, перенастроили сеть, заработало.
С х5 все сложней, туда купили 4 планки по 32 гб, но с ними железка не хочет стартовать, сейчас попробуем еще пару вариантов, если не поможет, то пока что вернем назад 64 гб.
Пока на железке где располагается х5 не удалось установить новую память, возвращаем 64 ГБ и будем проводить тесты уже на другой платформе, игровой мир станет доступен через минут 10-15.
А на х100 сейчас вот так:
http://s018.radikal.ru/i502/1511/be/854d84ef72e1.png
Нагрузка на систему при онлайне в 1.5к человек, к вопросу о том, что у нас железки якобы не тянут онлайн 5к+, чисто арифметически, запас по процу позволяет принять 12 тысяч человек, проблема исключительно на уровне кода ядра игрового сервера и она постепенно решается.
К слову уже вчера, после очередной серии оптимизаций кода, х5 смог принять 6500 человек со средней серверной задержкой 140 мс, а чаще на уровне 100 мс, когда буквально месяц назад, мы еле еле принимали 5.5к, имея в пике задержку под 200 мс, прогресс на лицо товарищи, память должна была помочь еще больше, но пока радуется лишь х100, на х5 чуть позже повторим попытку установить памяти, предварительно выяснив причину, почему она не завелась с первого раза.
Личный кабинет logon будет недоступен 1-2 часа для переноса на другое оборудование в новый ДЦ.
Личный кабинет logon успешно перенесен и доступен.
Приносим извинения за задержку, физически перенесли то все быстро, а вот от внешней защиты долго ждали изменений, чтобы трафик пошел на новый адрес.
Сегодня, после применения одного неудачного фикса на миры logon 3.3.5a, в течении 15 минут был актуален баг, при котором те, кто ливал с кросса(бг-арена), терял свой уровень, он рандомно мог становиться на любом значении от 0 до 255, при этом у некоторых он успел записаться в базу данных и таким остался на какое то время. По подсчетам, игроков с такими проблемами суммарно по мирам набралось около 300 человек.
Как только проблема была обнаружена, выяснилось, что уровень у 90% стал либо больше 80, либо 0, для подобных случаев решение быстро сделал и уровень восстановил, но около 10% игроков получили уровень 1-79, из-за этого текущий шмот мог пропасть с чара, но переживать не стоит, он придет на почту.
Если для кого-то автоматическое возвращение уровня не сработало, можете просто качнуть чара до 80го, а одетые предметы также придут на почту.
Но если что-то помимо вещей еще успело сохраниться за это время(что требовало уровень, например звание), то могло вполне пропасть безвозвратно, тут мы помочь чем-то не сможем, увы, но персонажи с подобными критическими проблемами если и есть, то единицы.
Приносим извинения за доставленные неудобства, разработчику сделаю взыскание за это дело.
х1 временно недоступен в связи с неполадками в оборудовании. Проблему решаем, сервер будет доступен в скором времени
Сервер х1 доступен. Приятной игры