Каково главное отключение электричества, которого Вы были частью?

У нас был канал греющего пара, который пробежал наш разрыв дата-центра. Очень горячий, конденсация и изоляция асбеста повсеместно. Отключение питания в течение многих недель во время очистки.

Хорошо, материалом моей группы был соединенный BGP, загрузка, сбалансированная между несколькими дата-центр. У нас была некоторая часть наших пользователей, видят 30-секундное замораживание, прежде чем их текущая транзакция была передана. Многие из других проектов видели отключения электричества до нескольких дней со всеми включающими много сверхурочного времени для помощи всем остальным.

Уроки извлечены: Сделайте свою непрерывность, планирующую сначала, затем создайте свою систему для поддержки заключений:

• Если Вы не можете терпеть неделю времени простоя, плана и практиковать Вашу передачу. Iinstead основных сайтов / сайтов обработки отказа, имейте синий/золотой и вращайтесь каждые две недели, чтобы гарантировать, что все обновляется и доступно.
• Если Вы не можете терпеть полчаса приблизительно к одному дню, балансу загрузки между активными сайтами. Вы проведете меньше времени и усилия, настраивающего его, чем Вы потратите под давлением, пытающимся сделать восстановление на время.
• Если Вы не можете терпеть минуты времени простоя, необходимо перейти к большому усилию для того, чтобы сделать очень высокую Доступность. Лучший выбор состоит в том, чтобы нанять опытного консультанта.
• Только для окончания иерархии, если Вы не можете терпеть секунды времени простоя, Вам нужны специализированные аппаратные средства, а также специализированный дизайн. Вы лучше быть экспертом

Я посещал собеседование в компании, которая, оказалось, в настоящее время сталкивалась со всем сетевым отключением электричества в их 50 + станция пользователя. Я решил его в течение минут и добрался для встречи их текущего системного администратора и их компании поддержки IT, которую они призвали, потому что он не мог решить его - они потратили все утро попытку разработать то, что шло не так, как надо.

Предыдущий парень установил два беспроводных маршрутизатора в режиме моста и включил их обоих в проводную сеть. Они были едва в диапазоне друг друга, таким образом, у них был цикл в их сети, которая пришла и ушла, поскольку прием варьировался.

Само собой разумеется, я получил задание и затем реализовал некоторый вход управления изменениями, как только я запустил.

Я испытал недельное отключение электричества нашей всей сети сервера. Мы имели дело с ним путем создания сети дублирования, для предотвращения той точно той же проблемы в будущем, но в то время как отключение электричества происходило, мы использовали старый сервер, который мы настроили в удаленном месте. Мы учились всегда иметь план резервного копирования.

Вероятно, самый большой был 4-дневным отключением электричества сети все-HQ, вызванным обновлением крупной сети.

Самая большая подсказка, которую я имею, должна иметь установленный устойчивый процесс управления инцидентами. Существует блестящая презентация от Скоростной конференции 2008 года, я занялся адаптацией общей Системы управления чрезвычайными ситуациями, используемой работниками скорой помощи (http://en.wikipedia.org/wiki/Incident_Command_System) к инцидентам типа IT также: http://en.oreilly.com/velocity2008/public/schedule/detail/1525

Мы ворчали экстенсивно от этого при разработке нашего собственного внутреннего инцидентного процесса "Sev1". Это подчеркивает коммуникацию, единицу команды, четкую передачу обязанностей и другой большой материал.

Я также вставлю разъем для Прозрачного блога Времени работы: http://www.transparentuptime.com/ - это - сфокусированный онлайн-сервис, но его общие правила того, как/какой связаться для отключения электричества, относятся к внутреннему материалу IT-ey также. http://www.transparentuptime.com/2010/03/guideline-for-postmortem-communication.html конкретно - мы сделали, чтобы менеджер ворчал от этого, и начали отсылать связь в том формате, и Вы не будете верить положительному ответу.

Как хорошо синхронизированный. Я просто возвратился от чрезвычайного прохождения до одного из сайтов, которые мы поддерживаем.

До пользовательского влияния это не было основное влияние, но это имело потенциал, чтобы быть. Как часть текущего проекта для миграции некоторых сайтов прочь нашей поддержки мы создали новый доверяемый домен. После обширного тестирования мы прошедший предварительную подготовку, чтобы первый сайт мигрировал на новый домен, которым мы все еще управляли бы. Таким образом, ночь перемещения приходит, и мы запускаем путем миграции одного из двух DCS к новому домену. Это идет прекрасное. Мы перемещаем группы безопасности и Учетные записи пользователей. Это идет прекрасное также, и состав группы обновляется правильно. Мы перемещаем Файловый сервер и выполняем перевод безопасности для обновления ACLs. Снова все подходит. Переместите Серверы приложений и обновите IAS для VPN и никаких проблем. Мы затем перемещаем проверочного пользователя, ПК и пользователь сохраняют их настройки профиля и могут получить доступ ко всем сетевым ресурсам отлично. Мы затем перемещаем другой DC. Мы затем идем, перемещают остающиеся компьютеры и половину сбоя. Мы находим, что локальный брандмауэр XP работает. Я сразу продвигаю GPO на сайт выключать его, но должен буду ожидать компьютерное обновление. Этого не происходит достаточно быстро, и пользователи начинают прибывать. Они не могут войти в исходный домен, потому что оба DCS находятся на новом.

Скорее затем попытайтесь повторно добавить один DC назад к исходному домену, который мы обновляем правила брандмауэра предоставить доступу к другому удаленному DCS для исходного домена и взять 3 часа езды на сайт.

Продолжение на небольшой сон: GPO для отключения локального брандмауэра теперь выставил. Не думая я захватываю все компьютерные объекты и продвигаю миграцию. Я забыл, что это СБРАСЫВАЕТ компьютерные объекты. Таким образом, теперь все успешно перемещенные ПК сокращаются из домена.

Для усугубления положения локальная администраторская передача, которую мы развертываем с нашим изображением, не работает из-за длинной уведенной локальной технологии, которые сбрасывают их.

Я провел выходные, вручную добавляющие все ПК к новому домену после использования загрузочного диска для стирания локальной администраторской передачи.

Извлеченные уроки:

• Ожидайте неожиданное и попытайтесь ожидать все потенциальные проблемы.
• Централизуйте управление вещами как локальные пароли администратора и настройки брандмауэра
  • GPOS и предпочтения групповой политики
• Займите другую минуту, чтобы удостовериться, что Вы делаете вещи правильно перед нажатием.

Извините, что было долго обветрено.