Čtvrteční výpadek

Ve čtvrtečních ranních hodinách došlo k výpadku napájení v datacentru Master DC vinou selhání jednoho z aktivních prvků. Šlo o výpadek webů, které stále používají starý load balancer (83.167.253.87) a také naší administrace. Nové Roští jako takové nebylo ovlivněno, protože běží v jiném datacentru. Pošta a staré Roští vypadlo zhruba na hodinu a půl zhruba mezi 5:00 a 6:30.

K problému došlo kvůli změnám na napájení, které v Master DC prováděli. Byli jsme o změně informováni s dostatečným předstihem a protože máme dva zdroje, poprosili jsme Master, zda by nám alespoň ten nejdůležitější stroj, kde je DNS server, pošta a staré Roští, nepřipojili na dobu změny ke větvi, která nevypadne. Druhý, kde je administrace a starý load balancer, jsme vypnuli a poprosili technika, aby ho po provedení změny zapnul. Pro tento server mělo jít o výpadek mezi 2:00 a 7:00 maximálně.

Bohužel ale jedna z UPSek nepracovala správně a vypnuly se nám všechny čtyři servery. Servery jsou po dvou ve dvou místnostech, takže bylo jasné, že výpadek napájení byl mnohem větší, než v Masteru čekali a technici neměli čas náš server, který nenaběhl, zapnout. Ostatní tři naběhly v pořádku. Nakonec jsme se do datacentra dostali sami a stroj zapnuli ručně přibližně kolem osmé hodiny ranní. Pak vše naběhlo.

Všem zákazníkům se omlouváme za potíže.