Gdy pada chmura: awaria Microsoft 365 i co ma z niej wynieść firma

12 listopada o 18:17 czasu kijowskiego w Microsoft 365 zaczęła się awaria, która trwa także w chwili publikacji tego materiału. Przestały otwierać się skrzynki pocztowe, kalendarze, Teams i SharePoint. Ucierpiały firmy na całym świecie — w tym ukraińskie, bo na Microsoft 365 działa tu większość poczty firmowej.

Odczuliśmy to na własnej skrzynce i sprawdziliśmy, co dokładnie się zepsuło. Poniżej fakty sprawdzone przez nas, oficjalne stanowisko Microsoftu i przede wszystkim to, co powinien z tego wynieść właściciel firmy — niezależnie od tego, czy korzysta z Microsoftu.

Co dokładnie nie działa

Pierwsza reakcja na „poczta się nie otwiera" jest zawsze taka sama: winni jesteśmy my, hasło, internet, ustawienia domeny. Dlatego zaczęliśmy od sprawdzenia własnej strony, i dało to jasny obraz.

• Logowanie do konta działa. Microsoft rozpoznaje użytkownika i przyznaje dostęp — a więc ani hasło, ani uprawnienia, ani ustawienia dostępu nie mają z tym nic wspólnego.
• Żądanie wiadomości zwraca błąd serwera — kod 502. Nie „brak dostępu", nie „błędne hasło", lecz „serwer nie zdołał odpowiedzieć".
• Kalendarz pada tak samo — kod 503. Rzecz więc nie w samej poczcie, lecz we wszystkim, co leży w Exchange Online.
• Rekordy pocztowe domeny (MX) nie zmieniały się i nadal wskazują na Microsoft. Poczta idzie tam, gdzie powinna.

Wniosek jest prosty: nasza strona jest cała, nie odpowiada sama usługa. Tę samą kontrolę warto zrobić każdemu, kto ma wątpliwości — zajmuje kilka minut i zdejmuje połowę pytań.

Oficjalna chronologia

Microsoft prowadzi awarię pod dwoma numerami: EX1550543 — dostęp do skrzynek Exchange Online, oraz MO1550821 — wszystko, co zależy od Exchange. Osobna awaria Teams (TM1550488) została już zamknięta. Najpierw mowa była o Ameryce, później sformułowanie zmieniono na „może dotyczyć użytkowników w dowolnym regionie".

Godziny poniżej są kijowskie.

• 18:17, 12 listopada. Użytkownicy nie mogą otworzyć skrzynek. Microsoft informuje, że bada problem z dostępem do poczty.
• 20:19. Odnotowano podwyższone obciążenie od razu w kilku regionach.
• 21:18. Uściślenie: obciążenie wzrosło nie przez napływ ruchu. Część serwerów nagle przestała być dostępna, a ich pracę przejęły pozostałe.
• 21:43. Wykryto, że dotknięte serwery nie przechodzą automatycznej kontroli sprawności — i system sam wyłącza je z pracy.
• 21:57. „Nie wykryliśmy żadnej niedawnej zmiany powiązanej z początkiem awarii".
• 00:00, 13 listopada. „Główny proces na dotkniętych serwerach ulega przeciążeniu, przez co tracona jest moc".
• W nocy. Uściślenie: przeciąża się właśnie proces odpowiedzialny za nawiązywanie bezpiecznych połączeń. Równolegle Microsoft zaczyna wycofywać niedawną zmianę konfiguracji sieciowej, która zbiega się w czasie z początkiem awarii.
• 06:11. „Potwierdzamy: nie ma żadnych oznak, by było to skutkiem działań złośliwych".
• 13:04. Przywracanie zakończono w regionie Azji i Pacyfiku, ruch wpuszczany jest stopniowo, prace rozszerzane są na kolejne regiony.

Przyczyna: wciąż jej nie podano

Najuczciwsze, co można powiedzieć w chwili publikacji: oficjalnej przyczyny nie ma. Wyjaśnienia Microsoftu zmieniały się w ciągu doby — od „nie widzimy żadnej niedawnej zmiany" po „wycofujemy niedawną zmianę konfiguracji sieciowej, która zbiega się z początkiem awarii". Pełną analizę z przyczyną firma obiecuje opublikować po zakończeniu przywracania.

To, co Microsoft stwierdza jednoznacznie, to że nie jest to cyberatak. Takie sformułowanie padło dwukrotnie, w odstępie kilku godzin.

Najciekawsze w tej historii jest nie przyczyna, lecz to, dlaczego naprawa się przeciągnęła. Serwery przywrócone do pracy padały znowu, gdy tylko wpuszczano na nie ruch. Microsoft wprost przyznał, że zmiany „nie działają tak, jak oczekiwano". Dalej praca szła w kółko: zatrzymanie wszystkich aktualizacji i zmian konfiguracji, restarty, obejście kontroli sprawności, odbudowa części serwerów na poprzedniej konfiguracji, dokładanie mocy maszynami wirtualnymi. Ruszyło dopiero po łatce na komponent odpowiedzialny za autoryzację i trasowanie żądań.

Co dzieje się z wiadomościami

To pytanie niepokoi najbardziej, więc osobno.

• Dostarczanie się opóźnia — Microsoft przyznaje to wprost w opisie awarii.
• Okno oczekiwania wiadomości wydłużono do 48 godzin. Zwykle serwer, któremu nie udało się dostarczyć wiadomości w określonym czasie, zwraca ją nadawcy z adnotacją o niepowodzeniu. Wydłużone okno oznacza, że wiadomości nie będą odbijać się z powrotem, lecz poczekają w kolejce.
• O utracie danych Microsoft nie informował. Ale bądźmy precyzyjni: wprost „nic nie zginęło" też nie powiedział. Dosłownie powiedziano, że opóźnione wiadomości są zachowywane.

Praktyczny skutek: nie wysyłajcie wiadomości ponownie. Stoją w kolejce i gdy usługa je puści, klient dostanie duplikaty. Spodziewajcie się fali — za dobę przyjdzie wszystko naraz.

Co firma ma zrobić teraz

1. Upewnijcie się, że problem nie jest u was. Jeśli logowanie przechodzi, a wiadomość się nie otwiera, to strona dostawcy. Stan awarii widać w centrum administracyjnym Microsoft 365, w sekcji „Kondycja usług", pod numerami EX1550543 i MO1550821.
2. Nie ruszajcie ustawień. Podczas cudzej awarii najwięcej szkody robią próby „naprawienia" u siebie: zmienione rekordy domeny, przeinstalowane programy pocztowe, zresetowane hasła. Gdy usługa wróci, trzeba będzie rozplątywać własne skutki.
3. Włączcie kanał zapasowy. Pilne sprawy z klientami przenieście na czas awarii do komunikatora albo na telefon. Uprzedźcie tych, którzy czekają na odpowiedź — lepsze krótkie „mamy awarię poczty, piszcie na Telegramie" niż cisza.
4. Zapiszcie przestój. Jeśli zatrzymanie pracy kosztowało was pieniądze, zanotujcie czas i skutki. Microsoft ma zobowiązania co do poziomu usług; czy ta awaria daje podstawy do rekompensaty akurat w waszym przypadku — to pytanie do waszej umowy licencyjnej i partnera, u którego kupiono licencje.

Cztery wnioski na przyszłość

Awaria tej skali to rzadkość i wyciąganie z niej wniosku „chmura jest zła" byłoby błędem: własny serwer w pakamerze pada częściej i wraca dłużej. Wnioski są inne.

1. Kanał zapasowy musi istnieć przed awarią, a nie być wymyślany w jej trakcie. Jeśli cała komunikacja z klientami idzie przez pocztę jednego dostawcy, jego awaria zatrzymuje was całkowicie. Bot na Telegramie, komunikator firmowy, telefon — cokolwiek, o czym klienci wiedzą wcześniej.
2. Nie wkładajcie wszystkiego do jednego koszyka. Poczta, dokumenty, komunikacja, uwierzytelnianie i ochrona u jednego dostawcy są wygodne dokładnie do dnia, w którym coś mu się psuje. Wtedy zatrzymuje się wszystko naraz. Tak właśnie było: razem z pocztą padły Teams, SharePoint i Defender.
3. To, co przynosi pieniądze, ma być pod waszą kontrolą. Strona, zamówienia, katalog, zgłoszenia — warto trzymać je tam, gdzie sami możecie sprawdzić stan, postawić kopię i odpowiedzieć klientowi, nie czekając na cudzy raport.
4. Umiejcie odróżnić „u nas" od „u nich". Prosta kontrola z początku tego artykułu oszczędza godziny paniki i chroni przed zbędnymi zmianami w ustawieniach.

Jak to jest urządzone u nas

Korzystamy z Microsoft 365 do poczty i dokumentów — i podczas tej awarii nasza skrzynka też się nie otwierała. Natomiast to, co robimy dla klientów, działało i działa: strony na naszym systemie Smart CMS, czatboty, panele klienta i telefonia żyją na własnych serwerach, osobno od poczty. Ani jedna strona klienta na tej awarii nie ucierpiała.

To właśnie ten rozkład ryzyka, o którym mowa we wnioskach: narzędzia biurowe u niezawodnego dostawcy zewnętrznego, a to, co sprzedaje i przyjmuje zamówienia — tam, gdzie sami za to odpowiadamy.

O źródłach

Kontrole dostępu, stanu rekordów pocztowych i kodów odpowiedzi robiliśmy sami. Chronologia i cytaty Microsoftu pochodzą z jego komunikatów w centrum administracyjnym i na stronie stanu usług — w relacji obserwatorów branżowych, porównanych ze sobą, bo oba te źródła dostępne są wyłącznie administratorom konkretnego klienta. Źródłem pierwotnym dla każdego właściciela jest jego własne centrum administracyjne.

---

Materiał przygotował zespół SmartGT. Jeśli nie jesteście pewni, jak bardzo wasza firma zależy od jednego dostawcy i co stałoby się z waszą stroną w taki dzień — napiszcie do nas: center@uvc.in.net albo +38 073 949 61 79. Obejrzymy to razem i powiemy wprost, co warto rozłożyć do różnych koszyków.