
La aproape o săptămână de la problemele Microsoft ce au afectat serviciile Outlook, SharePoint și Teams timp de aproape 24 de ore avem și o explicație vizavi de ce s-a întâmplat: nu a fost un AI care a luat-o razna, doar o combinație nefericită de mai multe bug-uri în software-ul produs și folosit de Microsoft.
Încă nu e dată analiza completă, minut cu minut a ceea ce s-a întâmplat, avem însă o imagine de ansamblu povestită pe Twitter (X) de către Charles Lamanna:
Pe scurt, au fost trei probleme care s-au produs simultan și au dus la ceea ce este fără îndoială cel mai mare incident de acest fel din ultima vreme. Adică … un bug a făcut ca anumite server-e să aibă ocupare (nejustificată) a procesoarelor, apoi a fost o problemă în soluția Teams care a generat fix condițiile necesare ca bug-ul precedent să se activeze și în al treilea rând, capacitatea de procesare a Microsoft era deja insuficientă din cauza faătului că anumite server-e erau deja închise, din cauza unei alte probleme.
Și asta s-a tradus așa: problema de Teams a generat condițiile propice pentru ca bug-ul de pe server-e să fie activat, server-ele au ajuns rapid la 100% procesare unde au stat foarte mult timp, au trebuit repornite, repornirea lor a generat redirecționarea traficului către server-ele rămase (despre care știm că nu erau toate active) și bucla s-a reluat. Conform Microsoft, fiecare problemă în parte, dacă apărea separat nu ar fi dus la întreruperea funcționării serviciilor Microsoft 365 și în niciun caz pentru o durată așa de mare.
Înțeleg că problema ce a dus la încărcarea server-elor a fost băgată de Microsoft cu deployment din luna iulie pentru server-ele care țin rețeaua, nu a fost detectată în testare și a apărut … fix în producție și fix în cel mai prost moment posibil. Dacă nu ar fi apărut și celelalte două, probabil că bug-ul ar fi rămas în continuare nedetectat în condiții normale de funcționare.
Apoi, cu vreo 15 ore înainte de momentul outage-ului, inginerii au mutat Teams de pe un gateway secundar pe unul principal, care avea și rolul de aține serviciile Exhange Online (mailul Outlook pentru toată lumea) și în același timp, cam 14% din capacitate nu era funcțională pentru că server-ele erau închise din cauza unei alte probleme, detectate cu o zi înainte.
Operațiile astea sunt unele de rutină în companiile de software și sunt atent planificate, inclusiv cu soluții alternative, tocmai ca să prevină astfel de probleme. În cazul Microsoft, nu s-a mai putut ajunge la soluția alternativă pentru că nimic nu mai funcționa cum trebuie și s-a ajuns la … blocarea funcționării care afectat pe toată lumea.
De fapt și de drept, tot ce a fost acolo se traduce printr-un DDoS (distributed denial of service) generat intern de Microsoft în urma căruia server-ele au fost copleșite de request-uri și nu au mai putut funcționa. Chiar dacă anumite servicii au fost repornite, faptul că request-urile erau foarte multe, așteptând ordonat să fie procesate, a pornit iarăși bucla.
De obicei în situații de acest gen, când se detectează că e o problemă software se încearcă revenirea la o versiune precedentă, despre care se știe că funcționa – probabil că Microsoft asta a și făcut, doar că nu a funcționat pentru că versiunea precedentă avea și ea problema (datează din iulie).
Explicația e credibilă, doar că nu oferă (încă) imaginea completă, va veni și asta cât de curând pentru că Microsoft trebuie să spună ce s-a întâmplat și să își asigure clienții (pentru că unora le garantează în 99.99% disponibilitate a serviciilor) că așa ceva nu se va mai întâmpla.
Nu mă miră ceea ce s-a întâmplat. Am doar un semn de întrebare vizavi de momentul în care s-a întâmplat. Nu de alta, dar a doua zi, în SUA, a venit un ordin de a menține toate avioanele la sol pentru că sistemele de control nu mai funcționau – Microsoft a ieșit repede să spună că nu e din cauza lor. Și am citit că ieri și Apple a avut ceva probleme cu serviciile iCloud.
Punem la socoteală și atacurile asupra lanțurilor de magazine alimentare din Franța/Olanda și avem o lună noiembrie extrem de interesantă din punct de vedere al incidentelor cibernetice. Nu m-ar mira ca în final și Microsoft și Apple să spună că una dintre cauzele ce au dus la nefuncționarea sistemelor să fie de fapt un atac.


