Awaria CrowdStrike z 2024 roku: co naprawdę się stało

W piątek 19 lipca 2024 linie lotnicze i szpitale w wielu krajach zobaczyły ten sam niebieski ekran. Przyczyną nie był atak, tylko jeden plik konfiguracyjny programu zabezpieczającego. Ten tekst opiera się na dokumentach samego CrowdStrike, Microsoftu i CISA. Wynika z nich dokładnie, co zawiodło, dlaczego naprawa trwała dni i co zmieniło się w ciągu dwóch kolejnych lat.

1. 78 minut, które wystarczyły

O 04:09 UTC CrowdStrike opublikował aktualizację typu Rapid Response Content dla czujnika Falcon na Windows, w wersji 7.11 i nowszych. O 05:27 UTC firma ją wycofała. Według wstępnego raportu CrowdStrike awarii doświadczyły tylko te komputery z Windows, które były w tym czasie online i pobrały plik. Maszyny z macOS i Linuksem nie ucierpiały.

Wycofanie aktualizacji po 78 minutach nie pomogło komputerom, które już ją pobrały. Każdy z nich zawieszał się przy starcie systemu, zanim zdążył pobrać wersję poprawioną. Dzień później Microsoft na swoim blogu oszacował liczbę dotkniętych urządzeń na około 8,5 mln, czyli mniej niż 1% wszystkich komputerów z Windows.

2. Przyczyna techniczna: 21 pól i 20 wartości

Szczegóły opisuje raport z analizy przyczyn z 6 sierpnia 2024. W lutym 2024, razem z czujnikiem 7.11, CrowdStrike wprowadził nowy typ szablonu do wykrywania nadużyć komunikacji międzyprocesowej (IPC) w Windows. Szablon definiował 21 pól wejściowych, ale kod czujnika przekazywał do porównania tylko 20 wartości.

Przez pięć miesięcy nikt tego nie zauważył, bo wcześniejsze instancje szablonu miały w 21. polu symbol wieloznaczny, więc czujnik go nie odczytywał. 19 lipca wdrożono dwie nowe instancje i jedna z nich po raz pierwszy wymagała konkretnej wartości w 21. polu. Walidator treści ją przepuścił, bo zakładał, że czujnik dostarczy 21 wartości.

Analiza zrzutu pamięci wskazała sterownik csagent.sys i funkcję TemplateGetString. Funkcja próbowała odczytać 21. element, o indeksie 0x14, z tablicy wskaźników, która miała tylko 20 poprawnych wpisów. Odczyt poza zakresem w sterowniku działającym w jądrze kończy się zatrzymaniem całego systemu.

3. Aktualizacja treści a aktualizacja czujnika

CrowdStrike rozróżnia dwa rodzaje aktualizacji. Nowa wersja czujnika to kod programu, wydawany rzadziej i wdrażany etapami. Rapid Response Content to dane konfiguracyjne, które czujnik interpretuje, publikowane często, żeby szybko reagować na nowe techniki ataków. Wadliwy plik należał do tej drugiej grupy.

W raporcie z analizy przyczyn CrowdStrike zapowiedział dla aktualizacji treści etapowe wdrażanie w kolejnych pierścieniach, z obserwacją telemetrii między nimi, oraz większą kontrolę klientów nad tym, kiedy i gdzie aktualizacje trafiają. Adam Meyers opisał ten model przed Kongresem USA. Aktualizacje przechodzą przez testy wewnętrzne, wczesny dostęp i część floty, zanim trafią do reszty urządzeń. To ten sam schemat, który firma stosowała już wcześniej dla wersji czujnika.

4. Dlaczego każdy komputer trzeba było naprawiać osobno

Zawieszony komputer nie uruchamiał systemu, więc nie mógł pobrać poprawki zdalnie. Microsoft w artykule KB5042421 opisał procedurę ręczną. Trzeba było uruchomić Windows w trybie awaryjnym, wejść do katalogu C:\Windows\System32\drivers\CrowdStrike, usunąć plik zaczynający się od C-00000291 i kończący na .sys, a potem uruchomić system normalnie.

Na komputerach z BitLockerem przed wejściem do trybu awaryjnego system prosił o klucz odzyskiwania. Microsoft wydał też narzędzie odzyskiwania, które tworzyło rozruchowy pendrive z WinPE i automatyzowało usuwanie pliku. 22 lipca CrowdStrike wprowadził zautomatyzowane metody przyspieszające naprawę, a według raportu z analizy przyczyn 29 lipca około 99% czujników Windows znów działało.

5. Skutki poza serwerowniami

Najlepiej udokumentowany przypadek to Delta Air Lines. Według CBS News linia odwołała w ciągu pięciu dni ponad 7000 lotów, co dotknęło ponad 1,3 mln pasażerów. Inne linie wróciły do normalnej pracy szybciej, więc Departament Transportu USA wszczął dochodzenie w sprawie traktowania pasażerów przez Deltę.

NPR opisało skutki w szpitalach. Brigham and Women’s Hospital w Bostonie odwołał wszystkie planowe operacje, zabiegi i wizyty, które nie były pilne. Minnesota Hospital Association informowało o problemach z elektroniczną dokumentacją medyczną i częścią sprzętu medycznego. CISA ostrzegała, że przestępcy wykorzystują zamieszanie do kampanii phishingowych.

6. Co zmieniło się od tamtej pory

24 września 2024 Adam Meyers, starszy wiceprezes CrowdStrike, przeprosił przed podkomisją Izby Reprezentantów USA i zapewnił, że incydent nie był atakiem. 19 listopada 2024 Microsoft ogłosił Windows Resiliency Initiative. Jej kluczowym elementem jest umożliwienie programom antywirusowym działania poza jądrem systemu, tak by awaria takiego programu nie zatrzymywała całego Windows. Prywatny podgląd tych funkcji dla partnerów zapowiedziano na lipiec 2025.

Spory prawne trwały dłużej niż naprawa. Delta pozwała CrowdStrike, domagając się około 500 mln USD, a CrowdStrike odpowiedział pozwem wzajemnym. 14 stycznia 2026 sąd federalny w Teksasie oddalił pozew akcjonariuszy CrowdStrike. W czerwcu 2026 Departament Transportu zamknął dochodzenie wobec Delty bez sankcji.

7. Lekcje dla administratorów

Najważniejszy wniosek z raportu CrowdStrike dotyczy procesu. Aktualizacje uznane za „tylko dane” omijały etapowe wdrażanie stosowane dla kodu, a to one zatrzymały miliony maszyn. Każda zmiana, którą wykonuje kod działający z wysokimi uprawnieniami, wymaga tej samej ostrożności co nowa wersja programu. Druga lekcja dotyczy przygotowania do odtwarzania. Naprawa wymagała fizycznego dostępu do komputera i klucza odzyskiwania BitLockera. Organizacje, które nie miały kluczy spisanych w miejscu dostępnym bez działającego Windows, musiały najpierw je odzyskać.

8. Podsumowanie

Jedna niezgodność między definicją szablonu a kodem czujnika przetrwała pięć miesięcy, bo testy nigdy nie użyły 21. pola. Gdy wreszcie się to stało, aktualizacja trafiła naraz do całej floty. Dwa lata później CrowdStrike wdraża treści etapami, Microsoft pracuje nad ochroną antywirusową poza jądrem, a sąd oddalił pozew akcjonariuszy CrowdStrike.