Crowdstrike und Azure Störungen legen Airlines lahm...

ANZEIGE

toom

Erfahrenes Mitglied
12.07.2013
1.944
1.078
ANZEIGE
Das ist irgendwie schon geil. Ich glaube zwar nicht, dass das vorsätzlich war. Aber man stelle sich vor, ein Programmierer, der bei der letzten Gehaltsrunde übergangen worden ist, legt weite Teile einer IT-Infrastruktur lahm. Bei build - test - deploy wohl geschlafen...
 

patrick7

Reguläres Mitglied
01.06.2020
73
40
Die Firmen entscheiden nicht ob und wann ein CrowdStrike-Update* installiert wird, das übernimmt CrowdStrike selbst und pushed es auf alle weltweit erreichbaren Agenten.
Dann sollte man dort ansetzen.
Einerseits dem Admin die Möglichkeit geben, dies zu unterbinden oder terminieren, ....
Andererseits sollte das File, bevor es in den Kernel oder wo auch immer hingeladen wird, verifiziert werden. Und allfällige Fehler beim Laden müssen unbedingt abgefangen werden (try/catch oder what ever), damit es nicht zum BSOD kommt.
 

Biohazard

Erfahrenes Mitglied
29.10.2016
6.736
6.264
LEJ
Einerseits dem Admin die Möglichkeit geben, dies zu unterbinden oder terminieren, ....
Gibt es, eigentlich. Es gibt verschiedene Update-Ringe, nur wirkt sich dieses Channel Update auch auf Systeme aus, die im N-1, N-2 usw. Update-Ring sind. CrowdStrike hat sich also (wissentlich?) über die eigene Updatestrategie hinwegsetzt und den Admins ein Ei ins Nest gelegt.
Andererseits sollte das File, bevor es in den Kernel oder wo auch immer hingeladen wird, verifiziert werden.
Wer soll das verifizieren? Die Admins? Dann hast du am Ende eine Software die nicht mehr up2date ist, weil die Admins das Verifizieren aufschieben (Projekte sind wichtiger). Es macht schon Sinn, dass bestimmte Software (AV-Software, EDR wie CrowdStrike) zeitnah Updates erhält. Natürlich muss sichergestellt werden, dass diese Updates funktionieren und nicht ganze Systeme lahmlegen. Aber das bekommen anderen Firmen (Microsoft *hust*) auch gut hin.
 

patrick7

Reguläres Mitglied
01.06.2020
73
40
Wer soll das verifizieren?
Die Software. Scheinbar ist das Exception Handling von Crowdstrike nicht so gut. Selbst wenn eine Software von Fehler strotz, sollte sie never ever den Kernel crashen können. Das gilt insbesondere, wenn die Software im Kernel-Space läuft. Man kann nie genug Eception Handling machen.

Ich bin zwar alles andere als ein Microsoft/Windows fan, aber die Updates sind glaubs (bis auf einige Ausnahmen natürlich) grundsätzlich ganz solide.
 

Langstreckenpendler

Erfahrenes Mitglied
28.12.2021
646
904
Ich komme gerade vom Kunden nach Hause.

Thema des Tages:
Endpoint Security made by CrowdStrike.
Ich kannte den Laden bisher garnicht, nun hab ich ihn mir gemerkt.
Dessen innovatives Konzept: "Nur ein nicht startender Computer ist ein sicherer Computer."

Ich lach mich schief.

Hier beim Kunden hat der Personalleiter auf Anweisung eines einzelnen wütenden Geschäftsführenden Gesellschafters bereits gegen 10:30 handschriftlich (!) geschriebene Abmahnungen an die für die Beschaffungsentscheidung verantwortlichen Entscheider verteilen dürfen. Die haben jetzt mindestens das Wochenende Spassss.
Immerhin konnte ich lokal mit meinem mitgebrachten Rechner arbeiten, das lokale Netz funktionierte, das (lokale) RZ funktionierte weitestgehend.
Die firmeneigenen Clients sind mausetot und ich war nun heute die bestbezahlte Auskunftei mit Zugriff auf die Daten meines Kunden.
Merke: Externe Consultants können lebenswichtig sein wenn man noch an die eigenen Daten kommen möchte ;-)

Wenigstens war man wenigstens soweit sensibel, nicht noch gleich mit der Gruppen-IT in die Cloud zu gehen sondern hat erstmal Standortvernetzung betrieben.

Anyway: Das dauert in größeren Netzen Tage, das manuell wieder an den Start zu bekommen.
Vor allem weil die Gruppen-IT nicht vor Ort ist sondern 20 Standorte abgrasen muss.
 

k1ngster

Aktives Mitglied
03.11.2014
133
146
Ich komme gerade vom Kunden nach Hause.

Thema des Tages:
Endpoint Security made by CrowdStrike.
Ich kannte den Laden bisher garnicht, nun hab ich ihn mir gemerkt.
Dessen innovatives Konzept: "Nur ein nicht startender Computer ist ein sicherer Computer."

Ich lach mich schief.

Hier beim Kunden hat der Personalleiter auf Anweisung eines einzelnen wütenden Geschäftsführenden Gesellschafters bereits gegen 10:30 handschriftlich (!) geschriebene Abmahnungen an die für die Beschaffungsentscheidung verantwortlichen Entscheider verteilen dürfen. Die haben jetzt mindestens das Wochenende Spassss.
Immerhin konnte ich lokal mit meinem mitgebrachten Rechner arbeiten, das lokale Netz funktionierte, das (lokale) RZ funktionierte weitestgehend.
Die firmeneigenen Clients sind mausetot und ich war nun heute die bestbezahlte Auskunftei mit Zugriff auf die Daten meines Kunden.
Merke: Externe Consultants können lebenswichtig sein wenn man noch an die eigenen Daten kommen möchte ;-)

Wenigstens war man wenigstens soweit sensibel, nicht noch gleich mit der Gruppen-IT in die Cloud zu gehen sondern hat erstmal Standortvernetzung betrieben.

Anyway: Das dauert in größeren Netzen Tage, das manuell wieder an den Start zu bekommen.
Vor allem weil die Gruppen-IT nicht vor Ort ist sondern 20 Standorte abgrasen muss.
Muss wirklich auf allen System der workaround manuell durchgeführt werden?
Dann klappere ich am Montag ein paar Firmen ab und biete an, jeden Rechner für 100 Euro Festpreis wieder zum booten zu bekommen 😂
 

Luftikus

Megaposter
08.01.2010
22.965
8.782
irdisch
Ich finde es ärgerlich, dass LH so tut, als sei sie fast nicht betroffen. EW gehört ihr auch, da fällt viel aus, auch noch nach 15 Uhr.
 

TimoKoni

Erfahrenes Mitglied
22.09.2014
1.439
2.871
DUS
Versichert bestimmt. Aber in welchem Umfang? Wenn es hoch kommt vielleicht 10 Mio. USD/EUR, vermutlich eher deutlich weniger.

Ich lache mich kaputt…

Crowdstrike macht über 2,2 Mrd. USD Umsatz.

Ich hätte damit gerechnet dass US-Unternehmen dieser Größe deutlich höhere Deckungssummen haben - allerdings will ich mir auch gar nicht ausmalen wie hoch der schaden ist...

Selbstverständlich sind die Deckungssummen höher und i. d. R. auch über Konsortien und Rückversicherer abgedeckt.

Lieben Gruß
 
  • Like
Reaktionen: spremmse

geos

Erfahrenes Mitglied
23.02.2013
11.586
5.807
Als absoluter Laie würde ich sagen, die Airlines haben durchaus Einfluss auf die von ihnen verwendeten IT-Systeme.
Aber nicht wenn es sich um die IT-Systeme des Flughafen o.ä. handelt. Ansonsten stimme ich zu. Ob ein IT-System ausfällt oder ein Triebwerk, sollte in der rechtlichen Bewertung ja erstmal egal sein.
Beitrag automatisch zusammengeführt:

Der Workaround scheint ja nun weitestgehend bekannt zu sein und muss eben manuell durchgeführt werden. Im Endeffekt könnte jeder technisch versierte Nutzer das selbst tun, aber ich fürchte dass es grade bei client-PCs wie am Flughafen-Schalter noch ein wenig dauern wird. Die meisten Rechenzentren sind ja wieder am laufen. Es sind/waren wohl ausschließlich Windows-Rechner betroffen.
Letzteres ist korrekt.
Was den technisch versierten Nutzer angeht: der dürfte idR. (aus gutem Grund) nicht über entsprechende Berechtigungen verfügen. Wäre auch eine Haftungsfrage.
Beitrag automatisch zusammengeführt:

 

geos

Erfahrenes Mitglied
23.02.2013
11.586
5.807
EW: Alle innerdeutschen Flüge und nach/von GB bis 15.00 h gestrichen.
Heute saß im ICE eine Frau neben mir, die berichtete, dass ihr EW-Flug (CGN-BER) gestrichen worden sei. Dafür war der ICE allerdings noch erstaunlich "unausgelastet" (also gerade mal an der Sitzplatzgrenze). Heute war dann einer der wenigen Tage, an dem sich die letztlich nur 10 Min. Verspätung nach den üblichen Ereignissen (Oberleitungsschaden, Evakuierung eines vorausfahrenden Zuges) bei Ankunft in Berlin wirklich gut anfühlten :)
Beitrag automatisch zusammengeführt:

Die Sicherheitssoftware gäbe es dann aber auch für andere Systeme, mit den gleichen Folgen. Hier ist ausnahmsweise nicht Windows schuld.
Das Problem trat nur auf Windows-Systemen auf.
Hoffentlich greift in diesem Fall die EU-Entschädigung, die betroffene Airlines dann von Crowdstrike wieder einklagen.
Interessanter Fall; ich bin gespannt, wie die Fluggesellschaften da reagieren.
Waren heute Leser hier betroffen, die berichten können?
Beitrag automatisch zusammengeführt:

Ja, die Ursache ist überall die selbe. Aber die betroffenen Systeme stehen nicht am selben Ort.
Was vollkommen egal ist, wenn sie alle unter MS Windows laufen und sich automatisiert das Update von Crowdstrike ziehen.
 

geos

Erfahrenes Mitglied
23.02.2013
11.586
5.807
Die Inder tweeten auch klare Anweisungen:
haben BSI und andere natürlich auch veröffentlicht
Beitrag automatisch zusammengeführt:

Doch. Jede Software hat Bugs (ausser vielleicht ein "hello world"). Somit birgt jedes Update das Risiko eines Bugs, welcher einem selber betreffen kann. Auch in Edge Cases (z.B. in Kombination mit bestimmten Treibern oder anderer Software) die der Hersteller nicht testen konnte.
Blöd halt, wenn zig Millionen Systeme Deiner Kunden auf der ganzen Welt sich als Edge Case herausstellen.
Beitrag automatisch zusammengeführt:

Es sind zwei Ereignisse. Einmal die Clients, welche sich nicht starten ließen und einmal "die M$ Cloud" welche an sich Schluckauf hatte.
Wobei es eine spannende Frage ist, ob die Probleme in der MS Cloud nicht auch durch den Einsatz von Crowdstrike (durch Microsoft) auf irgendwelchen ihrer dafür relevanten Systeme hervorgerufen wurden.
 

geos

Erfahrenes Mitglied
23.02.2013
11.586
5.807
Das ist irgendwie schon geil. Ich glaube zwar nicht, dass das vorsätzlich war.
Niemand behauptet, dass das vorsätzlich war. Aber es zeigt das Potenzial dafür, das geht, wenn es jemand (mit geeigneten Möglichkeiten) vorsätzlich mal wissen möchte.
Beitrag automatisch zusammengeführt:

Muss wirklich auf allen System der workaround manuell durchgeführt werden?
m.W. ja. Besonders schön bei Remote-Systemen (aber da käme ja niemand auf die Idee, die unter Windows laufen zu lassen).
Beitrag automatisch zusammengeführt:

Crowdstrike macht über 2,2 Mrd. USD Umsatz.
Der Schaden, den sie heute weltweit angerichtet haben, dürfte höher liegen.
 

thorfdbg

Erfahrenes Mitglied
14.10.2010
3.318
522
Interessanter Fall; ich bin gespannt, wie die Fluggesellschaften da reagieren.
Waren heute Leser hier betroffen, die berichten können?
Ja, hier. Sitze gerade in HND, allerdings hält sich der Schaden momentan noch in Grenzen. Bislang ist LH717 nur mit +70 verspätet, aber da kann sich schon noch einiges aufstauen. Vermutlich werde ich wohl in FRA hängenbleiben. Mal gucken was wird. LH reagiert so wie LH immer reagiert: Nicht. Kommunikation nicht vorhanden.
 

Alpaca

Reguläres Mitglied
13.01.2018
61
95
„Phased Rollouts“ und „Staged Updates“ nach einem Testingprozess sind bei Windows seit 2015 in größeren Umgebungen der Standard. Bereits Jahre zuvor bei Google (Android) und im AppStore. Wer in seiner IT im Jahr 2024 daher (mindestens) die letzten 10 Jahre verschlafen hat und sich eines Dienstleisters bedient, der kein Testing vor einem Rollout durchführt und keine abgestufte Verteilung von Updates implementiert hat, handelt mindestens grob fahrlässig. Das ist keine höhere Gewalt sondern Verschulden durch Inkompetenz. Meine Forderung ggü. Eurowings geht raus. Sitze seit gestern Mittag am HAM - Hotel nur auf eigene Veranlassung, Umbuchung mehrfach über Lufthansa/Swiss, leider immer wieder Ausfall oder IT-Fehler – Eurowings Service vor Ort auch für Business war nicht existent (1 Mitarbeiter für eine Schlange 2x durchs Terminal).
 
Zuletzt bearbeitet:

Biohazard

Erfahrenes Mitglied
29.10.2016
6.736
6.264
LEJ
Wer in seiner IT im Jahr 2024 daher (mindestens) die letzten 10 Jahre verschlafen hat und sich eines Dienstleisters bedient, der kein Testing vor einem Rollout durchführt und keine abgestufte Verteilung von Updates implementiert hat, handelt mindestens grob fahrlässig.
Dazu habe ich bereits etwas geschrieben. Zumindest zu den Rollout-Phasen. Warum das Channel Update nicht besser getestet wurde, how knows. Wird die RCA ja vielleicht zeigen. Entweder hat der Freigabeprozess nicht funktioniert oder es konnte - wie auch immer - an diesem vorbei freigegeben werden.
Es gibt verschiedene Update-Ringe, nur wirkt sich dieses Channel Update auch auf Systeme aus, die im N-1, N-2 usw. Update-Ring sind. CrowdStrike hat sich also (wissentlich?) über die eigene Updatestrategie hinwegsetzt und den Admins ein Ei ins Nest gelegt.

Hier beim Kunden hat der Personalleiter auf Anweisung eines einzelnen wütenden Geschäftsführenden Gesellschafters bereits gegen 10:30 handschriftlich (!) geschriebene Abmahnungen an die für die Beschaffungsentscheidung verantwortlichen Entscheider verteilen dürfen.
Schwachsinn. Oder bekommen die IT-Entscheider auch eine Abmahnung wenn der Strom ausfällt und die gesamte Bude steht? Ich wiederhole mich: Schwachsinn.
Muss wirklich auf allen System der workaround manuell durchgeführt werden?
Teilweise. Ein Großteil der Systeme landet in einem BSoD / einer Bootloop, d.h. grundlegende Bestandteile des Betriebssystems (z.B. Netzwerk) werden nicht geladen, was eine Störungsbeseitigung per Remote unmöglich macht. Häufig sind Systeme auch noch verschlüsselt (z.B. mit Microsoft Bitlocker), d.h. hier benötigst du auch noch einen zusätzlichen und system-spezifischen Zugriffscode um die manuelle Tätigkeit vor Ort durchzuführen. Ich habe von Firmen gelesen, bei denen das System, welches die Zugriffscodes verwaltet, ebenfalls in einer Bootloop steckte... Alles extrem unschön.
Das Problem trat nur auf Windows-Systemen auf.
Debian war auch schon betroffen (erst im April 2024).

 

Rost

Erfahrenes Mitglied
17.07.2023
349
382
Mit Virenscanner und Paton von Schwachstellen ist es, wie
Ich komme gerade vom Kunden nach Hause.

Thema des Tages:
Endpoint Security made by CrowdStrike.
Ich kannte den Laden bisher garnicht, nun hab ich ihn mir gemerkt.
Dessen innovatives Konzept: "Nur ein nicht startender Computer ist ein sicherer Computer."

Ich lach mich schief.

Hier beim Kunden hat der Personalleiter auf Anweisung eines einzelnen wütenden Geschäftsführenden Gesellschafters bereits gegen 10:30 handschriftlich (!) geschriebene Abmahnungen an die für die Beschaffungsentscheidung verantwortlichen Entscheider verteilen dürfen. Die haben jetzt mindestens das Wochenende Spassss.
Immerhin konnte ich lokal mit meinem mitgebrachten Rechner arbeiten, das lokale Netz funktionierte, das (lokale) RZ funktionierte weitestgehend.
Die firmeneigenen Clients sind mausetot und ich war nun heute die bestbezahlte Auskunftei mit Zugriff auf die Daten meines Kunden.
Merke: Externe Consultants können lebenswichtig sein wenn man noch an die eigenen Daten kommen möchte ;-)

Wenigstens war man wenigstens soweit sensibel, nicht noch gleich mit der Gruppen-IT in die Cloud zu gehen sondern hat erstmal Standortvernetzung betrieben.

Anyway: Das dauert in größeren Netzen Tage, das manuell wieder an den Start zu bekommen.
Vor allem weil die Gruppen-IT nicht vor Ort ist sondern 20 Standorte abgrasen muss.
Was für ein Schwachsinn. Die Cloud hat nullkommanix mit dem BSOD zu tun und das Verwenden einer Software für Endpoint Security ist verpflichtend. Da gibt es verschiedene Anbieter und einer von denen hatte den Bug. Merke: Es gibt keine fehlerfreie Software. Jemanden für die Beschaffung einer Software abzumahnen, die weltweit von 30000 Kunden auf Millionen Computern eingesetzt wird, ist reiner Aktionismus.
Das Problem betraf nur Windows Computer.
Edit: Dein Kunde sollte den betreffenden Geschäftsführer wegen erwiesener Inkompetenz und Machtmissbrauch abmahnen. Kann man eigentlich einen geschäftsführenden Gesellschafter feuern?
 
Zuletzt bearbeitet:

dplane

Erfahrenes Mitglied
04.01.2017
1.607
959
Das dachte ich mir beim Drüberlesen auch schon. Bei einer derart verkommenen Unternehmenskultur wäre die einzig richtige Reaktion auf die Abmahnung Dr. Holiday und Austritt zum nächstmöglichen Zeitpunkt, soll sich der Gesellschafter doch dem Problem am Wochenende annehmen. Die Moral ist da ja scheinbar eh schon über Bord gegangen.
 

vapianojunkie

Erfahrenes Mitglied
15.01.2014
1.032
484
MUC
Ich lache mich kaputt…

Crowdstrike macht über 2,2 Mrd. USD Umsatz.

Selbstverständlich sind die Deckungssummen höher und i. d. R. auch über Konsortien und Rückversicherer abgedeckt.

Lieben Gruß
Wir haben ein Vielfaches von dem Umsatz. Die Deckungssumme unserer Versicherung liegt dennoch je nach Auftragstyp zwischen 1 und 10 Mio. EUR pro Schadensfall. Das ist auch kein Problem, weil die Haftung gegenüber dem Kunden im Vertrag auch entsprechend begrenzt wird.
 

Biohazard

Erfahrenes Mitglied
29.10.2016
6.736
6.264
LEJ

geos

Erfahrenes Mitglied
23.02.2013
11.586
5.807
Mich würde wie gesagt interessieren, wie die Forderungen nach EU261 ausgehen werden. Wenn die Fluggesellschaft nachweisen kann, dass die Verzögerungen/ausfälle ausschließlich durch Probleme auf Seiten des Flughafens entstanden, sind sie wohl raus. Generell von "höherer Gewalt" zu sprechen, zeugt von einem seltsamen Verständnis für Verantwortung für seine eingesetzten IT-Systeme.
Die FAZ schrieb z.B. (https://archive.is/HNp06) "Allerdings machte das Unternehmen [Flightright] den Kunden angesichts der außergewöhnlichen Umstände wenig Hoffnung auf eine Entschädigung gemäß der EU-Fluggastrechteverordnung, die je nach Entfernung bis zu 600 Euro pro Flug betragen können."

Das spricht m.E. nicht dafür, Flightright zukünftig EU261-Claims anzuvertrauen.
Nur weil Millionen anderer Unternehmen aus zig Branchen dasselbe Problem haben, das sich gleichzeitig/zeitnah manifestierte, heißt das m.E. nicht, dass es sich um höhere Gewalt oder "außergewöhnliche Umstände" handelt.
Wird spannend. Vielleicht kann hier jemand, der sich beruflich mit dem rechtlichen Aspekt auskennt, den Punkt kommentieren.
 
  • Haha
Reaktionen: Münsterländer

Nitus

Erfahrenes Mitglied
04.04.2013
5.511
24.813
MUC
Mich würde wie gesagt interessieren, wie die Forderungen nach EU261 ausgehen werden. Wenn die Fluggesellschaft nachweisen kann, dass die Verzögerungen/ausfälle ausschließlich durch Probleme auf Seiten des Flughafens entstanden, sind sie wohl raus. Generell von "höherer Gewalt" zu sprechen, zeugt von einem seltsamen Verständnis für Verantwortung für seine eingesetzten IT-Systeme.
Die FAZ schrieb z.B. (https://archive.is/HNp06) "Allerdings machte das Unternehmen [Flightright] den Kunden angesichts der außergewöhnlichen Umstände wenig Hoffnung auf eine Entschädigung gemäß der EU-Fluggastrechteverordnung, die je nach Entfernung bis zu 600 Euro pro Flug betragen können."

Das spricht m.E. nicht dafür, Flightright zukünftig EU261-Claims anzuvertrauen.
Nur weil Millionen anderer Unternehmen aus zig Branchen dasselbe Problem haben, das sich gleichzeitig/zeitnah manifestierte, heißt das m.E. nicht, dass es sich um höhere Gewalt oder "außergewöhnliche Umstände" handelt.
Wird spannend. Vielleicht kann hier jemand, der sich beruflich mit dem rechtlichen Aspekt auskennt, den Punkt kommentieren.
Vielleicht schauen wir uns mal den entsprechende Passus in EU261 an:

(3) Ein ausführendes Luftfahrtunternehmen ist nicht verpflichtet, Ausgleichszahlungen gemäß Artikel 7 zu leisten, wenn es nachweisen kann, dass die Annullierung auf außergewöhnliche Umstände zurückgeht, die sich auch dann nicht hätten vermeiden lassen, wenn alle zumutbaren Maßnahmen ergriffen worden wären.

Was ist eine zumutbare Maßnahme in dem Zusammenhang, dass ein führender Anbieter von Endpoint-Sicherheits-Software ein fehlerhaftes Update ausgerollt hat? Gerade hier zeigt sich doch durch die enormen weltweiten Auswirkungen, dass es offenbar keine zumutbaren Maßnahmen gab, dies zu verhindern.

Und ist es zumutbar, im Vorfeld erkennen zu können, dass Crowdstrike irgendwann einem die IT abschießt?

Natürlich wäre es Crowdstrike zumutbar gewesen, das SW-Update vorher korrekt zu testen und sicherzustellen, dass das richtige Paket ausgerollt wird. Auch wäre es sicherlich eine zumutbare Maßnahme gewesen, das Update in Wellen auszurollen. Aber die EU261 verweist hier auf die zumutbaren Maßnahmen des Luftfahrtunternehmens und da sehe ich nicht, wie man als Luftfahrtunternehmen mit zumutbaren Maßnahmen dieses Desaster hätte verhindern können.

Insofern sehe ich es schwierig an, hier einen Rechtsanspruch auf Entschädigung nach EU261 durchzusetzen. Natürlich kann man im Einzelfall argumentieren, ob ein manueller Boardingprozess oder die Nutzung von Ausweichflughäfen zumutbar gewesen wären, aber diese Argumentation wird sicher kein Selbstläufer.