Crowdstrike und Azure Störungen legen Airlines lahm...

ANZEIGE

Biohazard

Erfahrenes Mitglied
29.10.2016
6.741
6.278
LEJ
ANZEIGE
lokal sollten ja keine Daten liegen
Sollten... ;) Und je nachdem wie gut der Provisioning Prozess funktioniert, muss im Nachgang immer noch händische Nachpflege erfolgen. Weil z.B. Kernanwendungen nicht komplett eingerichtet sind oder oder oder. Den fehlerhaften CrowdStrike-Treiber zu entfernen, ist meiner Meinung immer noch die stressfreiere Variante. Es gibt mittlerweile auch Ideen, wie das via WinPE / PXE Boot zu lösen ist (https://www.reddit.com/r/msp/comments/1e7xt6s/bootable_usb_to_fix_crowdstrike_issue_fully/).

Alternativen gibt es auch für VMware (https://williamlam.com/2024/07/usef...r-assisting-with-crowdstrike-remediation.html) oder direkt von Microsoft selbst (https://techcommunity.microsoft.com...with-crowdstrike-issue-impacting/ba-p/4196959).
 

peter42

Moderator
Teammitglied
09.03.2009
13.255
1.083
Sollten... ;) Und je nachdem wie gut der Provisioning Prozess funktioniert, muss im Nachgang immer noch händische Nachpflege erfolgen. Weil z.B. Kernanwendungen nicht komplett eingerichtet sind oder oder oder. Den fehlerhaften CrowdStrike-Treiber zu entfernen, ist meiner Meinung immer noch die stressfreiere Variante. Es gibt mittlerweile auch Ideen, wie das via WinPE / PXE Boot zu lösen ist (https://www.reddit.com/r/msp/comments/1e7xt6s/bootable_usb_to_fix_crowdstrike_issue_fully/).

Alternativen gibt es auch für VMware (https://williamlam.com/2024/07/usef...r-assisting-with-crowdstrike-remediation.html) oder direkt von Microsoft selbst (https://techcommunity.microsoft.com...with-crowdstrike-issue-impacting/ba-p/4196959).
Ok bei uns kommen die PCs komplett aus dem Imaging, aber klar einfach per PXE nur das File löschen ist schneller und ressourcenschonder - beides Fix und Imaging per PXE zeigt aber, dass man bei funktionierender yingrastruktur ebennicht wie oft kolportiert an jeden PC muss. Und klar mit VMware hat man da andere Möglichkeiten, der MS Fix ist aber lokal nach der Beschreibung.

Hyatt war übrigens auch betroffen.
 

Langstreckenpendler

Erfahrenes Mitglied
28.12.2021
647
906
Zum Problem wurde ja schon einiges gesagt. Was mich wundert ist die Geschichte mit der Abmahnung. Gegen diese würde ich vorgehen, wäre ich betroffen.
Kann man machen, aber damit stellst Du nur sicher, dass daraus tatsächlich noch ein Vorgang wird.
Derzeit ist nichtmal gesagt, dass das so tatsächlich in die Personalakte kommt weil man ohne Arbeitsrechtler sowas heutzutage nicht anfängt.
Und vor allem nicht - die gleiche Abmahnung an 2 verschiedene Personen mit unterschiedlichen arbeitsvertraglichen Positionen schickt.

Ich hab meine Ahnung, was passiert (einer geht, einer bleibt), nehme es aber trotzdem als drastisches Zeichen. Der GGF hätte sich sonst aber auch unglaubwürdig gemacht, denn das hat ne Vorgeschichte.

Inhaltlich kann ich es verstehen, denn bei allem Verständnis, das mal was schiefgeht - irgendwann reicht es mit Dilletantismus der immer dann klar wird, wenn man keinen Plan hat, wann es wie weitergeht. Die 2 Protagonisten haben den Laden schon mit einer 2fach nur versuchten und verkorksten Domain-Umstellung (angekündigt als das wichtigste Projekt des Jahres) und dann einer dann erfolgten Turnschuh-Umstellung 6 komplette Arbeitstage Ausfall seit Anfang März gekostet und die Mehrheit der Kollegen wäre froh nicht irgendwann ungeplanten Arbeitsausfall zu haben und dafür dann Samstage in der Firma zu verbringen. Ist schließlich ein Produktionsbetrieb, das geht nicht im HO. Das merkt jeder normale Kollege am eigenen Leib und die ersten fordern verbal den Rausschmiss (und das ist abgechwächt, das ist hier eher hart aber herzlich). So der Flurfunk und dem Vernehmen nach auch die Aussprache auf der letzten Betriebsversammlung Ende Juni.
Auch der Betriebsrat hat in diesem Zusammenhang schon ein mahnendes Schreiben verfasst wo er auf die Pflichten des AG hinweist, die Arbeit des BR nicht zu behindern.

Was ich als Externer (und nicht mit IT- oder Reorganisationsprojekt betraut ;-) ) dort sehe: Heillose Überforderung in der Praxis. Das hat jedes Mal mit nicht zu Ende gedachten Konzepten, Nichtbefolgen von Best-Practice, etc. zu tun. Aber Kaufentscheidungen aus dem Marktführerkatalog.
Dazu Konzeptentwicklung im stillen Kämmerlein weil das nur in einer der Stellenbeschreibungen steht.

Crowdstrike ist kein kleines Startup, sondern eben recht weit verbreitet (wie man ja gesehen hat). Was macht er denn, wenn es mal wieder ein Windows Problem gibt, von Microsoft verursacht? Gut, man könnte natürlich ein Drittel der PCs mit Linux, ein Drittel mit MacOS und ein Drittel mit Windows betreiben... Macht aber eh keiner.
Du setzt auf OS-Ebene bereits eine Ebene zu hoch auf, du musst auf Bios-Ebene. Und das konnte mit Boot-EPROM früher nur 3COM, heutzutage kann fast jede Onboard-Netzwerkkarte PXE.
Es ist komplett egal, ob es Crowdstrike oder ein anderes Produkt war. Es ist noch viel mehr egal, ob es weit verbreitet ist, wieviel Umsatz der Laden macht oder ob oder wie es zu irgendeinem beliebigen Zeitpunkt zertifiziert wurde. Das taugt am Ende nur zum Buzzword-Bingo.

Was man braucht, ist eine funktionierende, d.h. getestete, Rollback-Möglichkeit. Das gehört bei größeren Netzen dazu wie auch ein Image-Deployment (eigentlich ist es ein Sonderfall dessen) - Windows Server hat dafür als Nachfolger von RIS WDS an Bord - das ist normalerweise alles bereits mitbezahlt, nur die Konfiguration ist nicht mit Weiter-Weiter-Fertig allein gemacht.
Andere machen auch Backups der einzelnen Clients. Es gibt da prinzipiell verschiedene Möglichkeiten. Ich würde heutzutage nur noch einen Stapel möglichst einheitliche Client-Computer kaufen aber sicherlich nicht mehr einzeln installieren - früher hätte man das Diskjockey genannt. Und wenn das bei dem ersten funktioniert hat einfach mal einen Rollback probieren oder mal ein anderes Image wie SystemRescue (https://www.system-rescue.org/) bereitstellen oder auch modifizieren. Und möglichst einheitliche Images. Was das heute noch einfacher als früher ist, weil auch die Software-Lizenzen mittlerweile fast durchgängig an Lizenzserver / KMS gebunden sind.

"Nobody gets fired for buying IBMMicrosoft"
SAP gehört auch in diese Aufzählung.
Ich bin übrigens mal auf ES/9000 (S/390 bzw. zSeries, damals mit MVS/ESA, CICS, DB2) geschult worden, mit AS/400 (heute iSeries) hab ich dann im Praxissemester gearbeitet. Alles bevor ich mein erstes Studium fertig hatte.
 
  • Like
Reaktionen: westcoastflyer

Langstreckenpendler

Erfahrenes Mitglied
28.12.2021
647
906
Ok bei uns kommen die PCs komplett aus dem Imaging, aber klar einfach per PXE nur das File löschen ist schneller und ressourcenschonder.
Genau so und nicht anders.
Und ich sehe da in der grundsätzlichen Anforderung - also abgesehen von Verteil- und Bandbreitenthemen sowie evtl. mehr Automatisierung - auch keinen Unterschied zwischen 10 PCs und 15000.

Und wenn Du dann siehst, was bei einem solchen Problem so vor sich geht, dann weißt Du, wo IT von Profis geführt wird und wo nicht.
Da ist nicht Crowdstrike das Problem sondern die Implementierung elementarer Betriebsprozesse.
 
  • Like
Reaktionen: westcoastflyer

spremmse

Erfahrenes Mitglied
08.09.2012
1.083
821
BER - NYC
Wir haben ein Vielfaches von dem Umsatz. Die Deckungssumme unserer Versicherung liegt dennoch je nach Auftragstyp zwischen 1 und 10 Mio. EUR pro Schadensfall. Das ist auch kein Problem, weil die Haftung gegenüber dem Kunden im Vertrag auch entsprechend begrenzt wird.
Wenn ihr pro Auftrag versichern solltet dann muss die Haftungssumme natürlich nur den Auftrag abdecken. CrowdStrike hat hier aber einen Schaden bei quasi allen Kunden dieser Software verursacht - sollten die also wirklich (was ich bezweifle) auch "pro Auftrag" versichern dann wären es halt eine Menge Versicherungen und nicht eine Einzige die hier zum Zuge kommt.

Darüber hinaus (ohne vom Fach zu sein) vermute ich dass andere Punkte entscheidender sind: vieles in dem Fall riecht nach (grober) Fahrlässigkeit. Außerdem funktioniert die Produkthaftung in den USA nochmal sehr anders als in der EU. Ich bezweifle hier also dass eure Haftungsbeschränkung auch nur ansatzweise vergleichbar ist.

Ich werde die Urteile hier mit Spannung verfolgen, wie vermutlich die meisten IT-Führungskräfte. Da wird es die eine oder andere wegweisende Entscheidung geben.
 
Zuletzt bearbeitet:

spremmse

Erfahrenes Mitglied
08.09.2012
1.083
821
BER - NYC
Inhaltlich kann ich es verstehen, denn bei allem Verständnis, das mal was schiefgeht - irgendwann reicht es mit Dilletantismus der immer dann klar wird, wenn man keinen Plan hat, wann es wie weitergeht. Die 2 Protagonisten haben den Laden schon mit einer 2fach nur versuchten und verkorksten Domain-Umstellung (angekündigt als das wichtigste Projekt des Jahres) und dann einer dann erfolgten Turnschuh-Umstellung 6 komplette Arbeitstage Ausfall seit Anfang März gekostet und die Mehrheit der Kollegen wäre froh nicht irgendwann ungeplanten Arbeitsausfall zu haben und dafür dann Samstage in der Firma zu verbringen. Ist schließlich ein Produktionsbetrieb, das geht nicht im HO. Das merkt jeder normale Kollege am eigenen Leib und die ersten fordern verbal den Rausschmiss (und das ist abgechwächt, das ist hier eher hart aber herzlich). So der Flurfunk und dem Vernehmen nach auch die Aussprache auf der letzten Betriebsversammlung Ende Juni.
Auch der Betriebsrat hat in diesem Zusammenhang schon ein mahnendes Schreiben verfasst wo er auf die Pflichten des AG hinweist, die Arbeit des BR nicht zu behindern.

Was ich als Externer (und nicht mit IT- oder Reorganisationsprojekt betraut ;-) ) dort sehe: Heillose Überforderung in der Praxis. Das hat jedes Mal mit nicht zu Ende gedachten Konzepten, Nichtbefolgen von Best-Practice, etc. zu tun. Aber Kaufentscheidungen aus dem Marktführerkatalog.
Dazu Konzeptentwicklung im stillen Kämmerlein weil das nur in einer der Stellenbeschreibungen steht.
Es ist komplett egal, ob es Crowdstrike oder ein anderes Produkt war. Es ist noch viel mehr egal, ob es weit verbreitet ist, wieviel Umsatz der Laden macht oder ob oder wie es zu irgendeinem beliebigen Zeitpunkt zertifiziert wurde. Das taugt am Ende nur zum Buzzword-Bingo.
Finde du sprichst hier gute und wichtige Punkte an (vielleicht sollte dein Kunde dich auch mal dafür bezahlen? :D ). Die Probleme die durch diesen Ausfall sichtbar werden sind Komplex und vielschichtig.
Procurement und Staffing werden von Leuten entschieden die von IT keinen blassen Schimmer haben. Wir schreiben das Jahr 2024. Jedes Unternehmen ist ein Tech-Unternehmen. Entscheidungen werden immer noch so getroffen als wäre es 1995.
Da geht es darum dass Stellen falsch ausgeschrieben sind bzw. Abteilungen unterdimensioniert. Da geht es um uneinheitliche Anwendungsumgebungen, Hardware etc. Da geht es um den Mangel an Prozessen und SOPs vor allem im Ernstfall. Da geht es um fehlendes risk assessment und testing.
 

Micha1976

Erfahrenes Mitglied
09.07.2012
5.441
3.404
Auch der Betriebsrat hat in diesem Zusammenhang schon ein mahnendes Schreiben verfasst wo er auf die Pflichten des AG hinweist, die Arbeit des BR nicht zu behindern.
6 komplette Arbeitstage Ausfall seit Anfang März gekostet und die Mehrheit der Kollegen wäre froh nicht irgendwann ungeplanten Arbeitsausfall zu haben und dafür dann Samstage in der Firma zu verbringen.
Das sagt doch schon genug über die "Kultur" in der Mittelstandsklitsche, in der sich der Geschäftsführer für Gott zu halten scheint.

Und dann wundert man sich allen Ernstes darüber, dass da nur drittklassige Leute arbeiten/arbeiten wollen?
 

peter42

Moderator
Teammitglied
09.03.2009
13.255
1.083
Genau so und nicht anders.
Und ich sehe da in der grundsätzlichen Anforderung - also abgesehen von Verteil- und Bandbreitenthemen sowie evtl. mehr Automatisierung - auch keinen Unterschied zwischen 10 PCs und 15000.

Und wenn Du dann siehst, was bei einem solchen Problem so vor sich geht, dann weißt Du, wo IT von Profis geführt wird und wo nicht.
Da ist nicht Crowdstrike das Problem sondern die Implementierung elementarer Betriebsprozesse.
Ok die Imagingserver sind idR halt nicht ausgelegt alle Clients parallel zu bedienen und deren NIC auch nicht, aber in wenigen h sollte das handelbar sein.
 

spremmse

Erfahrenes Mitglied
08.09.2012
1.083
821
BER - NYC
Puh, wenn ich da noch von PXE und Imagingserver höre... das ist auch IT von vorgestern. Aber wahrscheinlich müssen da auch alle Mitarbeiter 5 Tage die Woche ins Büro kommen...:eek::D
Aus reinem Interesse (weil ich mit Desktop PC Clients genau gar nix am Hut habe) was wäre denn IT von heute (oder gar morgen)?
 
  • Like
Reaktionen: mf_2

br403

Erfahrenes Mitglied
28.11.2016
1.769
728
MUC
MDM Management, so sind die PCs überall verwaltbar, auch auf Reisen, Homeoffice usw.
 

peter42

Moderator
Teammitglied
09.03.2009
13.255
1.083
MDM Management, so sind die PCs überall verwaltbar, auch auf Reisen, Homeoffice usw.
Hilft dir aber nicht viel, wenn der PC nicht mehr ins OS kommt. Und ob man sich von Intunes etc abhängig machen will, ist ein anderes Thema. Und wenn sie online sind (AON) braucht man keine Cloudlösung wie Intunes.
 
Zuletzt bearbeitet:

br403

Erfahrenes Mitglied
28.11.2016
1.769
728
MUC
Hast Du jetzt auch nicht anders, die Geräte müssen auch alle ins Büro. Ob man sich nun von Config Manager, Ivanti, Intune oder ähnlichem abhängig macht, ist ja auch schon egal. Hat man ja jetzt gesehen.
 

PAXfips

Erfahrenes Mitglied
15.12.2016
2.061
529
HAM
Wenn ich die Server von der Europalette hieve ist da kein "MDM" drauf.

(i)PXE ist da der Startpunkt der Wahl.. natuerlich geht's auch granularer als "ein Image" drauf bratzen.
Und A/B/Recovery booting geht auch (mit watchdog timer) - zumindest im Linuxland.
 

peter42

Moderator
Teammitglied
09.03.2009
13.255
1.083
Hast Du jetzt auch nicht anders, die Geräte müssen auch alle ins Büro. Ob man sich nun von Config Manager, Ivanti, Intune oder ähnlichem abhängig macht, ist ja auch schon egal. Hat man ja jetzt gesehen.
Jein, kommt wie immer drauf an.
 

cockpitvisit

Erfahrenes Mitglied
04.12.2009
4.936
2.220
FRA
Und A/B/Recovery booting geht auch (mit watchdog timer) - zumindest im Linuxland.
Hebelt die Sicherheitssoftware das aber nicht aus? Der Sinn der Sache ist ja, dass der Rechner ohne die neueste Sicherheits-Version nicht betrieben werden kann. Sicherheitsupdates scheinen eine höhere Prio zu haben als funktionierende Rechner 🙄
 

PAXfips

Erfahrenes Mitglied
15.12.2016
2.061
529
HAM
Wie stellt der Rechner ein "die neueste" wohl fest. Was ist der Fallback.

Ein watchdog-timer boot bringt die Maschine dann halt in so einem "safe mode" hoch und haengt nicht im kernel-panic ohne remote Zugriff rum (oder loop booted).

Btw.. was war eigentlich dieser 15 mal reboot scheiss?
 
  • Like
Reaktionen: westcoastflyer

Rost

Erfahrenes Mitglied
17.07.2023
355
384
Microsoft gibt der (bösen) EU Mitschuld an dem CrowdStrike Desaster
Da hat Microsoft nicht Unrecht. Die EU hat ja auch das Sideloading für iPhones über fremde Appsores durchgesetzt, was sicherheitstechnisch eine Katastrophe ist. Die Apple AI Features werden nun vermutlich nicht in der EU verfügbar sein, weil man keinen Bock auf DSA Zoff hat.
 

Biohazard

Erfahrenes Mitglied
29.10.2016
6.741
6.278
LEJ
Da hat Microsoft nicht Unrecht.
Finde ich schon. MS hätte ihren MS Defender bzw. die Windows API ja auch umbauen können, damit kein direkter Zugriff auf den Kernel notwendig ist (für AV / EDR Anwendungen). Wollten sie aber nicht, daher haben sie den einfacheren Weg (Freigabe für alle) gewählt.

Wer sich für das Thema interessiert (bin auch erst am Wochenende darüber gestolpert, muss ich mir noch einmal in einer ruhigen Minute tiefer anschauen):


Die EU hat ja auch das Sideloading für iPhones über fremde Appsores durchgesetzt, was sicherheitstechnisch eine Katastrophe ist.
Es hat halt nicht nur Vorteile einer von zwei Duopolisten zu sein. Außerdem wird ja niemand gezwungen alternative App Stores einzubinden. Apple ist einfach immer schnell am heulen. USB-C wollten sie nicht einführen, alternative Browser und Tastaturen nicht zulassen - doof nur, dass die EU dem ganzen ein P vorgesetzt hat.
 

Rost

Erfahrenes Mitglied
17.07.2023
355
384
Das mit dem USB-C ist eine urban legend. Apple ist Mitentwickler der USB-C Standards. Leider war das beteiligte Konsortium zu langsam und Apple entwickelte Lightning für das iPhone 5 (2012), der dem Micro-USB überlegen war.
2 Jahre später kam USB-C raus und wurde von Apple schon ab 2015 im Mac und später auch in iPads integriert.
Die EU hat den Prozess beim iPhone vielleicht um ein Jahr beschleunigt, am Ende wird es aber in Zukunft sehr wahrscheinlich keine kabelgebundenen Schnittstellen an Smartphones mehr geben .
Apple may only be changing the iPhone’s connector because of the European Union, but it was Apple that went ahead with a major push for USB-C standardization first.
 
  • Like
Reaktionen: Micha1976