So sieht es aktuell aus.
[Blockierte Grafik: http://www.freshworx.com/forum/styles/prosilver/imageset/icon_post_target.gif]von Freshworx » 27 Jun 2011 17:09


Hallo Ihr Lieben,

wir wollen uns nicht weiter nachsagen lassen, dass uns alles egal ist.
Nach diesem Beitrag wird es ggf. viel zu diskutieren geben, ob und wie und warum was wann passiert ist und wie man das hätte anders machen können.
Wir werden auf diese Diskussionen nicht eingehen, da diese dem Thema in keiner Weise helfen werden.

Unser Rechenzentrum (Räume, Schränke, Server, USV und Datensicherungssysteme, etc.), welches wir nach dem Hardwareausfall vom November 2010 eingerichtet haben, gehört zu einem größeren Anbieter, bei welchem wir uns mit sein ein bestehendes RZ eingekauft haben. Ein eigenes RZ zu unterhalten ist mit erheblichen Kosten und extremen Aufwand verbunden, auch wenn nur eine Teil unterhalten wird. Dies schien uns zum damaligen Zeitpunkt, da eh schon ein RZ in Planung für die etope 8 war, der richtige Weg für die Zukunft zu sein.

Was ist also passiert?

22.06.11 - 15:00 (ca.)
Im RZ Nähe Erfurt kam es durch ein Unwetter zu Sturmschäden. Genauer gesagt, kam es zu einer Überspannung in den Hochspannungsmasten der Zuleitung zu dem Gebäude in dem auch das RZ sitzt. Durch den Sturm ist ein Mast umgekippt und durch das überkreuzen der Kabel kam es zum Kurzschluss. Der Ausfall ist einem "Kurzen" auf Hochspannungsebene zu verdanken. Bis die Feuerwehr das Kabel manuell getrennt hatte, konnten die Stadtwerke aus uns unbekannten Gründen den Strom nicht abschalten.
Irgendwann ist die Steuerung der USV durchgebrannt und hat den Rest ihrer Energie "nach innen" auf die Technik abgegeben. Die USV Anlage war nicht in der Lage die eingehende Spannung dauerhaft zu puffern. In Folge dessen hat es die USV regelrecht zerrissen. Damit gingen dann auch die Lichter aus. Teile der Spannung sind dennoch auf andere Hardware überspringen (Teile unserer Server und die Backupsysteme). Neben der USV hat die entstandene Niedervoltspannung auch in Systemen wie Alarmanlage, Videoüberwachung, Zutrittskontrollen u.a. großen Schaden verursacht.

22.06.11 - 16:00 (ca.)
Nach einer groben Bestandsaufnahme war zu erkennen, dass einige unserer Server nicht mehr ordentlich starten würden. Zum Teil war nur das Filesystem betroffen, welches empfindlich auf plötzlichen Ausfall reagieren kann. (Thema: Cachen von Linux Servern mit hohen Datenvolumen) Die betroffenen Server wurden erkannt und versucht wieder ans laufen zu bekommen. Die Server, welche für das Forum, die Wiki, unser Supportsystem und auch den Freshworx Shop zuständig sind, konnten nicht mehr hergestellt werden.
Ein Blick auf die Backupsysteme lies schlimmes erwarten. Die verkohlten Festplatten in einem Teil des zur Sicherung bereitgestellten SAN Raidsystems zeigen, dass das System nicht verschont geblieben ist.

22.06.11 - 19:30 (ca.)
Inzwischen sind die Internetleitungen und damit das RZ wieder am Netz.

22.06.11 - 20:00
Nach mehreren Versuchen mit bestehender Spare Hardware die Sicherungssysteme wieder ans Laufen zu bekommen, haben wir uns entschlossen, das System in einem Stück zu einer Datenrettungsfirma zu bringen.

27.06.11
Aktuell sieht es nicht so aus, dass wir auch nur Teile der Daten in den kommenden Wochen wieder bekommen könnten. Bei dem Umfang der Systeme ist der Zeitliche Faktor für Datenrettungen erheblich. An dieser Stelle auf den Widerherstellungsprozess weiter einzugehen, macht nicht wirklich Sinn. Ihr könnt Euch aber sicher sein, dass wir ein sehr starkes Interesse daran haben unsere Daten wieder zu bekommen.

Es werden nun in den kommenden Tagen folgende Systeme zum Teil neu gemacht:

- Freshworx Shop wird neu erstellt.
- Supportsysteme werden wieder eingerichtet und auf den letztmöglichen Stand gebracht.
- Wiki muss leider von Hand neu geschrieben werden und dauert.
- Das Forum wird geschlossen und dann gelöscht.


Noch ein paar Worte zum Ende.
Warum ebay, PayPal und u.a. die Commerzbank so etwas nicht haben? Klar, haben die auch solche Probleme, aber mit einen jährlichen Budget von mehreren Mio € kann man solchen Sachen besser vorbeugen und im Zweifel schneller beseitigen. Dennoch sollten die, die einer andere Meinung haben, einmal ausgiebig googeln. Ihr werdet mit Sicherheit einen Haufen Ausfallmeldungen und Berichte finden.

Wenn Ihr in Zukunft bereit seit, ungefähr das 60 fache für etope 7 zu zahlen, können wir das mit Sicherheit auch. Und danke, dass wir mit Firmen die jährliche MRD € Umsätze machen verglichen werden. Da stimmt dann selbstverständlich das Verhältnis zu Freshworx (Den Zynismus müsst Ihr uns an dieser Stelle dann doch mal gönnen.)


Wer noch keinen direkten Blitzeinschlag im eigenen Haus erlebt hat, kann sich das nicht im geringsten vorstellen mit welcher Gewalt die Zerstörung über einen kommt.
Ich habe das schon direkt mitbekommen und kann also einen Blitzeinschlag durchaus einschätzen. Schäden von mehr als 100.000€ sind keine Seltenheit.


Zum Forum sei noch gesagt, dass es keinen Sinn macht eine Plattform anzubieten, auf der 5% konstruktiv und 95% destruktiv geschrieben wird. Leider gibt es Nutzer die nicht in der Lage sind, Probleme z.B. telefonisch oder per Mail zu klären. Aus diesem Grund werden wir künftig das Forum nicht weiter betreiben und auch keine Stellung mehr zu Themen beziehen. Nur damit Ihr das richtig versteht, gegen konstruktive Kritik an sich haben wir nichts aber nicht um andere Kunden aufzustacheln.


Quellen (leider nicht direkt unser Schaden):
mdr.de/thueringen/8751512.html
http://www.thueringen-reporter.de/3072/ ... stelle.htm