Leslie Schnee – Blog

Jaaa, so lieben wir das. Ein erster morgendlicher Blick in unser Support-Ticket-System offenbart einige gehackte Kundenseiten. Die Türkei hat wieder zugeschlagen, genauer ein Hacker namens "iskorpitx", der es mal wieder geschafft hat, über veraltete Joomla-Installtionen Fremdcode einzuschleusen und somit die Websites der Kunden zu "defacen". Ich glaube, unser Job wäre ohne solche Kreaturen nur halb so spannend - auch wenn wir das nicht wirklich brauchen. Ich zumindest nicht.
Also den Kunden ein Backup eingespielt und ihnen nahe gelegt, ihre Joomla-Installation genau wie ihr Windows daheim auf einem aktuellen Stand zu halten und stets auch alle Module und Plugins zu aktualisieren. Das wird in der Tat gerne vergessen. Abschließend das System mit folgendem Befehl nach einer Datei mit einer bestimmten Größe durchsucht und gelöscht (Linux-Tipp):

rm `find /pfad/zum/verzeichnis/ -maxdepth 2 -size 13c -ctime -1 -print`

Anschließend ging es mit den Jungs an die Abarbeitung der regulären Anfragen, die so die Nacht über eingetrudelt sind, das waren heute auch irgendwie eine ganze Menge. Mittlerweile sieht es aber wieder ganz gut aus und alles Systeme laufen optimal, zumindest nachdem ein weiterer Server neu gestartet wurde, nachdem er irgendwie nicht mehr wollte.

Dazwischen kurz was gefrühstückt mit der Erkenntnis, dass eine offene Dose Sauerkraut vom Vorabend den kompletten Kühlschrank verpestet.

Und die gute Sandy scheint der ganze Trubel wie immer nicht besonders zu tangieren. Sie schläft friedlich in ihrem Körbchen und träumt von sexy Hundeboys.

Und jetzt wird es Zeit, ins Büro zu fahren!

Bereits seit einigen Tagen findet sich im Eingangsbereich unseres Rechenzentrums ein Hand-Desinfektionsgeraet. Seit Anfang der Woche gibt es nun an mehreren Stellen folgenden Aushang. Sicher ist sicher!!

..und zwar richtig. Ein komplett durcheinander geratenes Filesystem auf der Systempartition des Servers "turbofarnsworth" erfordert eine Neuinstallation. Für die ca. 300 Kunden auf dem Server geben wir natürlich Gas! Mal schauen, wie lange es dauert. Und das, obwohl ich mich heute etwas erkältet fühle. Nunja.. die Server nehmen auf sowas ja leider keine Rücksicht. Und unser Büro wird langsam aber sicher zum Server-Krankenhaus..

Siehe auch unsere Statusseite http://status.ps-webhosting.de/.

UPDATE: Natürlich eine scheiß Maxtor-Platte!!!

UPDATE 2, 23:20 Uhr: Nachdem das Problem mit o.g. Server dann behoben war, riefen drei Serverhousing-Kunden fast gleichzeitig an und meinten, dass ihre Server nicht mehr erreichbar seien. Das konnte natürlich kaum ein Zufall sein und es hat wirklich eine Zeit gedauert, bis wir rausfanden, dass es ein Kunde irgendwie geschafft hat (wir unterstellen keinen Vorsatz!), unser internes Routing zu verbiegen. Er muss irgendwie mit BGP rumgespielt haben, was unsere Router dann gefressen haben. Wenns kommt, dann dicke!!!

Aber jetzt: FEIERABEND!!!!

Dass wir einen guten Kundensupport haben, ist natürlich bekannt. Nicht ganz so bekannt dürfte sein, dass wir auch manchmal aufgeregten Nicht-Kundinnen am Telefon helfen, wenn wir denn können.

Mitarbeiter: PS-Webhosting, Guten Tag!
Anruferin: Ja Guten Tag, spreche ich mit der Schule?
Mitarbeiter: Nein.
Anruferin: Es geht um meine Tochter *****. Sie hat eine Zeugniskopie bekommen und sie wieder verloren. Jetzt braucht sie eine neue Kopie.
Mitarbeiter: Okay, aber ich kann Ihnen nicht helfen. Vielleicht betreuen wir die Internetseite der Schule, aber wir sind nicht die Schule.
Anruferin: Hallo? Meine Tochter braucht das Zeugnis.
Mitarbeiter: Sie haben die falsche Telefonnummer. Rufen Sie bei der Auskunft an.
Anruferin: Bekommt meine Tochter da das Zeugnis?
Mitarbeiter: Vielleicht.
Anruferin: Spreche ich nicht mit der Schule?
Mitarbeiter: Nein.
Anruferin: Ich brauche eine Kopie vom Zeugnis meiner Tocher *****. Können Sie mich mit dem Sekretariat verbinden?
Mitarbeiter: Nein, Sie haben sich verwählt.
Anruferin: Okay, danke.

--aufgelegt--

30 Sekunden später

Mitarbeiter: PS-Webhosting, Guten Tag!
Anruferin: Guten Tag, meine Tochter ***** hat schon wieder ihr Zeugnis verloren, ich brauche eine Kopie.
Mitarbeiter: Wie heißt denn die Schule?
Anruferin: *****-Schule
Mitarbeiter: Moment.. (schaut in der Kundendatenbank, anschließend auf der Website der Schule)
Anruferin: Ich brauche das Zeugnis wirklich dringend!!
Mitarbeiter: Ich weiß. Die richtige Telefonnummer der Schule lautet: 02*****
Anruferin: Danke. Können Sie mich verbinden, bitte?
Mitarbeiter: Nein, bitte hängen Sie ein und wählen Sie die Nummer.
Anruferin: Okay, danke.

17.03.2009: Nach ca. 90 Stunden sind alle E-Mails auf die neuen Systeme kopiert.

Ohmann.. das war echt der Horror. Aber es hat sich gelohnt!!!

Und der gute alte turbohermes.planet-school.de macht jetzt so langsam die Server-Äuglein zu:

turbohermes:/home/vpopmail/bin# w
23:01:41 up 3 days, 21:43, 2 users, load average: 0.00, 0.00, 0.01

Nichts mehr zu tun!

Schlaf gut, Du hast uns und tausenden von Kunden sehr gute Arbeit geleistet in den letzten Jahren, Millionen von E-Mails bearbeitet. Rechnungen, Bewerbungen, Geschäfts-, Gruß- & Liebes-Mails in die ganze und aus der ganzen Welt zuverlässig zugestellt. Dieser Ruhestand ist mehr als verdient!

Und ich sag auch mal gute Nacht, morgen gehts um 6 Uhr raus!

Die letzten 4 Tage waren ja wirklich alles andere als angenehm. Der Umzug auf die neuen Mailserver macht auf Grund der Masse der Domains und zehntausenden E-Mailadressen doch wesentlich mehr Aufwand als geplant. "Zwei Tage am Wochenende und am Montag früh werden die Leute gar nichts merken, außer dass alles viel schneller ist".. so oder so ähnlich war das Ganze geplant, aber es kam dann doch etwas anders. Vor allem das Kopieren der vielen kleinen E-Mails von den alten auf die neuen Server dauert nun schon vier Tage. Die Gute Nachricht, bis auf 50 Gigabyte ist dies fast abgeschlossen. Sollte also heute am späten Abend durch sein. Ich möchte gar nicht wissen, wie viele dieser Daten im Grunde sinnlos sind, weil es sich um verwaiste Postfächer handelt, in denen Gigabytes an nutzlosen Spam-Mails lagern.

Parallel dazu tauchen viele kleine Problemchen auf, und jeder Kunde möchte mit seiner Sache natürlich ernst genommen werden und man muss sich viel Zeit nehmen. Leute beruhigen. Frust entgegen nehmen und relativieren. Wer nimmt mir eigentlich meinen Frust ab???

Aber dennoch - es wird! Die neuen Systeme laufen wesentlich besser und schneller, obwohl immer noch die zusätzliche Belastung des Kopierens besteht. Die Anrufe und E-Mails werden weniger, die Probleme sind immer die selben. Keine nicht nachvollziehbaren Phänomene mehr, die man analysieren muss. Und meine Mitarbeiter machen einen hervorragenden Job - vor allem Olli. Danke!

Morgen geht's dann um 7 los auf den WebhostingDay ins Phantasialand. Leider ganz alleine, da ja niemand mit mir fahren möchte!!! Da ich bereits in einem früheren Eintrag erwähnte, dass ich das Event nicht ganz so ernst nehme, ist es alleine natürlich nur halb so amüsant. Nunja. Ich werde sicher meinen Spaß haben und vielleicht ja doch mit einer etwas größeren Ernsthaftigkeit dort erscheinen. Buhuuh, und mich Abends einsam an der Hotelbar im Hotel Ling Bao betrinken. Oder einen auf gut Kumpel machen mit den Mitbewerbern. Hm. Glaub nich.

Werde berichten!

Für den Moment nur ein ganz kurzer Blog-Eintrag. Wir sind hier schwer am kämpfen. Am Wochenende, das für mich am Freitag Abend mit einem recht unerwarteten aber sehr schönen Treffen begann (das ich allerdings emotional so gar nicht einordnen kann..), fanden ja die Umstellungen an den Mailservern auf die neue Hardware statt. Leider ist das Kopieren der Daten immer noch nicht abgeschlossen, wir kämpfen hier im Büro mit der Technik und mehreren hundert Anrufen. Mittagspause? War heute nicht dran zu denken. Zeit zum Nachdenken? Geht heute gar nicht.

Grundsätzlich behaupten sich die neuen Server aber sehr gut. Heute Mittag kam es jedoch zu einer kompletten Überlastung, da offenbar sehr viele Kunden gleichzeitig versuchten, ihre Mails abzuholen bzw. ihre Postfächer zu synchronisieren. Da im Hintergrund ja immer noch Daten von den alten Servern kopiert werden, haben die neuen Systeme das etwas übel genommen und es kam zu einigen Engpässen, insbesondere beim Versand von E-Mails.

Das alles hat sich normalisiert, es gehen auch deutlich weniger Anrufe ein, die neuen Server arbeiten wie gesagt sehr gut. Vielen Dank an dieser Stelle an meine Mitarbeiter, die stets die Ruhe bewahren und auch an die Kunden, die größtenteils verständnisvoll reagieren. Wir halten ja auch an unserem Versprechen fest, dass trotz der umfangreichen Arbeiten keine E-Mails verloren gehen.

..denn ab heute Abend ziehen wir über zehntausend Domains mit zehntausenden E-Mailadressen um auf die neuen Mailserver-Systeme. Es hat sich gezeigt, dass eine Hauruck-Aktion effektiver und trotz vieler zusätzlicher Stunden Arbeit schmerzloser ist, als ein Umzug nach und nach.

Das Ganze ist nicht ganz so einfach, immerhin handelt es sich um eine Migration vom bisherigen Qmail auf Postfix, im laufenden Betrieb. Das heißt, es muss für die Kunden sichergestellt sein, dass während der Umstellungen keine E-Mails verloren gehen. Zudem sollen die Kunden möglichst wenig Aufwand haben, d.h. idealerweise in Ihrem E-Mailprogramm nichts umstellen müssen.

Die größte Problematik dabei sind die vielen auf den bisherigen Mailservern gespeicherten E-Mails in Form von kleinen Dateien. Diese Millionen von Dateien, mehrere hundert Gigabyte an Daten, benötigen vermutlich sehr lange, bis sie auf die neuen Systeme kopiert sind. Daher kopieren wir zunächst nur die Konfiguration auf die neuen Mailserver, sodass Kunden weiterhin E-Mails senden und empfangen können. Haben sie E-Mails auf dem Server gespeichert, beispielsweise weil sie IMAP oder Webmail nutzen, sind diese Mails erst einmal weg und werden dann nach und nach wieder ins Postfach kopiert. Bis Montag ist hoffentlich alles abgeschlossen. Sollte aber klappen!

Spannend wirds! Und der gute alte turbohermes, unser bisheriger primärer Mailserver, steht kurz vor seiner wohlverdienten Rente. Wobei, vermutlich wird auch dieser recycled und einer neuen Verwendung, zum Beispiel als Webhosting-Server, zugeführt.

#####  UPDATE 18.08.2010 16:30 Uhr #####

Nichts geht mehr. Seit ca. 15:30 Uhr geht weder die Website www.sipgate.de noch ist man erreichbar bzw. kann telefonieren. Die Nicht-Erreichbarkeit der Website und damit mangelnde Informationspolitik ist mehr als bedauerlich.

##### /UPDATE #####

#####  UPDATE 04.02.2010 17:50 Uhr #####

Die VOIP-Dienste von Sipgate sind zur Zeit nicht erreichbar. Auch die Website www.sipgate.de ist tot. Dass es eine größere Störung ist, verdeutlichen auch die Zugriffe via Google auf diesen Beitrag.

...mittlerweile, um 18:30 Uhr, funktioniert wieder alles. Wie lange der Ausfall war, kann ich nicht wirklich nachvollziehen. Den letzten Anruf erhielten wir um 16:45 Uhr.

##### /UPDATE #####

Wir lassen ja schon seit Jahren unseren geschäftlichen Telefonanschluss über den Voice over IP (VOIP) Anbieter sipgate laufen. Dort haben wir den Komplett-Tarif für 10,80 Euro im Monat, telefonieren dafür kostenlos ins europäische Festnetz und können bequem unsere verschiedenen Telefonnummern den einzelnen Telefonen zuordnen (Support, Buchhaltung, Fax), auch mein Telefon zu Hause läuft mit eigener Nummer über diesen Anschluss. Wir sind auch super-zufrieden mit dem Angebot und haben uns komplett von Telekom, Arcor, etc. gelöst.

Heute Vormittag kam es jedoch für ca. eine Stunde zu einem unschönen Vorfall. Ich erhalte auf dem Handy einen Anruf über die 0900-Nummer (läuft nicht über sipgate und endet immer auf einem unserer Handys) von einem Kunden, der meinte, dass unsere normale Nummer nicht erreichbar wäre. Dies überprüfe ich mit einem Anruf und höre statt eines Freizeichens die Meldung "Die gewählte Nummer ist nicht vergeben". Na super. Auf sipgate.de finde ich keinerlei Hinweise auf eine Störung, deren Supporthotline liefert dieselbe Meldung. Ein größeres technisches Problem? Sipgate gar pleite?

Nein, so schlimm war es dann doch nicht, nach einiger Zeit ging dann wieder alles so, als wäre nichts gewesen. Also vermutlich tatsächlich eine technische Störung. Allerdings ärgere ich mich über die blöde "Nummer nicht vergeben"-Meldung. Im Extremfall suggeriert dies den Anrufern, dass wir selbst über alle Berge sind. Das ist nicht besonders schön, aber solange es nicht wieder vorkommt, schwamm drüber.

Ansonsten war der Tag heute okay, aus dem "Gefühls-Loch" bin ich erstmal heraus, es wird wieder alles besser. Und es würde mich total freuen, wenn sich die Stimmung nicht nur bei mir aufhellen würde...

Gute Nacht!

Nachdem mir am vergangenen Wochenende leider mein Pager abhanden gekommen ist, den wir alle zur Serverüberwachung haben, war ich schon kurz davor, bei emessage einen neuen Pager für um die 120 Euro zu bestellen. Bereits vor ein paar Monaten war das notwendig, als ich mein damaliges Modell geschrottet habe. Es ist mir einfach zu oft runter- bzw. in die Toilette gefallen..

Aber dann bin ich recht schnell darauf gekommen, dass ich meinen neuen BlackBerry ja auch prima dafür verwenden kann. Wichtig dafür war vor allem, dass man für jede auf dem Gerät eingerichtete E-Mailadresse einen eigenen Klingelton einstellen kann. Und das ist zumindest auf dem BlackBerry 9500 Storm möglich.

Ich habe also unter http://www.eplus.blackberry.com/, wo ich ja auch schon meine reguläre PS-Webhosting E-Mailadresse konfiguriert habe, eine neue kostenlose @eplus.blackberry.com Adresse eingerichtet. Praktischerweise versendet Nagios, welches wir zur Serverüberwachung auf einem externen Server (in einem anderen Rechenzentrum) einsetzen, bei einer Störung auch E-Mails an eine beliebige Adresse. Habe also die neue @eplus.blackberry.com E-Mailadresse in die Konfiguration eingetragen, Nagios neu gestartet und schon werden mir Störungsmeldungen direkt auf den BlackBerry gepusht. Mit eigenem Störungs-/Klingelton und der Möglichkeit, nachts alle anderen Dienste (SMS/Telefon/E-Mail) auf lautlos zu stellen, außer der E-Mailadresse für die Überwachung. Geht sogar viel schneller als über emessage auf den Pager, das hat schon mal 2 Minuten gedauert, bis die Meldung da war, mit der Push-Funktion binnen Sekunden.

Warum aber habe ich eine E-Mailadresse bei blackberry.com eingerichtet? Ganz einfach, bei einer kapitalen Störung in unserem Netzwerk kann ich natürlich auch keine E-Mails von meiner regulären E-Mailadresse empfangen und würde die Störung nicht mitbekommen.

Die Alternative wäre ein Versand der Meldungen per SMS über einen entsprechenden SMS-Dienst. Da wir aber doch regelmäßig Meldungen bekommen, erscheint mit die jetzige Variante kostengünstiger. Ich zahle bei BASE ca. 8 Euro pro Monat für die BlackBerry Option, das sind gegenüber dem emessage Pager-Tarif für 18 Euro pro Monat sogar 10 Euro Ersparnis. Und ich muss nicht immer zwei Geräte dabei haben.