Down-Time im RDE/IPW POP Wiesbaden
"DownTime" bedeutet für den POP Wiesbaden, daß die Verbindung zum DECIX Frankfurt und dem gesamten Frankfurter Internet-Knoten down (unten) ist oder einer oder mehrere unserer Server nicht verfügbar sind. Wir prüfen im Minutentakt ehemals 12 (jetzt über 30) Testpunkte ab (das sind die Router bei uns in Wiesbaden, am Frankfurter Knoten, ein USA Router und alle unsere Server und die unserer Gäste).
Da unsere Anbindung von verschiedenen "Partnern" und aktiven Komponenten abhängig ist, können wir nicht mit Bestimmtheit sagen, wer schuld ist. Wir können Ihnen nur Anhaltspunkte für Probleme mit dem Internet Zugang bzw. der Erreichbarkeit der Server geben. Haben Sie also die Vermutung, daß "das Internet" überhaupt nicht funktioniert hatte, schauen Sie bitte hier nach.
Wir werden versuchen, die Liste möglichst aktuell zu halten. Unser Stromerzeuger (Generator) auf dem rechten Bild hatte jetzt über 4 Jahre nichts zu tun (außer dem halbjährlichen Probelauf). Das sollte eigentlich ein gutes Zeichen sein.
Downtime in 2007
am 16.11.2007 um Punkt 10.oo morgens - Ausfall der redundanten Stromversorgung des Serverzentrums der Witcom und abruptes Abschalten aller Server in unseren Schränken. Automatischer Wiederanlauf nach ca. 5 Minuten. Nur ein IPW Webserver hatte etwas abbekommen (unser www3.ipw.net mit ca. 60 Webs drauf.) Totalabsturz aber erst am Samtag dem 17.11. gegen 3.oo morgens.
am 28.9.2007 von ca. 3.30 Nachts bis ca. 21.oo zeitweiliger stundenlanger Ausfall des Primary Nameservers durch Thermische Ursache. Server komplett getauscht.
UND am 26.9.2007 - der gesamte POP Wiesbaden komplett unerreichbar in Schüben von 10 Min bis 30 Min Länge ca. ab 12.36 bis ca 14.30 - und alles trotz dreifach redundanter Anbindung zum DECIX sowie automatischer Umschaltung, große Probleme bei der Routing-Technik der WITCOM.
chronologisch sortiert, jüngste Ereignisse zuerst
| am 30.12.2005 | dies war eine geplante Umrüstung unserer POP Technik auf einen 100 Mbit Backbone Anschluß samt Umzug der High Traffic Server in ein Datacenter | Umbau von 22.oo abends bis 3.oo morgens abgeschlossen |
| vom 31.08.2005 | auf den 1.9.05 genau um 01.oo HP 4000 Core Switch alle 3 Lüfter getauscht, ca. 5 Minuten down | das wr geplant um Punkt 1.oo Uhr und hat perfekt geklappt |
| am 26.08.2005 | von 6.12 Uhr bis 10.10 - schon wieder Ausfall des Marconi MSC-1 (Glasfaser Multiplexer) - Das Modul ist schleichend gestorben, es ging in immer kürzeren Abständen down. | Ab ca 8.38 ging es dann gar nicht mehr und die Witcom schickte sehr schnell den Notfallmann. |
| am 24.Aug 2005 | Umzug von www.ipw.net (diesem Web hier) auf den neuen Server mit Typo3 CMS | Nur zur Information !! |
| am 02.05.2005 | ab ca 21.08 bis ca. 22.18 Leitungsausfall der Witcom von Wiesbaden nach Frankfurt, die Cisco Router an beiden Enden der Leitung waren ok. | |
| am 14.02.2005 | Montag Telefon-Anlagen Modul getauscht - Alle Leitungen wieder ok | |
| am 09.02.2005 | ab 14.oo unregelmäßige Unterbrechungen unseres Einwahlknotens wir stellen auf einen anderen Einwahl-Router um und die Telekom- Anschlüsse werden umgestellt un dpromt war es nur ein Kabel. |
ab 17.30 stabil, dedoch nur 6 Leitungen aktiv |
| am 04.11.2004 | ab 21.57 bis etwa 3.54 morgens hinaus, unregelmäßige aber sehr häufige Unterbrechungen rund um den DECIX und innerhalb Deutschlands mit sehr vielen Routenänderungen - die Ursache wird nochgesucht. | wir vermuten, daß sich bundesweit das dynamische Routing, also die Ausfall- sicherheit verselbständigt hat oder gehackt worden ist. |
| am 23.8.2004 | von 6.40 bis 8.22 - Ausfall der Gigabit SDH Leitung in Frankfurt - auch unsere 155er ATM Leitung nach Frankfurt ist down. | angeblich eine Baugruppe im Glasfaser Wandler defekt |
| am 22.4.2004 | von etwa 8.oo bis ca 18.oo waren die gesamten internationalen Verbindungen sehr schleppend bis ganz weg. Laut der Experten in Frankfurt wurde weltweit die Prozedur des dynamischen Routings umgestellt und in dieser Zeit haben alle Router wie wild Ihre Routen immer neu berechnet und angepaßt. Die innerdeutschen Verbindungen waren davon erstaunlicherwise nicht betroffen. | |
| am 18.4.2004 | von 12.03 bis 15.01 (Sonntag)- Systemwartung bei RDE im Rechenzentrum - alle Steckverbinder der Netz- und Not- Stromversorgungen und USV Geräte prüfen | Nach unseren Traffic- Statistiken ist Sonntag Mittag so wenig los wie nachts von 2.oo bis 5.oo |
| am 6.4.2004 | von 0.08 bis 0.14 - Ausfall unserer 34 Mbit Leitung innerhalb des Wiesbadener SDH Netzwerkes (Netzwerk-Knoten) der Witcom | |
| am 29.3.2004 | von 14.33 bis 14.49 - Ausfall des Wiesbadener SDH Knotens (Glasfaser) der Witcom - auch die 155er ATM Leitung nach Frankfurt ist down. | |
| am 27.3.2004 | von 10.06 bis 11.13 und von 12.30 bis 13.01 - Ausfall des Wiesbadener SDH Knotens (Glasfaser) der Witcom. Alles ist redundant und dennoch - Nichts geht mehr. | Jetzt war so lange Ruhe und es ist keine 38 Grad warm. Also ??? |
| am 11.9.2003 | von 9.41 bis 11.49 - diverse Unterbrechungen (zum Teil bis zu 10 Minuten) der 34 Mbit Backbone Leitung der Witcom wegen der Umstellung von C&W Ffm auf Plusline Ffm. Am Ende war es dann doch eine "zweistündige (witcomsche) Zitterpartie". | Auch hier konnten sich die Frankfurter profi Admins eine gewisse Schadensfreude nicht verkneifen und sprechen von ca. 15 Minuten im "worst case". |
| geplant am 10.9.2003 |
Unser E3 Backbone Anschluß wird von Cable & Wireless Frankfurt auf Plusline Frankfurt umgestellt. An diesemTag kann es zu einem oder mehreren kurzzeitigen Ausfällen kommen, die sich im Bereich von ca 2 Minuten bewegen können. - Soweit die Theorie. Die Umstellung hat "natürlich" weder wie angekündigt am 8.9 noch am 10.9 geklappt, denn als Carrier sind dort neben dem Glasfasernetz der Witcom auch das Frankfurter Glasfasernetz der Colt mit eingebunden. |
Aufgrund der Aussagen unserer Frankfurter Freunde sollten wir mit maximal ca. 15 Minuten Ausfall rechnen. |
| am 18.6.2003 | fast 6 Stunden Ausfall des Backbones Jetzt hat es uns zum ersten male mit unserer 34 MBit Leitung richtig kalt erwischt. Ab morgens um 9.32 hatten wir einzelne Ausfälle unserer Leitung nach Frankfurt und ab 10.42 war die Leitung dann völlig tot. Nachdem dann unser Carrier mehrfach geprüft hatte und uns laut Qualitätskontrolle vertröstet hatte, es sei alles in Ordnung und auch C&W alles auf deren Seite für ok befand, haben wir energischen Druck ausgeübt. Auf einmal kamen sich widersprechende Diagnose Ergebnisse heraus und aufgrund dessen wurde von unserem Carrier zuerst an der falschen Stelle gesucht. Am Ende war es der bei uns stehende Marconi MSC-1 (Glasfaser Multiplexer) mit unserem 155 Mbit Glasfaser Anschluß. Um 15.30 war das Gerät endlich ausgetauscht und die Leitung geht wie neu. Es war dieses mal sehr mühselig mit der Witcom. |
Die Experten bei grossen Providern in Ffm lassen unter der Hand verlauten, Profis hätten für diesen Fehler keine 2 Stunden brauchen dürfen. |
| am 2.6.2003 | von 14.13 bis 16.28 ist bei der Telekom in der OVST der Primär-Multiplex-Anschluß unseres Wiesbadener Einwahlknotens ausgefallen. Nachdem wir um 14.25 die Störung mühsam gemeldet hatten, kam gegen 16.20 der Spezialist angerast und hat sehr schnell ein Netzteil für mehrere dieser NTPM´s als Ursache herausgefunden, natürlich nicht redundant ausgelegt. Man sieht daran, wir können bei uns noch so viel redundant auslegen und absichern. Wenn bei den Lieferanten nichts dergleichen geschieht, war das nur die halbe Miete. | |
| am 1.6.2003 | von 02.56 bis 03.02 C&W Core Router in Frankfurt down - vermutlich Maintenance | |
| am 31.5.2003 | von 04.11 bis 04.16 C&W Core Router in Frankfurt down - vermutlich Maintenance | |
| am 8.5.2003 | von 00.27 bis 00.33 C&W Core Router in Frankfurt down - unbekannte Ursache | |
| am 7.5.2003 | von 22.23 bis 22.29 und von 22.30 bis 22.35 | C&W Core Router in Frankfurt down - unbekannte Ursache |
| am 28.11.2002 | um 02.oo Uhr eine angekündigte Unterbrechung im Frankfurter Routersystem bei C&W und somit kompletter Ausfall des Backbones - geplant für ca 30 Minuten. | |
| am 9.Aug 2002 | (Automatische) Umschaltung unserer "breiten" Hauptleitung nach Frankfurt auf eine "schmalere" Backupleitung, ab ca 8.30 bis ca 9.38 - ist alles sehr lahm geworden. | |
| am 12. April 2002 | (Automatische) Umschaltung unserer "breiten" Hauptleitung nach Frankfurt auf eine "schmalere" Backupleitung bereits um 2.40 nachts. Fehler behoben erst mittags um 14.20. Erhebliche kurzzeitige Engpässe durch Vollauslastung der Backupleitung - aber insgesamt kein Ausfall der Verfügbarkeit. | |
| am 13. Jan 2002 | geplanter Service von 0.01 bis 0.04 Ethernet Interface ausgetauscht, neuen VIP 2/40 Controller installiert und PA-4xG.703 Interface versetzt. | |
| am 9. Jan 2002 | geplant von 0.oo bis 0.04 und von 0.17 bis 0.18 unser Cisco 7505 Core "Router Reset" mit neuem Betriebssystem. | |
| am 31. Dez 2001 | Keine Ausfälle durch Umstellung von 2 MBit auf E3 (34 MBit), absolut lückenloser Übergang tagsüber um 12.30 . | |
| am 27. Dez 2001 | geplante "Downtime" und Vorwarnung : | |
| Am 27. Dez 2001 | Es kann zu kleinen Ausfällen kommen. Wir stellen unsere Backbone-Leitung auf die neue E3 Leitung um und verändern damit das weltweite Routing unserer Domains und Webs. | |
| am 21.11.2001 | von 01.57 bis 3.55 nachts. - zum ersten Mal seit langem war die UUNET Leitung von Frankfurt nach Wiesbaden für 2 Stunden unterbrochen, unsere Leitung zum UUNET Router in Wiesbaden war ok. Laut UUNET ein Service-Zeitfenster wegen eines Software Updates im Wiesbadner Router. | |
| am 21.10.2001 | angekündigte geplante Abschaltung der gesamten Technik von ca 11.35-12.25 und von 12.45-13.11 | |
| am Sonntag dem 21.10.2001 |
geplante "Downtime" Sonntags von ca 13.oo mit mehreren kleinen Unterbrechungen bis ca 15.00 |
Grund: Unsere 19" Schränke für unsere Router und Glasfaseranschlüsse sind zu klein geworden und werden umgesetzt bzw. ausgetauscht sowie zwei neue große Router eingebaut. |
| am 15.Aug.2001 | unser mail2.ipw.net hatte eine defekte Netzwerkkarte von 03:35 bis 09:30 - Mail abholen war in dieser Zeit genauso unmöglich wie das Versenden. Die gesamte eingehende Mail wurde von unserem redundaten Server vollständig zwischengespeichert und um 9.30 in einem Vorgang an den mail2.ipw.net ausgeliefert. | |
| am 11.Juni.2001 | Stromausfall um 12.55, Leitung nach Fankfurt down bis 13.22 - Fehler gefunden - durch Überspannung mußte der Router ein Reste bekommen. | |
| am 17.4.2001 | www1.ipw.net war etwa 30 Min down | Web-Server erfolgreich ausgetauscht. Downtime etwa von 8.30 - 9.15. |
| am 13.2.2001 | Stromausfall in Wiesbaden-Bierstadt von 13.oo bis 14.35, Notstromaggregat an ab 13.07 und ununter- brochener Betrieb aller Server und Router. --- fast zeitgleicher Ausfall der Glasfaser-Verbindung zum Wiesbadener UUNET-Knoten ab 13.20 bis 14.19 - und fast wie immer, keiner war es gewesen. | |
| am 30.1.2001 | von 03.15 (nachts) bis 03.18 Ausfall der Leitung Frankfurt | |
| am 23.1.2001 | von 13.39 bis 13.42 kurze Unterbrechungen zum Knoten nach Frankfurt | |
| am 26.10.2000 | heute hatten wir im Internet erhebliche Probleme mit etwa der Hälfte der deutschen Domains und etwa einem Drittel der .com domains. Die Erklärungsversuche von UUNET sind sehr mager. Wir vermuten eine Routerausfall im DECIX oder an einer anderen Schlüsselposition. Selbst der www.heise.de Server ware vormittags fast nicht zu erreichen. | |
| am 18.10.2000 | um 18:26 bis 19.04 - 10/100 Hub "softwaremäßig" ausgefallen, Leitungen nach Ffm und Mainz waren ok, aber keine Verbindungen möglich, Reset auf Hub und 2 Webserver gefahren. | |
| am 10.10.2000 | um 02:43 bis 02:54 - Wartungsarbeiten im Glasfaserknoten der Witcom, alle Verbindungen unterbrochen. | |
| am 29.9.2000 | um 21.35 bis 21.37 - Leitungen nach Frankfurt und Dortmund ist weg | |
| am 8.06.2000 | von 9.16 bis 9.33 Die Leitung nach Dortmund ist tot, nach Frankfurt geht es. | |
| am 27.5.2000 | von Samstag 23.34 bis 00.06 - die Leitung nach Frankfurt ist weg. | |
| am 3.5.2000 | von 0.30-0.32 Blitzeinschlag vor einem Gewitter, beide 2 MBit/s HDSL Modems samt ASCEND MAX 4000 Router haben einen Reset gefahren, alles in allem keine 2 Minuten |
|
| am 02.05.2000 | von 12.15 bis 13.03 - beide Leitungen innerhalb von Wiesbaden tot - Witcom !!!! | |
| am 01.01.2000 | von 10.47 bis 11.33 - Leitung nach Frankfurt in kurzen Abständen tot - kein Verursacher bekannt - | |
| am 23.12.1999 | von 00.58 bis 04.14 - Probleme im Wiesbadener UUNET Knoten - Nachtarbeit = Knochenarbeit | |
| am Freitag dem 8.10.1999 |
Wir müssen die Probleme jetzt beim Namen nennen. Unser Wiesbadener Carrier, die WITCOM GmbH mit Ihrem BOSCH Equipment hat große Probleme mit der Leitungstabilität. Sie viele Ausfälle wie heute hatten wir noch nie. Die zweite und die dritte 2 MBit Leitung liefen natürlich auch nicht mehr ??? Ob das wirklich an den Leitungen gelegen hat ?? 07:26 bis 07:42 - 07:58 bis 08.01 - 08:30 bis 08:14 - 09:33 bis 08:45 - 10:03 bis 09:48 10:50 bis 10:35 - 12:10 bis 11:21 - 13:28 bis 12:57 - 15:05 bis 15:20 -- 15:36 bis 18:34 !! |
|
| am Donnerstag, 30.9.1999 |
von 14:38 bis ca.18:00 waren die Witcom Leute ununterbrochen am "werkeln", nachdem es ab dem 16.8.99 fast 6 Wochen lang problemlos lief. Es soll nie wieder vorkommen, sagt die WITCOM. | |
| von Sonntag 15.8.99 bis 16.8.99 |
Murphey hat von 17:54 bis um 03:04 zugeschlagen, aber wir arbeiten ja gerne nachts | |
| Tuesday, 10.8.99 |
von 23:14 bis um 23:31 haben wir Serverschränke umgesetzt und den gesamten Strom rausgezogen | |
| 10.8.99 | seit dem 14.7.99 keinen einzigen Ausfall (nicht eine Sekunde) mehr !!!!!!!!!!! -- ' denn die Techniker sind alle im Urlaub. |
|
| 14.7.99 | am Mittwoch um 11.16 bis 11.26 | |
| 13.7.99 | am Dienstag ab 8.22 min bis 9.10 | |
| 12.7.99 | am Montag um 8.16 2 mal kurz ca 15 minuten | |
| 9.7.99 | am Sonntag abend 22.30-22.35 am Freitag abend 21.00 - tests bis 21.30 am Freitag mittag ab 12.08 bis 12.28 mit Pausen und Router zeigt Fehler |
|
| Wednesday, 07/07/99 |
Ergebnis : WITCOM schaltet eine zweite 2 MBIT Leitung zur Vorsorge und für Langzeitmessungen mit Qualitätsmanagement zum sofortigen Umschalten. bis 20:17 ns.ipf.net ping ok von 19:30 ping failed for ns.ipf.net - wir prüfen gemeinsam mit WITCOM und Bosch die Leitungs-Technik und die elektronischen Komponenten auf allen Seiten. bis 17:02 ns.ipf.net ping ok von 14:54 ns.ipf.net ping failed for ns.ipf.net - unerklärliche Leitungsprobleme - wir haben richtig Krach geschlagen |
|
| Tuesday, 6.7.99 | bis 02:44 ns.ipf.net ping ping ok von 00:50 ns.ipf.net ping failed for ns.ipf.net |
|
| Sunday, 4.7.99 | starkes Gewitter über Wiesbaden bis 14:20 ns.ipf.net pingping ok von 07:15 ns.ipf.net ping ping failed for ns.ipf.net |
|
| Friday, 2.7.99 | mehrere kleine Dropouts gegen 17.oo von 15.58 bis 16.15 von 13.07 bis 13.54 |
|
| Wednesday, 30.6.99 |
03:37 ns.ipf.net ping ping ok 03:22 ns.ipf.net ping ping failed for ns.ipf.net 00:42 ns.ipf.net ping ping ok 00:11 ns.ipf.net ping ping failed for ns.ipf.net |
|
| Sun, 27.6.99 | 19:49 ping ping ok 16:39 ns.ipf.net ping ping failed |
|
| Start des erweiterten Service Managements mit eigenem Linux Server und Umstellung auf die neue WITCOM E1-2MBit/s Leitung am 18.6.99. | ||
| am 19.10.2005 | von 9.13 bis 9.51 der www3.ipw.net Webserver hatte einen Lüfterdefekt | Lüfter mußte ausgetauscht werden |
