Havarie nach Kabelverlegung legt Netz stundenlang lahm
Der Vermieter hatte uns gefragt, ob er nicht für Wartungsarbeiten einen Netzanschluss im Waschkeller bekommen kann. Dieser Bitte kommen wir natürlich gerne nach. Es konnte ja niemand ahnen, was daraus entstehen würde...
Kabelverlegung im Keller
- verschobene Patchpanel und Switches
Hartmut Brüning und Nils Michel legen ein Doppelkabel von der Datenstation in den Waschkeller.
Parallel dazu verschiebt Kai Habermann Switches und Patchpanel im Schrank auf Brusthöhe um an das obere Patchpanel kommen zu können. Dank der T-Nuten müssen Switches und Panels nicht ausgebaut werden. Einfach die Schrauben lassen und das Bauteil nach unten drücken.
- leeres Patchfeld
- fertiges Patchpanel
Während Hartmut Brüning und Nils Michel im Waschkeller das Kabel verlegen und neue Kabelkanäle montieren, legt Kai Habermann das Kabel mit Hilfe eines LSA+-Werkzeugs (LSA Plus) auf das Patchpanel auf.
...und plötzlich ist unser Telefon tot
Durch Zufall stellen wir fest, dass der Verein telefonisch nicht mehr erreichbar ist. Telefon, Fax und DSL sind seit der Nacht tot.
Wir entdecken, dass die Betriebsleuchte am NTBA aus ist, wir haben also keine Verbindung zum Amt. Warum muss sowas immer zum Wochenende hin passieren?
Später stellte sich heraus, dass es sich wohl um eine Netzstörung bei unserem DSL-Anbieter gehandelt hat, denn das Netz war so plötzlich wieder da, wie es weg war.
Zwischenzeitlich hatten wir bereits einen neuen Splitter nebst NTBA von unserem Anbieter bekommen.
Wir stellten fest, dass insbesondere die Kabelverbindung zwischen neuem DSL-Splitter und der Telefondose höchst sensibel auf Wackler reagiert. So genügte ein kleines Tippen an das Kabel, um die Verbindung zum Amt zu unterbrechen. Mal sehen, ob sich das Problem nicht mit einer Heissklebepistole entschärfen lässt ;-)))
...und plötzlich ist ein Switch tot
- Alle LEDs an, nur die beiden LEDs der 5 blinken
- Alle LEDs an
Für die Belegung des Patchpanels mussten wir Switches und Patchpanels innerhalb des Schranks verschieben, um genug Platz zum Arbeiten zu bekommen. Wir schalten deshalb die Switches der Datenstation aus.
Doch als wir die Switches wird in Betrieb nehmen, leuchten an einem plötzlich alle LEDs auf und nichts geht mehr. Lediglich die LEDs für den Port 5 blinken.
Der Switch reagiert weder auf Anfragen per Webinterface noch per serieller Konsole. Daten gehen erst recht nicht drüber. Er ist komplett tot... WTF!?
Laut 3com Knowledge Base soll es sich um ein defektes Kabel an dem Port handeln, dessen Nummer blinkt. Man solle einfach das Kabel abziehen und den Switch neu starten. Tja, nur hilft das nicht. Selbst wenn alle Kabel abgezogen werden und der Switch neu gebootet wird, bleibt die Fehlermeldung. Hätte ja klappen können. Also muss das Teil definitiv getauscht werden.
Das Besondere an diesem Switch:
es handelt sich um den Backbone-Switch der Datenstation. Er verfügt über ein Steckmodul mit Glasfaser-Anschlüssen und ist via LWL mit dem Serverraum verbunden.
Und: die Datenstation Matratzenkeller versorgt 60 Bewohner des Wohnheims mit Netz, das sind knapp 50% unserer Mitglieder. Und dafür stehen jetzt ohne Netz da.
Und wir haben keinen Ersatzswitch greifbar. So eine ausgemachte Sch...
kein Switch in Reserve, außer einem Backbone-Switch
Für den ausgefallenen Switch 3com SuperStack II 3300 haben wir leider keinen Ersatz.
Wir haben aber noch einen Backbone-Switch 3com 5500 für den Server-Raum im Lager. Er soll im Server-Raum zwei alte SuperStack II 3300 ersetzen. Wir hatten bisher jedoch noch keine Gelegenheit ihn in Betrieb zu nehmen.
Für den Betrieb als simpler Anschluss-Switch, ist er jedoch zu schade, so das wir ihn auf keinen Fall als Einsatz für den defekten 3300 in die Datenstation Matratzenkeller einbauen wollen.
Wir entscheiden folgendes:
- wir bauen den neuen Backbone-Switch 3com 5500 in die Datenstation Server-Raum ein. Dadurch werden zwei Switches SuperStack II 3300 überflüssig.
- um den defekten Switch zu ersetzen, bauen wir einen der überzähligen 3300 bauen in die Datenstation Matratzenkeller ein
- der zweite überschüssige Switch 3300 bleibt dann in Reserve
Server-Raum geht außer Betrieb
- vor dem Einbau
- nach dem Einbau
Um den neuen Switch 3com 5500 einbauen zu können, müssen wir den Server-Raum außer Betrieb nehmen. Zum Glück ist es Fr. Abend, da ist das Wohnheim nicht mehr ganz so voll.
- Kai Habermann entfernt sämtliche Patchkabel aus dem Schrank und beschriftet diese neu. Der Einbau des Switch 5500 war bereits fertig geplant, so steht die neue Belegung der Ports bereits fest.
- Parallel dazu richtet Rafael Roma Martinez den neuen Switch ein und bereitet ihn für den Einbau vor. Weitere Informationen auf der Switch-Bau-Seite.
- Gemeinsam bauen beide den neuen Switch ein und die beiden alten Switches aus. Auf dem Foto erkannt man deutlich die Lücke, in der die alten Switches eingebaut waren.
- Während Kai Habermann die neuen Patchkabel verlegt, bringt Rafael Roma Martinez die einzelnen User Stück für Stück wieder online.
- Der alte Glasfaser-Backbone-Switch bleibt weiter im Schrank, bis die restlichen Datenstationen umgebaut sind.
Austausch des defekten Switches
- Stack vor dem Umbau
- Stack nach dem Umbau
- LWL-Modul
Während Rafael Roma Martinez weiter an der Konfiguartion des neuen Switch 5500 im Serverraum arbeitet, bauen Hartmut Brüning und Kai Habermann den defekten 12-Port 3com Switch 3300 aus der Datenstation Matratzenkeller aus und den Ersatz-Switch (24-Port 3com SuperStack II 3300) ein.
Sie bauen das Backbone-Steckmodul aus dem defekten 12-Port Switch aus und in den 24-Port Ersatz-Switch ein, in der Hoffnung, dass es nicht auch defekt ist.
Sie schalten den Ersatz-Switch ein... und er bootet problemlos. Und auch das LWL-Backbone-Modul arbeitet.
Sie konfigurieren den neuen 24-Port Switch und bringen damit die Datenstation Matratzenkeller wieder online.
die nächste Havarie kündigt sich an
Bei Tests des umgebauten Stacks im Matratzenkeller stellte sich heraus, dass es Probleme mit Verbindungen zum Server-Raum gibt. Übertragungen größerer Datenmengen werden plötzlich unterbrochen, Down- und Uploads schlagen fehl. Entweder hat der Ersatz-Switch ebenfalls einen Defekt oder das alte LWL-Backbone-Modul aus dem defekten Switch. Zumindest rückt der Austausch des gesamten Stacks auf unserer Prioritätenliste ganz nach oben.
Durch Zufall stellten wir wenige Wochen später fest, dass die beiden Server im Datenschrank direkt auf den LWL-Patchkabeln stehen. Diese haben bereits äußerlichen Schaden genommen. Die Glasfaserkabel müssen also auch schnellstmöglich getauscht werden.
Chronik des Ausfalls
| Beginn | Situation / Maßnahme |
| Fr., 2. November 2007 | |
| ca. 15h | Beginn der Kabelverlegung im Waschkeller, Vorbereitung des Netzwerk-Schranks für das Auflegen des Kabels auf dem Patchpanel |
| ca. 16h | Bemerken des Ausfall unserer Telefonanlage, Fehleranalyse und Bestellung eines neuen NTBAs |
| ca. 17h | Beginn des Auflegens des neuen Kabels auf dem Patchpanel |
| ca. 18h | Bauende, Wiederinbetriebnahme der Datenstation "Matratzenkeller" Ausfall des Backbone-Switches der Datenstation "Matratzenkeller" |
| ca. 19h | Ende der Fehleranalyse, Entscheidung zum Einbau des Switches 5500 in die Datenstation Server-Raum |
| ca. 19:30h | Abschaltung der Datenstation Server-Raum, Demontage der Patchkabel, Vorbereitung des Switches 5500 für den Einbau |
| ca. 20:30h | Einbau des Switches 5500, Ausbau der Switches 3300, Beginn des Patchens |
| ca. 21h | vorläufige Inbetriebnahme Datenstation Serverraum Ausbau defekter Switch 3300 aus Datenstation Matratzenkeller, Einbau Ersatz-Switch, Anschluss ans LWL-Backbone |
| ca. 22h | vorläufige Inbetriebnahme Datenstation Matratzenkeller, Konfiguration des Ersatz-Switches |
| ca. 23h | Datenstation Matratzenkeller wieder online, weitere Konfiguration des Switch 5500 im Server-Raum |
| Sa., 3. November 2007 | |
| ca. 2h | Datenstation Server-Raum wieder online |
| ca. 12-14h | weitere Konfiguration des Switches 5500 |
| ca. 18-20h | Firmware-Update des Switches 5500 |