Dateiserver

Nachdem wir Anfang des Jahres einen katastrophalen Ausfall unserer Dateiserver hatten, wurden die Schwachstellen der damaligen Architektur analysiert. Insbesondere stellte sich heraus, daß der Ansatz eines zentralen Dateiservers mit vielen angeschlossenen Festplatten-Arrays nicht mehr tragfähig war: Eine Datenkorruption auf einem ZFS-Datenvolume führte zum Absturz des gesamten Servers und damit zum Betriebsstillstand in der TechFak.

Mit der Anschaffung der neuen Dateiserver setzen wir auf mehrere kleine Dateiserver statt einem großen System. Zusammen fassen unsere neuen Server mittlerweile mehr als 200TB Datenkapazität. Typischerweise erhält jede Arbeitsgruppe der TechFak einen eigenen Dateiserver; einen Teil der Maschinen sieht man auf dem Foto rechts. Aufgrund des Strombedarfs und der damit einhergehenden Hitzeentwicklung sind die Fileserver auf mehrere Schränke verteilt.

Mit den neuen Dateiservern ergeben sich die folgenden Vorteile:

• Zusammen mit unserem Konzept der AG-spezifischen Netz erhalten wir:
  • Mehr Bandbreite pro Arbeitsgruppe. Während vorher alle AGen um 1Gbit Netzwerk- Bandbreite und die I/O-Leistung eines Servers konkurrieren mußten, steht diese Bandbreite nun jeder AG alleine zur Verfügung.
  • Besserer Datenschutz durch physische Trennung der Daten auf verschiedenen Dateiservern.
  • Im Falle eines Serverausfalls ist nur noch eine AG und nicht mehr die ganze TechFak betroffen.

• Wir setzen nun auf lokalen Speicherplatz. Typischerweise haben unsere Maschinen 12 SAS-Platten mit 15.000 Umdrehungen, die über einen High-End-SAS-Kontroller via PCIe angebunden sind. Gegenüber der vorherigen Lösung mit externen Plattenarrays messen wir sowohl sequentiell als auch bei zufälligen Zugriffsmustern einen um Größenordnungen besseren Durchsatz.
• Die Maschinen sind alle gleich aus Standard-x86-Hardware aufgebaut. Wir können daher Ersatzteile vorhalten und bei Bedarf direkt tauschen. Aufrüsttteile können wir im gutsortierten Computerhandel günstig nachkaufen. Beides spart immense Kosten gegenüber der bunten Mischung aus SUN-Hardware, die wir vorher hatten. Tatsächlich sind die neuen Maschine so preiswert daß wir für den Fall der Fälle eine zusätzliche Ersatzmaschine ("hot spare") kaufen konnten.
• Die neuen Dateiserver laufen unter Debian GNU/Linux mittlerweile seit einigen Jahren mit ext4 völlig problemlos. Natürlich ist auch ext4 nicht völlig fehlerfrei, aber Linux ist deutlich stärker verbreitet als das vorher eingesetzte Solaris. Daher ist die Wahrscheinlichkeit groß, daß jemand anders ein Problem schon gehabt und gelöst hat bevor es bei uns überhaupt auftritt. Hingegen ist es für uns unverständlich (und absolut ärgerlich), daß es bei dem vorher eingesetzten ZFS gleich zweimal massive Störungen durch Softwarefehler gab: Einmal korrumpierte ein Softwarefehler die Daten, und ein anderes Mal blieb der Server aufgrund von Daten-Fragmentierung einfach stehen (kennt das noch jemand von FAT unter Windows ;-)