Entwurf und Betrieb eines Linux-Clusters

Vortrag zu den 3. Braunschweiger Linux-Tagen

Der Vortrag stellt den gesammten Prozess des Baus eines Linux-Clusters dar, von ersten Grundgedanken über Entwurf und Aufbau bis zum Betrieb. Die Realisierung wird am Beispiel des Chemnitzer Linux-Clusters "CLiC" demonstriert.

Diese Webseite enthält dazu die essentiellen Informationen und bietet Verweise auf weitere vertiefende Ressourcen.

Inhalt

• Rahmengedanken
  • Verwendung herkömmlicher (billiger) PC-Komponenten und Kopplung über Hochgeschwindigkeitsnetzwerke.
  • Nicht jedes Problem auf einem Cluster lösbar, Parallelisierbarkeit notwendig.
  
  
• Vorbereitung
  • Arbeitsgruppe aus Anwendern, Administratoren und Technikern als zentrales Gremium gründen.
  • Ganz wichtig: Was brauchen die Anwender? - Anforderungen sammeln und Details klären.
  • Menge und Verfügbarkeit feststellen von: Platz, Energieversorgung, Kühlung, Daten-Uplink, (File-)Server-Kapazitäten, usw.
  
  
• Spezifizierung
  • Erste Abschätzungen möglicher Komponenten über herkömmliche Benchmarks (z.B. Spec) und Vergleichstests in hinreichend kompetenten Computerzeitschriften.
  • Interessante Komponenten und Prototypensysteme durch die Anwender mit real genutzten Programmen vergleichen lassen.
  • Preis/Leistungsverhältnis beachten!
  • Betriebskonzept entwickeln - z.B. Booten der Knoten von Netz oder eigener Platte?
  • Optimum zwischen Leistung und Aufwendungen (Kosten, Platz, Abwärme, ...) finden.
  
  
• Aufbau
  • Ausschreibung/Bestellung sehr exakt fomulieren, mit möglichen Lieferanten schon frühzeitig Kontakt aufnehmen und halten.
  • Jede Komponente nach Lieferung genau auf Funktionsfähigkeit prüfen (cpuburn, memtest86, badblocks, lm_sensors, ...).
  
  
• Installation
  • Parallele Installation über das Netzwerk mit serverseitiger Lastverteilung mittels Etherboot, Kickstart und eigener Skripte und Konfigurationen.
  
  
• Administration
  • Rückgrat bildet das AFS, ein universitätsweit verfügbares, verteiltes Filesystem.
  • Per Cfengine werden Einstellungen auf dem System bearbeitet oder Konfigurationsdateien aus dem AFS ins lokale System kopiert. (Details zur Nutzung an der TU Chemnitz.)
  • Autorpm wird zur Aktualisierung von RPM-Paketen verwendet.
  • Überwachung mittels BigBrother und lm_sensors.
  
  
• Nutzung
  • Batch-System (PBS) als Zugang.
  • Homogene Nutzungsumgebung auf Arbeitsplatzrechner und Cluster durch gleiche Software und Homeverzeichnis im AFS.
  
  

Weitere Informationen

• U.Hübner, S.Seeger, K.Petersen, "Das CLiC-Projekt", PIK 2/2001, Seite 14
  detaillierter Fachartikel zum gleichen Thema wie dieser Vortrag

• CLiC - Chemnitzer Linux Cluster
  Photos, Spezifikationen, Details und mehr

• Beowulf
  Ursprüngliche Webseite des Beowulf-Projektes, Beowulf-Mailingliste

• Scyld Computing Corporation
  kommerzielle Weiterführung des Beowulf-Projektes

• The Beowulf Underground
  (nicht immer ganz) aktuelle Nachrichten rund um Linux-Cluster

• Clusters @ TOP500
  Slashdot-ähnliche Seite mit aktuellen Nachrichten rund um Cluster

Vortragsfolien