Übersicht

PALMA (Paralleles Linux-System für Münsteraner Anwender) ist ein Cluster, der von der Firma Bull geliefert wurde, aus insgesamt 3528 Prozessorkernen. Diese sind wie folgt verteilt:

• 36 Knoten mit je 2 4-Kern Intel Nehalem Prozessoren, also 8 Kernen pro Knoten
• 254 Knoten mit je 2 6-Kern Intel Westmere Prozessoren, also 12 Kernen pro Knoten
• 4 SMP (shared memory) Knoten mit je 32 Prozessorkernen
• 2 SMP (shared memory) Knoten mit je 40 Prozessorkernen

Die Ausstattung im Detail:

Compute Nodes:

• Intel Xeon Nehalem X5550, 2,67 GHz, 2x4 Kerne, 24 GB RAM
• Intel Xeon Westmere X5650, 2,67 GHz, 2x6 Kerne, 24, bzw. 48 GB RAM

SMP-System:

• Intel Xeon X7550, 2 GHz, 4x8 Kerne
• 256 GB Hauptspeicher

• Intel Xeon E7-E4850, 2 GHz, 4x10 Kerne
• 512 GB Hauptspeicher

• Intel Xeon E7-E4850, 2 GHz, 4x10 Kerne
• 256 GB Hauptspeicher

Filesystem:

• 3 TB /home Partition
• 180 TB /scratch Partition

Als schnelles Kommunikationssystem dient QDR Infiniband.

Genaue Liste der Austattung der einzelnen Knoten mit Hauptspeicher

Zugang zum System

Es ist grundsätzlich nur Personen möglich, Jobs auf Palma abzuschicken, die zwei Voraussetzungen erfüllen:

• Der Benutzer muß Mitglied der Gruppe u0clstr sein (die Mitgliedschaft kann sich jeder Nutzer selbst über das Webinterface ZIV.MeinZIV unter dem Punkt „Nutzerkennung und Gruppenmitgliedschaften“, Unterpunkt „Neu beantragen“ zuteilen)
• Der Benutzer muß Mitglied eines der Projekte sein, die für das System zugelassen sind. In diesem Fall kann sich der Benutzer im Webinterface myJAM registrieren und dort zu den jeweiligen Projekten zugeordnet werden

Eine Übersicht über die Warteschlangen sowie die Auslastung des Gesamtsystems befindet sich hier: https://palma1.uni-muenster.de/myJAM (anmelden mit dem üblichen Benutzernamen und dem Standardpasswort).

Der von außen per ssh erreichbare Loginknoten heißt palma.uni-muenster.de. Für eine grafische Oberfläche gibt es zusätzlich den Login per vnc. Von Linuxrechner aus ist es möglich, das Homeverzeichnis von außen permanent einzubinden.

Sollten generell Fragen zum Zugang, bzw der Benutzung von Palma auftreten, einfach eine Mail an hpc@uni-muenster.de schreiben.

Rechnen auf PALMA

Verfügbare Software

Das Webinterface myJAM

Remote Visualization / GPGPU

Tipps und Tricks zur Benutzung von Palma

-- HolgerAngenent - 2010-07-08

Overview

High Performance Computing

Übersicht

• 36 Knoten mit je 2 4-Kern Intel Nehalem Prozessoren, also 8 Kernen pro Knoten
• 254 Knoten mit je 2 6-Kern Intel Westmere Prozessoren, also 12 Kernen pro Knoten
• 4 SMP (shared memory) Knoten mit je 32 Prozessorkernen
• 2 SMP (shared memory) Knoten mit je 40 Prozessorkernen

Compute Nodes:

• Intel Xeon Nehalem X5550, 2,67 GHz, 2x4 Kerne, 24 GB RAM
• Intel Xeon Westmere X5650, 2,67 GHz, 2x6 Kerne, 24, bzw. 48 GB RAM

SMP-System:

• Intel Xeon X7550, 2 GHz, 4x8 Kerne
• 256 GB Hauptspeicher

• Intel Xeon E7-E4850, 2 GHz, 4x10 Kerne
• 512 GB Hauptspeicher

• Intel Xeon E7-E4850, 2 GHz, 4x10 Kerne
• 256 GB Hauptspeicher

Filesystem:

• 3 TB /home Partition
• 180 TB /scratch Partition

Als schnelles Kommunikationssystem dient QDR Infiniband.

Genaue Liste der Austattung der einzelnen Knoten mit Hauptspeicher

Zugang zum System

Es ist grundsätzlich nur Personen möglich, Jobs auf Palma abzuschicken, die zwei Voraussetzungen erfüllen:

• Der Benutzer muß Mitglied der Gruppe u0clstr sein (die Mitgliedschaft kann sich jeder Nutzer selbst über das Webinterface ZIV.MeinZIV unter dem Punkt „Nutzerkennung und Gruppenmitgliedschaften“, Unterpunkt „Neu beantragen“ zuteilen)
• Der Benutzer muß Mitglied eines der Projekte sein, die für das System zugelassen sind. In diesem Fall kann sich der Benutzer im Webinterface myJAM registrieren und dort zu den jeweiligen Projekten zugeordnet werden

Eine Übersicht über die Warteschlangen sowie die Auslastung des Gesamtsystems befindet sich hier: https://palma1.uni-muenster.de/myJAM (anmelden mit dem üblichen Benutzernamen und dem Standardpasswort).

Der von außen per ssh erreichbare Loginknoten heißt palma.uni-muenster.de. Für eine grafische Oberfläche gibt es zusätzlich den Login per vnc. Von Linuxrechner aus ist es möglich, das Homeverzeichnis von außen permanent einzubinden.

Sollten generell Fragen zum Zugang, bzw der Benutzung von Palma auftreten, einfach eine Mail an hpc@uni-muenster.de schreiben.

• Der Benutzer muß Mitglied eines der Projekte sein, die für das System zugelassen sind. In diesem Fall kann der Benutzer im Webinterface myJAM registriert werden und dort zu den jeweiligen Projekten zugeordnet werden

• Der Benutzer muß Mitglied der Gruppe u0clstr sein (die Mitgliedschaft kann sich jeder Nutzer selbst über das Webinterface ZIV.MeinZIV unter dem Punkt "Gruppenverwaltung", Unterpunkt "Anmeldung u0clstr" zuteilen)

• Der Benutzer muß Mitglied der Gruppe u0clstr sein (die Mitgliedschaft kann sich jeder Nutzer selbst über das Webinterface MeinZIV unter dem Punkt "Gruppenverwaltung", Unterpunkt "Anmeldung u0clstr" zuteilen)

• Der Benutzer muß Mitglied der Gruppe u0clustr sein (die Mitgliedschaft kann sich jeder Nutzer selbst über das Webinterface MeinZIV unter dem Punkt "Sondersysteme" zuteilen)

• Der Benutzer muß Mitglied der Gruppe u0clustr sein (die Mitgliedschaft kann sich jeder Nutzer selbst über das Webinterface MeinZIV zuteilen)

Tipps und Tricks zur Benutzung von Palma

• Intel Xeon E4850, 2 GHz, 4x10 Kerne

• Intel Xeon E4850, 2 GHz, 4x10 Kerne

• Der Benutzer muß Mitglied eines der 29 Projekte sein, die für das System zugelassen sind. In diesem Fall kann der Benutzer im Webinterface myJAM registriert werden und dort zu den jeweiligen Projekten zugeordnet werden

• Der Benutzer muß Mitglied eines der 24 Projekte sein, die für das System zugelassen sind. In diesem Fall kann der Benutzer im Webinterface myJAM registriert werden und dort zu den jeweiligen Projekten zugeordnet werden

• 128 GB Hauptspeicher

• 216 Knoten mit je 2 6-Kern Intel Westmere Prozessoren, also 12 Kernen pro Knoten

Remote Visualization

• 2,6 GHz, 4 bzw. 6 Kerne
• 2 bzw. 3 bzw. 4 GB Arbeitsspeicher pro Prozessorkern (je nach Knoten)

• 32 Kerne mit 2 GHz

Genaue Liste der Austattung der einzelnen Knoten mit Hauptspeicher

• 198 Knoten mit je 2 6-Kern Intel Westmere Prozessoren, also 12 Kernen pro Knoten

• Der Benutzer muß Mitglied der Gruppe u0clustr sein (geht über MeinZIV)
• Der Benutzer muß Mitglied eines der 24 Projekte sein, die für das System zugelassen sind. In diesem Fall kann der Benutzer im myJAM registriert werden und dort zu den jeweiligen Projekten zugeordnet werden

Organisatorisches

Infos zu PALMA-Treffen, etc. ... in Vorbereitung

• Der Benutzer muß Mitglied eines der 24 Projekte sein, die für das System zugelassen sind. In diesem Fall kann der Benutzer im myJAM registriert werden

• Der Benutzer muß Mitglied eines der 23 Projekte sein, die für das System zugelassen sind. In diesem Fall kann der Benutzer im myJAM registriert werden

Overview

• 36 nodes with 2 quadcore Intel Nehalem processors each, totally 8 cores per node
• 198 nodes with 2 hexacore Intel Westmere processors, totally 12 cores per node
• 4 SMP (shared memory) nodes with 32 cores each

• 2,6 GHz, 4 respectively 6 cores
• 2 GB (Westmere) respectively 3 (Nehalem) respectively 4 GB (Westmere) main memory per core

• 32 cores with 2 GHz
• 128 GB main memory

• 3 TB /home partition
• 180 TB /scratch partition

Access to the system

Übersicht

• 36 Knoten mit je 2 4-Kern Intel Nehalem Prozessoren, also 8 Kernen pro Knoten
• 198 Knoten mit je 2 6-Kern Intel Westmere Prozessoren, also 12 Kernen pro Knoten
• 4 SMP (shared memory) Knoten mit je 32 Prozessorkernen

• 2,6 GHz, 4 bzw. 6 Kerne
• 2 bzw. 3 bzw. 4 GB Arbeitsspeicher pro Prozessorkern (je nach Knoten)

• 32 Kerne mit 2 GHz
• 128 GB Hauptspeicher

• 3 TB /home Partition
• 180 TB /scratch Partition

Zugang zum System

• 1 SMP (shared memory) Knoten mit 128 Prozessorkernen (noch nicht in Betrieb)

Organisatorisches

Infos zu PALMA-Treffen, etc. ... in Vorbereitung

• 1 SMP (shared memory) Knoten mit 128 Prozessorkernen

Rechnen auf PALMA

Kompilieren von Programmen

Das Modul-Konzept

Umgebungsvariablen (z.B. PATH, LD_LIBRARY_PATH) für Compiler und Bibliotheken werden über module-Befehle definiert:

Um alle verfügbaren Module zu sehen, müssen die folgenden beiden Module geladen werden (dies kann am besten über die .bashrc geschehen):

module add shared

module add /Applic.PALMA/modules/path

Submittieren von Jobs

Erstellen des submit-files

Beispiel für ein submit-file eines MPI-Jobs:

#PBS -o output.dat
#PBS -l walltime=01:00:00,nodes=4:westmere:ppn=12
#PBS -A Projektname
#PBS -M Nutzername@uni-muenster.de
#PBS -m ae
#PBS -q default
#PBS -N Jobname
#PBS -j oe
cd $HOME/Jobverzeichnis
cp $PBS_NODEFILE $HOME/$PBS_JOBID.nodefile
mpdboot --rsh=ssh -n 2 -f ~/$PBS_JOBID.nodefile  -v
mpirun --rsh=ssh -machinefile $PBS_NODEFILE -np 32 ./Programmname

Hier wird ein MPI-Job gestartet, der mit insgesamt 32 Prozessen läuft. Dazu werden 4 westmere-Knoten mit je 12 Prozessorkernen angefordert.

Weitere Angaben:

• Projektname: Muss unbedingt durch das eigene Projekt erstetzt werden, ansonsten startet der Job nicht.
• Nutzername: Durch eigene Kennung ersetzen, damit Emails korrekt zugestellt werden können
• Jobverzeichnis: Durch Pfad, in dem das Programm liegt, ersetzen.
• Programmname: Hier den Namen der auszuführenden Datei eintragen.
• walltime: Die nötige Zeit, die das Programm läuft, angeben. Nach Ablauf der Zeit wird der Job abgebrochen. Maximal 48 Stunden sind möglich.

Benötigt das Programm kein MPI, kann die Datei entsprechend vereinfacht werden.

Beispiel für ein submit-file eines openmp Jobs:

#PBS -o output.dat
#PBS -l walltime=01:00:00,nodes=1:westmere:ppn=12
#PBS -A Projektname
#PBS -M Nutzername@uni-muenster.de
#PBS -m ae
#PBS -q default
#PBS -N Jobname
#PBS -j oe
cd $HOME/Jobverzeichnis
./Programmname

Abschicken des Jobs/Verwaltung der Warteschlange

Ein Job wird gestartet, indem die oben erzeugte submit-Datei mittels

 qsub submit.cmd 

Weitere Befehle:

• qstat: Zeigt die derzeitige Warteschlange an
• qstat -a: Selbiges, nur mit Anzahl der angeforderten Knoten
• qstat -n: Alle Knoten, die den Jobs zugeordnet sind, werden aufgeschlüsselt
• qdel Jobnummer: Löscht Jobs aus der Warteschlange
• showbf: Zeigt die Anzahl der freien Prozessorkerne

Die Auswahl der Rechenknoten

Mit der Option -l legt man die Ressourcenanforderungen für den Batch-Job fest. Bei der Festlegung der Anzahl und Art der Nodes ist zu beachten, dass die Rechenknoten des Systems zur Unterscheidung mit den Eigenschaften "nehalem" und "westmere" gekennzeichnet sind. Außerdem gibt es pro Node mehrere CPU-Kerne, so dass die Angabe nodes zwei unterschiedliche Bedeutungen haben kann. Die folgende Tabelle soll verdeutlichen, wie sich die Angabe nodes auf die Auswahl der Rechenknoten auswirkt:

Generell sollten immer komplette Knoten angefordert werden, d.h. Angaben wie

nodes=x:nehalem:ppn=8

nodes=x:westmere:ppn=12

Bei Bedarf können die einzelnen Chassis, in denen die Knoten stecken, auch direkt angefordert werden. Dazu ist statt der Angabe #PBS -q default die Angabe des Chassis nötig. Es kann zwischen folgenden Chassis gewählt werden: chassisd1, chassisd2, chassisd3, chassisd4, chassise1, chassise2, chassise3, chassisf1, chassisf2, chassisf3, chassisg1 wobei die Chassis d1 und d2 nehalem Prozessoren besitzen und das chassis g1 48GB statt 24 GB Hauptspeicher pro Knoten hat.

Die scratch Partition

Paralles speichern von Daten auf /scratch... in Vorbereitung

Unter /scratch befinden sich 180 TB Speicherplatz, der genutzt werden kann, um die in den Programmen generierten Daten zu speichern. Diese sollten aus Platz- und Geschwindigkeitsgründen nicht im Homeverzeichnis gespeichert werden. Als Dateisystem kommt lustre zum Einsatz, das einige Besonderheiten besitzt.

Es wird kein Backup dieser Partition durchgeführt!

Das Webinterface myJAM

• 180 Knoten mit je 2 6-Kern Intel Westmere Prozessoren, also 12 Kernen pro Knoten