Some More Information (in German)

Ausstattung:

  - 32 Blades mit je 2 Sockeln mit je einem 8-Kerner @ 2,2 GHz
       ==> 32 * 16 = 512 Cores (Hyperthreading ist aufgedreht ==> 1024 HyperThreads)
  - je Blade 2 x 32 GigaByte RAM (dh. in Summe 2 TeraByte)
  - SuSE SLES 11 SP1; Linux 2.6.32 x86_64;
    interaktiver Multiuser-Betrieb ohne Rechenlaufverwaltungssystem 

WICHTIG: Bitte aendern Sie mit dem Kommandozeilenbefehl

  passwd

nach dem ersten erfolgreichen Login das Initial-Passwort sofort
auf einen ganz geheimen nur Ihnen bekannten Wert (sollte 8 
Zeichen lang sein und neben Buchstaben auch Interpunktionszeichen 
und Ziffern enthalten ==> nicht so leicht zu 'knacken').

WICHTIG: Auf zusie gilt (wie fuer alle Rechner im Compute Server
Pool): Es wird kein Backup angefertigt ... d.h. wenn irgendwas
im Plattensystem kaputt laeuft ist alles futsch. Die NutzerInnen
sind darum gebeten, selbsttaetig ein Backup/Archiv (am Institutsarbeitsplatzrechner
z.B.) zu fuehren.

Es wurde auf zusie ein cpuset (Ressourcenpaket aus CPU-Kernen
und Speichermodulen) im Umfang von 256 Rechenkerne und rund
einem Terabyte RAM unter dem Namen
 
  /Upper256sh

angelegt (das steht fuer "oberer Teil der kleinen UV ohne
HyperThreading"). Der Zugang ist "offen" (durch chmod o+rwx
/cpuset/Upper256sh /cpuset/Upper256sh/tasks) fuer alle, also
auch riscXX:

   risc25@zusie:~> cpuset -i /Upper256sh

   risc25@zusie:~> my_cpuset.csh
   cpuset: /Upper256sh
   allowed resource Ids:
   Cpus_allowed_list:      256-511
   Mems_allowed_list:      32-63

   risc25@zusie:~> jkutop -s /Upper256sh

   risc25@zusie:~> exit
   exit

Wechselt eine LVA-TeilnehmerIn ins cpuset mit:

   cpuset -i /Upper256sh

so wird eine neue Shell "dorthin verlegt gestartet", und alle daraus
erwachsenden Prozesse sind auch im betreffenden cpuset.

Mit Hilfe von

   dplace

(bzw. als extra Variante fuer OpenMP-Programmierung omplace) kann
auch fuer MPI-Programme eine CPU-Affinitaet (die "logischen" CPU Ids beziehen
sich auf die Indizes innerhalb des cpusets) erzwungen werden. Und 

   dlook

zeigt die erreichte Zuordnung.

Aber auch im "einfachen" Linux top (es wurde eine eigene Variante namens
jkutop programmiert ... sehr praktisch zum Aufspueren von "CPU / SystemCall Hogs"
auf einer AltixUV) kann "Last used cpu (SMP)" nuetzlich sein, um
festzustellen, ob man/frau 2 Prozesse auf denselben CPU-Kern gebunden hat.

Unter zusie:/usr/local/docs liegen einige SGI Handbuecher bereit.
Eventuell interessant:

  - SGI UPC (Unified Parallel C ... Datenparalleles Paradigma; siehe "man sgiupc")
       module load sgi-upc-devel
       man sgiupc
       module load mpt
       sgiupc -O -v -LANG:upc_threads=8 test.c -o test
       mpirun -np 8 ./test

  - CilkPlus (kommt mittlerweile mit dem Intel Compiler):
       module load intelcompiler
       man icc 
          --> nach "cilk" suchen
       ls /apps/intel/compiler/composerxe-2011.3.174/Samples/en_US/C++/cilk_samples/
          --> Makefile  cilktime.h  linear-recurrence.cpp  matrix-multiply.cpp  
              matrix.cpp  qsort-mutex.cpp  qsort.cpp