Linux Cluster HOWTO Ram Samudrala (me@ram.org) v1.1, June 17, 2003 Comment mettre en place un cluster de PC Linux pour le cacul Haute Performance. Introduction

Ce document d�crit comment mettre en place un cluster de PC sous Linux pour le calcul � haute performance (HPC) dont j'ai eu besoin pour .

Utilisez les informations ci-apr�s sous votre enti�re reponsabilit�. Je d�cline toutes reponsabilit�s pour tout incident qui pourrait survenir apr�s avoir lu ce HOWTO. La derni�re version de ce HOWTO sera toujours disponible � l'adresse .

A la diff�rence d'autres documentations qui parlent de la mise en place de cluster de mani�re g�n�rale, ceci est une description sp�cifique de la mani�re dont notre laboratoire � install� le cluster, mais aussi les aspects calculs, ainsi que les parties ordinateur de bureau, portable et acc�s public. Ceci est principalement fait pour un usage interne, mais j'ai plac� ce document sur le web suite � la r�ception de nombreux mails issus de questions sur des newsfeed demandant ce type d'information. Actuellement, j'envisage la mise en place d'un cluster 64 bits, je trouve qu'il y a un manque d'information sur la m�thode � suivre pour assembler les composants pour former un noeud qui fonctionne sous Linux et qui inclut, non seulement la description du mat�riel, mais aussi du logiciel utile pour arriver � un fonctionnement en production dans un environnement de recherche. Le but principal de ce HOWTO est de lister les types de mat�riels qui fonctionnent bien ou mal avec Linux.

 Mat�riel

Cette section couvre nos choix en mati�re de mat�riel. A part les points not�s dans la section des , tout ce qui est pr�sent� fonctionne r�ellement bien.

L'installation du mat�riel est assez simple (les particularit�s sont dans les notes), la plupart des informations se trouvent dans les manuels. Pour chaque section, le mat�riel est list� par ordre d'achat (le plus r�cent est list� en premier).

Mat�riel des noeuds

32 machines ont la configurations suivante: 2 XEON 2.4GHZ 533FSB CPUs Supermicro X5DPR-1G2 motherboard 2 512MB PC2100 DDR REG ECC RAM 1 40GB SEA 7200 HD 1 120GB SEA 7200 HD Supermicro Slim 24X CDROM CSE-812 400 C/B 1U case

32 machines ont la configuration suivante: 2 AMD Palamino MP XP 2000+ 1.67 GHz CPUs Asus A7M266-D w/LAN Dual DDR motherboard 2 Kingston 512mb PC2100 DDR-266MHz REG ECC RAM 1 41 GB Maxtor 7200rpm ATA100 HD 1 120 GB Maxtor 5400rpm ATA100 HD Asus CD-A520 52x CDROM 1.44mb floppy drive ATI Expert 2000 Rage 128 32mb IN-WIN P4 300ATX Mid Tower case Enermax P4-430ATX power supply

32 machines ont la configuration suivante: 2 AMD Palamino MP XP 1800+ 1.53 GHz CPUs Tyan S2460 Dual Socket-A/MP motherboard Kingston 512mb PC2100 DDR-266MHz REG ECC RAM 1 20 GB Maxtor UDMA/100 7200rpm HD 1 120 GB Maxtor 5400rpm ATA100 HD Asus CD-A520 52x CDROM 1.44mb floppy drive ATI Expert 98 8mb AGP video card IN-WIN P4 300ATX Mid Tower case Intel PCI PRO-100 10/100Mbps network card Enermax P4-430ATX power supply

32 machines ont la configuration suivante: 2 Pentium III 1 GHz Intel CPUs Supermicro 370 DLE Dual PIII-FCPGA motherboard 2 256 MB 168-pin PC133 Registered ECC Micron RAM 1 20 GB Maxtor ATA/66 5400 RPM HD 1 40 GB Maxtor UDMA/100 7200 RPM HD Asus CD-S500 50x CDROM 1.4 MB floppy drive ATI Expert 98 8 MB PCI video card IN-WIN P4 300ATX Mid Tower case

Mat�riel du serveur

1 serveur pour utilisation externe (distribution des syst�mes) avec la configuration suivante: 2 AMD Palamino MP XP 2000+ 1.67 GHz CPUs Asus A7M266-D w/LAN Dual DDR 4 Kingston 512mb PC2100 DDR-266MHz REG ECC RAM Asus CD-A520 52x CDROM 1 41 GB Maxtor 7200rpm ATA100 HD 6 120 GB Maxtor 5400rpm ATA100 HD lecteur de disquette 1.44Mo ATI Expert 2000 Rage 128 32mb IN-WIN P4 300ATX Mid Tower case Enermax P4-430ATX power supply

Mat�riel des clients

1 PC desktop avec la configuration suivante: 2 AMD XP 2600 MP MSI K7D Master-L DUAL MS-6501 motherboard 4 1024MB PC2100 DDR REG ECC RAM 1 40GB SEA 7200 Maxtor harddisk 2 120GB SEA 7200 Maxtor hardidks PIONEER DVR-AO5 IDE DVD-RW 1.44mb floppy drive ATI Expert 2000 Rage 128 32mb video card IN-WIN P4 300ATX Mid Tower case Intel PCI PRO-100 10/100Mbps network card 450W ENERMAX P4-430ATX power supply CREATIVE SB 128 5.1 PCI soundcard

2 PC desktop avec la configuration suivante: 2 AMD XP 2600 MP MSI K7D Master-L DUAL MS-6501 motherboard 2 512MB PC2100 DDR REG ECC RAM 1 40GB SEA 7200 Maxtor harddisk 2 120GB SEA 7200 Maxtor hardidks MSI 52X24X52X CR52-A2 CD-RW 1.44mb floppy drive ATI Expert 2000 Rage 128 32mb video card IN-WIN P4 300ATX Mid Tower case Intel PCI PRO-100 10/100Mbps network card 450W ENERMAX P4-430ATX power supply CREATIVE SB 128 5.1 PCI soundcard

1 PC desktop avec la configuration suivante: 2 AMD Palamino MP XP 2000+ 1.67 GHz CPUs Asus A7M266-D w/LAN Dual DDR 2 Kingston 512mb PC2100 DDR-266MHz REG ECC RAM Ricoh 32x12x10 CDRW/DVD Combo EIDE 1.44mb floppy drive 1 41 GB Maxtor 7200rpm ATA100 HD 1 120 GB Maxtor 5400rpm ATA100 HD ATI Expert 2000 Rage 128 32mb video card IN-WIN P4 300ATX Mid Tower case Intel PCI PRO-100 10/100Mbps network card Enermax P4-430ATX power supply

1 PC desktop avec la configuration suivante: 2 Intel Xeon 1.7 GHz 256K 400FS Supermicro P4DCE Dual Xeon motherboard 4 256mb RAMBUS 184-Pin 800 MHz memory 2 120 GB Maxtor ATA/100 5400 RPM HD 1 60 GB Maxtor ATA/100 7200 RPM HD 52X Asus CD-A520 INT IDE CDROM 1.4 MB floppy drive Leadtex 64 MB GF2 MX400 AGP Creative SB LIVE Value PCI 5.1 Microsoft Natural Keyboard Microsoft Intellimouse Explorer Supermicro SC760 full-tower case with 400W PS

2 PC desktop avec la configuration suivante: 2 AMD K7 1.2g/266 MP Socket A CPU Tyan S2462NG Dual Socket A motherboard 4 256mb PC2100 REG ECC DDR-266Mhz 3 40 GB Maxtor UDMA/100 7200 RPM HD 50X Asus CD-A520 INT IDE CDROM 1.4 MB floppy drive Chaintech Geforce2 MX200 32mg AGP Creative SB LIVE Value PCI Microsoft Natural Keyboard Microsoft Intellimouse Explorer Full-tower case with 300W PS

2 PC desktop avec la configuration suivante: 2 Pentium III 1 GHz Intel CPUs Supermicro 370 DLE Dual PIII-FCPGA motherboard 4 256 MB 168-pin PC133 Registered ECC Micron RAM 3 40 GB Maxtor UDMA/100 7200 RPM HD Asus CD-S500 50x CDROM 1.4 MB floppy drive Jaton Nvidia TNT2 32mb PCI Creative SB LIVE Value PCI Microsoft Natural Keyboard Microsoft Intellimouse Explorer Full-tower case with 300W PS

2 PC desktop avec la configuration suivante: 2 Pentium III 1 GHz Intel CPUs Supermicro 370 DLE Dual PIII-FCPGA motherboard 4 256 MB 168-pin PC133 Registered ECC Micron RAM 3 40 GB Maxtor UDMA/100 7200 RPM HD Mitsumi 8x/4x/32x CDRW 1.4 MB floppy drive Jaton Nvidia TNT2 32mb PCI Creative SB LIVE Value PCI Microsoft Natural Keyboard Microsoft Intellimouse Explorer Full-tower case with 300W PS

1 PC desktop avec la configuration suivante: 2 Pentium III 1 GHz Intel CPUs Supermicro 370 DE6 Dual PIII-FCPGA motherboard 4 256 MB 168-pin PC133 Registered ECC Micron RAM 3 40 GB Maxtor UDMA/100 7200 RPM HD Ricoh 32x12x10 CDRW/DVD Combo EIDE Asus CD-A520 52x CDROM 1.4 MB floppy drive Asus V7700 64mb GeForce2-GTS AGP video card Creative SB Live Platinum 5.1 sound card Microsoft Natural Keyboard Microsoft Intellimouse Explorer Full-tower case with 300W PS

3 PC desktop avec la configuration suivante: 2 Pentium III 1 GHz Intel CPUs Supermicro 370 DE6 Dual PIII-FCPGA motherboard 4 256 MB 168-pin PC133 Registered ECC Micron RAM 3 40 GB Maxtor UDMA/100 7200 RPM hard disk Ricoh 32x12x10 CDRW/DVD Combo EIDE 1.4 MB floppy drive Asus V7700 64mb GeForce2-GTS AGP video card Creative SB Live Platinum 5.1 sound card Microsoft Natural Keyboard Microsoft Intellimouse Explorer Full-tower case with 300W PS

Mat�riel du pare-feu et de la passerelle

Un pare-feu avec la configuration suivante: AMD Palamino XP 1700+ 1.47GHz CPU MSI KT3 Ultra2 KT333 MS-6380E motherboard 512 MB PC2100 DDR-266MHz DIMM RAM 40GB Seagate 7200rpm ATA/100 hard disk Asus 52X CD-A520 INT IDE cdrom 1.44 MB floppy drive ATI Expert 2000 Rage 128 32mb video card 3 Intel Pro/1000T Gigabit Server ethernet cards 4U Black Rackmount Steel case

Une passerelle avec la configuration suivante. La passerelle est un syst�me mirroir du pare-feu pour le cas o� le pare-feu serait d�grad�. AMD Palamino XP 1800+ 1.57GHz CPU MSI KT3 Ultra2 KT333 MS-6380E motherboard 512 MB PC2100 DDR-266MHz DIMM RAM 40GB Seagate 7200rpm ATA/100 hard disk Asus 52X CD-A520 INT IDE cdrom 1.44 MB floppy drive ATI Expert 2000 Rage 128 32mb video card 3 Intel Pro/1000T Gigabit Server ethernet cards 4U Black Rackmount Steel case

Divers mat�riels/accessoires

Sauvegarde: 2 lecteurs Sony 20/40 GB DSS4 SE LVD DAT

Moniteurs: 2 moniteurs 17" Viewsonic VE700 LCD 1 moniteurs 20.1" Viewsonic VP201M LCD 1 moniteurs 22" Viewsonic P220F 0.25-0.27m 4 moniteurs 21" Sony CPD-G500 .24mm 2 moniteurs 18" Viewsonic VP181 LCD 1 moniteurs 17" Viewsonic VE170 LCD 2 moniteurs Sun monitors

Imprimantes: HP colour laserject 4600dn

Relier toute la configuration

Nous avons utilis� un switch KVM avec un petit �cran pour se connecter et "examiner" toutes les machines: Moniteur 15" .28dp XLN CTL 3 Belkin Omniview 16-Port Pro Switches Belkin Omniview 2-Port Switch APC AR203 netshelter rack unit

Pour parfaire tout cela et pour en faire une jolie solution, nous aurions besoin d'un petit PDA que nous pourrions connecter � l'arri�re des PC (utilisable avec un stylet, comme les Palm). Je n'envisage pas d'utiliser d'avantage de connecteurs dans le switch KVM.

Le r�seau est important: 2 Netgear FS750NA 48 port/1 git network switch 1 Netgear FSM750S 48 port/2 git network switch 1 Netgear FS517TS 16 port/1 git network switch 1 Netgear FS524 24 port network switch 1 Cisco Catalyst 3448 XL Enterprise Edition 48 port network switch 1 Netgear ME102NA Wireless Access Point 1 Netgear MA401NA Wireless PCMCIA network card

Co�ts

Notre vendeur est Hard Drives Northwest (). Pour chaque noeud dans notre cluster (contenant 2 CPU chacun), nous avons pay� entre 1500 et 2000 $, en incluant les taxes. G�n�ralement, notre but est de garder le co�t de chaque processeur en dessous des 1000 $ (en incluant l'emplacement).

 Logiciel Syst�me d'exploitation, Linux, bien s�r !

Les versions des noyaux et des distributions que nous avons utilis�s : Kernel 2.2.16-22, distribution KRUD 7.0 Kernel 2.4.9-7, distribution KRUD 7.2 Kernel 2.4.18-10, distribution KRUD 7.3 Kernel 2.4.20-13.9, distribution KRUD 9.0 Ces distributions fonctionnent bien pour nous, les mises � jour nous sont transmises sur CD et il n'y a aucune connexion avec le r�seau externe. Elles ont sembl� plus "propres" que les distributions standards RedHat, et la configuration est extr�mement stable.

 Logiciel r�seau

Nous utilisons Shorewall 1.3.14a (() pour le pare-feu.

Environnement parall�le

Nous utilisons nos propres logiciels pour la parall�lisation des applications mais nous avons exp�riment� PVM et MPI. A mon avis la surcharge g�n�r�e par ces environnements est trop importante. Je recommande d'�crire son propre code pour les t�ches que vous voulez remplir (c'est ma vue personnelle). (NDT je recommande � l'inverse l'utilisation de MPI, qui est tr�s portable sur toute sorte de plateforme, et qui permet de se d�tacher de l'architecture et de l'�criture du logiciel pour se consacrer � son propre probl�me).

 Co�ts

Linux et la plupart des logiciels qui tourne sous Linux sont librement copiable.

D�marrage, configuration, et maintenance Configuration disques

Cette section d�crit la strat�gie de partitionnement des disques.

ferme/cluster machines: hda1 - swap (2 * RAM) hda2 - / (le reste de l'espace disque disponible) hdb1 - /maxa (totalit� disque) PC desktops (sans windows): hda1 - swap (2 * RAM) hda2 - / (4 GB) hda3 - /spare (le reste de l'espace disque disponible) hdb1 - /maxa (totalit� disque) hdd1 - /maxb (totalit� disque) desktops (sans windows): hda1 - /win (totalit� disque) hdb1 - swap (2 * RAM) hdb2 - / (4 GB) hdb3 - /spare (le reste de l'espace disque disponible) hdd1 - /maxa (totalit� disque) portables (un seul disque): hda1 - /win (la moiti� de la taille du disque) hda2 - swap (2 * RAM) hda3 - / (le reste de l'espace disque disponible)

Configuration de l'environnement

Installer un minimum de packages dans la ferme de PC. Les utilisateurs sont autoris�s � configurer les PC desktops comme ils le d�sirent.

 Installation et maintenance des syst�mes d'exploitation Clonage et maintenance des packages FAI

FAI () est un syst�me automatis� pour installer le syst�me Debian GNU/Linux sur un cluster. Vous pouvez prendre un ou plusieurs PC vierges, les allumer et apr�s quelques minutes Linux est install�, configur� et en �tat de fonctionner sur la totalit� du cluster, sans qu'aucune interaction ne soit n�cessaire. SystemImager

SystemImager () est un logiciel qui automatise l'installation, la distribution et le d�ploiement de Linux.

Strat�gie personnelle de clonage

Je crois dans un syst�me compl�tement distribu�. Ceci veux dire que chaque machine contient une copie du syst�me d'exploitation. Installer un syst�me d'exploitation sur chaque machine manuellement est p�nible. Pour optimiser ce processus, j'ai d'abord install� et param�tr� le syst�me sur une machine. J'ai ensuite cr�� un fichier tar (que j'ai zipp� (gzip)) du syst�me tout entier. J'ai plac� ce fichier sur un CDROM qui m'a ensuite servi pour le clonage de chaque machine dans mon cluster.

Les commandes que j'ai utilis�es pour cr�er le fichier tar sont les suivantes : tar -czvlps --same-owner --atime-preserve -f /maxa/slash.tgz /

J'ai utilis� un script apel� go qui re�oit comme param�tre le nom de la machine et l'adresse IP, puis d�tarre le fichier slash.tgz sur le CD-ROM, enfin remplace le nom de la machine et l'adresse IP aux endroits appropri�s. Une version du script go et du fichier d'entr�e peuvent �tre trouv�s � l'adresse: . Ce script devra �tre �dit� pour correspondre au design de votre cluster.

Pour faire fonctionner tout cela, j'ai aussi utilis� le Tom's Root Boot package () pour booter la machine et cloner le syst�me. Le script go peut �tre plac� sur un CDROM, ou sur une disquette contenant le Tom's Root Boot package (vous devrez effacer quelques programmes car la disquette est relativement limit�e en place libre).

Plus commod�ment, vous pouvez graver un CDROM amor�able contenant le Tom's Root Boot package, incluant le script go, et le fichier tgz contenant le syst�me � cloner. Vous pouvez aussi �diter le fichier init du boot de mani�re � ce qu'il execute le script go (vous devrez quand m�me positionner l'adresse IP si vous n'utilisez pas DHCP).

Vous pouvez cr�er de mani�re alternative votre propre disque (comme un disque de secours) qui contient le kernel et les outils que vous voulez. Il y a de nombreux documents qui d�crivent comment faire cela, incluant le Linux Bootdisk HOWTO (), qui contient lui aussi des liens vers des images de disques amor�able.

Ainsi, vous pouvez d�velopper un syst�me o� tout ce que vous avez � faire est d'ins�rer un CDROM, allumer la machine, prendre un caf� (ou une canette de coca) (NDT: buvez de l'eau, c'est meilleur pour la sant� ;-)) et retourner vous asseoir pour constater un clonage complet. Vous pouvez r�p�ter cette proc�dure pour autant de machines que vous le d�sirez. Cette proc�dure a extr�mement bien focntionn� pour moi, et si de plus, vous trouvez quelqu'un (pour ins�rer et retirer les CDROM !) c'est id�al.

Rob Fantini () a contribu� aux modifications du script cit� si-dessus pour cloner la Mandrake 8.2 qui est accessible � l'adresse .

J'avais travaill� sur une proc�dure o� tout ce que vous aviez � faire �tait d'ins�rer un CD, d�marrer la machine, et tout �tait clon�. Je mettrai cela � disposition dans un futur proche.

 DHCP vs. adresses IP cod�es en dur

Si vous avez DHCP d�j� en fonctionnement, alors vous n'aurez pas � changer l'adresse IP et cette partie pourra �tre retir�e du script go.

DHCP a l'avantage de ne plus avoir � se pr�ocuper des adresses IP dans la mesure o� le serveur DHCP est correctement configur�. Il a le d�savantage li� � la centralisation (et comme je le disais, j'essaye de r�partir les choses le plus possible). En outre, lier l'adresse ethernet de la carte � l'adresse IP peut devenir un inconv�nient si vous voulez remplacer des machines, ou changer les noms de machines de mani�re r�guli�re.

Probl�mes de mat�riel connus Probl�mes logiciels connus Les op�rations sur le cluster

Cette section est encore en d�velopement dans la mesure o� l'utilisation de mon cluster �volue, jusqu'ici nous essayons d'�crire nos propres ensembles de routines de Message Passing pour �tablir la communication entre les processus des diff�rentes machines.

Beaucoup d'applications, en particulier dans les secteurs informatiques de traitement du g�nome, sont massivement et facilement parall�lisable. Cela signifie que la r�partition parfaite peut �tre r�alis�e en distribuant des t�ches de mani�re homog�ne entre les machines (par exemple, en analysant un g�nome entier en utilisant une technique qui travaille sur un seul g�ne, ou un seule prot�ine, chaque processeur peut travailler � un g�ne, ou � une seule prot�ine � la fois ind�pendamment de tous les autres processeurs).

Jusqu'ici nous n'avons pas trouv� n�cessaire d'employer un syst�me de gestion de file d'attente, mais �videmment cela d�pend fortement du type d'applications que vous souhaitez faire tourner. (NDT: cela d�pend aussi de votre environnement de travail, � savoir si votre cluster est partag� entre plusieurs utilisateurs en concurence ...).

Benchmarks bruts

Pour le programme le plus important que nous faisons tourner (notre ab initio programme de simulation de pliage de prot�ine), en utilisant la machine avec un Pentium 3 � 1GHz comme r�f�rence, en moyenne : Athlon 1.2 GHz est environ 16% plus rapide Xeon 1.7 GHz est environ 27% plus rapide Athlon 1.5 GHz est environ 38% plus rapide Athlon 1.7 GHz est environ 46% plus rapide Xeon 2.4 GHz est environ 62% plus rapide

Oui, l'Athlon 1.5 GHz est plus rapide que le Xeon 1.7 GHz car le Xeon execute seulement six instructions par horloge (IPC) alors que l'Athlon en ex�cute neuf (vous faites le calcul!).

Stabilit�

Ces machines sont incroyablement stables, aussi bien en terme de mat�riel que logiciel une fois d�bugu�es (habituellement quelques machines nouvellement ajout�es ont des probl�mes mat�riel), elles ont fonctionn� avec une grosse charge . Un exemple est donn� ci-apr�s. Le reboot est g�n�ralement arriv� quand un composant �lectronique a grill�. 2:29pm up 495 days, 1:04, 2 users, load average: 4.85, 7.15, 7.72

Remerciements

Les personnes suivantes ont �t� d'une grande aide pour r�aliser ce HOWTO: Michael Levitt ()

Bibliographie