JournÃ©e de formation Ã l'utilisation du cluster

Journée de formation à l'utilisation 

du cluster

Pré-requis : Linux 

● 

La connexion à la plateforme 

● 

Les commandes UNIX de base 

● 

La manipulation de fichiers 

● 

Le transfert de fichiers 

● 

Les scripts 

Aujourd'hui 

● 

Apprendre à calculer vite ! 

➔ 

Utilisation du cluster de calcul 

24/09/13 2

Objectifs 

● 

Exploiter au mieux les moyens de calculs 

➔ 

Savoir lancer des traitements (choix de la file 

d'attente, ...) 

➔ 

Savoir organiser ses données (découpage des 

fichiers, ...) 

● 

Suivre le déroulement des traitements 

● 

Autonomie et maîtrise 

24/09/13 3

Planning de la journée 

Partie I : 09h00 - 12h30 

L'environnement de calcul 

Utilisation de SGE 

Partie II : 14h00 - 17h00 

Lancement de lots de traitements 

24/09/13 4

Connexion à l'infrastructure 

cluster de calcul 

n01 : 

48xcoeurs 

n02 : 

48xcoeurs 

ssh 

n03 : 

48xcoeurs 

Internet 

Serveur frontal 

«genotoul» 

n34 : 

48xcoeurs 

Disques 

24/09/13 5

Connexion à l'infrastructure 

● 

Avoir un compte, disponible sur demande à l'adresse 

http://bioinfo.genotoul.fr 

● 

Connexion au serveur frontal de la plate-forme accessible via 

le protocole SSH à l'adresse genotoul.toulouse.inra.fr. 

➔ 

➔ 

Client SSH sur votre poste de travail distant (Putty). 

Session en mode terminal pour entrer les commandes, 

copier et/ou récupérer des fichiers 

24/09/13 6

Le serveur frontal «genotoul» 


«genotoul» 

24/09/13 7


● 

Serveur 24 cœurs avec 96 Go de mémoire vive 

● 

Linux 64 bits basé sur la distribution Red Hat 

● 

Multi utilisateurs et multi tâches 

● 

Sécurisé (SSH, garde barrière), sauvegardé quotidiennement 

et maintenu 

● 

Les missions du serveur frontal : 

➔ 

Mettre à disposition un environnement de développement 

➔ 

Exécuter les programmes sur le système de calcul 

➔ 

Contrôler le déroulement de l'exécution des programmes 

➔ 

Récupérer le résultat de l'exécution des programmes 

24/09/13 8


● 

Environnement adapté à la bio-informatique 

➔ 

Des logiciels dans le répertoire : /usr/local/bioinfo/bin/ 

(ex: blastall, clustalw, iprscan, megablast, wu-blast, ...) 

➔ 

Des banques de données dans le répertoire : /bank 

● 

Des langages informatiques 

➔ 

Shell, perl, C, C++, java, ... 

● 

Des outils de programmation 

➔ 

Nedit, nano, emacs, vi, ... 

24/09/13 9

Accès au cluster de calcul 

● 

Accès en mode « batch » pour la plupart des travaux 

● 

Accès en mode « intéractif » pour des cas particuliers 

● 

la communication entre le serveur et le cluster de calcul 

est réalisée avec l'ordonnanceur SGE 

24/09/13 10

Le stockage des données 

Disques 

24/09/13 11

Le stockage des données 

/usr/local/bioinfo/ 

applications de bioinformatiques 

/bank/ 

banques de données génomiques 

/home/ 

/work/ 

/save/ 

répertoires d'accueil des utilisateurs 

(pour les fichiers de configuration) 

répertoire de travail temporaire 

(pour le cluster de calcul) 

répertoire de stockage des données pérennes (pas 

d'écriture à partir du cluster) 

24/09/13 12

Les volumes disques du cluster 

● 

● 

Les volumes disques du cluster sont identiques à ceux du serveur 

genotoul. 

Depuis tous les nœuds du cluster on retrouve exactement le même 

environnement de travail (logiciel, banques de données, zones de 

stockages) que depuis genotoul. 

● 

Intérêts : 

➔ après la mise au point sur le serveur le logiciel n'a pas besoin 

d'être à nouveau paramétré 

➔ portable 

➔ la récupération des résultats du calcul est simplifiée 

➔ le contrôle des résultats pendant le calcul est possible 

24/09/13 13

Le système de calcul : le cluster 

Système de calcul 

n01 : 8xcoeurs 

48xcoeurs 

n02 : 

48xcoeurs 

n03 : 

48xcoeurs 

n34 : 

48xcoeurs 

24/09/13 14

Le système de calcul : le cluster 

● 

● 

● 

● 

34 nœuds 

34*48 = 1632 cœurs de calcul 

384Go de RAM par noeud (8 Go par coeur) 

Linux Red Hat 64 bits 

● 

Désignation : 

➔ ceri001, ceri002, ....., ceri034 

24/09/13 15


Partie I : 09h00 - 12h30 



Partie II : 14h00 - 17h00 


24/09/13 16

SGE (Sun Grid Engine) 

● 

Ordonnanceur 

« L'ordonnancement de tâches informatiques concerne exclusivement 

la manière de lancer des traitements (batchs) sur un ou plusieurs 

composants de son système d'information au moyen de progiciels 

spécifiques. ... » (Wikipedia) 

➔ 

➔ 

➔ 

➔ 

Enchaînement successif des traitements 

Application de règles d'exécution 

Soumission dans une file d'attente 

Pas de garantie de date d'exécution 

24/09/13 17

Stratégie d'ordonnancement : Fair Share 

● 

Distribution équitable entre utilisateurs du temps d'utilisation 

CPU 

➔ 4 utilisateurs A,B,C,D exécutent une tâche : 

➔ 

L'utilisateur D lance une nouvelle tâche : 

A 

B C 

D D 

12,5% 12,5% 

25% 25% 25% 25% 

Et non pas : 

A 

B 

C 

D 

20% 20% 20% 20% 

20% 

24/09/13 18

Contraintes/limitations de soumission 

● 

Chaque job est executé : 

➔ 

Sur 1 cœur de calcul 

➔ 

Avec 8 Go de RAM 

➔ 

Sur une file d'attente 

● 

Les files disponibles : 

N om d e la file 

w orkq (d éfa ut) 

unlim itq 

hypermemq 

P riorité Tem ps m a xim um 

300 48h 

100 illimité 

0 illimité 

➔ 

Ne pas (trop) surestimer les ressources nécessaires à 

l’exécution de ses travaux, afin de tirer le meilleur 

parti du système 

24/09/13 19

Soumission de jobs : qsub 

Retourne le job ID -> 

2 fichiers créés -> 

- sortie standard 

- sortie d'erreur 

[user@snp ~/work]$ qsub mon_script.sh 

Your job 15660 

("mon_script.sh") has been submitted 

[user@snp ~/work]$ ls 

mon_script.sh mon_script.sh.e15660 mon_script.sh.o15660 

24/09/13 20

Soumission de jobs : qsub (options) 

● 

● 

● 

● 

● 

● 

● 

● 

-N job_name : pour donner un nom à son job 

-l mem=8G: pour demander 8Go de mémoire 

-l h_vmem=10G : pour fixer la taille max à 10Go 

-q queue_name : spécifier le nom de la file 

-o output_filename : redirection de la sortie standard 

-e error_filename : redirection de la sortie d'erreur 

-M mon_adresse@mail : votre @email 

-m bae : option d'envoi du mail (b : begin, a : abort, e : end) 

➔ 

qsub -q formationq mon_script.sh 

24/09/13 21


● 

Le classique ... 

[user@snp ~/work]$ qsub -q workq mon_script.sh 



➔ 

➔ 

8Go de RAM 

1 coeur 

24/09/13 22


● 

Besoin de plus de Mémoire ... 

[user@snp ~/work]$ qsub -q workq -l h_vmem=36G -l mem=32G 

mon_script.sh 



➔ 

➔ 

32/36Go de RAM 

1 cœur 

24/09/13 23


● 

Besoin de plus de coeurs … 

➔ 

parallel_smp : X cœurs sur un même nœud 

➔ parallel_fill : X cœurs sur des nœuds indifférents 

➔ parallel_rr : X cœurs sur des nœuds forcément différents 

[user@snp ~/work]$ qsub -l h_vmem=6G -l mem=6G -pe parallel_smp 28 

mon_script.sh 



➔ 

➔ 

168 Go de RAM 

28 cœurs sur un seul noeud 

24/09/13 24


● 

Toutes les options précédemment décrites peuvent être intégrées 

directement dans le script soumis à SGE avec qsub 

(mon_script.sh) 

#!/bin/sh 

#$ -M user@toulouse.inra.fr 

#$ -m a 

#$ -q workq 

# Mon programme commence ici 

ls 

#Fin de mon programme 

● 

Sans passer par un script : l'option -b 

$ qsub -b y -cwd ls 

24/09/13 25

Soumission de jobs : qlogin (mode interactif) 

L'utilisateur est 

connecté sur le noeud 

ceri002 -> 

L'utilisateur est 

déconnecté -> 

$ qlogin 

Your job 641468 ("QLOGIN") has been submitted 

waiting for interactive job to be scheduled ... 

Your interactive job 641468 has been successfully scheduled. 

Establishing /SGE/GE2011.11/inra/tools/qlogin_wrapper.sh 

session to host ceri002 ... 

Last login: Thu Aug 30 17:04:20 2012 from login 

[laborie@ceri002 ~]$ 

[laborie@ceri002 ~]$ exit 

logout 

24/09/13 26

Contrôle des jobs : qstat 

job-ID prior name user state submit/start at queue slots ja-task-ID 

----------------------------------------------------------------------------------------------------------------- 

job-ID : identifiant unique du job assigné par l'ordonnanceur 

prior : la priorité du job déterminant sa position dans la queue. Sa valeur est 

déterminée dynamiquement 

name : le nom du job. 

user : le nom d'utilisateur du propriétaire du job. 

state : Etat du job (voir plus loin) 

submit/start at : la date et l'heure de soumission du job. 

queue : nom de la file sur laquelle le job est présent et le nom du noeud du 

cluster (ressource de calcul) alloué à l'exécution de ce job. 

slots : nombre de slots utilisés par le job. 

ja-task-ID : identifiant du job array (vide dans le cas ou le job n'est pas un job 

array). 

24/09/13 27


state : l'état du job en abréviation : 

● d(eletion) : le job est en cours de suppression 

● E(rror) : le job n'a pu être exécuté 

● h(old) : le job est en attente d'exécution 

● r(unning) : le job est en exécution 

● t(ransfering) : le job est en cours de transfert 

● w(aiting) : le job est en attente d'exécution 

24/09/13 28


● 

qstat -u nom_utilisateur : 

donne uniquement les informations sur l'utilisateur 

● 

qstat -s r : 

donne uniquement les jobs avec le status r(unning) 

● 

man qstat : 

obtenir de l'aide sur la commande 

[user@snp ~/work]$ qstat -s r -u user 


---------------------------------------------------------------------------------------------------------------------------- 

15555 0.56000 PLP4 user r 04/07/2009 16:39:41 longq@n01.cluster 1 





24/09/13 29

Contrôle des jobs : qstat -j 

[user@snp ~/work]$ qstat -j 15555 

============================================================== 

job_number: 297383 

exec_file: 

job_scripts/297383 

submission_time: Thu Mar 4 16:38:34 2010 

owner: 

ng6 

uid: 1074 

group: 

NG6 

gid: 1006 

sge_o_home: /var/www 

... 

hard resource_list: h_stack=256M,arch=lx*, h_vmem=12G,memoire=12G,pri_wflow=1 

mail_list: 

ng6@bioinfo.cluster 

notify: 

TRUE 

job_name: 

RunWorkflow 

priority: -20 

hard_queue_list: workq 

24/09/13 30

Contrôle des jobs : qmon 

24/09/13 31

Modifier un job : qalter 

➔ 

Condition : être propriétaire du job 

[user@snp ~/work]$ qstat -u user 


---------------------------------------------------------------------------------------------------------------------------- 

15833 0.56000 mon_script.sh user w 04/07/2009 16:39:41 workq@n01.cluster 1 

[user@snp ~/work]$ qalter -l mem=16G 15833 

Modified hard queue list of job 15833 

24/09/13 32

Supprimer un job : qdel 

➔ 

Condition : être propriétaire du job 

[user@snp ~/work]$ qsub mon_script.sh 

Your job 15833 («mon_script.sh») has been submitted 

[user@snp ~/work]$ qstat -u user 


---------------------------------------------------------------------------------------------------------------------------- 

15833 0.56000 mon_script.sh user r 04/07/2009 16:39:41 workq@n01.cluster 1 

[user@snp ~/work]$ qdel 15833 

User has registered the job 15833 for deletion 

24/09/13 33

Tracer les jobs 

● 

Redirection des sorties (erreur + standard) vers des fichiers 

textes : 

#$ -o standard.txt 

#$ -e error.txt 

● 

Retour informations par email : 

#$ -M user@toulouse.inra.fr 

#$ -m bea 

b : envoie un mail au départ de l'exécution du job 

e : envoie un mail à la fin de l'exécution du job 

a : envoie un mail en cas d'erreur lors de l'exécution du job 

24/09/13 34

En résumé ... 

Système de calcul 

- tester (qlogin) 

- traiter (qsub) 

n01 : 

48xcoeurs 

n02 : 

48xcoeurs 

ssh 

n03 : 

48xcoeurs 

Internet 


«genotoul» 

- login 

- développement (script) 

- suivi de jobs (qstat) 

Disques 

- /work pour l'écriture à partir du cluster 

- /save pour les données pérennes 

n34 : 

48xcoeurs 

24/09/13 35 

➔ 

L'environnement est conservé entre les différentes machines

Monitoring cluster genotoul 

24/09/13 36

Place à la pratique ... 

TP1 

24/09/13 37


Partie I : 09h00 - 12h30 



Partie II : 14h00 - 17h00 


24/09/13 38

Lancer des lots de traitements 

● 

Concept : segmenter un job en plusieurs petits jobs atomiques 

● 

Intérêts : 

● 

➔ Améliorer le temps de traitement de façon très significative : 

le calcul est réalisé sur plusieurs cœurs de calcul 

➔ 

Améliorer le temps de prise en charge par l'ordonnanceur 

Condition : le job doit être «sécable» en sous job 

24/09/13 39

Utilisation de blast sur le cluster 

Fichier multi fasta 

mes_sequences.fa 

nt 

(banque de sequence 

nucléique de genbank) 

ma_commande.sh 

blastall -p blastn -d nt -i mes_sequences.fa 

qsub ma_commande.sh 

Execution sur un seul CPU du cluster 

24/09/13 40

Segmentation du traitement de blast 



nt 

(banque de sequence 

nucléique de genbank) 

mes_sequences_1.fa 



ma_commande1.sh 

blastall -p blastn -d nt -i mes_sequences_1.fa 





qsub ma_commande_1.sh 



Exécution sur 3 CPUs 

du cluster 

24/09/13 41

Segmentation du traitement de blast 



SplitMultifasta.pl -n 200 -o ./all_fasta/ –i extract.fasta 




mes_commandes.txt 

blastall -p blastn -i mes_sequences_1.fa -d refseq_rna -o 1.blast 



qarray mes_commandes.txt 

Exécution sur 3 CPUs du cluster 

24/09/13 42

qarray : 

● 

qarray = qsub pour n lignes 

➔ Ex fichier d'entrée : 

fasta_to_fastq.pl –fasta sequence1.fasta –qual sequence1.qual 



➔ Ex commande : 

qarray mon_fichier.txt 

24/09/13 43

Créer mes_commandes.txt 

Dans quel shell suis-je 

echo $SHELL 

sh 

rm mes_commandes.txt 

for f in `ls all_fasta/*.fasta` 

>do 

>echo blastall -p blastn -i $f -d refseq_rna -o $f.blast >> mes_commandes.txt 

>done 

tcsh 

rm mes_commandes.txt 

foreach f (`ls all_fasta/*.fasta`) 

foreach echo blastall -p blastn -i $f -d refseq_rna -o $f.blast >> mes_commandes.txt 

foreach end 

Attention ! Penser a supprimer le fichier mes_commandes , car le >> ajoute en fin de 

fichier. 

24/09/13 44

Place à la pratique ... 

TP2 

24/09/13 45

JournÃ©e de formation Ã l'utilisation du cluster

You also want an ePaper? Increase the reach of your titles

Delete template?

Save as template?