BIF-1000 Profession de bio-informaticien - Sébastien Boisvert

BIF-1000
Profession de bio-informaticien
Le calcul à haute performance en bio-informatique
Durée: 30 minutes
Sébastien Boisvert
http://boisvert.info

● Institution: Université Laval
● Sigle du cours: BIF-1000
Méta-information
● Titre du cours: La profession de bio-informaticien
● Professeur: Patrick Lagüe
●
● Conférencier: Sébastien Boisvert
● Titre: Le calcul à haute performance en bio-informatique
● Durée: 30 minutes
● Lieu: Local PLT-2510, Université Laval
● Date: Mercredi le 19 septembre 2012
●
● http://boisvert.info/BIF-1000/automne2012
2

● La vie excitante d'un bio-informaticien
● Le calcul à haute performance en bioinformatique
3

● Code source du vivant
L'ADN
Wikipedia, Domaine public
4

● Processus biologique
La transcription
Wikipedia, Creative Commons Attribution-Share Alike 3.0 Unported
5

Générateurs de données biologiques
● Instrument Illumina
HiSeq 2000
● Séquençeur d'ADN
● 600 giga bases / 11
jours
● L'étape limitante:
analyse de données
Remarques:
1. Illumina et HiSeq sont des marques déposées de Illumina Inc.
6

Ordinateur
● Processeur (ADN polymérase,
ARN polymérase, ribosome)
● Mémoire (ARN, contenu de la
cellule)
● Stockage (ADN, contenu de la
cellule)
● Logiciels (protéines)
● Utilisateur (milieu extra-cellulaire)
Creative Commons paternité – partage à l’identique 3.0 (non transposée).
7

Réseau d'ordinateurs
Organisme multi-cellulaire
8

Passage de messages
10100101
9

Boucle principale dans un jeu vidéo
while(1){
lire_le_clavier () ;
lire_la_souris () ;
lire_le_reseau () ;
}
mettre_a_jour_l_etat_du_jeu () ;
dessiner_sur_l_ecran () ;
ecrire_sur_le_reseau () ;
/* il manque un régulateur d'itérations par seconde ! */
10

Boucle principale dans un logiciel
distribué
while(1){
recevoir_les_messages () ;
}
lire_les_messages (
avancer_l_etat_du_calcul () ;
envoyer_les_messages () ;
11

Courriels
● Boîte de réception des messages
● Boîte d'envoi des messages
12

Envoi de messages avec MPI
MPI=Message Passing Interface
void send_message(struct process*current_process,uint8_t*buffer,int count,int destination,int tag){
}
#ifdef ASSERT
assert(destination>=0);
assert(destinationsize);
#endif
MPI_Request request;
MPI_Isend(buffer,count,MPI_BYTE,destination,tag,MPI_COMM_WORLD,&request);
MPI_Request_free(&request);
https://github.com/sebhtml/latency_checker GPLv3
13

Réception de message avec MPI
void receive_message(struct process*current_process,struct message*received_message){
}
int flag=0;
MPI_Status status;
MPI_Iprobe(MPI_ANY_SOURCE,MPI_ANY_TAG,
MPI_COMM_WORLD,&flag,&status);
received_message->tag=MESSAGE_TAG_NO_OPERATION;
if(!flag)
return;
received_message->tag=status.MPI_TAG;
received_message->source=status.MPI_SOURCE;
received_message->count=0;
MPI_Get_count(&status,MPI_BYTE,&(received_message->count));
MPI_Recv(received_message->buffer,received_message->count,
MPI_BYTE,received_message->source,received_message->tag,
MPI_COMM_WORLD,&status);
https://github.com/sebhtml/latency_checker GPLv3
14

● Corporation financée par le gouvernement
canadien
● Opère des super-ordinateurs à l'échelle du
Canada
● À l'Université Laval: colosse
15

● 960 ordinateurs de calcul
Colosse
● 1920 processeurs Intel(R) Xeon(R) X5560(R)
● 4 coeurs de 2.8 gigahertz par processeur
● Total: 9680 coeurs
● Réseau Infiniband(R) Mellanox(R) MT26428(R)
● 1 000 000 000 giga octets de stockage
● Système de fichiers distribué Lustre(R)
● Linux (CentOS)
● Rpeak: 85.3 tera FLOPS (10^12 opérations en virgule flottante par seconde)
● Rmax: 77.2 tera FLOPS
● http://i.top500.org/system/10195
16

Logiciels sur Colosse
● Besoin pour des logiciels distribués (passage
de messages)
● Le même logiciel s'exécute des centaines de
fois sur plusieurs ordinateurs
● Un logiciel qui s'exécute s'appelle un
processus
● Processus distribués qui se passe des
messages pour partager des informations
17

Graphe de Bruijn
18

Les systèmes logicielles “Ray”
● Assemblage de novo de génomes
● Métagénomes
● Profilage biologique
● en C++ (portable sur systèmes POSIX(R) dont
Linux(R) et Microsoft(R) Windows(R)
● Utilise le passage de messages
● Chaque processus envoie entre 5 000 et 10 000
messages par seconde !
● Licence GPLv3
● Boisvert et al. (2010) Journal of Computational
Biology
http://dx.doi.org/doi:10.1089/cmb.2009.0238
● Boisvert et al. (2012) en révision
Remarque:
Linux est une marque déposée de Linus Torvalds.
19

Assembler 1000 génomes
bactériens en même temps
● Total: 18 hours, 25 minutes, 20 seconds
● 512 processus Ray
● 64 ordinateurs
● ~ 1536 giga octets de mémoire distribué !
● ~ 5.2 tera FLOPS
20

Latence
● Latence basse pour le passage de messages
● 8*8*8=512
● Représenter les rangs en base 8
● → → →
● → → →
● Sur colosse, routage avec polytope régulier convexe
● Aller-retour d'un message de 4000 octets: ~35
microsecondes (1 microseconde = 10^-6 seconde)
21

●
●
Beaucoup de messages
● Rank 0: sent 1658262884 messages, received 1659261879 messages.
● Rank 1: sent 1644615558 messages, received 1644613465 messages.
● Rank 2: sent 1658543863 messages, received 1658541782 messages.
● Rank 3: sent 1643008628 messages, received 1643006584 messages.
● Rank 4: sent 1629459552 messages, received 1629457560 messages.
● Rank 5: sent 1635200230 messages, received 1635198204 messages.
● Rank 6: sent 1655487701 messages, received 1655485706 messages.
● Rank 7: sent 1647530807 messages, received 1647528733 messages.
● Rank 8: sent 1645931438 messages, received 1645929348 messages.
● Rank 9: sent 1634510788 messages, received 1634508745 messages.
● (502 processus Ray cachés)
22

● 0,0,0 (0) -> 1,0,0 (1) Load: 77007376
● 0,0,0 (0) -> 2,0,0 (2) Load: 77015518
● 0,0,0 (0) -> 3,0,0 (3) Load: 77010637
● 0,0,0 (0) -> 4,0,0 (4) Load: 77011423
● 0,0,0 (0) -> 5,0,0 (5) Load: 77008990
● 0,0,0 (0) -> 6,0,0 (6) Load: 77018635
● 0,0,0 (0) -> 7,0,0 (7) Load: 77017997
● 0,0,0 (0) -> 0,1,0 (8) Load: 81274715
● 0,0,0 (0) -> 0,2,0 (16) Load: 77019588
● 0,0,0 (0) -> 0,3,0 (24) Load: 80382939
● 0,0,0 (0) -> 0,4,0 (32) Load: 78019878
● 0,0,0 (0) -> 0,5,0 (40) Load: 77018488
● 0,0,0 (0) -> 0,6,0 (48) Load: 77017745
● 0,0,0 (0) -> 0,7,0 (56) Load: 77015266
● 0,0,0 (0) -> 0,0,1 (64) Load: 81267960
● 0,0,0 (0) -> 0,0,2 (128) Load: 77018529
● 0,0,0 (0) -> 0,0,3 (192) Load: 77934327
● 0,0,0 (0) -> 0,0,4 (256) Load: 76985462
● 0,0,0 (0) -> 0,0,5 (320) Load: 76996018
● 0,0,0 (0) -> 0,0,6 (384) Load: 76981051
● 0,0,0 (0) -> 0,0,7 (448) Load: 73930723
●
Routage dynamique
23

● Bibliothèque logicielle
● Licence: LGPLv3
24

● Compagnie de super ordinateurs
● Collaboration pour porter Ray sur le produit
Cray XE6
● > 10000 processus Ray sur le Cray XE6
Remarques:
1. Cray est une marque déposée de Cray Inc.
2. Il n'y a pas de lien entre Ray (le logiciel libre) et Cray (la compagnie)
26

● J'ai participé à un atelier de 25 experts
mondiaux organisé par Argonne.
● Toutes dépenses payées
● Summer 2012 Week 3: Next
Generation Sequence Analysis
● July 28, 2012 to August 4, 2012
● Canyons Resort, 4000 Canyons
Resort Drive, Park City, Utah
● Ray a vraiment impressionné les
experts invités !
Remarque:
http://www.icis.anl.gov/programs/summer2012-3a
1. Argonne est géré pour le U.S. Department of Energy par UChicago Argonne, LLC.
27

● Visite du laboratoire
national Argonne à la
mi-octobre 2012
● À suivre !
Remarque:
1. Argonne est géré pour le U.S. Department of Energy par UChicago Argonne, LLC.
28

Période de questions
29