Códigos Secuenciales Vs. Paralelos

Códigos Secuenciales Vs.
Paralelos
Un Análisis desde el punto de Vista
de Ejecucion

Contexto
• Las arquitecturas paralelas están al alcance de
todos
– Sistemas Mul@core
– Sistemas Distribuidos Mul@nodales (Cluster-­‐Grid)
• Muchos Métodos numéricos @enen ya sus
versiones en Paralelo.

Un poco de Arquitectura
• Existen diferentes posibilidades de organizar
procesadores y memoria
• Taxonomia de Flynn
Instruc@ons
CU
Output
Data
Input Data Input Data Input Data Input Data
P P P P
Output
Data
SIMD
Output
Data
Output
Data
Instruc@ons
CU
Input Data
P
Output
Data
Instruc@ons
CU
Input Data
P
Output
Data
MIMD
Instruc@ons
CU
Interconnect Network
Input Data
P
Output
Data

Consideraciones Arquitecturales
Shared Memory • Distributed (Shared)
Systems
CPU
CPU
CPU
Memory
CPU
Memory
SMP
CPU CPU
CPU
Memory
CPU CPU
NUMA
CPU
CPU
CPU
Memory
Memory
CPU
CPU CPU
CPU
memory
CPU
Interconnect Network
memory
CPU
memory
MPP / Clusters
CPU
memory

• Datos
Los Problemas Pueden
– Porciones Pequeñas
– Elementos de una Matriz
– Registros
– Conjuntos de Datos
• La descomposición de
Datos permite
Paralelismo de Datos o
Paralelismo de Dominio
Descomponerse
• Tareas
– Funciones Lineales
– Interacciones
– Operadores
• La descomposición de
tareas permite
Paralelismo de Tareas o
Paralelismo Funcional

Elementos Individuales En Filas
En Grupos de Columnas
En Bloques

• Linealmente
• Recursividad
• … en Eventos
Y las Tareas?
1
3
2

Dependiendo de la Arquitectura Se
define un Modelo de Programación
• Memoria Compar@da (Shared
Memory)
– OpenMP
• Memoria Distribuida (Distributed
Memory)
– MPI – Paso de Mensajes
• Hibrida (Hybrid -­‐ Mul@threads)
– OpenMP + MPI
– CUDA, OpenCL, JAVA

overhead
task
overhead
task
overhead
task
overhead
task
overhead
task
overhead
task
overhead
task
overhead
task
overhead
task
overhead
task
overhead
task
overhead
task
Descomposicion en Grano Fino Descomposicion en Grano Grueso

Modelo de Memoria de OpenMP
• Todos los hilos @enen
acceso a la misma memoria
global compar@da
• Los datos pueden ser
públicos o privados
• Datos privados pueden ser
accedidos únicamente por
su propio hilo
• Transferencia de Datos
transparente al
programador
• Sincronización es implícita Tomado de An Overview of OpenMP
– SUN Microsystems

Arquitectura de OpenMP
• Modelo Fork-­‐Join
• Bloques de construcción
para el trabajo en
paralelo
• Bloques de construcción
para el ambiente de datos
• Bloques de construcción
para la sincronización
• API extensiva para afinar
el control
Modelo de Ejecución -­‐ Tomado de An
Overview of OpenMP – SUN Microsystems

Modelo de Programación
• Paralelismo Fork-­‐Join:
– El hilo maestro se divide en un conjunto de hilos como sea
necesario
– El paralelismo se añade incrementalmente: el programa
secuencial se convierte en un programa paralelo
Tomado de Programación en OpenMP – Robinson Rivas SC-­‐CAMP 2011

Pragmas
• Una pragma es un direc@vo al compilador.
• La sintaxis es
#pragma omp
Ejemplo:
#pragma omp parallel for
es una directriz que dice al compilador que trate
a paralelizar el bucle for

• Define una región
paralela sobre un bloque
de código estructurado
• Los hilos son creados
como “parallel”
• Los hilos se bloquean al
final de la región
• Los datos se comparten
entre hilos al menos que
se especifique otra cosa
Regiones Paralelas
Tomado de Programación en OpenMP – Robinson Rivas SC-­‐
CAMP 2011

Variables Compar@das y Variables Privadas
• Una variable compar@da @ene la misma
dirección en el contexto de ejecución de cada
hilo.
• Una variable privada @ene una dirección
dis@nta en el contexto de ejecución de cada
hilo.
• Un hilo no puede accesar las variables
privadas de otro hilo.

Hola UIS

Para compilar y ejecutar
• Compilar: gcc –openmp –o hello.c hello
• Ejecutar: Hay que especificar el número de
hilos
Fuera del programa con
setenv OMP_NUM_THREADS = número de hilos
Dentro del programa con
omp_set_num_threads( número de hilos)

• MPI es una interfaz de paso de Mensajes
– Librería
– Trabaja Nativamente con C y Fortran
– No es un producto
– Escalable
– Soportado por Arquitecturas Heterogéneas
– Portable
– APIs para Cualquier Sistema Operativo
– Dirigido a Usuario
– Eficiente
– Optimiza la comunicación entre los algoritmos
– Permite Computación y Comunicación Controlada
http://www.mpi-forum.org
MPI –
Message
Passing
Interface

• Possible Programming Workflow
• Estrategias
• Maestro Esclavo
• Pipeline
• Divide y Conquista
MPI
Programming
Version Secuencial Iden@ricar las tareas y
Escoger la estrategia
dependencias
de Paralelizacion
Implementacion con
MPI

• Programa de Test
#include
#include
int main(int argc, char **argv){
/* Initialize MPI */
MPI_Init(&argc, &argv);
printf(“Test Program\n”);
/* Finalize MPI */
return MPI_Finalize();
}
MPI
Programming

• Compilación y Ejecución
– La compilación puede hacerse con gcc o mpicc
$ mpicc mpi_program.c –o my_mpi_executable
– La Ejecución puede realizarse como:
$ mpirun –np 1 my_mpi_executable
$ mpirun –np 2 my_mpi_executable
$ mpirun –np 3 my_mpi_executable
MPI
Programming

#include
#include
#include
int main(int argc, char *argv[])
{
char idstr[32];
char buff[128];
int numprocs;
int myid;
int i;
MPI_Status stat;
Hola Mundo con MPI
MPI_Init(&argc,&argv);
MPI_Comm_size(MPI_COMM_WORLD,&numprocs);
MPI_Comm_rank(MPI_COMM_WORLD,&myid);
if(myid == 0)
{
prinu("Tenemos %d procesadores\n", numprocs);
for(i=1;i

Ejercicio de Clase
• Teniendo en cuenta la forma trapezoidal para
integrar la formula :

Trabajo de Clase
1. Compile y Ejecute las diferentes implementaciones (en la Version mpi
usando 2 procesos)
• gcc fuente.c –openmp –o salida
• ./salida
• mpicc fuente.c –o salida
• ./salida np -­‐2 o mpirun –np 2 ./salida
2. En la versión secuencial, agregue el calculo del error
3. Compare los resultados en términos de @empo de ejecución y factor de
error usando:
• 2 Intervalos
• 10 Intervalos
• 100 Intervalos
• 5000 Intervalos
• 500000 Intervalos
• 1000000 Intervalos

Para Entregar Al final De la Clase
En un documento único de “una pagina” en pdf o
ru envié al email:
1. Que observa en la ejecución de los programas
con los valores iniciales dados?
1. A nivel de errores?
2. A nivel de @empo de ejecución?
3. Cual es el mejor (Si hay uno mejor)?
2. El algoritmo general es el mismo?

Reglas
• Tríos o Parejas (NO se aceptan
Informes Individuales
• Respuestas sustentadas, concisas y
cortas
• Envío máximo una hora después del
curso.
• NO OLVIDEN COLOCAR LOS NOMBRES
DE LOS INTEGRANTES EL TRIO