Tutorial de un Cluster Beowulf Casero [III] - Consideraciones en cuanto a Rendimiento

La programación en paralelo puede ser una actividad entretenida e interesante para todo aficionado de la programación, pero hay algunas cosas que pueden hacer que nuestros programas fallen o no funcionen como nosotros queramos.

La granularidad. Es decir la proporción entre la cantidad de bytes recibidos por un proceso a el número decimal de operaciones o tareas que realiza.

int NumeroBytesRecibidos() : float NumeroOperacionesRealizadas()

Cantidad de mensajes enviados. Se demora menos el enviar pocos mensajes pesados o con mucha información que enviar varios mensajes con poca información. Esto es cierto, excepto cuando hay programas en donde se especifica lo contrario. De todos modos, la cantidad de mensajes es específico para cada plataforma y programa.

Algunas aplicaciones funcionan mejor con paralelismo funcional, mientras que otras para paralelismo de datos. En la primera, distintas máquinas hacen distintas tareas (dependiendo de su capacidad).

Por ejemplo un supercomputador puede resolver un problema de matemático o de física vectorial, una estación de trabajo gráfico puede usarse para visualizar datos en tiempo real.

En el paralelismo de datos la información es distribuida a todas las tareas del cluster (o máquina virtual). Las operaciones son pasadas entre procesos hasta que el problema se resuelva.

Tomar encuenta la red también es importante en un cluster. El poder de procesamiento depende de cada computador (hay diferencias mínimas hasta en procesadores de la misma marca y misma velocidad). Esto puede alterar el dinamísmo de las cargas de las máquinas o nodos. Para solucionar esto, recomiendo usar un programa de balance de carga.