QoS-aware Scientific Application Scheduling Algorithm in Cloud Environment

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

QoS-aware Scientific Application SchedulingAlgorithm in Cloud Environment

John Trujillo

Universidad Del Valle - Cali

[email protected]

12 de diciembre de 2013


Contenido

Abstract

Introduction

Estado Del Arte

Definicion del problema

Propuesta

Resultados

Conclusiones

Comentarios

Referencias


Abstract (1)

QoS-aware Scientific Application Scheduling Algorithm inCloud Environment

• Aplicaciones cientıficas son modeladas usando flujos de

trabajo para llevar a cabo experimentos a gran escala.

• Se necesitan un alto poder computacional para procesar datos.

• Se requiere de una infraestructura de alto desempeno

computacional.


Abstract (2)

Una solucion es usar Cloud:

• Cientıficos pueden correr sus aplicaciones como ellos lo deseen

correr: bajo su QoS deseado.

QoS: Quality of service.

• Se propone un algoritmo que permite a los cientıficos

seleccionar un determinado plan a ejecutar basado en sus

preferencias QoS: Costo y tiempo.


Abstract (2)

Al final :

• Se compara este nuevo algoritmo QSASA vs HEFT. Donde

se muestra que QSASA es mejor en cuanto a costo.


Palabras Claves :

• Scientific application : Aplicaciones Cientificas.

• Workflow scheduling : Programacion de flujo de trabajo.

• Cloud computing : Computacion en nube.


Introduccion (2)

Cloud computing: Es un sistemas de computacion paralela y

distribuida que ofrece la infraestructura , la plataforma y el

software como servicio.

• Pay-as -you- go.

• IaaS : Infrastructure as a service.

• PaaS: Platform as a service.

• SaaS : Software as a service.

Cloud ofrece una infraestructura informatica de alto

rendimiento.


Estado Del Arte

• Algoritmo HEFT( Heterogeneous Earliest Finish Time ) [21].

El primer recurso en atender es escogido.



Representamos el flujo de tareas como un grafo dirigido aciclico.

G = (V ,E ) (1)

V = {T1, ...,Tn} (2)

V = Conjunto de tareas.

E = Relacion entre cada tarea (Costo).

• Donde hay n tareas y G es una matriz nxn .



Hay relacion si:

Gi ,j = 1 (3)

Ti es padre de Tj.

Gi ,j = 0 (4)

No hay relacion entre la tarea Ti y Tj.


Resultados



En Cloud tenemos M recursos.

R = {1, 2, ...,M} (5)

• Ejecucion de una tarea: Cost exe(Ri)

• Recibir un dato de entrada desde los recursos: Cost in(Ri)

• Enviar una dato desde los recursos: Cost out(Ri)

• Disponibilidad de los recursos: Availability(Ri) .

• Confiabilidad de los recursos: Reliability(Ri) .



El tiempo estimado para computar una tarea depende del numero

de recursos asignados para resolver una determinada tarea.



El objetivo final es :Determinar el mejor plan para resolver un problema cientıfico con

base a los tiempos y costos definidos por un usuario usando los

recursos de la cloud.


Caracteristicas de QSASA

• Dependencia entre tareas

• Tiempo de transferencia de datos entre padre e hijo

• Mekaspan en flujo de trabajo.

• Ancho de banda de los recursos

• Costo de computo por recurso

• Costo enviar y recibir datos por recurso

• Disponibilidad por cada recurso

• Fiabilidad entre recursos.


Matriz de tiempos de ejecucion

• Wn*m tiempo estimado de ejecutar una tarea en cada

recurso.

• Wij representa el tiempo estimado de ejecutar la tarea Ti

en el Recurso Rj .

Promedio de ejecucion por cada tarea con base a la Matriz W:

W =

�mj=1 ∗Wi ,j

m(6)


Resultados


Matriz de tasa de tranferencia

Tiempos de Comunicacion entre recursos:

• B es una matriz m*m la cual representa la tasa de

transferencia entre recursos.

• Bij representa la tasa de transferencia(banda ancha) entre el

recurso Ri en el Recurso Rj .


Tiempo de Comunicacion

El tiempo de comunicacion de una arista (i, k) en un recurso

determinado

communicatei ,k =Dt

Ei ,k(7)

Dt es el promedio de enviar una tarea de un recurso a otro.


Resultados


EST

Earliest Start time (El primero en iniciar)

EST (Ti ,Rj) = max =

avail [j ]max(EFT (Ti ,Rj )+communicatei,j )

Aviablity(Ri )∗Reability(Rj )

TI ∈ pred(Ti )

(8)

Para una tarea completa


EFT

Earliest finish time (El primero en Terminar)

EFT (Ti ,Rj) = Wi ,j + EST (Ti ,Rj) (9)

• Donde pred(Ti) es el conjunto de predecesores de las tareas

Ti.

• avail[j] es el tiempo mas cercano en el cual el recurso Ri

esta listo para ser ejecutado.

• max entrega los tiempos de todos los datos que necesita Ti

han llegado al recurso Rj.


CFE

Cost For Execute (Costo de ejecutar una tarea Ti )

EFC (Ti ,Rj) =

�pk−1

�((Wi,j ∗ costexec(Ri )

) + (communicatek,i ∗ costin ∗ (Rj )) + (communicatek,i ∗ costout (Rj ))�

Aviability(Rj ) ∗ Reability(Rj )

• Donde P es el numero es el numero de tareas padre de Ti

• communicatek,i es el tiempo requerido para transmitir

dados desde la tarea Ti en el recurso Ri hacia la tarea Tk.

• EFCmin, EFCmax


Rank de tareas

Rank de tareas

RANKu(Ti ) =

Wi + (communicatei + RANKu(Tj)) (10)

Tj ∈ succ(Ti)

• Wi promedio es el promedio de computar la tarea i en todos

los recursos.

• succ(Ti) el conjunto de que dependen de la tarea Ti.

• Cij es el costo promedio de comunicar la tarea Ti con Tj.

• El rank depende de computar todos los valores hijos.


Resultados


Resultados


Resultados


Resultados


Resultados


Resultados


Resultados


Resultados


• QSASA se divide en dos fases : clasificacion de las tareas

y la seleccion de recursos.

• En la evaluacion se considera que el usuario esta mas

interesado para minimizar el costo.

• Se encontro que QSASA es mejor en un 15 por ciento al

momento de ahorrar costos.


• QSASA es una algoritmo ideal para aplicar alineamiento de

secuencias.

• QSASA podrıa ser implementado para sistemas heterogeneos.

• El cambio de plataformas o recursos implicaria modificar los

tiempos de ejecucion ateriormente nombrados.


Referencias

• 21. Topcuoglu H, Hariri S, Wu M. Performance effective and

low-complexity task scheduling for heterogeneous computing

IEEE Transactions on Parallel and Distributed Systems

13(3):260–274.

Education

QoS-aware Scientific Application Scheduling Algorithm in Cloud Environment