Upload
flyelephant
View
374
Download
2
Embed Size (px)
Citation preview
Основы распараллеливания С/С++ программ при помощи OpenMP
Обо мне
• Преподаватель ОНПУ кафедры Системного программного обеспечения
• Основатель FlyElephant и GeeksLab.
План• Часть 1. Основы распараллеливания С/С++ программ при помощи OpenMP
• Часть 2. Знакомство с FlyElephant
История вычислительной техники
История вычислительной техники
Cray-1
1976 год
133 Мфлопса
История вычислительной техники
IBM POWER4
2001 год
2 ядра
История вычислительной техники
GPU и CUDA
2007 год
История вычислительной техники
Intel MIC - 2010 год32 ядра
Ребрендинг в Xeon Phi2012 год61 ядро
~1 TFLOPS
Инфраструктура
Модели параллельных программ
Вычислительные системы с общей памятью
Системы с распределенной памятью
Гибридные системы
Системы с общей памятью• Преимущества:
• Не требуется обмен данными
• Просто писать программы
• Компактность систем
• Недостатки:
• Проблема совместного доступа к памяти
• Проблема синхронности кэшей
• Ограниченный обьем ОЗУ
• Проблема масштабируемости
Системы с распределённой памятью• Преимущества:
• Простота и дешевизна построения
• Эффективное решение задач, требующих малого обмена данными
• Возможность решать задачи, требующие очень больших объёмов оперативной памяти
• Возможность масштабирования
• Недостатки:
• Проблема обмена данными
• Сложное программирование
• Большой размер систем
• Большое энергопотребление
Гибридные системы
Инструментарий
OpenMPOpen Multi-Processing
MPIMessage Passing Interface
Hadoop
Spark
OpenMP
OpenMP (Open Multi-Processing)открытый стандарт для распараллеливание
программ на языках С, С++ и Fortran.
http://openmp.org/
v1 - 1997 год GCC 4.1
v 4.0 - July 2013 Intel C++ Compiler
v 4.1 - в работе Visual C++
Преимущества OpenMP• Лёгкость использования.
• Кросс-платформенность для систем с общей памятью.
• Сокрытие низкоуровневых операций.
• Инкрементное распараллеливание.
• Поддержка параллельной и последовательной версий программ.
Компоненты• Переменные окружения.
• Директивы компилятора — расширения языков С/C++ и Fortran.
• Функции.
Модель Fork-Join
master thread
master thread
master thread
F FJ J
OpenMP и GCCGCC v4.1
-openmp
g++ test.cpp -o test -fopenmp
#include<omp.h>
Переменные окружения• OMP_NUM_THREADS - Устанавливает количество потоков в параллельном блоке. По умолчанию, количество потоков равно количеству виртуальных процессоров.
• OMP_SCHEDULE - Устанавливает тип распределения работ в параллельных циклах с типом runtime.
• OMP_DYNAMIC - Разрешает или запрещает динамическое изменение количества потоков, которые реально используются для вычислений (в зависимости от загрузки системы). Значение по умолчанию зависит от реализации.
• OMP_NESTED - Разрешает или запрещает вложенный параллелизм (распараллеливание вложенных циклов). По умолчанию – запрещено.
ДирективыФормат директивы (С/C ++)
#pragma omp < имя> [ <предложение> {[,] <предложение>}]
имя — имя директивы;
предложение — конструкция, задающая дополнительную информацию и зависящая от директивы;
Директива parallel#pragma omp parallel [<предложение>]
<структурный блок>
• Поток, встречающий конструкцию parallel, создаёт команду потоков, становясь для неё основным.
• Потокам команды присваиваются уникальные целые номера, начиная с 0 (основной поток).
• Каждый поток исполняет код, определяемый структурным блоком, в конце которого неявно устанавливается барьер.
Директива parallel#include <iostream>
#include <omp.h>
int main()
{
#pragma omp parallel
std::cout << "Hello, world!" << std::endl;
}
Директива for#pragma omp for [<педложения>]
<циклы for>
Ограничения:
• (Единственный) счётчик — целого типа, указатель, или итератор произвольного доступа. Должен изменяться только в заголовке цикла.
• Условие цикла: сравнение переменной с инвариантным к циклу выражением при помощи <, <=, >, >=.
• Изменение счётчика: при помощи ++, --, i += d, i -= d, i = i + d, i = d + i, i = i - d (d — инвариантное к циклу целое выражение)
Директива for#pragma omp parallel
{
#pragma omp for
for (ptrdiff_t i = 0; i < n; i++)
dst[i] = sqrt(src[i]);
}
#pragma omp parallel for#pragma omp parallel for
for (ptrdiff_t i = 0; i < n; i++)
dst[i] = sqrt(src[i]);
Другие директивыsingle - если в параллельной области какой-либо участок кода должен быть выполнен лишь один раз.
sections - используется для задания конечного (неитеративного) параллелизма.
master - выделяет участок кода, который будет выполнен только нитью-мастером.
critical - оформляется критическая секция программы. Критическая секция запрещает одновременное исполнение структурированного блока более чем одним потоком.
barrier - способ синхронизации, дает всем потокам указание ожидать друг друга перед тем, как они продолжат выполнение за барьером.
Список OpenMP функций• omp_set_num_threads Установить количество потоков
• omp_get_num_threads Вернуть количество потоков в группе
• omp_get_max_threads Максимальное количество потоков
• omp_get_thread_num ID потока
• omp_get_num_procs Максимальное количество процессоров
• omp_in_parallel В параллельном регионе?
• omp_set_dynamic Activate dynamic thread adjustment
• omp_get_dynamic Check for dynamic thread adjustment
• omp_set_nested Activate nested parallelism
• omp_get_nested Check for nested parallelism
• omp_get_wtime Вернуть время
• omp_get_wtick Number of seconds between clock ticks
Platform for scientific computing and data management
Какие могут быть задачи?
• Научные расчеты
• Анализ данных
• Рендеринг
• Моделирование
• Прогнозирование
• …
Problems
• Time-consuming deployment and support of the elastic infrastructure.
• Complicated process of connection between the large number of computing tools.
Solution
• Platform-as-a-Service that provides elastic multi-core systems, HPC clusters and GPU clusters.
• Software, templates, algorithms and data available at one place.
Научный расчет. Как это работает в реальной жизни
Научный расчет. Как это работает у нас
Функционал, который есть сейчас
• загрузка файлов в хранилище;
• запуск вычислительных программ, написаных на С/С++, которые будут выполняться с помощью компилятора GCC с поддержкой OpenMP;
• виртуальные машины облака Azure с количеством ядер от 1 до 32 и ОЗУ до 448 ГБ;
• просмотр и скачивание файлов результатов расчета;
• биллинг, пополнение счета при помощи пластиковых карт и промо-кодов.
Программа бета-тестирования
• Получить бесплатный доступ
• Использовать новые функции первыми
• Помогать сделать FlyElephant лучше
http://flyelephant.net/beta/
Функционал, который ждет нас в скором будущем
• Поддержка Python, R, Java и MPI.
• Система визуализации результатов
• Система управления результатами расчетов
• Внутренняя социальная сеть
• Система API
Отдельный интерфейс для учебного процесса
Поддержка открытых научных исследований