Планирование выполнения инструкций для векторных...

Планирование выполнения инструкций для векторных процессоров с переменной

длиной векторов

Пантелеев Алексей Юрьевич

Национальный исследовательский ядерный университет «МИФИ»

2

• Векторные инструкции (SIMD) применяются во многих современных процессорах– MMX, SSE, AVX (X86)– AltiVec (PowerPC)– NEON (ARM)

• Повышают производительность– Явно параллельная обработка массивов данных

• Повышают энергоэффективность– Планирование выполнения одной инструкции вместо

цикла

Введение

3

Длина (размерность) векторов

A0 A1 A2 A3

B0 B1 B2 B3

C0 C1 C2 C3

× × × ×

↓ ↓ ↓ ↓

A4

B4

C4

×

↓

A5

B5

C5

×

↓

A6

B6

C6

×

↓

A7

B7

C7

×

↓

Одна инструкция(архитектурный вектор)

Две инструкции? Цикл?

Обрабатывается параллельно

4

Переменная длина векторов

A0 A1 A2 A3

A0 A1 A2 A3 A4 A5 A6 A7

A0 A1 A2 A3 A4 A5 A6 A7 A8 A9 A10 A11

A0 A1 A2 A3 A4 A5

Один векторный элемент, обрабатывается параллельно

Один вектор (2 элемента, обрабатывается в 2 приема)

Один вектор (3 элемента, обрабатывается в 3 приема)

И это тоже один вектор (2 элемента)

5

• Следующие инструкции используют результаты выполнения предыдущихC = A × B;E = C + D;

• Когда запускать следующую инструкцию?– Слишком ранний запуск приведет к функциональным

ошибкам– Слишком поздний запуск приведет к потере

производительности– Существуют простые решения для скалярных и

фиксированных векторных инструкций

Зависимые инструкции

6

Простейшее решение

R X1 X2 X3 W

R X1 X2 X3 W

R X1 X2 X3 W

R X1 X2 X3 W

R X1 X2 X3 W

R X1 X2 X3 W

16 тактов

Элемент 0

Элемент 1

Элемент 2

Элемент 0

Элемент 1

Элемент 2

Пустой такт

Пустой такт

Пустой такт

Пустой такт

R X1 X2 X3 WЭлемент 3

R X1 X2 X3 WЭлемент 3

7

Ранний запуск

R X1 X2 X3 W

R X1 X2 X3 W

R X1 X2 X3 W

R X1 X2 X3 W

R X1 X2 X3 W

R X1 X2 X3 W

Элемент 0

Элемент 1

Элемент 2

Элемент 0

Элемент 1

Элемент 2

Пустой такт

R X1 X2 X3 WЭлемент 3

R X1 X2 X3 WЭлемент 3

13 тактов

8

Зацепление

Требует выполнения зависимых инструкций на разных функциональных устройствах. В данной работе не используется.

R X1 X2 X3

R X1 X2 X3

R X1 X2 X3

R X1 X2 X3 W

R X1 X2 X3 W

R X1 X2 X3 W

Элемент 0

Элемент 1

Элемент 2

Элемент 0

Элемент 1

Элемент 2

R X1 X2 X3Элемент 3

R X1 X2 X3 WЭлемент 3

11 тактов

X1

X2

X3

X2

X3

R R R

W

X1

9

• Одно функциональное устройство– Невозможно использовать зацепление– Поддерживает различные вычислительные операции– Запуск операции – 1 или 2 такта– Длинный конвейер – от 2 до 24 стадий

• Память: два порта чтения, один порт записи– Операции имеют до трех операндов (например, MAD)– Чтение операндов – от 1 до 3 тактов, зависит от

расположения данных

• Переменная длина векторов• Требуется высокая производительность

Конкретная задача

10

• Подготовить план чтения операндов заранее– «На первом такте прочитать операнд А с первого

порта» и т.п.

• Рассчитать время запуска инструкции– Учесть различные планы для данной и предыдущих

инструкций

• В нужное время выполнить план для всех векторных элементов последовательно

Решение

11

Структурная схема планировщика

Планировщик

Генератор плана

Таблица зависимостей

Запись № 1

Запись № NSE

Блок выполнения плана

Бло

к уп

равл

ения

Декодер

Векторная память

Вычислительный блок

12

• Основной блок планировщика• Каждая запись в таблице:– Содержит конечный автомат и несколько регистров для

расчета времени– Представляет одну инструкцию, находящуюся в

конвейере– Может блокировать выполнение других инструкций,

если есть неразрешенная RAW-зависимость

• Достаточно 4-8 записей, в зависимости от максимальной глубины конвейера и типичной длины векторов

Таблица зависимостей

13

Пример расчета времени

OLD (CPE = 2) NEW (CPE = 3)TU = 4

13 11 9 7 6 4 2 0

NEW (CPE = 1)

TU = 2

TS =

OLD (CPE = 2)

Запуск

Запуск

Завершение

Завершение

“CPE” = Cycles Per Element

для зависимых инструкций с разной скоростью выполнения

14

• Простая тестовая программа:a = a + const; b = b + const; c = c + const; (“NI” операций)a = a + const; b = b + const; c = c + const; …

• Аналитический расчет времени выполнения:– TOverall = max (TIssue, TLatency, TControl, TScoreboard)– Подробные формулы приведены в печатном варианте

доклада

• Экспериментальная производительность в 97% случаев отличается от теоретической не более чем на 3%

Производительность

15

Производительность

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 160

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

NI = 1 NI = 2 NI = 3 NI = 4

Длина вектора (VL)

Вект

. эле

м. /

такт

16

Ускорение от раннего запуска

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 160%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

NI = 1 NI = 2 NI = 3 NI = 4

Длина вектора (VL)

Уско

рени

е от

ран

него

зап

уска

17

• Представлен способ планирования инструкций для векторных процессоров с переменной длиной векторов:– Поддерживаются зависимые инструкции с разной

скоростью выполнения и разной длиной конвейера– Применение раннего запуска повышает

производительность на 10 – 90% при использовании коротких векторов

• Может применяться в сопроцессорах, предназначенных для быстрой обработки небольших вычислительных задач (например, при цифровой обработке сигналов)

Заключение

18

• Вопросы?

• Адрес для связи: apanteleev87@gmail.com

Спасибо за внимание!