Распознавание лиц с помощьюэкстремального обучения нейронов

Распознавание лиц с помощьюэкстремального обучения нейронов

Барнаул 2013

Министерство образования и науки Российской ФедерацииФедеральное государственное бюджетное образовательное учреждение

высшего профессионального образования«Алтайский государственный университет»

Математический факультетКафедра информатики

Методы машинного обучения

Докладчики: А.Н. Вязьмина, 425мД.С. Анисимов, 425м

2

Нейронные сети

2

1. Отклик сети:

Схема простой нейросети. Зелёным цветом обозначены входные нейроны, голубым — скрытые нейроны, жёлтым — выходной нейрон

i

Rbi

N

i

N

iiiiii obxwgxg

~

1

~

1

)()(

niniii Rwwww ]...,[ 21

mimiii R ]...,[ 21

3


3

2. Требуемые результаты


iNitttt

xxxxT

imiii

Tiniii

...2,1,]...,[

,]...,[

21

21

iii bw ,,

N

ijijii Njobxwg

~

1

...2,1,)(

N

iii to

1

0

N

ijijii Njtbxwg

~

1

...2,1,)(

? при условииили

Rbi


mimiii R ]...,[ 21

4


4

3. Система нахождения коэффициентов


iTH

)(...)(

)(...)(

~~11

~1~111

NNNN

NN

bxwgbxwg

bxwgbxwgH

mNN

m

~1~

111

...

...

NmN

m

tt

ttT

...

...

1

111

Rbi


mimiii R ]...,[ 21

5

Экстремальное обучение нейронов

5

Отличия от классической нейронной сети

1. Параметры и выбираются случайно.

2. Таким образом, неизвестна только

3. не корректна.

4. Вместо используется псевдообратная матрица , находимая с помощью SVD разложения

iw ib

mNN

m

~1~

111

...

...

1 HT

1H TT HHHH 1)(

6

Сферы применения ELM

6

ELM успешно применяется в следующих сферах:

1) биометрия,

2) биоинформатика,

3) прогнозирование болезней,

4) обработка изображений (сегментация, исследование качества изображений),

5) распознавание действий человека,

6) временные ряды,

7) обучение и прогнозирование в режиме реального времени

и т. д.

Лица

Извлечение признаков

Классификация

7

Классы лиц

Схема методов распознавания лиц

1. Общая предобработка ― обработка полученного набора лиц с целью улучшения качества изображений.

2. Извлечение признаков ― определение информации, позволяющей различить лица разных людей и устойчивой при вариации изображений.

3. Классификация ― сопоставление по извлеченным признакам входных лиц и лиц из базы данных. Основная задача ― нахождение схожих лиц и идентификация

Распознавание лиц

Общая предобработка

8

Известные наилучшие применения ELM

8

1. «Face Recognition Based on Kernelized Extreme Learning Machine» (2011)W. Zong, H. Zhou, G.-B. Huang, Z. Linвыборка YALE ― 85,92%

2. «Face recognition based on extreme learning machine» (2011)W. Zong, G.-B. Huangвыборка ORL ― 98,54%выборка YALE ― 89,04%

3. «Fast Face Recognition Via Sparse Coding and Extreme Learning Machine» (2012)B. He, D. Xu, R. Nian, M. Heeswijk, Q. Yu, Y. Miche, A. Lendasseвыборка ORL ― 98,9%

4. «Human face recognition based on multidimensional PCA and extreme learning machine» (2011)A.A. Mohammed, R. Minhas, Q.M. Jonathan Wu, M.A. Sid-Ahmedвыборка ORL ― 99,9%выборка YALE ― 99,7%

Изображения

Шаги алгоритма распознавания лиц с точностью 99,9%

Curveletface

B2DPCA

ELM

Классы лиц

9

Курвлеты

9

Курвлет-функции зависят от трёх параметров:

1. Масштабирующий коэффициент

2. Положение в пространстве

3. Ориентация

Коэффициенты курвлет-преобразования находятся по формуле:

где cj,k,l – искомые коэффициенты, f – исходная функция,

φj,k,l – курвлет-функции

2

,,,,,, )(,R

lkjlkjlkj dxxffc

10

Двухмерные главные компоненты

10

2DPCA

где

Y –матрица признаков

PL – левая проективная матрица

PR – правая проективная матрица

X – исходное изображение

М – среднее изображение

RTL PMXPY )(

B2DPCAПрименяя 2DPCA к ковариационной матрице С вместо , учитывается связь между соседними пикселами изображения

)()( MXMXC T

11

Цель и задачи

11

Цель

Исследовать поведение алгоритма экстремального машинного обучения (ELM) применительно к распознаванию лиц.

Задачи

1. Сравнить результаты работы ELM с известными классификаторами, на примере, алгоритма -ближайших соседей.

2. Исследовать поведение ELM с известными, ранее совместно с ним применяемыми, признаками.

3. Провести все исследования на модельных и немодельных данных.

12

Используемые сокращения

ELM ― экстремальное машинное обучение (extreme learning machine).

PCA ― метод главных компонент (principal component analysis).

2D-PCA ― метод двухмерных главных компонент (two-dimensional principal component analysis).

HOG ― гистограммы направленных градиентов (histograms of oriented gradients).

LBP — локальные бинарные шаблоны (local binary pattern).

SURF — ускоренные устойчивые признаки (speeded up robust features).

Центр. лица — центрированные лица относительно среднего лица.

Методы и обработки

Экспериментальные базы изображений

The AT&T Laboratories Cambridge database (АТТС)

400 экз., размер 92х112px

The Extended Yale Face database B (EYBC)

1984 экз., размер 168х192px

Выборка фотографий студентов АлтГУ (MF10)

170 экз., размер 160x192px

14

Результаты тестов (ошибки в %)

Набор признаков ELM kNNЦентр. лица, PCA 6,25% 3,75%HOG, PCA 0% ‒ 1,25% 5%

HOG + Центр. лица, шкалирование, PCA 6,25% 3,75%

Сравнение ELM с kNN ATTC

15


Набор признаков ELM kNNLBP, центрирование, PCA ~0% 0,4%

Сравнение ELM с kNN EYBC

16


Набор признаков ELM kNNSURF 80,47% 26,41%Центр. лица, PCA 20,59% 47,06%

HOG, PCA 32,35% 41,18%


LBP, центрирование, PCA 47,06% 67,65%

Сравнение ELM с kNN MF10

17


Набор признаков ELM kNNSURF 89,16% 14,71%Центр. лица, PCA 8,82% 26,47%

HOG, PCA 32,35% 50%


LBP, центрирование, PCA 55,88% 67,65%

Сравнение ELM с kNN MF10*

MF10* ― гистограммы выборки дополнительно были выровнены.

18

Выводы

1. Результаты тестов на ATTC показали, что классификатор kNN с вариацией геометрии справляется немного лучше, чем ELM.

2. ELM на высоком уровне распознает лица с вариацией освещения.

3. Раннее полученный лучший результат классификации с помощью kNN признаков SURF значительно ухудшился при смене классификатора.

4. Признаки, относительно успешно работающие на немодельных выборках при их классификации с помощью kNN, качественнее различаются с помощью ELM.

5. Наилучший результат на реальных данных ― ошибка 8,82% ― получен классификацией ELM главных компонент пространства центрированных лиц.

Сравнение ELM с kNN

19

ATTC


Набор признаков ELM kNNCurvelet, PCA 5% 3,75%Curvelet, 2D-PCA 20% 5%

Влияние использования Курвлетов

20

EYBC


Набор признаков ELM kNNCurvelet, PCA 31,99% 27,69%Curvelet, 2D-PCA 32,26% 25,67%


21

MF10


Набор признаков ELM kNNCurvelet, PCA 29,41% 41,18%

Curvelet, 2D-PCA 44,12% 41,18%


22

Влияние использования Курвлетов MF10*

MF10* ― гистограммы выборки дополнительно были выровнены.


Набор признаков ELM kNNCurvelet, PCA 11,76% 38,24%

Curvelet, 2D-PCA 38,24% 41,18%

23

Выводы

1. В целом, на модельных выборках работает лучше метод kNN, на немодельных — ELM.

2. Курвлеты неустойчивы к вариации освещения в изображениях.

3. Применение одномерных главных компонент позволяет получить лучшее качество распознавание, нежели двумерных.

4. Наилучший результат на немодельных данных ― ошибка 11,76% ― получен классификацией ELM главных компонент пространства признаков Курвлетов с предварительной коррекцией гистограмм


24


Набор признаков*доля перебора значений параметров

по 1/3 всеЦентр. лица, PCA 6,25%

Центр. лица, 2D-PCA 65% 47,5%

Центр. лица, 2D-PCA, PCA 7,5% 7,5%

LBP, центр., PCA 37,5%

LBP, центр., 2D-PCA — —

LBP, центр., 2D-PCA, PCA 41,85% 40%

Влияние использования 2D-PCA ATTC

* ― в качестве классификатора используется ELM.

25

Влияние использования 2D-PCA EYBC




Центр. лица, 2D-PCA — —

Центр. лица, 2D-PCA, PCA 11,16% —

LBP, центр., PCA 0%


LBP, центр., 2D-PCA, PCA 93,95% —


26

Влияние использования 2D-PCA MF10




Центр. лица, 2D-PCA 52,94% 32,35%

Центр. лица, 2D-PCA, PCA 20,59% 14,71%LBP, центр., PCA 47,06%


LBP, центр., 2D-PCA, PCA 50% 50%


27

Влияние использования 2D-PCA MF10*

* ― гистограммы выборки дополнительно были выровнены.


Набор признаков**доля перебора значений параметров


Центр. лица, 2D-PCA 55,88% 47,06%

Центр. лица, 2D-PCA, PCA 14,71% 5,88%LBP, центр., PCA 55,88%


LBP, центр., 2D-PCA, PCA 58,82% 52,94%

** ― в качестве классификатора используется ELM.

28

Выводы

1. Использование 2-хмерных главных компонент уменьшения ошибки распознавания не дало.

2. Дополнительное уменьшение размерности классическим PCA улучшает качество распознавания.

3. Наилучший результат на реальных данных ― ошибка 5,88% ― получен классификацией ELM главных компонент подпространства 2D-PCA центрированных лиц (при полном переборе параметров с предварительной обработкой гистограмм изображений лиц).

Влияние использования 2D-PCA

29

Парадокс в простом примере

29

0 1-1

Ошибка: ~50% ???

1 2

30

Парадокс в простом примере

30

0 1-1

1 2

положительные числа отрицательные числа

0 1-1

1 2

Ошибка возрастает

Ошибка ~0

31

Основные результаты работы

31

1. ELM на высоком уровне распознает лица с вариацией освещения.

2. Признаки, относительно успешно работающие на немодельных выборках при их классификации с помощью kNN, качественнее различаются с помощью ELM.

3. Курвлеты неустойчивы к вариации освещения в изображениях.

4. Использование двумерных главных компонент (2DPCA) уменьшения ошибки распознавания изображений лиц не дало.

5. Наилучший результат на реальных данных ― ошибка 5,88% ― получен классификацией ELM главных компонент подпространства 2D-PCA центрированных лиц (с предварительной обработкой гистограмм изображений лиц).

СПАСИБО ЗА ВНИМАНИЕ!

Распознавание лиц с помощьюэкстремального обучения нейронов

Барнаул 2013

Докладчики: А.Н. Вязьмина, 425мД.С. Анисимов, 425м

Министерство образования и науки Российской ФедерацииФедеральное государственное бюджетное образовательное учреждение

высшего профессионального образования«Алтайский государственный университет»

Математический факультетКафедра информатики

Методы машинного обучения

Data & Analytics

Распознавание лиц с помощьюэкстремального обучения нейронов