Нейронныесетии...

Нейронные сети инейрокомпьютеры

Лекция 6.Импульсные нейронные сети

Кафедра ВТ НГТУ, А.В.Гаврилов

Почему необходима нейроморфнаяархитектура компьютеров

Кафедра ВТ НГТУ, А.В.Гаврилов

Импульсные (спайковые) нейронные сети –третье поколение искусственных нейронных

сетей

•SNN (ИмНС) способны решать всезадачи, решаемые обычными НС•SNN имеют бОльшуювычислительную мощность,•SNN имеют меньшееэнергопотребление

Кафедра ВТ НГТУ, А.В.Гаврилов

Сравнение различных видов hardware

Кафедра ВТ НГТУ, А.В.Гаврилов

Существующие моделиимпульсных нейронов

• Модели, максимально приближенные к реальнымбиологическим нейронам, например, модельХодкина-Хаксли (Hodgkin–Huxley) или модельИжикевича (Izhikevich)– Недостаток: сложность вычисления выходного сигнала имембранного потенциала с использованием вещественныхчисел

• Модели, наиболее приспособленные к аппаратнойреализации, например, IBM TrueNorth– Недостатки:

• Очень большая разница между архитектурой чипа ибиологическими нейронными сетями,

• Ограниченные возможности обучать нейроны в процесс5 эксплуатации чипа

Кафедра ВТ НГТУ, А.В.Гаврилов

Модель нейрона Ходкина-Хаксли

Где: Cm – емкость мембраны,Isyn - синаптический входной ток,Ij ток через ионный канал

Кафедра ВТ НГТУ, А.В.Гаврилов

IF-модель нейрона(Integrate-and-Fire Neuron Model)

Кафедра ВТ НГТУ, А.В.Гаврилов

IF-модель нейрона (2)Уравнение для мембранного потенциала v(t):

Где: Cm – емкость мембраны,Es – инверсный потенциал мембраны s-го синапса,wj – вес j-го синапса,As – площадь мембраны, связанной с s-ым синапсом

Если мембранный потенциал превышает пороговое значение vth, тоон сбрасывается до vreset, и генерируется потенциал действияили импульс (спайк).gs

j(t) – проводимость j-го синапса.

Кафедра ВТ НГТУ, А.В.Гаврилов

IF-модель нейрона (3)Когда импульс достигает j-го синапса в момент времени top,проводимость синапса усиливается по формуле:

При отсутствии импульса проводимостьсинапса уменьшается в соответствии суравнением:

Кафедра ВТ НГТУ, А.В.Гаврилов

Модель нейрона Ижикевича

Где a, b, c, d, k, Cm - различные параметры нейрона,Vm — это разность потенциалов на внутренней и внешней сторонемембраны,Um — вспомогательная переменная,I — это внешний постоянный приложенный ток.

В данной модели наблюдаются такие характерные для нейронов свойствакак: генерация спайка в ответ на одиночный импульса внешнего токаи генерация последовательности спайков с определённой частотойпри подаче на нейрон постоянного внешнего тока.

Кафедра ВТ НГТУ, А.В.Гаврилов

Модель нейрона из:Andrey V.Gavrilov, Valeriy M.Kangler, Mikhail Katomin, Konstantin Panchenko. A Model of Spike Neuron Oriented to Hardware Implementation. // Proc. of The 11th International Forum on Strategic Technology, Novosibirsk, 2016.- Vol. 1.

⎩⎨⎧

<=>

=H U(t)при 0,

H U(t)при,1)(tS

Сигнал на выходе нейрона в дискретные моменты времени t = 0, 1, 2 …описывается как:

где

– пороговое значение нейрона,

– уровень возбуждения нейрона.

– значение потенциала на выходе рассматриваемого нейрона.

Кафедра ВТ НГТУ, А.В.Гаврилов

Модель нейрона (2)

∑ ∆−−+−=i

ii UtrSwtUtU )1()1()(

Уровень возбуждения нейрона U(t) складывается из приращений уровняот взвешенных импульсов, приходящих на синапсы в предыдущиемоменты времени.В каждый такт времени уровень возбуждения уменьшается на величинуутечки ∆U.Таким образом, уровень возбуждения нейрона можно выразить так:

где r – вклад одного входного импульса в уровень возбуждения нейрона.

Кафедра ВТ НГТУ, А.В.Гаврилов

Модель нейрона (3)

⎪⎩

⎪⎨

⎧>∆∆−−

==

случае другом в,HH-1)-H(t при,)1(

1S(t) при,)(

min

min

max

HHtH

HtH

Для обеспечения на выходе нейрона частотно-импульсной модуляции сигналавводится переменное значение H, которое увеличивается до максимумапри каждом срабатывании нейрона и убывает на каждом такте на величину

Кафедра ВТ НГТУ, А.В.Гаврилов

a) Тактовые импульсы

b) Сигнал с сенсора 1

c) Сигнал с сенсора 2

d) Сигнал от другого нейрона

g) Выходной сигнал

e) Уровень возбуждения

f) Порог

Модель нейрона (4)

Кафедра ВТ НГТУ, А.В.Гаврилов

Методы кодирования информации вимпульсных нейронных сетях

• Паттерн активности сети (волновой процесс) несет информацию (осцилляторные сети)

• Импульсно-частотная модуляция• Импульсно-фазовая модуляция• Событий подход (Event-Driven) ккодированию – каждый импульс есть событие– Время появления одиночного импульса– Комбинация импульсов во времени

Кафедра ВТ НГТУ, А.В.Гаврилов

Методы обучения импульсныхнейронных сетей

• метод STDP (spike timing dependent plasticity) (модифицированное правило Хебба),

• обучение обратным распространениемошибки,

• управляемый метод обучения Хебба(supervised Hebbian learning)

• метод ReSuMe,• растущие импульсные нейронные сети,• глубокое обучение (deep learning).

Кафедра ВТ НГТУ, А.В.Гаврилов

Проекты по созданиюаппаратных импульсных

нейронных сетей

Кафедра ВТ НГТУ, А.В.Гаврилов

• Проект DARPA Synapse (DARPA’s Systems of NeuromorphicAdaptive Plastic Scalable Electronics initiative) [8], в рамкахкоторого финансируются работы в IBM (IBM Research) и HRL Laboratories.

• Соисполнителями являются несколько университетов инаучных центров: Stanford University, Cornell University, Universityof Wisconsin-Madison, University of California, Merced, Columbia University Medical Center, Boston University, Neurosciences Institute, University of Michigan, University of California-Irvine, George Mason University, Portland State University и еще SetCorporation.

• Программа начата в 2008 году. За первые 5 лет объемфинансирования более 106 миллиона долларов. Цель проекта— создание нейроморфного чипа, содержащего 1010 нейронови 1014 синапсов.

Кафедра ВТ НГТУ, А.В.Гаврилов

• В 2014 г. ученые фирмы IBM создалинейронный процессор TrueNorth [17].

• Нейрочип TrueNorth содержит 5,4 миллиарда транзисторов, что позволяетреализовать один миллион нейронов и256 миллионов связей междунейронами – синапсов.

Кафедра ВТ НГТУ, А.В.Гаврилов

IBM TrueNorth chip-4096 cores-106 programmable neurons-> 256*106 synapses-5.4 billion transistors,-< 100 mW

Кафедра ВТ НГТУ, А.В.Гаврилов

• Проект HBP (Human Brain Project) Евросоюза [9], врамках которого финансируются работы вразличных европейских научных центрах иуниверситетах.

• В рамках этого проекта существуют, в частности, суб-проекты:

– Neuromorphic Computing,– Cognitive Architectures,– Neurorobotics,– Neuroinformatics и другие.

• На эту программу выделено около одногомиллиарда евро.

Кафедра ВТ НГТУ, А.В.Гаврилов

• Проект SpiNNaker (Великобритания, с 2007 года) [10], в котором участвуют несколькобританских университетов и компаний:– University of Manchester,– University of Southampton,– University of Cambridge,– University of Sheffield,– ARM Ltd,– Silistix Ltd,– Thales.

Кафедра ВТ НГТУ, А.В.Гаврилов

• Проект фирмы Qualcomm, специализирующейся в разработкепроцессоров для мобильных систем.

• В рамках проекта фирма представилаоднокристальный нейронныйпроцессор Qualcomm Zeroth [11].

Кафедра ВТ НГТУ, А.В.Гаврилов

• Проект MoNETA (с 2008 года) [12] фирмы Hewlett Packard.

• Фирма HP впервые создаламемристоры и на их основе совместно сБостонским университетомразрабатывает новые вычислительныеархитектуры.

Кафедра ВТ НГТУ, А.В.Гаврилов

• Проект Blue Brain Project (с 2005 года) университета EPFL (Швейцария).

• В рамках проекта максимальноправдоподобно моделируется работамозга млекопитающих насуперкомпьютере IBM Blue Gene.

• Результаты планируется использоватьв медицине.

Кафедра ВТ НГТУ, А.В.Гаврилов

• Проект Neurogrid группы Brains-In-Silicon иСтэнфордского университета.

• Та же цель, что и в проекте Blue Brain Project, но сиспользованием своего специализированноговычислительного устройства для моделированиямозга.

• Наиболее крупный реализованный цифро-аналоговый модуль среди прочих проектов (1 млннейронов). Синапсы реализованы при помощи FPGA и модуля памяти, а плата с нейронами состоит изаналоговых микросхем [13]. Применение аналоговоймодели является решением проблемыэнергопотребления — устройство на 1 млн нейроновпотребляет 3,5 Вт электроэнергии.

Кафедра ВТ НГТУ, А.В.Гаврилов

• Проект FACETS/BrainScales [14] (с 2005 года) включает в себя ряд университетов во главе сГейдельбергским университетом.

• В рамках проекта разрабатывается архитектураимпульсных нейронных сетей и их аппаратнаяреализация.

• Реализован нейровычислительный модуль наоснове специфичной цифро-аналоговойархитектуры с распределенной системой памяти игибкой настройкой параметров синапсов. Общееколичество нейронов на такой плате равняется 200 тыс., синапсов – 50 млн.

Кафедра ВТ НГТУ, А.В.Гаврилов

• Наиболее перспективными из этихпроектов являются первые три.

• По проекту DARPA разработки ведутсяпо двум направлениям:– создание чипа на традиционной цифровойоснове (IBM Research),

– создание чипа c использованиеммемристоров [15, 16] для обеспеченияпластичности (обучаемости) синапсовнейронов (HRL Laboratories)