ATAT--66 Когнитивна Когнитивна

роботикароботика::

Оцењивање положаја мобилног Оцењивање положаја мобилног

робота и карактеристичних робота и карактеристичних

објеката у технолошком објеката у технолошком

окружењуокружењу

Проф. Проф. др др ЗоранЗоран МиљковићМиљковић

11// 3232

22// 3232

Симултано оцењивање положаја Симултано оцењивање положаја

мобилног робота и мобилног робота и

карактеристичних објекатакарактеристичних објеката

-- Simultaneous Localization and Mapping (Simultaneous Localization and Mapping (SLAMSLAM))

-- Concurrent Localization and Mapping (CLAM)Concurrent Localization and Mapping (CLAM)

Основна идеја: : „ „ Да ли је могуће поставити мобилни робот у потпуно Да ли је могуће поставити мобилни робот у потпуно непознато окружење, на непознату позицију са непознатом непознато окружење, на непознату позицију са непознатом оријентацијом, а да робот оријентацијом, а да робот самостално самостално започне постепензапочне постепено о оцењивање положаја карактеристичних објеката у оцењивање положаја карактеристичних објеката у окружењокружењу, у, на основу чега на основу чега ће истовремено и вршити одређивање ће истовремено и вршити одређивање сопственог положаја?сопственог положаја? ”

33// 3232

0: : 0( , | , , )k k o kp x m z u x

Напомена:Напомена: аквизиција сензорске информације врши се између робота и аквизиција сензорске информације врши се између робота и

карактеристичног објекта;карактеристичног објекта;

Непознате величине:Непознате величине:

Вектор положаја мобилног робота и вектор положаја карактеристичних Вектор положаја мобилног робота и вектор положаја карактеристичних

објеката.објеката.

44/77/77

55// 3232

Резултати симулације: Оцењена путања и стварна путања мобилног Резултати симулације: Оцењена путања и стварна путања мобилног

робота робота

66// 32 32

Алгоритам неуронског линеаризованог Алгоритам неуронског линеаризованог

Калмановог филтра Калмановог филтра -- НЛКФНЛКФ

-Линеаризовани Каманов филтар почива на претпоставкама белог шума у

моделу кретања и сензорском моделу мобилног робота;

-ЛКФ потцењује грешку оцењивања - постаје оптимистичан;

-Оптималност филтра директно утиче на тачност;

-Примери немоделираних утицаја су: обојениобојени шумшум у у управљачкомуправљачком

системусистему, проклизавањепроклизавање точковаточкова мобилногмобилног роботаробота у у токутоку кретањакретања и грешкегрешке

одометријеодометрије;

- Математички модели не могу обухватити све аспекте проблема:

изразита нелинеарност или промена неких ефективних параметара

мобилног робота (ефективни пречник точка или ефективни размак између

точкова) мењају основне претпоставке на којима почива нелинеарна

верзија Калмановог филтра.

77// 3232

( | 1) M

| 1 ( | 1) ( | 1)

( | 1) ( | 1)

ˆ ( , )

ˆ ˆ ˆ

ˆ ˆ

k k vnet

k k k k k k

k k k k

v

w w

m m

x f x

x x x

x x

Алгоритам неуронског линеаризованог Алгоритам неуронског линеаризованог

Калмановог филтра Калмановог филтра -- НЛКФНЛКФ

T T T T[( ) ( ) ( ) ] v w mx x x x

- Увођење вештачке неуронске мреже

за моделирање непознатих утицаја

Проширивање

вектора стања и

матрице коваријанси

xx xw xm

wx ww wm

mx mw mm

P P P

P P P P

P P P

( ) ( )ˆ ˆ( , , )k-1|k-1 k-1|k-1 kVNET v wx g x x u - Вештачка неуронска мрежа

Основне

претпоставке ЛКФ-а и

даље важе...

88// 3232

2 2

1| 1 1| 1

, ,

| 1 1 , , 1 1

,

1. ( , , , )

cos( )

ˆ2. ( , ) sin( ) , ,

( ) ( )

3. , ( , ) ; (v

k k k k k k

r k k r k k

k k k k r k k r k k k k k

r k k

u

x v t t

y v t t

t

diag diag

u u

u

Алгоритам НЛКФ x P u z

x f x u g w x u

f g

f 0 C R

0

2 2 2

ˆ ˆ, | 1 , | 1

2 2, ,

, , ,

, , )

4.

5.

6.

( ) ( )ˆ7. ;

tan 2( , )

ˆ8.

r s

T Txx k k xx k k u

Ti i ik k k

jx r k jy r kik

jy r k jx r k r k

ik

for all observed features r do

if landmark hasbeenseen before

m x m y

a m y m x

x x u u

x

P f P f f C f

z

z

H

1| 1 | 1

| | 1

| | 1

,

, | 1

, | 1 , , | 1

,

( ) ( ) ( )

9. ( )

ˆ ˆ ˆ10. ( )

11. ( )

12.

ˆ

ˆ ˆ13. ( , ) ,

ˆ

r w m

ik

i T i iTk k k k k k k k

i i ik k k k k k k

i ik k k k k k

j x

xx k k

n n r k k k j y xx k k aug

j s

else

x x xz h h h

K P H H P H R

x x K z z

P I K H P

mP 0

m m x z m P J0 R

m

| |

14.

15.

ˆ16. ,

Taug

k k k k

end if

end for

return

J

x P

Алгоритам неуронског Алгоритам неуронског

линеаризованог линеаризованог

Калмановог филтра:Калмановог филтра:

2

2

1exp

2i

i

ξ x x μ

1 exp 2

1 exp 2

xξ x

x

НЛКФ је развијен за

сигмоидну активацину сигмоидну активацину

функцијуфункцију

...тј. НЛКФНЛКФ--ВПВП и

НЛКФНЛКФ--РАФ...РАФ...

као и радијалну радијалну

активациону функцију активациону функцију

Гаусовог типаГаусовог типа

99/77/77

1.1. НЛКФНЛКФ--ВП (једнослојне ВНМ)ВП (једнослојне ВНМ) 2. НЛКФ2. НЛКФ--ВП (двослојне ВНМ)ВП (двослојне ВНМ)

3. НЛКФ3. НЛКФ--РАФРАФ

4. ЛКФ4. ЛКФ

1010// 3232

Дискусија Дискусија

- Неизбежно је да ЛКФ потцени грешку, услед чега постајеоптимистичан;

- Проблем представљају и конструктивне карактеристике мобилногробота које значајно могу да утичу на управљачку команду;

- Да би компензовали овај утицај конструкције на процес оцењивањаположаја током кретања, развијенразвијен јеје новинови видвид линеаризованоглинеаризованогКалмановогКалмановог филтрафилтра интегрисанинтегрисан саса вештачкомвештачком неуронскомнеуронском мрежоммрежом;

- Монте Карло симулација показала је да је нормализовананормализована грешкагрешкаоцењивањаоцењивања мањамања кодкод НЛКФ НЛКФ оценаоцена (без обзира на тип филтра –НЛКФ-ВП или НЛКФ-РАФ);

- Приликом поновне детекције карактеристичних објеката(затварање петље), НЛКФ НЛКФ генеришегенерише бољебоље оценеоцене грешкегрешке, па самимтим и остаје у оквиру граница одређених бројем независних МонтеКарло понављања.

1111// 3232

ССимултано оцењивање положаја мобилног робота и имултано оцењивање положаја мобилног робота и

карактеристичних објеката уз примену система карактеристичних објеката уз примену система

препознавања на бази калибрисане камерепрепознавања на бази калибрисане камере

- Симулација => Реални

свет

- Применити НЛКФ-а на

мобилном роботу;

- Искористити предности

НЛКФ-а у

експерименталном

процесу;

- Моделирање непознатих

недетерминистичких

утицаја у реалном времену

модификацијом

параметара вештачке

неуронске мреже

1212// 3232

Модел инфинитезимално малог отвора бленде (pinhole camera)Модел инфинитезимално малог отвора бленде (pinhole camera)

1313// 3232

- Карактеристични објекат представља објекат у равни слике који се на

неки оптималан начин разликује од осталих;

1414/77/77

Дефинисање Дефинисање

карактеристичних карактеристичних

објеката у „меморији” објеката у „меморији”

филтра:филтра:

- позиција у равни слике -

(u,v) координате

(дефинисана применом

алгоритма препознавања);

- део слике димензија (20

[pxl] х 20 [pxl]), где је

идентификовани објекат у

центру.

тј. вектор мерења

је:

Ti i iu v siz

1515// 3232

Експериментални резултатиЕкспериментални резултати

-- Мобилни робот Khepera IIМобилни робот Khepera II

-- USB камера (320х240)USB камера (320х240)

-- Десктоп рачунар (2,20 GHz; 1 GB RAM) Десктоп рачунар (2,20 GHz; 1 GB RAM)

-- RS232 (мобилни робот и рачунар)RS232 (мобилни робот и рачунар)

-- USB (камера и рачунар)USB (камера и рачунар)

1616/77/77

Неуронски линеаризовани Неуронски линеаризовани

Калманов филтарКалманов филтар--

експериментални резултатиекспериментални резултати

- Са леве стране су дате

НЛКФ оцене позиција свих

карактеристичних објеката

- Са десне стране је НЛКФ

оцена положаја мобилног

робота

1717// 3232

Упоредни приказ Упоредни приказ

НЛКФНЛКФ, , ЛКФЛКФ и и

одометријскиходометријских оцена оцена

положаја мобилног положаја мобилног

робота (путање)робота (путање)

Te ( ) ( )filt stv filt stvr r r r

1818/77/77

1919// 3232

Дискусија Дискусија - Неуронски линеаризовани Калманов филтар омогућује on line

модификацију параметара вештачке неуронске мреже (машинско учење)

током експлоатације мобилног робота;

- Претпоставља се да вештачка неуронска мрежа може да научи (оцени)

нелинеарну везу која постоји између стања мобилног робота и управљачких

величина;

- Информације о овој функционалној зависности се „налазе” у параметрима

вештачке неуронске мреже;

- Експериментални резултати потврђују да НЛКФ у идентичним

контролисаним условима генерише оцену положајагенерише оцену положаја мобилног робота више више

тачноститачности о ЛКФ-а и одометрије.

2020// 3232

Еволуција роботикеЕволуција роботике

2121// 3232

Нова хибридна управљачка архитектураНова хибридна управљачка архитектура

2222// 3232

LEGO LEGO MindstormsMindstorms NXTNXT

-- Ecole Polytechnique Ecole Polytechnique

Fédérale de Lausanne Fédérale de Lausanne ––

(EPFL)(EPFL)

-- University Carnegie University Carnegie

Mellon Mellon –– The Robotics The Robotics

InstituteInstitute

-- University of University of AchenAchen

-- University of Zurich University of Zurich

((профпроф. . дрдр РолфРолф ФајферФајфер) )

-- ……

2323/77/77

Експериментални Експериментални

резултатирезултати

2424// 3232

Нови хибридни алгоритам за управљање мобилним Нови хибридни алгоритам за управљање мобилним

роботима на основу повратне информације од роботима на основу повратне информације од

камерекамере

УОИК – управљање на основу повратне

информације од камере

УОП – управљање на основу положаја

НЛКФ – неуронски линеаризовани

Калманов филтар

,T

u v

- Вектор стања

- Управљања

, ,T

p x y

2525// 3232

- Транспортни задатак раздвојен је на два дела:

- глобално управљање (од тренутног положаја до положаја

непосредно испред машине алатке или међускладишта) и

- локално управљање (од положаја непосредно испред

машине алатке или међускладишта до саме машине алатке

или међускладипта).

- Елиминисана потреба за транспортном инфраструктуром у виду жица

или карактеристичних маркера;

Елиминисана потреба за информацијом о положају и облику свих

објеката у оквиру посматраног технолошког окружења;

- Предност: промена распореда машина алатки или међускладишта,

2626/77/77

2727/77/77

Експериментални Експериментални

резултати:резултати:

- а)-б) кретање од

почетног положаја до

првог циљног положаја

(УОП петља);

- б)-д) кретање од

првог циљног положаја

до прве машине алатке

и преузимање радног

предмета (УОИК

петља);

- д)-з) кретање од прве

машине алатке до

другог циљног

положаја (УОП петља);

- з)-к) кретање од

другог циљног

положаја до друге

машине алатке и

постављање радног

предмета на жељену

позицију (УОИК

петља).

2828// 3232

Почетна слика Почетна слика Циљна слика Циљна слика Завршна сликаЗавршна слика

након првог сегмента УОИК петље.

Експериментални резултати:Експериментални резултати:

2929// 3232

Почетна слика Почетна слика Циљна сликаЦиљна слика Завршна сликаЗавршна слика

након другог сегмента УОИК петље.

Експериментални резултати:Експериментални резултати:

3030/77/77

Експериментални Експериментални

резултати:резултати:

-НЛКФ оцене

положаја мобилног

робота;

3131// 3232

ДискусијаДискусија

- Камера је примењена за навођење према жељеном положају који је

дефинисан циљном сликом ради преузимања радног предмета

- Камера обезбеђује информацију неопходну оцењивање положаја АВР

на основу неуронског линеаризованог Калмановог филтра;

- Експериментални резултати потврђују да развијени новинови хибриднихибридни

управљачкиуправљачки алгоритамалгоритам омогућаваомогућава обављањеобављање транспортногтранспортног задатказадатка, који

се састоји од навигације између међускладишта/машина алатки и

преузимања/постављања радног предмета;

- За примену развијеног хибридног управљачког алгоритма нисунису

потребнипотребни вештачкивештачки постављенипостављени карактеристичникарактеристични објектиобјекти у у технолошкомтехнолошком

окружењуокружењу ради навигације АВР;

- Структура НЛКФ алгоритма обезбеђује примену других Гаусовских

филтара (АСАМ или ЛИФ);

- За остваривање фреквенције од 30 [Hz] неопходан додатни хардвер.

3232// 3232

ХвалаХвала вамвам нана

пажњипажњи!!

Питања?Питања?