12

Neural Network - cs.utexas.edu · 0j?o:o pro lk}5{há^s+q7o ß s+ Fs+ßJÞ+lkp }kj?qká^{0o s +{-{^äào èv{Æß s5á" +{^o åÍß s z o lvzJìv p qvÞvu i`p qv { m myß s!á" {(o"m¢ènj

  • Upload
    others

  • View
    1

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Neural Network - cs.utexas.edu · 0j?o:o pro lk}5{há^s+q7o ß s+ Fs+ßJÞ+lkp }kj?qká^{0o s +{-{^äào èv{Æß s5á" +{^o åÍß s z o lvzJìv p qvÞvu i`p qv { m myß s!á" {(o"m¢ènj

������������� �������������������� �!"���#�%$'&(��) *+���#���!,-��.0/1��2435*+�#,����#���6/1���"�" �� �7��98:�1$�/�/�;=<?>�>�@ A

BDCFE�G(HJILKNMOG-POQSRTC�IVU?W9XYQ[Z\G�RO]^I�_`_baYWcC�d9I�EYMT_'G-RTef I�MTX�WgI�H�WJ]-MhE�G^WJR

ikj?lnm�o prqks�tvuxwys+z0{-|yj+qk}T~�p#m�o sJ��prp��!�!lv�#j?p�qv{-q

�F�"�!�(�������"�����-�����-���7�+��� ���+�"���"���"�"�"�7�F�7���������������S�-���x���7�^�"�!�4�7� �����n�7�'¡¢�!£-¤�£?¥¦y�����

§S¨ª©"«"¬(­!®-«�¯�° ���7±��"���²�����:³�� ���S�(���0���-����� ´��"���"������µ!�^�6¶7�7���·¸·+�"����¹����"��º�����(���%���������7� �:�^º7±��»���²¼7�9�7�7�-������� ���·v½5�'µ7� ���%�����:³�� �������¾��������%�^�c�-� ��������¹-�7�¿·+À�^�7�"��� �+� ���"�Á���9� ����������±x��µ��"�Â�F�^�����"���:�^�������g·��+�����7¹²¼!��¹-µ?�F�-�7·��S�-�����:�-���0� �:�^Àº��¿±��Â����½ªÃ��"��^�7���������:³�� �²·+�+�!�^�����"�y�(����µ���¹�µ7±Â�O�����+À�±����7�"�^��1·+�"���"±��������7¹c���7�:µ�c¹�����·��-���"��� �+� ���"�Ä��^�¸º5�S�����-µ7��º7�Â�������"±Â�O� ��� ��±Â���1�"���5�"�"�¿�^±¿±Â�O�r�-�²���"±¿�(���¿���"±Â����S�^±¿±ÂÀÅ����^±¿�²�����:³�� ���F���7�:µÆ�^�»�������!·�����¹������:³�� ���"½v���c��µ7���»�7�-�5� ��5Ç��²�����-�5������S��� ��µ7�?·J�r�-��� ����±��?���7¹9�9���"���:�^±È�7����Ç'�^��³�¹����¿·7�-���"�y� �+� ���"�É�7������¹S��µ��yÊ1��À�r�-���"�·��+�7º7ËÈ�����7±¿�^����������ÌÍÊ��+Ë'Î��-±�¹��^������µ���½!Ã��-���·9�����¢·�� �:�^��±¿�"·J�����y�7±¿�(���¿�-����?·+�"±#�?���"����������±�±�� �����`�"����±����"·y���-�'�»¶!�7±��"���`��� ���������S�^�k��µ���������� ���-��º����:�^±v�?�+� À���"����Ï»�?¡�À�¦%���-�7�7·����7¹�������³����½7�'µ��F���"����±�������¹²�5� �����^���S�-���"�»�����"�����7�^���·������µ7�^���-�`�-�0���7¹����¿·��·�� �:�^�!·7�(�:·J����±¿±ÂÀͶ!���7�·���� ���������k½kÐF�������"����±�������µ7�ÇÑ��µ7�^���µ��F�"���-±����·9�-� �������»¹-�7�¿·7�^�7�"�F�"����������±�±�� �4��^�J¹-���"�^��±Â�9�¿��� ����^���F��µ7�F¶7�!�^±v�-±Â���ÂÀ���7·��»�^�È��µ7�F�����:³�� ��7�-�7·9��µ7�^�4Ê`��Ë���-��º5�»�-�J��Òv�"� �������»��� ��µ��?·9�r�-�4����±��?���7¹����^±ÂÀÅÇ��-��±¿·k�7�7�-��Àű��¿����^�4�"�-��������±n�:�^��³?�"½

Ó Ô�Õ�Ö!×kØ�Ù�Ú¢ÛxÖ5Ü�Ø�Õ

Ý s+lvqn}5p�qvÞàß s!á"��{(o"mgá^j+ß�ß âãjàäkj�â!��s�j�}àåÍs�ßhzcj+�7p�qvÞàm á(p�{-q�o prænáTz0{-j�m:lvß {^z0{-q7o mJo�sço�èk{é4j?ß�o�è1ê mFlväväx{^ߢj�o�z0s7m:äkèv{^ß {?ë5j?qk}go�èk{^qTß�{^o�lvß qho�èv{�äkj�â!��s�j�}�o�sJo èv{�Þ+ß s+lvqn}cì!âgäkj+ß j?íá"è7lvo�{?u�î»èk{-m�{¸ß s5á"�+{(o"mTm:{-ß�ï�{¸j?qðp�q!ï�j+��lkj?ìv��{Oß s+��{6p�qñzcj?q!âòj?ß {-j+mhs?å�m�á^p�{^q7o�præná6ß�{^ím:{�j?ß"á"è\p�qká(��lk}5p�qvÞóèkprÞ�è5í�w¢í�åÍs�ß á^{Oo�{�m�o prqkÞvë»z0{(o�{-s+ß s+��s+Þ�â?ë�ß"j+}5p�s+í j�m�o ß�s�qvs+zJâ?ë�{^q!ï!p�ß�s�q5íz0{^q7o j+�vm�j+z0äv��prqkÞvë�j?qk}�z0p#á(ß s?í Þ+ß"j�ï!pro�â%{(ô5äx{^ß prz0{-q7o j�o p�s+qgõ�ö?ë ÷�ø�u7î»èv{^âJèkj�ï+{»ìx{^{-q0lkm:{�}åÍs+ß�z0s�ß�{yo èkj?qOù7ú�â+{-j+ß m^û5o�èk{^âTü�{-ß�{�p�qkm:o�ß lvz0{-q�o"j?�ª{+u Þku�ëkp�q�}5p#m á(s�ï�{^ß prqkÞ�o�èv{9ækß"m�o�{-ï7íp�}v{^qká^{cs?å%ý�í�ß"j�â¸m�s+lvß"á({�mSs�l5o m�p#}5{�o�èv{Tm�s+�#j?ßSm�â5m�o {^zVp�qòö-þ+ÿ7÷ õ � ø�u'î�s5}vj�â+ë'm�s+lkqk}5p�qvÞß�s5á"�+{^o m%j+ß�{9z�lká"èOp�q6}v{^zcj?qn}Oj+m�o èv{9z0s7m�oyá(s�m:o:í {��È{-á(o�p�ï+{�äk��j?o:åÍs�ß�zbåÍs+ßyá(s+qn}5lkáo p�qvÞ{(ô5än{-ß�p�z0{-q�o"m4p�qho�èv{�lkävän{-ß�j�o z0s�m�ävèv{-ß�{+u

�1p��+{�z0s�m:o²ß s5á"�+{^o m^ëÈm�s+lvqn}5p�qvÞhß s5á"�+{^o m²j?ß {�lnm:lkj+���râT{���lkpräkän{�}6ü�pro�è¸ækqkmyo sT�+{^{-äo�èv{-z[s+q j=ß�{-��j?o�p�ï+{-��âàm�o ß j+prÞ�è7ocäkj�o è j?qk}\zcj?p�q7o j?p�qãm�o"j?ìvp���pro�â?u��\èvp���{Oækqnmhj+ß�{6j+q{��È{-áo p�ï+{"änj+m m:p�ï+{��cÞ�lvp#}vj?qká^{cm:â5m:o�{-zTëªo�èv{-â p�qká^ß�{�j+m�{�ìxs?o èózcj+m mSj?qn} }vß j+ÞOs+q o�èk{ß�s5á"�+{^o�ü�èvp#á"è0��s�ü�{-ß m`o�èk{%ækqkj+�nj+��o pro�lk}5{�s�ß ������������o�èkj?oFá-j?q0ìx{�ß {-j+á"èk{-}Jü�pro�ècj�Þ�prï�{^qj?z0s+lkq�o�s+åFåÍlk{^��u�� ß s5á"�+{(o�ü�pro�èóm�zcj?����{^ߢækqkm�s�ßSqvsTækqnm9j�o9j+����á^j?qóäxs?o {^q7o�p#j+�r��â��kâz�lká"è0èkprÞ�èv{^ß�o�èkj+qcj�åÍlv���rí�ænqvqv{-}Jï�{^ß"m:p�s+q1u��%q5åÍs�ß:o lvqkj?o�{^��â+ë�m:lná"ègjS}5{�m:p�Þ+q�p#m�lkqkm�o"j?ìv��{+ëß�{���lkprß p�qvÞ�m�s+z0{c�!p�qk}ós+å������! #"$�0j?o:o�pro lk}5{há^s+q7o�ß s+�Fs+ßJÞ+lkp�}kj?qká^{0o�s �+{-{^äào èv{Æß�s5á"�+{^oåÍß�s�z o�lvzJìv��p�qvÞvu

i`p�qv��{�m�myß s!á"��{(o"m¢ènj�ï+{�ìn{-{^qólkm�{-}¸åÍs�ß9}5{-á-j+}5{�m�p�q¸{^ô5än{-qkm:p�ï�{?ë1�#j?ß Þ+{^í m á^j+�r{��#j+lvqká"èï+{^èkp�á^��{-m»m:lná"èÆj�m»o�èv{%� Ý �¢içî»pro j+qgåÅj+z0p��râ+ë!o�èv{S~�lnm�m�p#j?q'&�ß s?o�s�qªëkj?qn}go èv{9t�j?äkj+qv{-m�{(�í*)+),��uxî»èv{�Þ+lvp#}vj+qká({²m�â!m:o�{-zcmFs+qho�èv{�m:{�ß s5á"�+{(o"m»j?ß {yìnj+m�{-}hs+qTá(�#j+m m:p#á-j?�våÍ{-{-}5ìnj+á"�

Page 2: Neural Network - cs.utexas.edu · 0j?o:o pro lk}5{há^s+q7o ß s+ Fs+ßJÞ+lkp }kj?qká^{0o s +{-{^äào èv{Æß s5á" +{^o åÍß s z o lvzJìv p qvÞvu i`p qv { m myß s!á" {(o"m¢ènj

����������� �����������������������! #"%$'&)(����+*,(.-/$)0213 -4�)5!6���7� �'µ7�SÏ»�?¡�À�¦9������-�7�-º�±¿�S�^��±¿�Â�����¿��¹g�28�5�����!·g�!�"�+±¿����·T�������J��µ7�����7�5� �¢�(���������7µ�� �����7������¹�²�"±��7� �����»�-�1�r������±��¿¾?���¿·+ÀÍ�����"±��·J��µ������ ��� ���"½!�Å�F���4�"����À���"����±Â�¸��µ��c���7±Â� ±¿�¿¾��7�¿·?ÀÅ�r�7�"±��· ���-�7�7·����7¹T�����:³�� ����������?·+�7� �����-�n½7�+����µS������³�� ���4�^����·+�"���Â�:�-º7±���º5�"�"�-�7�����^���µ7� ����±��Çç�-�"� �"±�� �:�^���������:�(���"�4�-�7·��7�-��ÀÅ�"�^��������������� �?Àµ!�^�7� ���+���?·��7�����"½

á(s+q7o ß�s��xm�lká"ègj�m &4ß�s�äns�ß:o prs�qkj?�rí)�q�o {^Þ�ß j+��í:9¢p �È{^ß {^q7o p�j+�<; & )=9�>Èz0{(o è5ís!}km�o s¢j�}�?�lkm:o`o èv{Fo�èvß lkm:o'j+qvÞ+��{;Íp�u {+u'o�èvß lkm:oJï�{-áo s+ß p�qvÞ�>ys+å%o�èv{{^qvÞ�prqk{-m^u�@F{�á^j?lnm:{Fß�s5á"��{(o �kp�Þ+è7o}5â!qkj?z0p#á^mÈj+ß�{'èvp�Þ+èk�râ�qks+q5í ��prqk{-j?ß-ë{^qvÞ�prqk{^{^ß"m�zJlkm:o�zcj?��{gm�prz0äk�rpríåÍâ7p�qvÞSj�m�m�lvz0ä5o p�s+qkm�p�q�s+ß"}5{^ß'o sj?äväv��â o�èv{�m:{à��p�qv{�j?ßTz0{(o èvs5}vm(ëj?qk}�o"j?��{�Þ+ß {-j?oFá-j?ß {�o�s�{^qkm�lvß {o�èkj?o1o�èv{�m:{�j�m�m�lvz0ä5o p�s+qkmÈj?ß {'qvs?oï7p�s���j?o�{�}�}5lvß p�qvÞ»s+äx{^ß"j�o prs�qªu Ý lká"èj?qÁlvqk}v{^ß�o j?�!p�qvÞãß {��7lvp�ß�{�mO}5{(ío j?p���{-}��!qvs�ü���{-}5Þ�{`s+å7o èv{�ß s5á"�+{(o-ê m}5â!qkj?z0p#á^mno èkj�o`á-j?q²ìx{�ï+{^ß â¢á^s�m:o���âo�s%j+á��7lvp�ß�{+u^~�{-á^{^q7o���â?ë(qks+q5í ��prqk{-j?ßj?ävävß s�j�á"èv{-mÈm�lká"è�j+mªqk{^lvß"j?�?qk{(o:íü�s�ß��5mÈèkj�ï�{�ìn{-{^q�{(ô5äv��s�ß�{�}%ävß prízcj?ß pr��âJåÍs+ß�lnm:{�p�qTÞ+lvp#}5{�}gz0p#m:ím:p���{-m2;�m:{-{¸õ ù?ø�åÍs+ß�j?qàs�ï�{^ß ï7p�{-üs?å�qv{^lkß j+��qv{^o�ü�s�ß��gá^s+q7o�ß s+�`j?ß�íá"èvpro�{-á(o�lvß {-mA>"u�B%{-lvß"j?�7qv{(o�üFs+ß �5má^j?q�p�z0äv��{-z0{^q7o1j?ß ìvpro�ß"j?ß â�qvs+q5í�rp�qv{�j?ßÈzcj?äkävp�qvÞ�mko�èkj?o`á^j+q²zcj?�+{á(s+q7o ß�s���Þ�ß�{�j�o���âyz0s+ß {4j+á-á(lvß"j�o {j?qk}yß s+ìvlkm:o^ë-ìvl5o^ë�lvq5åÍs�ß:o lvqkj�o {^��â?ëm�o pr����ß {��7lvp�ß {�m�p�Þ+qvpræná-j?q7oÈ}vs+zcj?p�q�7qks�ü��r{�}5Þ+{�o�s�o ß j+prq1u

)�qho èvp#m�äkj+än{-ß^ëküF{�ävß s+äxs�m�{j0z0{(o èvs5}gåÍs�ß%zcj?�!p�qvÞJo�èk{9}5{(íï+{^��s�ävz0{^q7o's?åªækqv��{�m�m�m�s+lvqn}5p�qvÞß�s5á"�+{^o mOz0s�ß�{ {�á(s+qks+z0p#á^j+�yì!âðlkm�prqkÞ\é�q5åÍs�ß á^{-} Ý lvì &'s�ävlv�#j�o p�s+qkmC;Åé Ý &�û�õ D5ë�ÿ�ø�>Æo s{^ï+s���ï+{Tj¸qk{^lvß"j?�%qk{(o�üFs+ß �àÞ+lvp#}vj+qká({Tm�â!m:o�{-zTu ��mcj o {-m:ohá^j�m:{+ë�ü�{Oü�p����FåÍs5á(lkmgs+qãjækqv��{-m m�ï+{-ß m�p�s+q�s?åÈo�èv{ )�q�o {^ß s+ß ìvpro j+� Ý â5m�o {^zcm�~ Ý ý%í�÷yß�s5á"�+{^oE;#ækÞ�lvß {Sö!>u�î»èv{�~ Ý ý%í�÷²p#mj���p#�7lvp#}!í�åÍlk{^��{-}²m�s+lvqk}vprqkÞ�ß s!á"��{(o`o�èkj?o'lnm:{�m�o èv{�}5p �x{-ß�{-q7o�p#j?�+o�èvß lkm:o�s+ånpro m`åÍs+lkß�{-qvÞ+p�qv{�mo�s�á(s+q7o ß�s��nj�o�o�pro�ln}5{?uF@Fâ0{^ï+s���ï7p�qvÞ�j�qv{^lkß j+�nqv{^o�ü�s�ß���á(s�q7o�ß s+����{^ß'o�ènj�o»zcj?äkm�o�èv{²m�o"j�o {s?å�o�èv{�ß s5á"�+{(oFo�s�o èvß lkm�o�á^s+z0zcj+qk}vm^ë�o èv{�Þ+lvp#}vj+qká({yävß s+ìv��{-z á^j?qTìx{Sm:s���ï+{-}gü�pro�èvs�l5oo�èv{Æqv{^{�}óåÍs�ß�j+qkj?��â7o�p#á-j?��z0s5}5{-�rp�qvÞTs+å%o�èv{Tß s5á"�+{(o-ê m�}5â!qkj?z0p#á-mSs+ßJävß p�s+ßS�!qvs�ü���{-}vÞ+{s?å�o èv{�j?äkävß�s�ävß p�j?o�{c�!p�qk}=s?åyá^s+q7o�ß s+��m:o�ß"j�o {^Þ+â o s {^z0äv��s�â?u���m�p�qvÞ¸é Ý &�ë4j?���Fo�ènj�o0p#mß�{���lkprß {-}6p#m�jÆm�lFGcá(p�{-q�o ��â�j+á^á^lvß"j�o�{0m�p�z�lv�#j?o�s+ߢj?qk} j �7lkj?q7o p�o"j�o prï�{9z0{�j+m�lvß�{Js?åFo�èk{Þ+lvp#}vj+qká({²m:â5m:o�{-zTê mFäx{^ß�åÍs+ß zcj?qká^{?ë5p�u {+u5jJæko�qv{�m�mFåÍlvqnáo�p�s�qªu

)�qgo èv{�qv{(ô!o»o�èkß�{-{²m�{-á(o�p�s+qnm�üF{�}5{-m á(ß p�ìn{¢o�èk{²é4q5åÍs+ß"á({�} Ý lvì &'s+äklv�#j�o�p�s�qkm�z0{(o èvs5}lkm:{�}óo s¸{-ï+s+��ï�{0o�èv{TÞ�lvp#}vj?qká^{gm�â!m:o�{-zTë`o èv{Oá(s�q�o ß�s����r{-ß�{^ï�s+��l5o�p�s�qàm:p�zJlv�#j�o�p�s�qkm(ë1j+qk}{(ô5än{-ß�p�z0{-q�o"j?�xß�{�m:lk��o"mFs+qTá(s+q7o ß�s��r��p�qvÞ²o èv{S~ Ý ý�í�÷Jß s5á"�+{(o-u

Page 3: Neural Network - cs.utexas.edu · 0j?o:o pro lk}5{há^s+q7o ß s+ Fs+ßJÞ+lkp }kj?qká^{0o s +{-{^äào èv{Æß s5á" +{^o åÍß s z o lvzJìv p qvÞvu i`p qv { m myß s!á" {(o"m¢ènj

ESP

action

Environment

Neural Network

observation

2

fitness RS

X

����� ¯��k¯����� ������!¬^®��������x¨�����������­�« � � �È©"!#�?«$����&%' (�*),+'®�� ���!¬"- � �x¬��/.(¯ �'µ��¢�5�-��À��±¿�^�������¸�-�����"�����-�7���������"¹-��� ¹��^���"· ���?���h���7º��5���7��±¿�^������������µ7�Ç�� µ�� ������� ·+��Òv�����"�����"��±��^���"½0�� ��Ç��-��³?���^�������^�����·Tº��c�:�-�!·+����±Â�g���"±��"� �����7¹c�-�7�S�7�"�+�����Æ������� ��^��µO����º7�5�����7±¿�^�����-�n½x����"�����-�T�^�"�"�7�¢�7±¿�^��� ����¶7�����"�������"�^����º?�g�-·7·+�¿��¹���µ��¢¶7�����"�����-�'��-�:µÆ��� ��Ç��-��³c���hÇ�µ7���:µÆ�Â��7�^�������"���!�(���·k½��'µ7���'���"�^�������`��µ��"���7�^���S�-±��21"�·��^�!·²��µ7��º5�"� �`�7�"�+�������`Ç��Â��µ7���S��-�:µ����7º��5������À±¿�(���¿�-���^�����S�^���·����F���^���ã�7��Ǹ���"�����-�7�"½-Ã`���"���-±��+����¹F�7� ���������È���y���"�7�^�:�(�������7º7�5�-�7��±��(�������7�"���µ��»���5�"�"�¿�^±¿�21"�"·c����º�ÀÍ�����7� �����-�7���7� �·��·S���^�F¹-���?·J�7� ��Ç'�^��³+�4�(�����"����±����"·����-���F� ´��"���"����±Â��½

3 4TÕ5"Ø�×xÛ�6�Ù87FÚ9:SØ;:yÚ<>=�Ö5Ü�Ø�Õ,?A@B4C7�DFE

é�q5åÍs�ß á^{-} Ý lvìväxs+ävlk��j?o�p�s+qnmHG¸õ D!ë�ÿ?ø�p#m0j qv{^lvß s!{^ï�s+��l5o�p�s�qóz0{(o�èks!}ço èkj�oc{^ô7o {^qk}km0o�èk{Ý â!z�ìvp�s+o�p#á�ë �¢}vj?ä5o p�ï+{ B%{-lvß s7{-ï+s��rlvo�p�s+qãj?��Þ+s�ß�pro èvz ; Ý �EB�é%û²õJI�ø�>"u�é Ý & j?qk} Ý �EB¢é}5p �x{-ß²åÍß�s�zDs?o èv{^ß B¢é z0{(o�èks!}km²prq6o�èkj?o�o�èv{-â6{-ï+s+��ï�{9äkj+ß:o p�j+��m:s��rlvo�p�s+qkm¢s+ßLK ��M N��OKQPprqnm�o {-j+}cs?å�á^s+z0äv��{^o�{%qv{^o�ü�s�ß��5m^ë!j+qk}gjJm�lvìkm�{(o»s?å1o èv{-m�{²qv{^lvß s+qnm�j+ß�{yävl5o»o�s�Þ+{^o�èv{-ß4o såÍs+ß zðj%á^s+z0äv��{^o�{'qv{(o�üFs+ß �xu )�q Ý � B�é%ë-qv{-lvß�s�qkm�j+ß�{�m�{^��{�áo�{�}¢åÍß�s�zðj%m�p�qvÞ+��{'äxs+ävlv�#j?o�p�s+qo�sTåÍs+ß z qk{(o�üFs+ß �!m^u )�qóá(s�q�o ß j�m�o-ë�é Ý & zcj+�+{�m¢lnm:{0s+åF{^ô!äk�rp#á^p�o�m�lvì5o j�m:�5m^û`jTm:{-äkj?ß"j�o {m:lvìkäns�ävlv�#j�o prs�qgp#m�j?����s5á^j?o�{-}cåÍs+ß�{�j+á"èTs?å�o�èv{SRTlvqvpro m%prqho�èk{Sqv{(o�üFs+ß �xëkj?qk}Tj�qv{-lvß s+qá^j?qgs+qv��â�ìn{yß {-á(s�z�ìkprqk{-}Jü�pro�ècz0{-z�ìx{^ß"m�s+å1p�o"m4s�ü�qhm:lvìkäns�ävlv�#j�o prs�q ;#ækÞ�lvß {y÷�>uvî»èvp#müFj�â�o èv{²qv{^lvß s+qnm»prqh{-j�á"èhm�lvìväxs+ävlv�#j?o�p�s+qgá-j?qÆ{^ï�s+��ï+{¢prqn}5{^äx{^qk}v{^q7o���âcj?qn}gm�än{�á(p#j?��p�|^{ß j+ävp#}5��âJp�q7o�sJÞ+s!s5}hqv{(o�üFs+ß �cm:lkì5í�åÍlkqkáo prs�qkm^u

é�ï+s���l5o�p�s+q0p�qTé Ý &Ñävß s5á({-{-}vm»j+mFåÍs����rs�ü%mUTö?u )�qvpro�p#j?��p�|-j?o�p�s+q1uÈî»èv{Æq!lvzJìn{-ß9s?å%èkp�}k}5{^qàlkqvpro m"Rçp�q o�èk{hqv{^o�ü�s�ß��5m²o èkj�o�ü�p����4ìx{

åÍs+ß z0{-}Tp#m%m�än{�á(præk{�}�j?qk}Ojhm:lkìväns�ävlv�#j�o p�s+qÆs?å�qv{-lvß�s�q6á"èvß s+z0s7m:s�z0{-m�p�m¢á(ß {-j?o�{-}ªué4j�á"èÑá"èvß s+z0s7m:s�z0{g{-qká(s5}5{�m�o�èv{6prqkävl5ogj?qn}çs�l5o�äkl5ohá(s�qvqv{�áo�p�s�qçüF{^p�Þ+è7o"m�s?å�jqv{^lkß�s�qhü�pro�èTjJß j+qk}5s�zÄm�o ß�p�qvÞJs?å'ß {-j?�Èq!lvzJìn{-ß m^u

÷!u%é�ï�j?��lkj?o�p�s+q1u � m�{(oys?åVR¸qv{-lvß�s�qkm%p#mym:{-��{-áo {-}Tß"j?qk}vs+z0��â?ëks�qv{9qk{^lvß s+qOåÍß s+z {�j+á"èm:lkìväns�ävlv�#j�o p�s+qªë�o�s²åÍs�ß�z o�èv{%èkp�}k}5{^qJ�#j�â+{^ß�s?åªj�á(s�z0äv��{(o {�qv{^o�ü�s�ß��xu?î»èv{�qv{^o�ü�s�ß��

W �'µ7�%Ê`��Ë6���-�r��Ç��(�����7�-�:³��^¹������4����^�¿±¿�^º7±����^�$XYOZ[Z�\�]_^[^U`[`�`ba'c[d�afeOZOg�hji[d�akg�l�ej^UemdBg�nmdB^Uo[om^U\�iUpOg�d�^Od�q�r�Z�`�i�nOgO^�iUs/dUZ[njijc�Z�d�a�YjZ�t/u�vOgjd�\�wjc$\[\

Page 4: Neural Network - cs.utexas.edu · 0j?o:o pro lk}5{há^s+q7o ß s+ Fs+ßJÞ+lkp }kj?qká^{0o s +{-{^äào èv{Æß s5á" +{^o åÍß s z o lvzJìv p qvÞvu i`p qv { m myß s!á" {(o"m¢ènj

p#m�m:lvìkz0p�o�o�{�}Oo�s�j � N !� � p�q¸ü�èkp�á"è pro�p�my{-ï�j+��lkj�o {-}¸s+q¸o�èv{�o"j+m��6j?qk} j�ü»j?ß"}5{-}6jævo�qk{-m mJm á(s�ß�{+u'î»èk{Æm á(s�ß�{hp�mJj+}k}5{-} o s6o èv{ ��M��SM � ���! #"$��� � K ��PHP²s+å�{-j�á"è=qv{-lvß s+qo�èkj?oFänj?ß�o�p#á(p�äkj?o�{-}�p�q0o èv{yqv{(o�üFs+ß �xu!î»èvp#m�ävß s!á^{-m m4p#m�ß�{-än{�j�o {-}0lvq7o pr�x{-j�á"ègqv{-lvß s+qèkj+m»änj?ß�o�p#á(p�äkj?o�{-}cprqTj?qTj�ï+{-ß j+Þ+{¢s?å'{?u Þvu1ö-ú�o ß�p#j?�#m^u

� u%~�{-á^s+zJìvp�qkj�o p�s+qªu1î»èv{gj�ï�{^ß"j?Þ�{9ævo qv{-m mSs+å�{-j+á"è qv{-lvß s+qóp#mSá^j+�#á(lv�#j�o {-}6ì7â }5p�ï!p#}!íp�qvÞTp�o"m�á(lvzJlv�#j�o p�ï+{�ævo qv{-m m�ì!â�o èv{0q!lvzJìn{-ßys+å�o ß�p#j+��m¢p�q¸ü�èkp�á"è pro�äkj?ß�o�p#á(p�äkj?o�{�}ÈuB%{-lvß�s�qkm�j+ß�{Fo�èk{^q0ß"j?qv��{-}�ì7âJj�ï+{-ß j+Þ+{�ævo�qv{�m�m�ü�p�o èvp�q�{�j+á"è0m�lvìväxs+ävlv�#j?o�p�s+qªu?é�j+á"èqv{^lkß�s�q0prqJo èv{%o s+ä �7lkj+ß:o pr��{Fp#m�ß�{�á(s�z�ìvp�qv{�}9ü�pro ècj�èvp�Þ+èv{-ß:í ß"j?qv�!p�qvÞ�qk{^lvß s+q�lkm�p�qvÞö(í äns�p�q�o'á(ß s�m m:s�ï�{^ß�j+qk}SzJl5o"j�o�p�s�qSj�o'�rs�üó��{-ï+{^�#mÈo syá^ß�{�j�o {4o èv{�s��Èm�ävß p�qvÞ%o s¢ß {^äv�#j�á({o�èv{���s�üF{-m:o:í ß j+qv�!p�qvÞ�èkj?�rå�s?å�o èv{Sm�lvìväxs+ävlv�#j?o�p�s+qªu

ùvu%î»èv{�é�ï�j?��lkj?o�p�s+q��5~�{-á^s+zJìvp�qkj�o p�s�qgá(â5á^�r{�p#m�ß {^äx{-j?o�{-}6lvq7o�p��'jgqv{^o�ü�s�ß��Æo èkj�o²än{-ß:íåÍs+ß zcm»m:lFGcá^pr{-q7o���â0ü�{-���xp�qho�èv{²o"j+m��cp#m�åÍs+lvqk}ªué�ï+s���ï7p�qvÞ�qv{(o�üFs+ß �5mªj�o1o èv{�qv{-lvß s+q���{^ï�{^��èkj�mªävß s�ï+{^qyo s%ìn{�j�ï+{-ß�â%{�Gcá(p�{^q7o1z0{(o èvs5}

åÍs+ß�m:s��rï!p�qvÞTß {^p�q5åÍs+ß"á({-z0{^q7oS��{-j+ß�qvp�qvÞÆo"j+m��!mJm�lká"è=j+m�äxs+��{(í ìkj?�#j+qká(p�qvÞ õ ÿ?ø�ë'ß s+ìxs?oJj+ß�zá(s+q7o ß�s���õ �?ø�ëÈj?qk}TÞ7j?z0{²äv�#j�â!prqkÞhõJI�ø�uxé Ý &ãp�m»z0s�ß�{²{�G0á^p�{^q7o�o�èkj?o Ý � B�éòìx{-á-j?lkm�{�o�èk{m:lvìkäns�ävlv�#j�o prs�qÆj+ß á"èkp�o {-á(o�lvß {¢zcj+�+{�mFo�èv{�{^ï�j?��lkj?o�p�s+qkmFz0s�ß�{�á(s�qkm�p�m:o�{-q7o»p�qÆo�üFs0üFj�â5mUTækß m:o^ë�o�èv{gm�lvìväxs+äklv�#j�o�p�s�qkmyo�èkj?o9Þ+ß"j+}vlkj?����âÆåÍs+ß z p�q Ý �EB¢é j?ß {0j?��ß�{�j+}5âOäkß�{�m:{-q�oSì!â}5{-m�p�Þ+q6p�q é Ý &�u1î»èv{cm�äx{-á(p�{�my}vsÆqks?oSèkj�ï�{9o sÆs�ß�Þ7j?qvp�|-{So�èk{^zcm�{^��ï+{�m�s�l5o�s?å�jÆm�p�qvÞ+��{��j+ß�Þ�{¢äxs+äklv�#j�o�p�s�qªëvj?qk}ho�èk{^p�ß�ävß s+Þ+ß {-m m�prï�{�m�än{�á(p#j?��p�|-j?o�p�s+q�p#m»qvs?o%èkprqn}5{^ß {-}hì!âgß {-á(s�z�íìvp�qkj�o prs�q6j+á^ß�s7m�mym�än{�á(p#j?��p�|-j?o�p�s+qkmFo èkj�oSlnm:lkj+���râÆåÍlv�ræk���'ß {^�#j�o prï�{^��âgs�ß:o èvs+Þ�s+qkj+�`ß s+��{�m�p�qo�èv{Jqv{(o�üFs+ß �xu Ý {-á(s�qk}Èëªìx{-á^j+lkm�{So�èk{Jqk{(o�üFs+ß �!m%åÍs+ß z0{-}Tì!â�é Ý & j?��ü»j�â5m%á(s�qkm:p#m:o¢s+å4jß�{-ävß�{�m:{-q7o j�o p�ï+{JåÍß�s�z {�j+á"èó{-ï+s+��ï!p�qvÞTm:äx{-á^p�j+��pr|�j�o prs�qªëªjOqv{^lkß�s�qóp�m�j?��ü»j�â!my{-ï�j+��lkj�o {-}s+qÆèvs�ü üF{^���ªpro�än{-ß:åÍs�ß�zcmFpro mFß s+��{¢p�qho�èv{Sá^s+q7o�{^ô!o»s+å'j+���no èv{�s?o èv{^ß�äk��j�â�{^ß"m(u

î»èv{gj+á-á({-�r{-ß j?o�{�}¸m�än{�á(p#j?��p�|-j?o�p�s+q6prqóé Ý &Ázcj?��{-m²pro9z0s�ß�{0{�G0á^p�{^q7o�o�èkj+q Ý � B�é�ëìvl5o�p�o0j?�#m�s�á^j+lkm:{�m�}vprï�{^ß"m:pro�â6}v{-á(��p�qv{cs�ï�{^ß9o�èv{Tá(s�lvß m�{gs+å%{^ï�s+��l5o�p�s�q ��p��+{co�èkj?oJs+å�jqvs+ß zcj?�!w ��u+î»èvp#m�á^j?q�ìn{»j¢ävß�s�ìv��{^z ìx{-á^j+lkm�{�jyá(s+q!ï�{^ß Þ+{-}²äxs+äklv�#j�o�p�s�qSá^j?qkqvs?o'{-j�m:p���âj+}vj+ä5o'o�s�jyqv{^ü=o j+m��xu+î�s�}5{�j?�5ü�pro�èJävß {^zcj?o�lvß {�á^s+q!ï+{-ß�Þ�{^qká^{?ë�é Ý &¸p#m�á(s+zJìvp�qv{�}²ü�p�o è M NHP���"M��*� � !�OKku`î»èv{cp#}5{�jTp�myo s6m�{-j?ß"á"è åÍs+ßSs�ä5o�p�zcj+��z0s5}5præná-j�o prs�qkmys?å»o�èk{gá(lvß ß {^q7oìn{�m�ohm�s+��l5o p�s+qªu��\èv{-qòän{-ß:åÍs�ß�zcj+qká({Tèkj�mgm:o j+Þ+qkj?o�{-}çåÍs�ßgjóävß {-}5{^o�{-ß�z0p�qv{�}àq!lvzJìn{-ßs?å�Þ�{^qv{-ß j?o�p�s+qnm(ëÈqv{^ü m:lkìväns�ävlv�#j�o p�s+qkmyj?ß {0á(ß {-j�o {-}6ì7â¸j+}v}5p�qvÞÆqvs�p�m�{�o�sT{-j�á"è6s?åFo�èk{qv{^lvß s+qnm0p�qço èv{�ìx{-m:ohm�s+��l5o�p�s�qªu�é4j+á"èÑqv{-ü m�lvìväxs+äklv�#j�o�p�s�qçá(s�q7o j?p�qkm�qk{^lvß s+qkm0o�èkj?oß�{-ävß�{�m:{-q7o9}5p �x{-ß�{-qká({�myåÍß�s�zDo�èk{cìn{�m�oJm:s��rlvo�p�s+qªu�é4ï+s��rlvo�p�s+qOo èv{^qóß {-m�lvz0{�m(ë1ìvlvo�qvs�üm:{�j?ß"á"èvp�qvÞFo�èv{Fm:äkj�á({�p�qSj%qv{^p�Þ+è!ìxs+ß èvs!s5}��»j?ß s+lvqk}¢o èv{4ìx{-m:o`ävß {^ï!p�s+lnmªm:s��rlvo�p�s+qªu�@Flvß"m:oz�l5o"j�o prs�q9á^j+q�ìx{�j?äväk�rp�{�}�z�lk��o p�äv��{�o�p�z0{-m^ë�ü�p�o è�m�lká^á^{-m m:p�ï�{4p�q!ï+s5á^j?o�p�s+qkm�ß�{-ävß {-m�{^q7o�p�qvÞ}5p �x{-ß�{-qká({�m�o�s�o èv{%ävß {^ï!p�s+lkm'ìx{-m:o�m�s+��l5o prs�qªu ��m m:lkz0prqkÞ¢o èv{%ìx{-m:o�m�s+��l5o�p�s�q�j?��ß {-j�}5âSèkj�mm:s�z0{Já^s+z0äx{(o�{-qká({�p�q�o èv{�o j�m:�xë1z0s7m�o²s?å»pro myü�{-p�Þ+è7o myü�p�����qks?o�qv{^{�}¸o�sTìn{cá"ènj?qvÞ�{-}ß j�}5p#á^j?����â?u(î`s�{-qkm:lkß�{4o�èkj?o�z0s7m�o`á"ènj?qvÞ�{-m�j+ß�{Fm:zcj+���?ü�èvp���{4j?����s�ü�p�qvÞ4åÍs�ß`�#j+ß�Þ�{^ß1á"èkj+qvÞ+{�mo�scm�s+z0{yü�{-prÞ�è7o m^ë!é Ý &Ñlkm:{�mFo�èv{��Fj+lká"è!âg}5p#m:o�ß prìkl5o�p�s+q�o s0Þ+{-qv{^ß"j�o {¢qvs�p#m:{�T

;��>�� �� ; ����� � � >

;�ö�>

�\p�o èào èvp#m�}5p#m:o�ß p�ìvl5o�p�s�q D+ú�� s+å%o�èv{Æï�j?��lv{�m9ü�p�����åÅj+�r�Fü�pro�èvp�qóo èv{Tp�q�o {^ß ï�j?��� � j+qk}þ+þ��Âþ�� ü�p�o èvp�qco èv{�p�q�o {^ß ï�j?��� � ö���� � � uvî»èvp#m4o {-á"èvqkp �7lv{²s+å ß�{�á"èkj?ß Þ+p�qvÞ �yo�èv{Sm�lvìväxs+ä5ílv�#j�o�p�s�qkmS��{^{^änmJ}vprï�{^ß"m:pro�â¸prq=o�èv{Täxs+ävlk��j?o�p�s+qçm:s6o�èkj?o0é Ý & á^j?qÑá(s�q�o p�q7lk{co�s zcj+�+{ävß�s�Þ+ß {-m m�o s�üFj+ß }hj�m:s��rlvo�p�s+qh{^ï+{-qhp�qÆävß s+��s+qvÞ�{-}0{-ï+s��rlvo�p�s+qªu

Page 5: Neural Network - cs.utexas.edu · 0j?o:o pro lk}5{há^s+q7o ß s+ Fs+ßJÞ+lkp }kj?qká^{0o s +{-{^äào èv{Æß s5á" +{^o åÍß s z o lvzJìv p qvÞvu i`p qv { m myß s!á" {(o"m¢ènj

@�lkß m:o4zJl5o j?o�p�s+qJp#m4m�prz0p��#j?ß`o�sSo�èv{ 9�{-��o"j�í ��s5}5p�qvÞyo�{-á"èkqvp#��lk{%s?å4õ þ�øxü�èvp#á"è0üFj�m�}5{(íï+{^��s�än{�}�o s�p�z0ävß s�ï+{`o�èv{�ävß {-á(p#m�p�s+qys?åvÞ+{-qv{(o p#á�j?��Þ+s�ß�pro�èkzcmvåÍs�ß�q!lvz0{^ß p#á^j+��s+ä5o prz0p�|�j�o�p�s�qävß�s�ìv��{^zcm^u�@F{-á-j?lkm�{�s�lvß»Þ+s7j?�xp�m�o s�zcj+prq7o"j?p�q0}5p�ï+{^ß"m�p�o�â+ë�üF{y}vs�qvs+oFß {-}vlká({¢o�èv{²ß"j?qvÞ�{s?å�o èv{Tqvs+p#m�{gs�qçm�lká^á^{-m m:p�ï+{hj?äväv��p#á^j?o�p�s+qnm�s?åyìvlvß"m�o�z�lvo j�o p�s+q=j+qk}àüF{Tlkm:{ �Fj?lná"è7âß j?o�èv{-ß»o�èkj?o»lkqvpråÍs+ß z0�râ0}5p#m:o�ß p�ìvl5o�{�}cqvs�p#m:{+u

roll

(a) Fins: stable

CG

CP

CG

CP

Thrust

Drag

(b) Finless: unstable

αα

β β

pitchyaw

Side force

Lift

����� ¯ � ¯�� �n®�� �?«�����x­� � ®�©�¯ �'µ��F�����:³�� ��ÌÍ��Î`����� �:�-º�±¿��º5� ��-�����»��µ7�»¶!�������7� ����^���%·+�:�^¹²�����µ��F����(���^�È��µ7��������³��������^�?���7¹%��µ7�F�"�"����� ���-�È�����"�����+����ÌÅ�'Ë'Î�º5�"µ��¿�7·S��µ��»�"�"����� ���^�ª¹-�:��?�Â���ÌÅ� �%Î:½5���4�²���"���7±Â��5�^���J���S�^±¿±È�-�7¹-±��"���6�-�7·����(���y�^�������S�(������-±�±Â���"�^�����"� ���·v½5���J�"�������:�-� ����µ���¶!�7±��"���1�����:³�� ��Ì#ºvÎÈ�¿���7��� �:�-º�±¿��º5�"�"�-�7������µ7���'ËÆ� �:�"�+�`Ç��"±�±5�-µ����·²�^�v��µ7��� �¢½?�x��³�� �"����^�!·��h������� ����� ����-������¹��!�#½ �F���¢³��"�"�S��µ7�4������³����'�r���-� ���7�yº�±��¿��¹��+�^� �������F¹-�7�¿·7�^�7�"�»�������"�·��"·���y�"�����?�����:�-� ����µ7�»·��"� �:�^º7��±�� 1 �¿��¹²���-�:¾��7�F�����?·����"�·9º?��·?�:�-¹�½� ���6���Ü�Õ <>6b?�?��ãØ�Û��V6ªÖ��ãÚ¢Ü:Ù ='ÕyÛ�6��"=;? �)�qOävß�{-ï!prs�lkmFü�s�ß��xëké Ý &ãüFj�m�m:èks�ü�qho s0s+l5o än{-ß:åÍs�ß�z j�ü�p#}5{²ß j+qvÞ+{�s+å�ß {^p�q5åÍs�ß á^{^z0{^q7o�r{�j?ß qvp�qvÞój?��Þ+s�ß�pro èvzcmJprqná(��lk}5p�qvÞ"!�í ��{-j?ß qvp�qvÞkë Ý ��~ Ý � ;$# >"ë�é4ï+s��rlvo�p�s+qkj+ß�â &4ß�s�Þ+ß"j?z�íz0prqkÞvëªj?qk} Ý �EB¢éñs�q¸m�{^ï�{^ß"j?�'}5p G0á^lv�royï�{^ß"m:p�s�qkm�s?å�o�èv{�äxs+��{(í ìkj+��j+qká(p�qvÞ�s�ßyp�q!ï+{-ß:o {-}än{-qk}5lv��lvz o"j+m�� õ ÿ�ø�u1î»èv{Jß�s5á"�+{^o¢Þ�lvp#}vj?qká^{9}5s�zcj?p�qOp#m�m�prz0p��#j?ßFo shäxs+��{(í ìkj+��j+qká(p�qvÞ�p�qo�èkj?o`ìxs?o�è9prq!ï�s+��ï+{�m:o j?ìkpr��p�|^p�qvÞFj?qSp�qvèk{^ß {^q7o���â%lvqnm�o"j?ìv��{4m�â5m�o {^zTu�i�p�Þ+lkß�{ � Þ�p�ï+{-m�j%ìkj�m:p#ás�ï+{^ß ï!p�{^ü s?ånß s5á"�+{^o�}5â!qkj+z0p�á-m(u�î»èv{»z0s?o prs�q�s?åÈj�ß s5á"�+{(o�p#m`}5{^ækqv{�}9ì!â²o�èk{�o ß j+qkm���j?o�p�s+qs?å`pro"mFá^{^q7o�{-ß�s?å�Þ+ß"j�ï7pro�â/; �»w >ënj?qk}go�èk{yß s?o"j�o prs�qcs?å�o�èk{yìxs5}5âgj+ìns�l5o»o�èv{��»w prqho�èk{ävpro á"èªëkâ7j�ü²ëkj?qk}Tß s+���ªj�ô5{�m(uniks+lvß%åÍs+ß"á({-m�j+áo%lkäns�q�j�ß�s5á"�+{^o�prq��kp�Þ�è�oBT�;�ö�>Fo�èv{So�èvß lkm:os?å�o�èk{9{^qkÞ+p�qv{-m�ü�èvp#á"èOävß s+äx{^�`o�èv{�ß�s5á"�+{^o^ë�;�÷�>�o�èv{J}5ß"j?Þcs+å�o�èv{�j�o z0s�m�ävèv{^ß {²{(ô5{^ß�o�{�}j�o²o�èv{ ���UK �*��N �&% ��N��$PHP$M N � ; � & >¢prq¸ß�s�lvÞ+èk�râho�èk{Js�äväxs�m�p�o {J}vprß {-á(o�p�s+qTo sÆo�èv{Jo�èkß�lkm:o^ë; � >4o èv{ � % ��%��jN ���»Þ+{-qv{^ß"j�o {-}0ì!â0o èv{yækqkm»j?��s+qkÞSo�èk{yâ7j�ü\j�ô5p#m(ë5j?qn} ;Åù�>�o�èv{SP ('��)%��ON ���Þ+{^qk{^ß"j�o�{�}Æì7âgo�èv{Sækqkm�j+��s+qvÞ�o�èv{9ävpro á"èOj�ô5p#m(ukî»èk{9j?qvÞ���{yìx{(o�üF{^{-qÆo�èv{9}vprß {-á(o�p�s+qho�èk{ß�s5á"�+{^oyp#m �kâ!p�qvÞTj?qk}¸o�èk{J��s�qvÞ+pro�ln}5p�qkj?��j�ô5p#m¢s+å4o èv{0ß�s5á"��{(o²prq6o�èv{0â7j�ü»í�ß s+���`äv�#j?qv{Jp#m�7qks�ü�qJj�m�o èv{ �OK � � � �*% � � � ���,+�s�ß � ë+o�èv{�á(s�ß�ß {-m�äxs+qk}5p�qvÞ¢j?qvÞ��r{Fp�qSo èv{�ävpro á"è5í ß s+���+äv�#j+qv{p�m��7qks�ü�qcj+m�o èv{ P ('��$P � � �jK � � �4s+ß -�u��\èv{-qc{^pro èv{^ß � s�ß.-¸p#m�Þ�ß�{�j�o�{-ß�o�ènj?qcúS}5{-Þ+ß {^{�mo�èv{9}vß j+ÞJ{^ô5{^ß�o m�jJo�s�ß��7lv{�s�qÆo�èv{�ß s5á"�+{(o»o èkj�o¢á-j?qOá^j+lkm�{¢o èv{Sß s5á"�+{(o»o s�o�lvzJìv��{²p�å'prop�myqvs+oSm�o"j?ìv��{?u1î»èv{0j+ß�z o èvß�s�lvÞ+è ü�èvp#á"è�o èvp#m¢o�s+ß��7lv{�j+áo"m²p#m�o èv{0}5p#m�o"j?qká^{�ìx{(o�üF{^{-qo�èv{�� &ãj?qn}go èv{��»w�u

Page 6: Neural Network - cs.utexas.edu · 0j?o:o pro lk}5{há^s+q7o ß s+ Fs+ßJÞ+lkp }kj?qká^{0o s +{-{^äào èv{Æß s5á" +{^o åÍß s z o lvzJìv p qvÞvu i`p qv { m myß s!á" {(o"m¢ènj

mach 1 mach 2 mach 3 mach 4

0 10000 20000 30000 40000 50000 60000 70000 80000 90000

mach 2mach 1 mach 3 mach 4

Altitude: ft. Altitude: ft.30000 40000 50000 60000 70000 80000 90000

(a) (b)

20000

800

600

400

200

0

1000

1200

Dra

g: p

ound

s

CP:

ft.

ahea

d of

CG

10

12

14

8

6

4

100000

����� ¯��x¯����ó« � �����+­7¬�� � � � � ��� ®[����«*� �/��«$*� � � � �x­��x®��à«"­!© �1¯ Ë1±¿�^�cÌÍ��΢��µ��(Ç��²��µ���^�������?���^�x·?�:�-¹»�r�-���"���-� ������¹��-�²��µ7��¶!��±��"���������:³�� ���-�`�Â�'�^���"�"�!·+�`��µ+�����7¹-µy��µ7�4�(���������7µ�� ����½�J�^���y·?�:�-¹S����^�7����µ!�(�F�Â�4�:�-³��"�4���-����·+��Òv�����"�������^±n��µ+���7� �4�����"����������±n��µ7�»�����:³�� �½vË1±��-�²Ì#º5Î��µ��Ç��»��µ7���5�����Â�������Æ�^����µ��y�"�"����� �F�-�������"�����+���y���g���������F�-��µ7�Çò�S�^�?�J���"� ���-µ7�"��·c���%���»�^���µ��F�"� �?�������-�x¹-�:��?������½ ° ���-�����¢�-º5�-���4¦-¦?� ��^������µ��F�"�-�?�����-±!�:�-��³�º5�"� �����"�'���^���»·+��´²�"�7±Â�·+�7�F���²��µ��F�:�-���¿·J���7� ����^���¢���J·+�:�-¹S�^�!·���µ��»���(���"���"�����^�È��µ7��� �\�"Ç��"�9�r�����Á��µ����7�������^���µ��F�����:³�� �½7���4�^�7�+���(�+���S�^��� ±���¦-¦?� ��^����k·+�:�-¹¢�5��-³?�4�-�7·�º5�"¹-���7�4�²·�� �"±��¿���%�-����µ7�»�-�Â�4¹�� �����µ����7�7����!�^�!·9��µ����'˸� �:�(�����F�y� ���"��·+�9����¹-�:�(�����������Ç��(�:·�����µ7��� �¢½!�����Â���-���"�"�7·������+����µ7� ����µ��9�����:³�� �²º5�"�"����� �y�����-¹-���"��������� ±��6��^����� �����h� ����������±��^�y��µ7�J·��"���������O�-�4��µ7���^�����-���7µ�� ���·+�"� ����^���"�"½

)�q�ækÞ+lvß { � jvë+o èv{�ækqvqk{-}0ß s5á"�+{(o�p#m�m:o j+ìv��{�ìn{�á^j?lnm:{�o èv{ � &óp#m�ìx{^èkprqn}Jo�èv{%ß s5á"�+{^o^êÂm�»w�u �\èk{^q � ; - >Sp#m�qvs+q5í |^{-ß�skë`jOo s+ß��7lv{gp#mSÞ�{^qv{-ß j?o�{�} ì7â o èv{h��prå#o4;�m:p#}5{�>yåÍs+ß"á({hs?åo�èv{hækqkm9o�èkj?o�á^s+lvq7o {^ß"j+áo"m²o�èk{Æ}5ß"j?Þ�o�s+ß��7lv{?ë'j?qk}ào�{-qk}vm9o�s6z0p�qvp�z0p�|^{ � ; -�>u�î»èvp#mm:pro�lnj�o�p�s�qSá(s+ß ß {-m�äns�qk}vmªo s¢j¢än{-qk}5lv��lvzÁènj?qvÞ�prqkÞ%}5s�ü�qSåÍß s+z pro m`èvp�qvÞ+{+û-o èv{Fän{-qk}5lv��lvzü�pr���'ß {(o�lkß�q¸o�sTo èvp#mym:o j+ìv��{�{��7lvp���prìkß�p�lvz äns�p�q�o²prå�proSp#m²}5p#m�o lvß�ìx{-}ªu �\èv{^q o�èk{0ß�s5á"�+{^o}5s!{-mhqvs?oÆèkj�ï+{Oænqkm(ë�j+mhp�qãækÞ+lkß�{ � ìªëFo�èv{ � & p#mgj+èv{-j�}òs?å�o èv{ �»wVá-j?lkm�p�qvÞóo�èk{ß�s5á"�+{^o¢o sTìn{�lvqkm:o j+ìv��{?u � qvs+qví�|-{^ß s � s�ß -òü�p�����o {^qk}¸o�sTÞ�ß�s�ü á-j?lkm�p�qvÞco èv{�ß�s5á"�+{^oo�s0{^ï�{^q7o�lnj?����â�o�lvzJìv��{?uvî»èvp#m%m�pro�lkj?o�p�s+qÆá(s+ß ß {-m�äns�qk}vm�o�scj�äx{^qk}vlv��lvzbj?o�pro m»lvqkm:o j+ìv��{lvävß prÞ�è7oy{���lkpr��p�ìvß p�lvzbäxs+p�q7o�ü�èv{^ß {0j?q!â6}5p#m:o�lvß ìkj+qká({�ü�p����'á-j?lkm�{�proyo s�}5p�ï+{-ß�Þ�{�j�ü»j�âåÍß�s�z o�èvp#m�m:o j?o�{?u

�%�ro�èvs�lvÞ+èho�èk{�ß�s5á"�+{^o%}5s+zcj+prqgp�m�m�p�z0p���j+ß�o�s�o èv{Sp�q!ï+{-ß:o {-}cäx{^qn}5lv��lvzTë5o�èk{�ß�s5á"�+{^oÞ+lvp#}vj+qká({¢ävß�s�ìv��{^z p#m»m:p�Þ+qkp�æxá^j?q7o �râ�z0s+ß {¢}5p Gcá(lk��o�åÍs+ßFo�üFs�ß {-j�m:s�qkm�T7o�èk{yp�q7o�{-ß j�áo prs�qkmìn{^o�ü�{-{^qho�èv{�ß s5á"�+{(o�j?qn}co èv{�j�o�z0s7m:äkèv{^ß {¢j+ß�{yèvp�Þ+èv��â�qvs�q5í���p�qv{�j?ß�j+qk}Æá(s+z0äk�r{^ôÈë!j+qk}o�èv{¢ß�s5á"�+{^o^êÂm�ìx{^èkj�ï!p�s+ß�á^s+q7o�p�q!lvs+lnm:��â9á"èkj+qvÞ+{�m'o�èkß�s�lvÞ+èvs�l5o�o�èk{¢á(s�lvß"m:{%s+å1j �kp�Þ+è7o�}5lk{o�sgm�â5m�o {^z ï�j+ß�p#j+ìv��{-m4o�èkj?o¢j?ß {�{^pro�èk{^ß%qvs+o�lvqk}v{^ߢá^s+q7o�ß s+��s+ß%qvs+o¢}5p�ß {-áo ��â0s+ìkm�{^ß ï�j?ìv��{;Í{?u Þvuxj?p�ßF}v{^qkm�pro�â?ë5åÍlv{-�1��s�j+}ªë5}vß j+Þvë5{(o"á�u >"u

i`p�Þ�lvß�{0ù¸m:èvs�ü%mSèvs�ü o�èv{Æ}5p G0á^lv�ro�â6s+å�m�o"j?ìvp���p�|-j�o p�s+q�ï�j?ß p�{-m�s�ï�{^ß�o èv{há^s+lvß"m�{0s?åjàm:lná^á({�m�m:åÍlv� �nprÞ�è7o0åÍs+ß0o èv{�ækqk�r{�m�m�ß s5á"�+{^o^u )�qãækÞ�lvß {Où�j5ëF}5ß j+Þóp#m0äv��s?o�o�{-}ãj+Þ�j?p�qkm:oj?�ro�pro�ln}5{?u`ikß�s�z ú�å#o9o s6j?ìxs+lvo�÷+÷5ë ú�ú+ú?å#o^ë1o èv{gß s5á"�+{(oJj?ävävß s�j�á"èv{-myo èv{hm�s+lkqk}óìkj+ß�ß p�{^ß;Å��j�á"èóö!>�j+qk}O}5ß"j?Þ0ß p�m�{-m�m:èkj+ß�äk�râ+ukî»èvp#m�}5ß"j?Þ0p�qká^ß�{�j+m�{-m�o�èk{So�s�ß��7lv{9{(ô5{^ß�o�{�}Ts+qTo�èk{ß�s5á"�+{^o�p�q�o�èv{yâ�j�üãj?qk}cävpro á"è0j�ô5{-m�åÍs+ßFjSÞ+p�ï�{^q � j+qk}�-4ë5zcj?�!p�qvÞ²pro4z0s+ß {%}5p Gcá(lv�ro�o sá(s+q7o ß�s��vpro m�j?o:o�pro lk}5{?u�)�q�ækÞ+lvß {�ù+ì1ë�üF{%m:{-{�o�èkj?o�j?�#m�s�}5lvß prqkÞ¢o èvp#m�äx{^ß prs5}�o�èk{�}5p#m�o"j?qká^{ìn{^o�ü�{-{^q¸o�èv{ �»w j+qk} � &ðp�qká^ß�{�j+m�{-m%ìx{-á-j?lkm�{�o�èv{0á(s�qkm�lvz0ä5o�p�s�q�s?å�åÍlv{^��á-j?lkm�{-m¢o�èk{�»wðo�sJz0s�ï+{%ìnj+á"�xë7zcj+�!prqkÞ�o�èv{yß s!á"��{(oFprqná(ß {-j+m�p�qvÞ+��â�lvqnm�o"j?ìv��{?u ��å#o {^ß�÷�÷!ëÂú+ú+ú?å#o^ë!}5ß j+Þm�o"j?ß�o m¢o�sT}5{-á^ß�{�j+m�{Jj�m¢o�èv{0j?p�ߢìn{�á(s+z0{�my�r{�m�my}5{-qkm:{+ë1j?qk}6o�èv{ � &ðm�o {-j�}5p��râÆz0p�Þ+ß"j�o {-mìkj+á"�0o s�üFj+ß }km�o èv{��»w�ënm�s�o èkj�o�o èv{�ß s!á"��{(o»ìn{�á(s�z0{-m»{-j�m:p�{-ß4o s�á^s+q7o�ß s+��u

Page 7: Neural Network - cs.utexas.edu · 0j?o:o pro lk}5{há^s+q7o ß s+ Fs+ßJÞ+lkp }kj?qká^{0o s +{-{^äào èv{Æß s5á" +{^o åÍß s z o lvzJìv p qvÞvu i`p qv { m myß s!á" {(o"m¢ènj

���������'� - $�0 1 3 - �)5!6 �<� $���*�� "� F�!����� �'µ����7��� À�������`��µ7�Ç��1���^� �?�����!�^±¿�21�(�������²�^�7��µ7���?��Ã'�+���Ñ�����:³�� ������y��±��(�������²�����·¢���»�"����±����'��µ7��Ï»�?¡�À�¦4¹-�7�¿·7�^�7�"���"�-��À������±�±�� ���"½?�'µ��������y�7±¿�(���-�������(�?�¿·��"���F����^±¿��� �����4�"�?�+�Â���-��À���"���1���^��·�� ���¿¹-�7���7¹��^�!·²��� ���Â��������¹¢�^�Â��� �:�^����·+�+�!�^�����"��-�7·�¹-�7�¿·7�^�7�"��� �+� ���"���"½

ivs+ß�é Ý &�ë�o�èvp#m�z0{-j+qkm`o�èkj?oo�èv{�æko�qv{�m�mÈåÍlkqkáo prs�q�j?l5o s+zcj�o�íp�á-j?����âhm á^j+�r{�m�o èv{0}5p G0á^lv�ro�âTs?åo�èv{To"j+m��=p�qçß {-m�äxs+qkm�{Æo�s o�èk{än{-ß:åÍs�ß�zcj+qká({Ts?å²o èv{�äxs+ävlv�#j?ío�p�s+qªu��Foªo�èv{�ìx{^Þ�p�qvqvp�qvÞFs?å5{^ï�s?í�rlvo�p�s+qço�èv{To"j+m��=p#m�ß {^�#j�o prï�{^��â{-j+m�â?u �¢m²o�èk{0äns�ävlv�#j�o prs�q�p�z�íävß�s�ï�{-mÈj?qn}²prqn}5p�ï7p#}5lnj?�#mkj+ß�{�j?ìk�r{o�s%á(s�q7o�ß s+��o�èk{�ß�s5á"��{(oÈo�s�èvp�Þ�èv{^ßj?�ro�pro�ln}5{-m^ë�o�èv{�o j+m��=ìx{-á^s+z0{�mävß�s�Þ+ß {-m m:p�ï�{^��â4èkj+ß }v{^ß-u��%�ro�èks+lvÞ�èækÞ+lvß {%ùSp�qk}vp�á-j�o {-m�o�ènj�oFj+ìns�ï�{÷+÷!ëÂú+ú�ú�å#oco èv{�o"j+m��òj?Þ�j+p�qÑìx{(íá(s+z0{�mÈ{-j�m:p�{^ß-ëävß s+Þ+ß {-m mxp�qy{-ï+s+í�rlvo�p�s+q=á^s+q7o�p�q!lv{�mSo s ìx{O}5p G�íá(lv�ro�ìn{�á^j+lkm:{�o�èk{%á(s+q7o ß�s��r��{-ß1p#má(s+qnm�o"j?q7o���â�{^q7o�{-ß�p�qvÞJj?qhlvq5åÅj�íz0pr��p#j?ßnäkj?ß�o1s?å7o�èk{4m�o"j�o {�m:äkj�á({+u�ãævo�qk{-m m'åÍlvqká(o�p�s+qJo�ènj�o4Þ�ß j�}!ílkj?����â�p�qká^ß�{�j+m�{-mªp�qS}5p Gcá(lv�ro�âyp#mlkm:lnj?����â }v{-m�prß"j?ìk�r{gìn{�á^j?lnm:{Tproj?����s�ü%m�åÍs+ß�m�lFGcá(p�{^q7o%m�{^��{-á(o�p�ï+{ävß�{�m�m�lvß {Sj�o%o èv{Sìx{^Þ�prqkqvp�qvÞ�s?å{^ï+s���l5o�p�s+q�o�s%}5p�ß {-á(oxo èv{4m�{-j+ß á"èprq7o sTjhåÅj�ï�s+ß"j?ìv��{9ß {^Þ�p�s+q�s+å�o èv{gm�s+��l5o�p�s�q6m:änj+á({+u (%s�üF{^ï�{^ß-ëxo èv{0ß s!á"��{(oSá(s�q7o�ß s+�'o j�m:�p�mFj?��ß {-j�}5â9o s!s�èkj+ß }cprqgo�èv{yìx{^Þ+p�qvqkprqkÞ��\j?���vz0{^zJìx{^ß"m�s?å�o�èv{²p�qvpro�p#j?�käns�ävlv�#j�o prs�q0än{-ß:íåÍs+ß z m:s¸äns!s+ß ��â o�èkj?o�o èv{T{^ï+s���l5o�p�s+qóm:o j+�r�#m�j?qk}çá(s+q!ï�{^ß Þ+{-mSo�s j6��s5á^j+�4zcj?ô!p�zcjvu )�qs?o�èk{^ß�üFs+ß"}vm(ëv}5p�ß {-á(o»{-ï+s��rlvo�p�s+qg}vs7{�m»qvs?o%{-ï+{-qhÞ�{(o%m�o"j?ß�o�{�}hs�qgo èvp#m»ï+{-ß�âcá"èkj+���r{-qvÞ+p�qvÞo j+m��xu�¢qv{�üFj�âTo sÆs�ï�{^ß"á(s�z0{²o�èvp#myävß s+ìv��{^zYp#m¢o�sTzcj+�+{So èv{�p�qvpro�p#j?��o j+m���{�j+m�pr{-ߢj+qk}o�èv{-q�p�qká^ß�{�j+m�{�o�èv{»}5p Gcá(lv�ro�â�j+m�o�èk{Fäx{^ß�åÍs+ß zcj?qná({�s+åvo�èv{»äxs+ävlk��j?o�p�s+q�p�z0ävß s�ï+{�m(u�)�q�o�èk{{(ô5än{-ß�p�z0{-q�o"m²ìn{-��s�üÉüF{c{^z0äv��s�â6m�lká"èój?q K ��N�� � ��K � � � � " � � M�� !�OK¸j+ävävß s�j�á"èÑõ D�ø�u�)�q5ím�o {-j+}�s+åªo�ß â!prqkÞ²o�s9{-ï+s��rï�{�jSá(s�q�o ß�s����r{-ß�åÍs+ß�o èv{%ænqv��{-m m�ß�s5á"��{(o�}5p�ß {-á(o���â?ë+j�z0s�ß�{%m:o j+ìv��{ï+{^ß"m�prs�q0s?å1o èv{²ß�s5á"��{(o�p#m�lkm�{-}hprqkp�o p#j?����â²o�sJzcj?�+{�o�èv{²lv�ro przcj?o�{�o"j+m���z0s+ß {¢j+á-á({�m�m�p�ìv��{?u

î»èv{�åÍs��r��s�ü�p�qvÞ»m:{�áo prs�q�}5{-m á(ß p�ìn{�mªo�èk{�m�przJlv�#j�o p�s+q�{-q!ï7p�ß s+qvz0{-q7oÈlnm:{�}²o�s¢{^ï+s���ï+{'o�èk{á(s+q7o ß�s��r��{-ß^ë?o èv{�}5{(o"j?p��#m4s+å`èvs�üñj9Þ�lvp#}vj?qká^{yá^s+q7o�ß s+����{^ß4prq7o {^ß"j+áo"m4ü�pro èco�èk{²m�p�z�lk��j?o�s�ß^ëj?qk}9o�èv{»{^ô!äx{^ß p�z0{^q7o j+�7m�{(o lvä�åÍs+ß�{^ï�s+��ï!p�qvÞ�j¢qv{^lvß"j?�5qk{(o�üFs+ß �²á^s+q7o�ß s+����{^ß�åÍs+ß�o�èkp�m�o"j+m��xu

�ãØ�Û�� 61Ö��¸Ø�ÕFÖ!×kØ�<S4� �: 61×kÜ�� 61ÕFÖ ?

� � � � � -/$)0 3 -4�)5!6��� $)� *�� "� #������mOj?qð{^ï�s+��l5o prs�qò{^q!ï!p�ß�s�qvz0{^q7ogüF{ lkm:{�}\o èv{=t Ý @ Ý p�z i`��p�Þ+è7o/9�â!qkj+z0p�á-mh��s!}v{^� �j+}vj+ä5o�{�}ÆåÍs+ߢo�èv{J~ Ý ý%í�÷�ß s5á"�+{(o¢ì7âTé�ß p#áSwylv����p�á"ènm:{-qhs+å )�q�o {^ß s+ß ìvpro j+� Ý â5m�o {^zcm^uÈt Ý @�í� �J�-��� �¿�+���^���S�^������� �-º5�-���ð��µ��É�����"������Ã��?�¿� ���-����Ç'�^��� �7�-�:³��^¹��É�¿� �(�-�-��±¿�-º�±�� �^�$XYOZ[Z�\�]_^[^��Od$smd�� t a_d�qUeOn�cUg�rjqBn[p[g�a�ojg�Z�^

Page 8: Neural Network - cs.utexas.edu · 0j?o:o pro lk}5{há^s+q7o ß s+ Fs+ßJÞ+lkp }kj?qká^{0o s +{-{^äào èv{Æß s5á" +{^o åÍß s z o lvzJìv p qvÞvu i`p qv { m myß s!á" {(o"m¢ènj

Ý p�zÉp#m�j?q0s�än{-q�m�s+lkß á^{?ë+s�ìF?�{-á(o:í s+ß pr{-q7o�{-} �kp�Þ+è7o�}5â!qkj?z0p#á-m�m�p�z�lk��j?o�s�ß�ü�pro�èJo�èk{�j?ìvp���pro�âo�s�m:äx{-á^p�åÍâcj �kp�Þ+è7o»á(s+q7o ß�s��xm�â5m�o {^z s?å�j?q!âcá(s�z0äv��{(ô5pro�â?u7t Ý @ Ý p�z ävß�s�ï!p#}5{�m4j�ß�{�j?��p#m�o p�ám:p�zJlv�#j�o�p�s�q�s?åÈo�èv{yá(s�z0äv��{(ô9}5â!qkj+z0p�áFp�q7o�{-ß j�áo�p�s�q9ìx{(o�üF{^{^q�o èv{�j+prß�åÍß"j?z0{?ë�ävß s+äklv�#m:p�s+qm:â5m:o�{^zTë�åÍlv{^�no j+qv�5m(ë5j�o z0s�m�ävèv{-ß�{+ë+j?qk} �nprÞ�è7o�á(s�q�o ß�s��#m(u+î»èv{yj?{-ß�s5}5â!qkj+z0p�á4åÍs+ß"á({�m4j+qk}z0s+z0{^q7o"m�s�qgo èv{�ß s!á"��{(o�üF{^ß {yá-j?�#á(lv�#j?o�{-}glkm�prqkÞJj�}5{^o j?p���{-}gÞ+{-s+z0{(o ß�p#á�z0s!}v{^�ªs?å�o�èk{~ Ý ý%í�÷!u�ivs�lvß�ï�{^ß"m:p�s+qnmÈs?å!o�èv{�ß�s5á"��{(o1ü�pro�èS}5p �È{^ß {^q7oªækq9á^s+q5ænÞ+lvß"j�o prs�qkmxü�{-ß�{4lkm:{�}�T^åÍlk�r�ækqkm^ë+èkj?�rånækqkm�;Åm�zcj?����{^ß�ækqkmA>"ë��7lkj+ß:o {^ß�ækqkmE;Åm�zcj?����{^ß`m:o�p�����>"ë�j?qk}Jqvsyækqnm(ë+p�u {?u�o èv{%j+á(o�lkj+�ækqv��{-m m'ß�s5á"��{(o^u+î»èkp�m�m�{(o�s+åªß�s5á"�+{^o m'j?����s�üF{-}�lkm�o�s�s+ìnm:{-ß�ï�{�o èv{�ìx{^èkj�ï!p�s+ß's?åxo�èk{�~ Ý ý²÷j�o�}5p �x{-ß�{-q�o»��{^ï�{^�#m�s?å`prqnm�o"j?ìvp���pro�â?ë�j+qk}cävß s�ï!p#}5{-}0jJm:{��7lv{^qká^{�s+å`p�qká(ß {-j�m:p�qvÞ���âS}5p G0á^lv�roo j+m��5m�ü�pro�èJü�èvp#á"èJo�s�{^ï�s+��ï+{Fp�qká(ß {^z0{-q7o j?����â?u �%���km�p�z�lv�#j?o�p�s+qkm1lkm:{�} ��}vj+zcm�í:@»j+m�è5åÍs+ß�o�èù?o�èví�s�ß }5{-ß»prq7o {^Þ+ß"j�o p�s+q0ü�pro�èTj�o�p�z0{�m�o {^äÆs?å�ú5uÂú+ú�÷<DSm�{-á^s+qk}vm^u

� � 3 � � ���� �"���� ��� #� 5���� � �������"�� ��5�� ���!��5�� �����

pitch

yaw

roll

pitch rate

yaw rate

roll rate

throttle 1

throttle 2

throttle 3

throttle 4

altitude

volecity

o

o

o

o

4

3

2

1

throttle commands

SCA

LE u

u1

2

u3

u4

αβ

��� �����������������������! #"$��%'&(�)�*)��+),-�$�/.10�23!46587:9;46<)5 2 7>=)469;?(9 2 3 2!@BA�2!C 7 0D2/C 7FEG7 2 4IHJ7 0D2 9;4�3F? 2 72!A�2 9:KL7 @BM/2NC 7 2PO 7 0 9;4RQDS 0T@ 7 CU@ 5 O Q-7�<VE!K 2 9XW .10D2N@ 5�YO Q-7U3P4R5 C:@BC 7 C 4IH�7 0�2 9;4�3F? 2 7XZ C 4I9 @B2 5�7FEI7 @ 4R5\[\7 0�2 9FEI7 246H�3 0 EI5DS 2@ 5]4I9 @B2 5�7FEI7 @ 4R5\[�^)_a` [D7 0�2 3!Q�9:9 2 587J7 0 9;467:Y7;< 2O 4 C:@ 7 @ 4R5]4IH 2 E63 0L2 5�S @ 5 2 [�7 0�2 E6<b7 @ 7;Q�c 2 [�EI5�c#7 0�2A�2 <B4�3 @ 7dK�46He7 0D2 9;4�3f? 2 7 @ 5g7 0�2 c @ 9 2 3P7 @ 4R5g46Hih @ S 0 7XW.10D2PC:2�A E6<BQ 2PC EG9 2�O 9;4 O EIS�EG7 2 c�7 0 9;4RQ�S 0 7 0�2 5 2 7>=)469;?7;4 O 9;48c�QD3 2 EU5 2 =g7 0 9;467:7;< 2 3!4 M/M E65Dc#jk7 0�2 E M 46QD5�746Hl7 0 9;Q C 7!m�Hn469 2 E63 0L2 5�S @ 5 2 W

o�p�qsrftvu!w�qGx�uGt�y�xPrft�zkznq6r${}|~rPqI�v�rfqR|Fq6y�xPq6����������q6q6����t�rf���8r!��y�qI�v�rP�-z�y\qGx;�Ut-rPw��{nxPp�t-y�q�p�{}���vq6yzk����qIrs�}�$�-��rPqJ���X�6�J��qIrP�N�v�b���U|fq6uX�t-y\��|i��{>� q-�Gxfp\qiuGt�y�xPrft�z�xf{k�]qG�:|FxfqI�l�xfp�q�uGt�y�xPrft�zkznq6r~rfqRuGqI{k��q6|��N�-q6uGxft�rt8��rfqR�-�v{ky��D|#��rPt-��xfp�q�rPtvu!w-qIxI�b|t-yv�a�$tD�8r!��|fqIy\|ft-r!|ixfp\�8x��\rft���{}�vq{ny���t-rP�T��xf{kt�y��8�lt-��xJxfp�q�uG��rPrPqIyDxt-rP{nq6yDxP��xP{kt-y�����{nx!u!p��J�������1rft�zkz}�X�rP�8xfq�t8�~t-rP{kqIyDxP�8xf{kt-y#u!p$�8y���q8�-�8y���-zkq#t-�U��xfxP��u!w� i� |f{k��q6|fzn{k�¡�-y��-zkq¢ �IxPp�qiuG�\rfrPqIyDx~xfp�rPt8xfxfzkqs�lt�|f{£xP{kt-yt8��xPp�q¤��t���rUxfp�rP�\|FxfqIr!|I���-z£xP{nxf�\�vq-��8y\�¥�-qIzktvuG{nx;��{ky�xfp\q��v{krPq6uGxf{kt-yt8��¦\{k�-pDxI�1o�p�{}|/{ky����vx��-q6uGxft�r§{}|��rft��\�8�D��xPq6�Nxfp�rPt-����pNxPp�qi|f{k�-�]t-{}���-zp�{}���vqIy§�-y\��t-��xf���vx)��y�{nxP|�t8�vxfp\qy�qGx;�Ut-rPwxft�\rftv�v�\uIqJ��y�qI��xPp�rft-xF�xfzkqi�lt�|f{nxf{kt-y���t-r)q6��u!p/qIy���{ny\qi�vqG�xfqIrP�]{ky�q6�����$¨©~ª)«­¬-® ��¯±° ª:²�³�´�µs«­¬-®£® ¶ �d·���p�qIrPq © ª {}|�xfp\qTxfp\rft-xFxfzkqT�lt�|f{n�xf{kt-y�t8��xfp\rf�\|Fxfq6r µ �6° ª {}|lxfp\qJ���8zk��qt8�Jy�qIx;�et�rfw(t-�vxP���vx���y�{nx µ �~�(¸© ª ´ ° ª ¸ ¬ �¤�8y\� ³º¹»¬8® �v�¼���-zk��q(t-�¤½¾��t�r © ª �]q6�-y\|#xfp\�8xxfp�qNuIt-yDxfrPt-zkzkqIr)���8yDxP|)xPp�rf�$|;xPqIr µxftL�-q6y�qIr!��xPq¤½À¿ ¬ �-�vÁ¾t8�)�T��Â��{n�Ã���ÄxPp�rP�\|;x6�)o�p�q]�$�8r!�8�]qGxPqIr ³ uGt�y�xPrft�z}|�p\t��¾���-r/xfp�q(uGt-yDxPrft�znzkq6rN{}|/�lqIrP�]{£xfxfqR�¡xPtÅ xfp\rft-xFxfzkq��\�-u!wvÆÃ�8y�qIy\�-{ky�q���rft�� ¬ ����Á¾xPp�rf�$|;x6�

Page 9: Neural Network - cs.utexas.edu · 0j?o:o pro lk}5{há^s+q7o ß s+ Fs+ßJÞ+lkp }kj?qká^{0o s +{-{^äào èv{Æß s5á" +{^o åÍß s z o lvzJìv p qvÞvu i`p qv { m myß s!á" {(o"m¢ènj

� ��� ����� ������*,�+���� �" $��<� ���î»èv{0s+ìF?�{�áo prï�{�s+å�o èv{c{^ô!äx{^ß p�z0{^q7o myü»j+myo sT}v{(o�{-ß�z0p�qv{�ü�èv{^o�èv{-ßSé Ý &Áá^s+lv�#}¸{^ï�s+��ï+{j�á(s�q�o ß�s����r{-ß�o s6m:o j?ìkpr��p�|^{�o�èk{0ækqv��{-m m�ï�{^ß"m:p�s+q s?å»o èv{h~ Ý ý%í�÷Tß�s5á"��{(o^u�î`s6}5s¸m:skë�o�èk{qv{^lvß"j?��Þ�lvp#}vj?qná({Tm:â5m:o�{^z èkj+mJo sàá(s+q7o ß�s���o èv{To�èkß�lkm:ocs?åy{-j�á"èçs+å�o�èk{TåÍs+lvßc{-qvÞ+p�qv{�mprq6s+ß"}5{^ߢo�shzcj?p�q7o j?p�qÆo�èk{�ß s5á"�+{(o-ê m¢j?qvÞ���{Ss?å�j?o:o"j+á"� � j?qk}�m�p#}5{-m���p�äTj+qvÞ+��{�-ãü�pro�èvp�q��Dg}5{-Þ+ß {^{�m�åÍß s+z o èv{Jo�p�z0{Js?å�p�Þ�qvpro�p�s+qÆo�sTìvlkß�qvs�l5o�ü�èv{^q j?���'s?å�o�èv{JåÍlv{-��èkj+m²ìx{^{-q{(ô5än{-qk}5{�}Èuvé�ôvá({-{-}5p�qvÞ²o èv{���D9}5{^Þ�ß�{-{%ìns�lvqk}vj+ß�âJp�qk}5p#á^j?o�{�m'o�èkj?o�o èv{�ß s5á"�+{^o4p#m4j?ìxs+lvoo�sJo�lvzJìv��{�j?qk}hp#m�o�èv{-ß�{^åÍs+ß {²á^s+qkm�p#}5{^ß {-}hj�á^j�o"j+m:o�ß s+ävèkp�á%åÅj?p���lvß {?u5é4j+á"èTé Ý &=qv{^o�ü�s�ß��üFj�m»{^ï�j?��lkj?o�{-}gp�qÆj�m�prqkÞ+��{%o ß�p#j?�xo èkj�o�á^s+qkm�p#m�o {-}cs+å`o èv{²åÍs+����s�ü�p�qvÞ²åÍs+lkß�ävèkj+m�{-mUTö?u �Fo9o prz0{��?ë�o�èv{hß�s5á"�+{^o9p#m9j?o:o j�á"èv{-} o s¸j6��j+lvqká"è ß"j?p���o�ènj�o�ü�pr����Þ�lvp#}5{0pro�s�qàj

m�o ß j+p�Þ+è7oyänj�o�è åÍs�ß�o�èv{�ænß m:o D?úhåÍ{^{^o9s?å �kp�Þ+è7o-u�î»èv{�åÍlv{^��o j?qk�!m9j?ß {�åÍlk�r��j?qk}¸o�èk{{^qvÞ�p�qv{-m»j?ß {²p�Þ+qvpro�{�}Èu

÷!u �Fo¢o p�z0{�� G� � ëxo èv{Jß�s5á"�+{^o�ìx{^Þ+p�qkm�pro myj+m á({^q7o¢j�m%o èv{J{^qvÞ�prqk{-m�j+ß�{9äns�üF{^ß {-}Æo såÍlv���Èo�èvß lkm:o^u

� u �Fo¢o p�z0{���

� G ëÈo�èv{�ß�s5á"�+{^o¢��{-j�ï�{-m»o èv{9�#j+lvqká"è�ß"j?p���j+qk}Oo èv{�á^s+q7o�ß s+����{^ß�ìx{^Þ�prqnmo�s0z0s5}5lv�#j?o�{%o èv{²o�èkß�lkm:o�j+m�}v{-m á(ß prìx{-}gp�qÆm�{-á(o�p�s+qhùvu�÷�j�á^á^s+ß"}5p�qvÞSo sJ{��7lkj�o prs�qT÷5u

ùvu �\èvp���{yá^s+q7o�ß s+����p�qvÞ²o�èv{�ß s5á"�+{^o»s�qv{²s?å`o�ü�s�{^ï�{^q7o m»s5á-á(lvß"m�j�o»o�p�z0{���� ��T

;Åj<> � s�ß�-ó{^ôvá({^{�}vm ��DJ}5{^Þ�ß�{-{-m^ë5prqÆü�èvp#á"èTá^j+m�{¢o�èv{Sá^s+q7o�ß s+����{^ß�èkj+mFåÅj+pr��{�}Èu;Íì>go�èk{�ß�s5á"�+{^o�ß�{�j+á"èv{�m�ìklvß�qks+l5o-ëvprqÆü�èvp#á"èhá-j+m�{yo�èv{Sá^s+q7o�ß s+����{^ß�èkj+m�m�lká^á^{^{�}5{-}Èu)�qO{^pro�èk{^ß%á^j�m:{+ëvo�èk{�o�ß p#j?�ªp#m»s�ï+{-ß%j?qk}ho�èk{9j?�ro�pro lk}5{²s?å�o�èv{9ß�s5á"�+{^o%j�o�����ìx{-á^s+z0{�mo�èv{²æko�qv{�m�m%m á(s�ß�{¢åÍs+ß»o èv{�qv{^o�ü�s�ß��xu

)�q9j%ß {-j+���#j?lkqká"èªë^o èv{Fß�s5á"�+{^o�üFs+lv�#}�á(s�q7o�p�q!lv{4j�å#o {^ß�ìvlvß qvs+lvo'j+qk}Sá(s7j+m:o�o s¢j?äxs+Þ�{^{+uÝ p�qká({¸ü�{ j?ß {6s+qk�râãá(s�qká({-ß�qk{-}òü�pro�è\o�èv{ á(s�q�o ß�s���ävènj+m�{?ëFåÍs+ßÆ{ Gcá(p�{^qná(âÑo�èv{¸o�ß p#j?�#mü�{-ß�{J��prz0pro {-}Æo�sÆß {-j+á"èkprqkÞgìvlvß qvs�l5o^u1î»èvp#m¢ævo�qk{-m m²z0{-j+m�lvß {9p#m²j?���`o�èkj?o²p#myqv{-{-}5{�}�o s{^qká^s+lvß"j?Þ�{�{^ï+s���l5o�p�s+qnj?ß âFäkß�s�Þ+ß {-m m(u�(�s�ü�{-ï+{-ß^ëo èv{^ß {4p#m1j��#j+ß�Þ�{���s5á^j+���râ�zcj?ô5przcj+��ß�{-Þ+p�s+qprqTo èv{9qk{(o�üFs+ß �güF{^p�Þ+è7o�m�äkj+á^{9á(s�ß�ß {-m�äns�qk}5p�qvÞ�o�sgo�èv{�äns��rp#á^â���� � ö �Âú���� � ö � � ùkûko�èk{äns��rp#á^â¢s+åv�+{^{-ävp�qvÞ�j+�r�+åÍs+lvß�{^qkÞ+p�qv{-m�j�o`åÍlv���+o èvß s?o:o ��{?u Ý p�qká({�p�o�p#m1ï+{-ß�â²{�j+m�â¢o s�ß"j?qk}vs+z0��âÞ+{^qk{^ß"j�o�{yqv{^o�ü�s�ß��5m4o�èkj?o�m�j?o�lvß"j�o {�o èv{^p�ß»s+l5o ävl5o"m(ë5o èvp#m�äxs+��p#á(â�ü�p����nìx{�ävß {-m�{^q7o»prqho�èk{ækß m:ohÞ�{^qv{-ß j?o�p�s+qnm(u Ý lká"èñj=äns��rp#á^âçá(��{�j?ß �râç}5s!{-mÆqvs?oTm:s���ï+{To�èk{6o"j+m��në»ìvl5oTìx{-á^j+lkm�{o�èv{cß s5á"�+{^oyp#mSm�sTlvqkm:o j?ìk�r{+ë1qvsOìx{(o:o {^ß�äns��rp#á^âOp�m²��p��+{-��âho sOìn{0äkß�{�m:{-q�oSp�q¸o�èv{gprqkp�o p#j?�äns�ävlv�#j�o prs�qªu+î»èv{-ß�{^åÍs+ß {?ë?pro4ü�p�������lkp�á"�!��âS}5s�z0prqnj�o�{Fo èv{%äxs+ävlv�#j?o�p�s+q�j?qk}Jèkj+�ro�ävß�s�Þ+ß {-m mo�s�ü»j?ß"}yj¢m:s���l5o�p�s+q1u-î�s¢j�ï+s+p#}¢o�èkp�m�ävß s+ìv��{^zTë�j?���+á(s�q7o�ß s+����{^ß"mko èkj�o�{(ô5èvp�ìvpro�{�}yo�èvp#m�äns��rp#á^âü�{-ß�{²äx{^qkj+�rp�|-{-}hì7âhm:{^o:o�p�qvÞ�o èv{^p�ß»ævo qv{-m m»o s0|^{^ß svukî»èkp�m»äkß�s5á({�}5lvß {²{^qkm�lvß {-}ho�èkj?o%o�èk{á(s+q7o ß�s��r��{-ß4ü»j+mFqvs?o%ß {^ü»j?ß"}5{�}0åÍs+ß%}vs+p�qvÞJqvs?o èvp�qvÞvu

î»èv{Æm�p�z�lk��j?o�p�s+qnm²lkm:{�}\ö�ú6m�lvìväxs+ävlv�#j?o�p�s+qkm9s?å�÷?ú+ú6qv{^lkß�s�qkm4;Åp�u {+u�o èv{Tqv{(o�üFs+ß �5mü�{-ß�{0á(s�z0äns7m:{�}6s+åyö�úÆèvp#}v}5{^q lvqkp�o"m >ë`j?qn}��hü»j+m�m�{(o�o�sóö�úTm:sTo èv{0qv{(o�üFs+ß �6á^s+lv�#}s+qv��âhá^s+q7o�ß s+�Èo èv{So èvß lkm�o¢prqTo èv{Sß"j?qvÞ�{�ìn{^o�ü�{-{^q�þ�ú�� j+qk} ö-ú�ú�� åÍs+ß�{�j+á"èT{^qkÞ+p�qv{?u ) oüFj�my}v{(o�{-ß�z0p�qv{�}�p�q6{�j?ß ��âTo�{-m:o�p�qvÞho�ènj�o²o�èvp#m²ß"j?qvÞ�{�äkß�s5}5lká^{-} m:l#G0á^p�{^q7o²}vp �È{^ß {^q7o p�j+�o�èvß lkm:o�o�s0á(s�lvq7o�{^ß"j+á(o%m:p#}5{¢åÍs+ß"á({�m(ëkj+qk}hm�s+��ï�{�o èv{²o j�m:�xu

��m�üFj�m9}5p#m á(lkm m:{�} p�qàm:{�áo�p�s�q � ë'{^ï+s���ï7p�qvÞOj¸á(s+q7o ß�s��r��{-ß²}vprß {-á(o���â�åÍs�ß9o èv{cænqv��{-m mß�s5á"�+{^o�üFj�mFo�s!s0}5p G0á^lv�ro%j?qk}Tj?qÆp�qká(ß {^z0{-q7o j?�È{-ï+s+��l5o p�s+qcz0{^o�èvs5}hüFj�m»lkm:{�}Æprqnm�o {-j+}ªu� {0ænß m:o9{^ï�s+��ï+{�}¸j6á(s+q7o ß�s��r��{-ß�åÍs�ß�o�èv{��7lkj?ß�o�{-ß:í�ækqvqv{�} ß�s5á"�+{^o^u ¢qká^{gj�m�s+��l5o prs�q�o so�èvp#m¢{-j+m�p�{^ß�o j+m��Oü»j+m�åÍs+lvqk}ªëxo èv{�{^ï�s+��l5o�p�s�qÆü»j+m�o�ß"j?qnm:pro�p�s�qv{-}ho�sho�èk{Jz0s�ß�{�}5p G0á^lv�roækqv��{-m mFß�s5á"�+{^o^u

Page 10: Neural Network - cs.utexas.edu · 0j?o:o pro lk}5{há^s+q7o ß s+ Fs+ßJÞ+lkp }kj?qká^{0o s +{-{^äào èv{Æß s5á" +{^o åÍß s z o lvzJìv p qvÞvu i`p qv { m myß s!á" {(o"m¢ènj

Time: seconds

Alti

tude

: ft.

x 10

00

full fins no guidance

1/4 fins w/ guidance

finless w/ guidance

finless no guidance

no guidance1/4 fins

no guidance1/2 fins

00 10 20 30 40 50 60

10

20

30

40

50

60

70

80

90

����� ¯��v¯���� �È­�¬ � ©H�������²¨��x¬U�����x«h­/��« � «$���*��©L���!¬ � ��� �?¬����k« -�� ��© ��� �6¬U�k®�� �?«©� � «$­/���� � «$�� �x« � � � �x­/�È®��5¯ �'µ7�������������"�����!·�����(���'��µ7���^±Â�������7·����(�ªÇ�µ7����µ²�F�!�(�����¿� �7±¿�^�1�����:³�� �º5� �"�����"���7�7� �:�^º7±���Ì#�ͽ ��½+�"�Â��µ�� � �Æ�^�.���� �8%·��"¹^���"�"��Î:½+�'µ7���"�Â���"±��"�����!·+�¿�"�^���F��µ��F�^±����Â���7·��F�^��S���7� �"�"��� ����±ª������³����F��µ!�(�F���"�S�^���7�·0� �:�-º�±��²�-±�±È��µ���Ç'��0���Sº������7�-���½v�'µ��¢¹-�7�¿·��"·h¾��!�(����� ��À¶7�7���·��^�!·�¶7�7±��"���������:³�� ����¼7�S����¹����¶!��^�?��±Â�Jµ7��¹�µ�� ����µ!�^�J��µ7�»���7¹-�7�¿·��·S����±¿±ÂÀͶ!���7�·������:³�� �½

� ��6b?7Ú<�Ö ?

é Ý &Ám�s+��ï+{�}¸o�èv{0o"j+m��¸s+å%á(s+q7o ß�s��r��p�qvÞgo�èv{ �7lkj+ß:o {^ß�í�ænqvqv{-} ß s5á"�+{(oSp�qàj+ävävß s�ô!p�zcj?o�{^��âÿ+ú+úvë ú�ú+úO{-ï�j?��lkj�o p�s+qkm^u ��qvs?o èv{^ß D+ú5ëÂú+ú�ú�{^ï�j+�rlnj�o�p�s�qkmSüF{^ß {hß {��7lvp�ß {-} o sóm:lká-á({�m�m:åÍlv����âo�ß"j?qkm�pro�p�s+qJo�s�o�èk{�ækqk�r{�m�m�ß s!á"��{(o-u!i�p�Þ+lvß {,I9á(s�z0äkj?ß {-m'o èv{�j?�ro�pro lk}5{-m�o�èkj?o�o èv{yï�j+ß�p�s�lkmß�s5á"�+{^o m0ß {-j�á"èãprqòm�p�z�lv�#j?o�p�s+qªu �\pro�èvs�l5ogÞ�lvp#}vj?qká^{?ë�o èv{�åÍlk�r�rí�ækqvqv{�}Ñß�s5á"�+{^ocß�{�j+á"èv{�mìvlvß qvs+l5o4j?o4j?äväkß�s�ô5p�zcj�o {^��â I?ú5ëÂú+ú+ú?å#o^ë?ü�èv{-ß�{�j+m�o èv{»ækqv��{-m m^ë���lnj?ß�o�{^ß�í�ækqvqv{�}Èë+j?qk}Jèkj+�rå#íækqvqv{�}=ß s5á"�+{(o"m9j+�r��åÅj?p��Fìn{^åÍs+ß {hß {-j�á"èvp�qvÞOìvlvß qvs�l5o^u (%s�üF{^ï�{^ß-ë`ü�pro�èçqv{^lkß j+��qv{^o�ü�s�ß��Þ+lvp#}vj+qká({»o èv{ �7lkj+ß:o {^ß�í�ækqkqv{-}�j?qn}�ækqv��{-m m�ß s5á"�+{(o"m�}5sSß {-j�á"è0ìvlvß qvs+lvo�j?qk}�{^ôvá({^{�}�o�èk{åÍlv����í�ækqvqk{-}�ß s5á"�+{(o-ê m�j?�ro p�o lk}5{�ì!â0ö�ú5ëÂú+ú+ú?å#o�j+qk}cö�D!ëÂú+ú+ú?å#o^ë�ß�{�m:äx{-á(o�p�ï+{-�râ+u���å#o {^ß�ìvlkß�qvs�l5o^ëo�èv{Æß�s5á"��{(o9ü�p����4ìx{^Þ�prqào�s¸á^s�j�m�o�j�oJj¸èvp�Þ+èk{^ß9ï�{^��s5á(pro�â�p�q=j6�r{�m�m�}5{^qnm:{Æäkj?ß�o�s+å%o�èk{j�o�z0s7m:äkèv{^ß {?û7o�èv{²èvp�Þ�èv{^ßFìvlvß qvs+lvo�j+�ro�pro�lk}v{%åÍs+ßFo èv{yækqv��{-m mFß�s5á"�+{^o4o ß j+qkm:�#j?o�{-m�p�q7o�s�j+qj?äxs+Þ+{-{�o èkj�o%p#m�j+ìns�l5o�÷?úJz0p��r{�m4èkprÞ�èv{^ßFo èkj?qho�èkj?o%s?å�o�èv{²ænqvqv{-}Æß s5á"�+{(o-u

i`p�Þ�lvß�{��+jÆm:èvs�ü%m�o�èk{Jìx{^ènj�ï7p�s�ß�s?å4o�èv{JåÍs+lkßy{-qvÞ+p�qv{�m�}5lkß�p�qvÞÆjgÞ�lvp#}5{-}'�nprÞ�è7o¢åÍs�ßo�èv{Tækqk�r{�m�m�ß s5á"�+{^o^u4î»èv{�á^s+q7o�ß s+����{^ß�zcj?�+{�m�m:z0s!s?o èÑá"ènj?qvÞ�{-m�o�s o èv{Oo�èkß�lkm:ocs?åyo�èk{{^qvÞ�prqk{-mJo�èkß�s�lvÞ+èvs�l5o0o�èk{ �kp�Þ+è7o^uFî»èvp#m0ï+{-ß�âóænqv{6á(s�q7o�ß s+�%p#m0ß {��7lvp�ß {-}àìx{-á-j?lkm�{6j+q7âj?ìvß lvä5oSá"èkj+qvÞ+{�m²prq6o�èvß lkm:o9j�o9m�än{-{-}vm²s+åFlkä¸o sO��j+á"è ùOá^j?q �7lvp#á"�!��âÆá-j?lkm�{JåÅj?p���lvß�{+ui`p�Þ�lvß�{ �?ìçm�èvs�ü%m � j?qk} -ñåÍs+ß�o�èk{hï�j?ß p�s+lkm9ß�s5á"��{(o m9ü�pro�èçj+qk}óü�pro�èks+l5o�Þ+lvp#}vj+qká({+u�\p�o èvs+lvo9Þ+lvp#}vj+qká({+ëªo�èv{��7lkj?ß�o�{-ß:í�ækqvqv{�} j?qk} {-ï+{^q o èv{gèkj+�rå#í�ækqkqv{-} ß s!á"��{(o9m:o j+ß:o�o so�lvzJìv��{�j+m�m�s7s�qOj+m � s�ß�-=m�o"j?ß�o�o�sc}5p�ï+{-ß�Þ�{�åÍß s+z ú�}5{^Þ�ß�{-{-m^u ��m�prqkÞJÞ�lvp#}vj?qná({?ëvìxs?o èo�èv{ ��lnj?ß�o�{^ß�í�ækqvqv{�}Ñj+qk}ãækqk�r{�m�mcß�s5á"�+{^o m0��{^{-ä � j+qk}"- j?ohï+{-ß�âÑm:zcj+����ï�j+��lv{-mglväo�sOìvlvß qvs�l5o^u�B%s?o {�o�èkj?o�j?�ro èvs+lvÞ�è�o èv{0ækqv��{�m�m�á^s+q7o�ß s+����{^ßyüFj�m²ävß s!}vlká({�}¸ì!â6åÍlvß:o èv{^ß{^ï+s���ï7p�qvÞ6o�èv{��lnj?ß�o�{^ß�í�ækqvqv{�}çá^s+q7o�ß s+����{^ß-ë`o èv{Oækqk�r{�m�m0á^s+q7o�ß s+����{^ßJqvs+ocs+qv��â=m�s+��ï+{�m�jz0s+ß {y}5p Gcá(lk��oFo j�m:�xëvìvlvo¢}5s!{-m�m�s�ü�p�o èhz0s�ß�{ys+ävo�p�zcj?�xän{-ß:åÍs�ß�zcj+qká({+u

Page 11: Neural Network - cs.utexas.edu · 0j?o:o pro lk}5{há^s+q7o ß s+ Fs+ßJÞ+lkp }kj?qká^{0o s +{-{^äào èv{Æß s5á" +{^o åÍß s z o lvzJìv p qvÞvu i`p qv { m myß s!á" {(o"m¢ènj

Thr

ottle

%

Altitude: ft.

(a) (b)

α βα

β

degr

ees

1/4 fin unguided

1/2 fin unguided

1/4 fin guided

finless guided

αα

ββ

Altitude: ft.0 10000 20000 30000 40000 50000 60000 70000 80000 90000

100

98

96

94

92

90

−2

−1

0

1

2

0 10000 20000 30000 40000 50000 60000 70000 80000 90000

����� ¯��k¯ �� �v«"¬�� � ���?¬ ���+¬����!¬ T­��È®B� ���!¬S«$��L-�������©©�¬��n®�� �?«�¯ Ë1±¿�^�yÌÍ��Î���µ7�Ç�����µ7�»�5�-±¿��� �������±¿� ���"�����·hº��c��µ7�S�"�-�?�����-±�±¿���½1Ê`�^��µO� ���������"�^�����"���5���7·��%������µ7�S�5� ���"� �?�%��µ+���7� ���-�4������^�%��µ7�0���-���9������³����J�"��¹����7� �J�(��� �9��µ7�c�"�-�������g�-���O���7�"� �"��� ����±F¼!��¹�µ��½����r��� ���������c���7�Â���¿�-±�-���"��±�±��(����������µ7�4�"�-�?�����-±vº5�"�"����� �'��� ���²¶7�7���?�:µ!�^�7¹-�¿��¹¢±��"���'��µ7�-�J¦��\�-�x���^�:�-±5��µ������ �'���^���-���¹-�����"�g�"�7¹-�¿����½nË�±��^��Ì#º5Î��"�-���!�(���"�»��µ7�¢���^±¿���"� �ó�^�!· �¸�r�-�%�-�^���������»������³�� ���"�-��¶!¹-���:�(���¿�-�7��^�!·J��±�±��7� ���:�(���"�Fµ��(ÇàÇ��"±�±n��µ7�����"���:�^±n¹-�7�¿·7�^�7�"�%� �+� ���"�Á�����-º7±��»���������7�����21"� ���^�!·���½5�'µ�����7¹-�7�¿·��·S¾��!�(����� ��ÀͶ!���7�·��^�!·Sµ!�-±Â��ÀŶ7�7���·²������³��������S�-�����:�-���S±¿�Ç �Æ�-�!·��c���^�4�%Ç�µ��¿±�����º7�+��^�������-�c�-���"�Â��µ7����� �:�(�����4���y¹-���ÇÑ��µ��F������³�� �����7�yº�±��"�"½+�����"�-�����:�-� ��+��µ7��¹����¿·7�-���"�%� �+� ���"����r�-����µ��F¾��!�(����� ��ÀͶ!���7�·��^�!·²¶!��±¿� ����������³�� �����^���F�-º�±¿�����¢�"�-���:�-�����Æ�-�7·��h�^±¿±5��µ��4Ç'��S�������º������������½+�'µ��F¶!��±��"�����"���������-±¿±�� ��7�-±Â��µ����7¹-µJ�"����±����·��r���-� ��µ7�»¾��7�^����� ��ÀͶ!���7�·��"�-��������±�±�� ��7������^���»���+�����S�-±#½

� �òÜ ?7ÛÈÚ,?�?�Ü:Ø�Õ ='Õ¢Ù ��Ú�Ö5Ú%×�6�� Ø�× �

î»èv{0ß�s5á"��{(o�á(s+q7o ß�s��`o"j+m���p#m²ß�{-ävß {-m�{^q7o j?o�p�ï+{Ss+åFzcj+q!âOß�{�j?�'ü�s�ß��#}6ävß�s�ìv��{^zcm¢m:lká"èój�mzcj?q!l5åÅj+á(o�lvß p�qvÞvë'ækqnj?qká^p�j+��ävß {-}5p#áo p�s+qªë�j?qn}ãß�s�ìns+o�p#á^m�o�ènj�ohj+ß�{�á"èkj+ß j�áo {^ß pr|-{-}óì!âÑjá(s+z0äk�r{^ô�qvs�q5í �rp�qv{�j?ß�p�q7o�{-ß j�áo�p�s�q�ìx{(o�üF{^{-qgm:â5m:o�{-z á^s+z0äxs+qv{-q7o m^u7î»èv{yá(ß p�o p#á^j?�nj+}5ï�j?qvío j?Þ�{%s?åªlkm�p�qvÞSé Ý &ós�ï+{-ß�o�ß"j+}5pro prs�qkj?�!{-qvÞ+p�qv{-{^ß prqkÞyj+ävävß s�j+á"èk{-m'p#m�o èkj�oFp�o4á-j?q0ävß s5}5lká^{j�á^s+q7o�ß s+����{^ß'åÍs�ß�o èv{-m�{�m:â5m:o�{-zcm�ü�pro�èvs�l5o»ß�{���lkprß p�qvÞ²åÍs+ß zcj?�x�!qvs�ü���{-}5Þ�{%s?å�m:â5m:o�{^z ìx{(íèkj�ï!prs�ß�s�ߢävß p�s+ßy�!qvs�ü���{-}5Þ�{Ss?å�á^s+ß ß�{�áo²á(s+q7o ß�s��`ìx{^èkj�ï!p�s+ß-uxî»èk{J{^ô5än{-ß�p�z0{^q7o"m%p�q�o èvp#mäkj?äx{^ßÆ}5{^z0s�qkm�o ß j?o�{To èvp#mgj?ìkpr��pro�âàì!âãm:s��rï!p�qvÞójàèkprÞ�è5í ävß�{�á(p#m�prs�qªë'èvp�Þ+è5í�}5p�z0{^qkm�p�s+qkj+��ëqvs+q5í ��p�qv{-j+ß�á(s�q7o�ß s+�Èo j�m:�xu

�ån{��7lkj+�5p�z0äns�ß:o"j?qká^{4p#m`o�èv{�ß {-m�lv�ro'o�èkj?o�o èv{%}5p �È{^ß {^q7o�p#j?��o�èkß�lkm:o4j?äkävß�s7j+á"è9åÍs+ß'o�èk{ækqv��{-m m�ï+{-ß m�p�s+qÆs?å'o�èk{�á(lkß�ß {^q7o¢~ Ý ý%í�÷�ß�s5á"��{(o%p#m»åÍ{-j�m:p�ìv��{+u �%�#m:skënèkj�ï!p�qvÞ0jcá^s+q7o�ß s+����{^ßo�èkj?o�á-j?qTá(s�z0äv��{(o�{%o�èv{Sm�s+lvqn}5p�qvÞ9ß s5á"�+{(oFz0p#m�m�p�s+q0p�qhm�p�z�lv�#j?o�p�s+qJèkj+m»äkß�s�ï!p#}5{-}�ï�j+�rlvíj?ìv��{�p�q5åÍs+ß zcj�o p�s+qhj+ìns�l5o�o èv{9ìx{^ènj�ï7p�s�ß%s?å'o�èk{9ß s!á"��{(o%o èkj�oyü�s�lv�#}Æqvs?oys?o�èk{^ß ü�p�m�{�ìx{j�ï�j+p���j+ìv��{?u

)�qóo�èv{gåÍl5o�lkß�{+ë�üF{gäv�#j+qós+qàzcj+�7p�qvÞÆo èv{co"j+m�� z0s�ß�{0ß {-j+��p�m:o�p#á�p�q o�ü�s�ü»j�â5m�T ;�ö�>o�èv{9á^s+q7o�ß s+����{^ß�ü�p��r�ªqksJ��s�qvÞ+{-ßFß {-á^{^p�ï+{ � j+qk} -=ï�j?��lv{-m�j�m»p�qvävl5o-ënj?qk} ;�÷�>Fp�qkm:o�{�j+}hs?åj�Þ+{^qk{^ß"j�o�p�qvÞ0á^s+q7o�p�q!lvs+lnm�á(s+q7o ß�s��1m:p�Þ+qnj?��ë!o�èv{Sqk{(o�üFs+ß �gü�p����ªs+l5o ävl5o¢j�ìvp�qkj+ß�âgï+{-á(o�s�ßprqn}5p#á^j�o p�qvÞOü�èv{(o èv{^ßJs+ßJqvs+oJ{�j+á"èà{-qvÞ+p�qv{Æm:èvs�lv�#} o èvß�s+o:o �r{hìkj+á"� �To s j6ävß {-m�{(o��rs�üo�èvß s?o�o���{²äns7m:pro�p�s�qªu!î»èkp�m»m á"èv{^z0{yü�p����xÞ�ß�{�j�o �râ0m�p�z0äv��p�åÍâ�o�èk{Sá(s+q7o ß�s��xènj?ß"}5üFj+ß�{¢s+qÆo�èk{ß�{�j?��ß s5á"�+{(o-u ¢qká^{gj�á^s+q7o�ß s+����{^ߢåÍs+ß9o�èvp#mSqk{^ü o j�m:� p#m�{^ï�s+��ï+{�}Èë1ü�s�ß��¸ü�p��r��åÍs!á^lkmSs�qï�j+ß�â!p�qvÞ²{^q!ï!p�ß�s�qvz0{^q7o"j?�!äkj?ß"j?z0{^o�{-ß m�j+qk}�p�qká(s�ß�äxs+ß"j�o prqkÞ¢qvs�p#m:{%j+qk}�ü�p�qk}0m:sSo�èkj?o4o�èk{á(s+q7o ß�s��r��{-ßJü�p����%ìx{6åÍs�ß á^{-}Ño s=l5o pr��p�|^{Oj=ß�s�ìvlkm:ohj?qk}\Þ+{^qk{^ß"j?�¢m:o�ß"j�o {^Þ�âào�sÑm�o"j?ìvp���p�|^{

Page 12: Neural Network - cs.utexas.edu · 0j?o:o pro lk}5{há^s+q7o ß s+ Fs+ßJÞ+lkp }kj?qká^{0o s +{-{^äào èv{Æß s5á" +{^o åÍß s z o lvzJìv p qvÞvu i`p qv { m myß s!á" {(o"m¢ènj

o�èv{cß s5á"�+{^o^u`î»èvp#m�äkèkj+m�{0ü�p��r��ìx{há^ß�pro p�á-j?��o�s6s+lvßSlk��o p�zcj�o�{JÞ+s7j?��s+å�o ß j+qkm:åÍ{^ß ß�p�qvÞÆo�èk{á(s+q7o ß�s��r��{-ß�o�sJo èv{S~ Ý ý�í�÷�j+qk}co {-m:o�p�qvÞ�pro�prqTj?qTj+á(o�lkj+�ªß�s5á"��{(o»��j+lvqká"èªu

� �¸Ø4Õ¢Û�<�Ú,?�Ü:Ø�Õ

)�qco�èkp�m4äkj?äx{^ß-ë!ü�{¢ävß�s�äns7m:{¢jSz0{(o èvs5}�åÍs+ßF��{-j+ß�qvp�qvÞ�j+qgj+á(o�p�ï+{%Þ�lvp#}vj?qná({%m�â!m:o�{-z åÍs+ßFj}5â!qkj?z0p#á^j+���râ0lkqkm�o"j?ìv��{+ënækqk�r{�m�m�ß�s5á"��{(o¢ì!âTlkm�p�qvÞ0o�èk{Jé4q5åÍs+ß"á({�} Ý lvìväxs+äklv�#j�o�p�s�qOqv{^l5íß�s!{^ï�s+��l5o prs�q0j?��Þ+s�ß�pro�èkzTu ¢lvß»{(ô5äx{^ß prz0{-q7o m4m�èvs�üòo èkj�o»o èv{²{^ï+s���ï+{-}�Þ�lvp#}vj?qná({¢m�â5m�o {^zp�m�j?ìv��{²o�shm�o"j?ìvp���p�|^{¢o�èv{�ænqv��{-m m�ß�s5á"��{(o�j?qn}TÞ+ß {-j�o ��â0prz0äkß�s�ï�{¢pro m�ækqkj?��j?�ro�pro lk}5{Sá(s�z�íäkj?ß {-}¸o�s�o�èv{gåÍlv����í�ækqvqk{-}Èë`m:o j+ìv��{0ï+{-ß m�p�s+q6s+å»o�èv{hß�s5á"�+{^o^u`î»èk{cß�{�m:lk��o"mSm�lvÞ+Þ�{-m:o�o�èkj?oqv{^lvß s!{^ï�s+��l5o�p�s�q6p#mSjOävß s+z0p#m�p�qvÞhj+ävävß s�j+á"è åÍs�ß�}5p Gcá(lv�roSqvs�qv��p�qv{-j+ß²á^s+q7o�ß s+��o j+m��5mSp�qo�èv{�ß {-j+�ªü�s�ß��#}Èu

� Û���Õ�Ø��F<>6�Ù�� � 61ÕFÖ ?

î»èvp#m»ß�{�m:{�j?ß"á"èhü»j+m�m�lväväxs+ß�o�{�}hp�qTäkj+ß:o%ì!âco èv{ B¢j�o�p�s�qkj?� Ý á^p�{^qká^{²iks+lvqn}vj�o prs�qhlkqk}5{^ßÞ+ß"j?q7o )+) Ý í�ú+ú � � I�I�ÿvëvj?qk}To èv{9î`{(ôvj+m (%p�Þ+èk{^ß�é�}5lká^j?o�p�s+q ��s!s+ß"}5p�qkj�o p�qvÞ @Fs7j?ß"}hlkqk}5{^ßÞ+ß"j?q7o ��~ &�í ú�ú � ÿ�D �?í�ù I�ÿ�í�÷?ú�ú5ö?ukî»èk{cj?l5o èvs+ß"m�üFs+lv�#}¸�rp���{9o sOÞ+p�ï+{�m:äx{-á^p#j?�'o�ènj?qv�5m²o sé�ß p�á�wylv����p#á"èkm:{-qOs?å )�q7o�{^ß s+ß ìvpro j+� Ý â!m:o�{-zcm ;Í{-Þ+lv����p#á"è��yá(s��rsku o s�>4åÍs+ß�èkp�m�á^s+���#j?ìxs+ß"j�o prs�qj?qk}hp�q7ï�j+�rlnj?ìv��{¢j�m�m�p#m�o"j?qká^{�p�qho�èvp#mFävß s7?�{-á(o^u

�#6b5 61×�61Õ¢Û�6 ?¥-½%���^��±¿�����"��ã½ Ï%½2X�0»�F���6�����7�7·����7¹�������³������"�7¥�!8-¤(À:¥�� -¤�X+� µ��¿� ���^������-±!�������S�^����½+�x� ��µ��7����-±

Ï4�"�5�-��� 0»�»�+�à��˪À���� ?¥���0»�(�������!�^±v��� ���-�!�^�������"���-�7·9�+�!�^�"�»��·������7��� ���:�(���¿�-�n���T�-��µ��¿��¹-À���-�n���y½ ��½ÈÌ ¥��£?¥(Î

¦�½%�?�"��º5� ���� �¢½2X��ÑÇ'�^��±¿·cÇ��Â��µ7�-���F¹-�:��?������½»�n�"��µ��7����^±ÈÏ�� �5�-���%�+Ë1À�¥¦!8?¥-�nÊ��+�����5��^�Æ�?�!�^�"��4¹��"��� �gÌŦ��?¥^Î

�?½ �F�¿�-� �"�����Í�nÏ%½¿� �F�+����³������¢½��k˪�^��±����7�#� ° ½��vÏ4�������#�nÃ�½2X�Ê��?�¿·�� �7�"�%���^�%¡�ÀÍ�:�"�����r���-� �����+���"�"��-�������¿·��»��µ�������±¿�^��� �+� ���"��½1Ë1µ?�+������^±xÏ4�"�?�¿��Ç��n� ����� �����ÆÌ ¥�� �¦�Î�� ���������

�+½��k���^�7¹��k���n����½¿���ó�"�²�+�k���¢½2X7�������"±�±¿��¹-�"���1�"����������±?��µ7� �-�������y¹����¿·7�-���"���^�!·¢� ����������±+� �+� ���"�·+�"����¹��*X!�-���^��� ���?�¿��Ç�½�˪������½/0»�^��±#½!�+�"�#�!�������7��½�Ï4Ð��FÌÍ��Î � � ÌŦ ���ÎF¥ 8�����

8�½ �F�-���H1�� ° ½¿� �J����³?³+��±¿�-���7�"�k�xÏ%½2X������ ���"���"���:�^±ª�"����±��+���¿�-�Æ�^���"������±�� �c¹��"��� �:�-±�º5�"µ7�(�?���-�½��·7�-�+��������Ã��"µ7��+���^���ÆÌ ¥���£�Î �+¥(£�� ����¦

?½ �F�-���H1�� ° ½�� �J����³+³?��±��^���7�"�k�ªÏ�½2XgÏ4��º7��� �²������Àű����7��(�²�"�-��������±���µ+�����7¹-µO�7�"�+�����"���-±¿�+�������n½�x� ��µ��7����-±�Ï4�"�5�-�����4� �¦À�¦��¦��È�»� �!�^������� �?�F�-�����-���7���������+�"���"���"�"�"�x�'µ7�����7����� �����Â���c�^��x���7�^�4�^������� ���¿�hÌŦ���¦�Î

£�½ �J�^�����(���������y½ Ê�½2Xç�?�+�¢º7���-������Ê1���-±¿�+������� �^�(0F�"�+�:�-± 0F� ��Ç'�^��³+�����à�?�¾��7�"�����¿�-±��»� �"�����¿�-��È�^��³?�"½FË1µ7�ò��µ��"�����"�5�»�"�7�^�������"���4�-��������������� �»�+� �¿� �7�"�"�"�5�'µ7�%�F���¿��� �����Â�����^�`�x� ���-�F�^��4�7� �����ÆÌ ¥���£�Î��n�"��µ��7����^±xÏ4�"�5�-�����F��À��4� �£(À�¦!8-£?½

¤?½ �J�^�����(�������5�¢½ Ê�½�� �J����³?³+��±¿�-���7�"�k�!Ï%½2X�Ê1����±��?���7¹���º�� �:�-�"±���������¿·��-�7� ��º5� µ!��?�¿�^�F���c�¢���-º5�-��(����½+�x�"�:µ7�7����^±?Ï��"�5�^�������!� ^À�¦����+�-�»�"�7�^�������"���n�-�k���-���7�+��� ���+� �¿� �7�"�"�"�-�'µ��'�F���¿��� �����Â����^���x� ���-�4�^���4�7� �����ÆÌ ¥��� �Î

?½"�óµ��Â��±¿�����1�y½�� ���^��µ7�¿�^�"��#²½�� ° �Â�>1"µ��-���n�`ËȽ2XO�»�"±Â�:�(À ���?·+���7¹mX`�4�6�Â��� �:�(������������(����µ6� ���:�^��À�"¹^�����^�%¹��"��� �����y�^±�¹��-���Â��µ����"½����cÃ�� ±¿��Ç��nÏ%½ #²½��kÃ�����³�����$��½ Ã�½��k�·��"½2Xk˪�����"�"�·+�¿��¹��»�^�`��µ��° �-������µ%������� ���7�^�������7�-±+���-���������"�7�"�`��� �F�"�7�����¿����±�¹��^���Â��µ7���"�^�+�-� ° �:�-���"�����"�����'� X��J�-��¹��^�#%�^�����S�^�7�hÌ ¥��?¥^Î�£�£��?¤��