Upload
others
View
14
Download
0
Embed Size (px)
Citation preview
������������� �����
�
������������� �����
������������������������������������������������ �!�������"�������������#���������$%�&&'
���������(��)*�+),�������-. "#/0
������������������
�1������ �2�������*"��������&����������, ����"����3-�������4�����"����5.��� �������64����#!!��7�������)�������������8���9��������:�������;4�����������21��������"�����< #���� �2 #!!�������� ������� ��� 9������2�����#�����������
������������� �����
*
� �����������������
Problem Definition
67**
2TQH�&T�Ä+PI�-�4CNN
� ���� �
&T�Ä+PI� ,�9QNNPCEM
repetition accuracy
50 - 100 µm
absolute positioning accuracy
2 - 10 m m
�Robot fram e is indicated approxim ately or not
Angle error of 0.1° of 1 m length results in a arc length error of 1.7 m m
zero errors of the sensors and
arc errors between w orld and robot fram e
�
=> problem :
%��=�=1������ �2�������
��� !������� ��� �2 ���������� ������ �� ����2������� �������������>��������������������!���2���������!����������!�����������������������?�����@!���A?������������������������!�����������!��������������8���� �� ������� 2������ �=�= ��!����� ���+�� ������ 5+�
�++µ�= ��������������������� ���������� ���������� ��� ����2������ ���� �!!��7������� �� ��� �� ���= #�������� �����!���� ��������� ������ �� �����2��� ������������� 8��� ��������B��� ��� �������� !��� �����= &����������� ������� ���� ���8�� ����������� ����������!�����������������=
%���7��!����+=�C�����������2������������7���2������������ ������� �� � !���������� ����� �� ��� �� ������ �2�!!��7=�=)��=���������������8���B���!�������������2��� ������� ��� �� ������ ���8��� ����� ��� ������ ����������������������������������2������2������������������!��������=
&� �����D� ����� !���������� ������ ��� �������������!�����������= ������� ���� ��� ��>���� �� �7!���������=#2��� ��� ����� ��� ���� �8����� �� �� �� ����� ���� ������������� ��2�����!���=#� ����!������� ��� ��������!����
������������� �����
,
��������������B���=9�������2�������!���������������������� �������� ���� ��� ��>����� !���� �� �!������� ����!!��!��������������!�������!����=����������2!������2�����������7������������������!���������!���������2����7������������������>��������������������!����2������������!!��= �������������!���������!���������� ����� 8��� ���� �������� �� ����� !���� 8��� ��� �!��2���!������������=
�������2�������!��������� ���� ������8�8��� �����!������������� �������!�������� �������� ��������� ������ ���� ��� ��8 2��7�������= �8����� ���� ������2������� !����� �� ��� ���������� �������� ��� �������������� �2 ������� !�� ����= &� ��������� �������!�������� ���� �� �� ��!����� �2��� ���������E��������� ����!���������!�������8����������!������=
Blum e
Absolute positioning accuracy requires teaching
Separation of plant business and program m ing
%��=*= ����F22����1����������
��� ���� 2�� ��!������� �!������� ��� !���������� �2 ���!����2���������������2��������!��������8�����������2��� ����� ��������22����!�����������2 ������ $%��=*'=&������������������������2���������>��������������������8�������!������!����������������!����=#�������!�����2����������2�������!���������������>�������!��������������������������2�������������������������������8������!������ ���� �� ��������!���������������������=
��8����� �� ����� ���� ����� �22���� !����������� �������������>��������������!��2����!!��7����������������!�������������������������������������!��������
������������� �����
3
�2 ������� ����������� ��� �� ��� ����������� �2 �! �� ����������������������8��������������2���������=��� ������������� ��������� ������ �����2���� ������������� �� !���� ������ ��� !����� !���� ���� ��� ������������������������������� ������=���������2�� ������� ���� �� ��� ������!���� �2 ������ ��������� ���� �����>���������������������!������������8���������=
Parameter identification frommeasured placing behavior
Classic : 3D - m odelglobalexact
hoursexpensive and sensitive m easuringinstrum ents
New : 2D - SCARA - m odelsecondseconom ical and robust videom etric position m easuring instrum entsensor tool changing capablesubpixel m easuring algorithm s
not global (400x400 m m )2
%��=,= ����4����������
#������� ����� ��� �� �������� �� ������� ������ �2�����������2���!����������2����������������������2���2��� ��� ����� ������� ��������� �2 ��� ������ $%��=,'=����!������������������������=����������������������2������ ����� ��� �2 , ������= ���� ����� �� � ��������!�������� �2 �����= 1���������� ���������� �7!����������������������������>��!����8������2����������!���? �� G�++�+++�G*++�+++ ? ����� �����2������ ������ ��������� �2 �� ���������� ����� ������ G,+�+++�G6+�+++= &���������� ���������� �2 ��� ��� ����� !��������� ��� ����������������=%�� ����� �����������2 ������������������8�������������!����2��������������������������������������= #������� ����� ����� !������� ��!!��������������������7�����������������������������2������!��������������������2���������������=
������8�����������!�����2�����22������!�8��2�����2����������������������������2��!�������!!������������������� �����= .�!������ 2�� 94# # $9�������4��!����� #������� ���� #��'� 8��� �� ��!������ 2����������8������������������������������������������������������!���8���
������������� �����
5
• ������������!�������������• ��� �����22������ ������ ��� �������������� 44 ���������!�����������������������=
#������� ����� ����2��� ��� �>����� �� ��� !��� �2 ���������� ���������� ���������� ��� ������ ������� ��������!���������������������2�����!�������������2�������� �� �� �������� �� � ��!��� �������� !������ �23++��733+���8��� �� �������� ��22����� 2�� !���������=
� ��������������������
# ������ �2 ��������� ������� ��� �>��!���� 2��������������!����������������������2�������������������������������!���������!���������=
Judd ‘87 , Berg ‘90 , M eyer ‘91, Tradt ‘91
W atson ‘85, Lau ‘85,M ayer ‘86 , P renninger ‘92
Tradt ‘91, Beyer ‘95 ,Geuens ‘97
m easuring headpose and positions
sensors
inductiv, haptic:
ultra sonic soundvideo m etric:
W arnecke ‘86, Schiele ‘87,Gosse l ‘96
S tone ‘86, Berg ‘90 D ain is ‘85, Zhuang ‘96,
R oos ‘96, W ollnack ‘96
calibrating bodies
theodolites
laser interferom eterlaser tracking
videom etric
TC P - flange
LED -panel
C CD sensor
%��=3="��������&����������
����8���������� ���<;5����<;)� ���������8��� �����2��������� ��� ���������� ��������� �������= 4������������������� �� :��� ��� �� ��� ������ �2 G�++�+++ ���G�5+�+++� �� G,++�+++�G5++�+++= ��8����� ��� ����� ������������ ������� ���� ���� ������!�� ������ 2�� ������������������= ���������� ��������� ������� 8���������!�� ��� ���� �� ����� �� �<<�� H���� �� �<<5 ���-��������<<)=4�����������������������������������F1�F������ ����� ��� �!!��7������� G*++�+++= ��� ����!����2�����������������������������������������2�!�� ������� ��������� 8��� ��������� ������������ �� ���
������������� �����
6
�E�+�� �����= ��� ��� �2 ���� �7!������ ����������>��!���������������������������2����������������!������� ��������� ������8��� ���� �� ���� ���������� ����������8�����������������!����2�!���������������������������=
#������������������ �������������������������������������� ��� ��2����� �����= ���� ����� ��� ��������������� �2 ��� �7������ ������� �� �� ������ �� ������������� �2 ��������� �� ��� !���������� ������������ �2 ���
��������������������2�=�=±�+���8������������������ !���� �� ������� ������ �2 ���������= ���� ������������ ���� ������� ���� !��� �� 8��� �� !�������������������������������=���!����2!������������������������������2�����2�!!��7�������*��!��������� !������� ��������� �������� ������ ���� ��>���� 6��������2,���������������������� �� ����������������=�������������������������������������������<;6�9����� �� �<;) ���-����� �� �<<6� ��� ��22���� �� ��������� ���������� !���� �� ��� �������= ���������� ��������������9���� ���<;6���H��� ���<<+� �������� ���� ���������� ����� �� ���� 2�� ��������� !�������� �� ����+I��������!������=
�����������������8��������� ��������<;6�J��������<<6��� ������<<6=H��������������44 ����������� �������� 8��� ����!�7�� !�������� ����� !�������� ����������� � �����22����� ��� ������ !������� ���������44 ����������������2������������������2���������� ��������� 8��� ���� � ��������� ����� �� ���I������$��������*++�'=���!����2��������������������� �2 G*�+++� 8��� �� �>�������� �� K��� 5��+L �2 ���!��� �2 ��� �����= ��� ��������� ���� ������� �� ������������ � ���� �� � ������ �� ��������� �>��!������������� ��������� 2�� ���� ������ ��� ����� ����� �� ����������������������2����������������!��������2�2���7��!��� ��� �������� !������ ������ !������ ���= #� ���!�����������������2����������������������������������������� ����� �2 ��� ����� ��������� ���!��� ��� ��������
������������� �����
)
����������� �2 ��� ����� 8��� ���� �����!�������� ������������ �� ��� ����� �2 ��������� �2 ��� ���������!����������������=��8�����8�������������������2 ����������������������������������!�������� ���� �� ��������� 2�����2*?, ���� ��� ��!�������������2 ��� �����=#� ��� ����� 2��� ����8 ��� ��!������� ������ �����22�����������������������������������8���������2 ��22����� !������ �����2���� �� K����2� ��� �7��������7!����������������>��!����=
#� � ������ �����22����� ��������� ����� �������� 8�������������2�������������������8������������������������������������������8�������!���2������������������$%��=5'=
TCP-sensorcalibration body
robotcalibration body
assemblycalibration body
1D-laser 2D-CCD-camera
%��=5=4����������H����������������1�������"��������&���������
���� ���� ��� !�������� 2�� �����22����� ��� ���!�� ���������������� ��������8����!����������������������=�����������2�����������!������������������������������41�����2�������� �� 8��� �� ��� !������� �2 ��� ����������������� ������ �� ����� ��� !������� ������� 8��� ����>����� 2�� ��� ���������� ���8��= ���� �� �� ���� ���������� �������� ��2����� ������ �������� 8��� � ����������� ��������� ������ ��������� �2 ����� ������������� �����������44 �������������������!�7�������=�����2����� ����� ���� �!���� ������������� �������������������� �� ���� ��������� ��� ��22����� ��2���������������������8�������8�, !���������������������� �����=��� ��2����� ����� �� ������2������ �� ��8
������������� �����
;
���8�����������2,+�)+µ��������������������������������������������8�����������2�!!��7=
)µ�= ��8����� ��� ������ ��>����� � ��!�������� �2 ������!������������������������������������������������2�����2���������$��!������������!���������22�������2
������ ��� �� ��� ����� �2 �+?,+µ�EC4E�'= ��� �41������ ��2����� ���� ������ ��������� ��� !��� ���8�������������41��������������������������2����������� ���� 2�� ���������� ��� ����� ����� ��� ��� ���������������� ���� ����� �2 ��� �������� !���� ��� ���� 2����������� ��� !��� ���8��� �������� ��� ����� ���������������=
���� ���!� �� �� ���� 2�� ��� ��� ����� ��������������������!����������������=
� ���������
%����8��� ��� �7!�������� �2 ��� ������� ������!���� ������������2������������!����2��������������������8�����8����������=
S i
S i+1
joint i
S R
T i
S G
S 0
w orldfram e
robotfram e
TC P
jo in t ( + 1)i
jo in t i
T i
x i+1
y i+1z i+1
x i
y i z i
%��=6=M������������2��������
��� ����������� ������� ��� �����2�������� �2 � !���� ���!��2����41�����������������������2����������������2 ������� ������������������� !��������� �2 ����7�������2���������$%��=6'=�����������������������������������������������K����=���K���������2������������������7!�����������������������2���������N
������������� �����
<
v T v TD t
0i i i ii i
− − −− −= =
���
���1 1 1
1 1
1, with
D
ti
i
−
−
==
1
1
: orthogonal rotation matrix
: tanslation vector
⇒ = =∏T T f p xkk
( ),
x
p
: input vector
: parameter vector
==
#�������� ������������ �����2����������2 ��� ��������������� �� �������� ����� � !����� �2 ��� K���� ������2��������� �K= ���� ��!���� �� ���� ��� ��������!������������8����������������������������� =�����������!����������������������7�������������������������2��K������ K������ ��� ��� �����������������������2��� �������� ����������� �� �������� ��������� �2 ���K�����=#�������K��������������������������������������22��������!������2������7������������=����������������������� ��!������ ��� !������� ������ �2 ��� ��������!���������������2���K����������=
�����������E���7����������������������8����������2 ��������� � �������� ��!���� ��� ������ ����������������= &� ��� ��� ��� ��!���������2 �������� ������ ������� ������� ��������� ? �� ��� !������ ��� ��� !������������������� ? �� ��������8��� ��� ����� �!��2��� �� ����!!�������= ����� ���������� �22��� ���� �2 !�������� ������������������������!�������������2�����2�����������������2���������� ��������� �������������������=����!���������� �7����� ������ ����������� ���8��� ���!���������= #�� ����� ��� ��� ����� ���� ������������� �2 �������������������������������������!���������������������!�� ��������� �� 8��� �� ��� !��������� ������� ����������� �2 ��� ��!�� ��� ���!�� ��������� ������ �� �����2��=���� ������� �� � ������ ���������� �2 ��������������
������������� �����
�+
����� 8��� ������ �� ��� ����������� ��������� ���������������������������2!������>���������=
! "�������#����������
����!!��!������������������������������68���2�������1���������������������8����2�������:��B=���������� 2��� ��� ������ �2 ��� ����� ��������� ������� �� �������� $�!������' �2 ��� ���� ��� B��7�� !������� �� ������������2����!�����7��=��������������������������� ��� ����7� $�������' �2 ���������� 2������ 8��� ��!��K���� ���� $���' ��K����� �� ��� 44 ������= �������������8��� ���������2 ��� ������� ���44 �����������!���� �� ���8���� �2 ��� ����� �= ���"��� !����$������� �� ��� ���������� !���� $�����������' �2 ��� �!�����7��8������44 �����������$������!����'����������������$ �� ��� ������ �2 ��� ������ ��������� ������= ���������2�����������$2��������!�����������'8������������8��� 44 �������� ���� �����2�� ���� $�������' ��� �����!�������� ��� $2���� �������' �� ��� ������� ����!����������� ��� �������� �� ��� ��!!�� ������ �2 �����!����=����������2����������������������������2�����!��������$�����'���������������2��!!��������2��������=�����2��!!�����������������������������=F����44 ���������������������������2����!�����7���������8������������=
Geom etric Camera Model
67**
2TQH�&T�Ä+PI�-�4CNN
� ���� �
&T�Ä+PI� ,�9QNNPCEM
fram e-g rabbe r-R A M
C C D -senso r
senso r norm a l vecto r�6 [ \� � �� �
data array :p ixe l[m ][n ]
�
optica l ax isc irce l
contour
idea lC C D -senso r
�U
�U
�Y¶
�Y¶
�Y¶
�:
�&
�&
�&
senso r fram e
w orld fram e
�:
�:
�:
�
%��=)=-�������4�����"����
������������� �����
��
��� �����2�������� $�����' ���������� $!�����!����' �2 ������ !�7�� $!����' �� , ������ ��������� ������� �� * ������������2 ��� ���!���!������ �� ���8�������������2 �����!���� �� ���������B�� �� 2������������� $����'�����2���������N
�% �����2�������� �2 ��� !���� �2 ��� ��K�� 2��� �������������� ������ �� ����� ��������� ������ 8��� ��7������������!����������2����������������������=
& � &4
4
� �= �
��� &� � � � �= $ '� � � � F�K��!����������������
8����2�������
&4 4 4 4 �= $ '� � � � F�K��!����������������
�����2����=$�'
�%4������!��K������2���������!������$8����'������������������������������������������N
& ' &� 4= ����' =
−−
−
�
�
����
�
�
����
� �
� �
�
E
E
+ + +
+ + +
+ + +
+ + + �
���
� �= 4=$*'
�������������� ��������������� &���������� $������'
����������2�������������������������������=��������$�������'��!��������K����������B��2�����K��������������������8������2��������2��������=
�%:�������������
��� ���������� ����������� �2 ��� ���� ���� ������� ��� ����������� �������� �2 ��� ���� ������ �� �� ��������$�������'8��� ��� �!����� ��� ��������������� ������ �����!!����=��������������!����$!�7��'�2�������� $ '� �X X W �2
������������������$!����'8����������������2����������
������������� �����
�*
��������� !���� $!�7��' $ '� �Y Y W �2 ��� ����� ������� ���
�>������N
�
� �
�
�
�
� �
�
�
������
=+ −
������
*
� � 3 *χ $ '$,=�'
��!������������������N
�
� �
�
�
�
� �
�
�
������
=+
������
�
� *χ $ ' �
8���� � �ε ε ε= +$ ' $ '* *�ε ∈ O � P� � $,=*'
����������!!����8����������������������������������χ�����������������=
!%#�K�������������2��������������N
&������������������2���44 ������������������������������� �����!���������2 ���������!��!�������� �� ����!�����7�� ��� ��� �7�� ������� $������'= ����� ����� �� ��
����������������8��������2�����������α����α�
���!�7��$!����'�2��������$ '� �6 6 W �2��������������������
���� �� ���������� $�����������' !���� �2 ��� !��K�����������8������!�������������������������������������� ��� �>������ $,' �� ��� ����� ������ !����� 8��� ��������!�������>��������2�������������!����N
$ ' $ '� � � �� �
9 9 �
9
�Q
9
�Q �= �
���( �� � � �
� � �9
�Q �Q�Q �Q �Q �Q
�Q �Q �Q= + −
−�� � *
* �
$ ' $ '
$ '�
��
� � � �� � � � � � ��Q &= ∈$ ' $ ' � O � Pα α � * �
�� +& � ��
= � �� �� � ����* + +& �= � �� $3'
��!��������8�������������N
������������� �����
�,
$ ' $ '� � � �� �
� � �
9
&
9
& �= �
���( �� � � �
� � �9
& && & & &
& & &= + −
−�� � *
* �
$ ' $ '
$ '�
��
� � � (�
&
9
�Q= − −� � � �$ ' $ 'α α �
(9�Q 9 9 �= $ � � '� � + ����* + +& �= $ � � '� =$5'
�������!������������������������������������������
���������������������������!��������������244
��������������������������������������������=
)%9���2����������������������N
��� 2�������� !����!�� �2 ��� ������ �����2�� 2��� 44 ������ �� �����!!���������2 ��� �����!�����������$2�����������'���������!������������������B������2������!�����2��������������8���������!����2��>����!=�������������������2������������������������������2!�����>�������������������������244 �������8�������������������2����8������8����2�����$���2��=;'������������>�����B�������������2������!���������� ��� ����� ����� �� ��������B� ���� ��� 8������������� �����!�� �2 ��� ���������� �����= ����� ����������� ������ �� ��������� ��� ������� ��������!�����������= ������ $�������' ������� !������ �� ��������7�� ��� �������� ���� ��� ��� �������B�� ������ �2 ������������� !������ !�������� ��� ������ ��� �� ����!��������=
������������� �����
�3
Horizontal and Vertical Scale Factors
67**
2TQH�&T�Ä+PI�-�4CNN
� ���� �
&T�Ä+PI� ,�9QNNPCEM
������������
������
�����
�[
�\
������������
������
�����
�[
�\
��������
���������
���V
�
�S
�
����������
%��=;=����B���������������9���%�����
F8��� �� ����� ������ !��������� ��� !�7�� $!����' �2 ���
����� � �6 6W
�� � ��� �� ��� ����� ������ ��������� ������ �2
�����!!�����������2����8���!�7������������N
�
�
�
�
�
�
�
�
�
�
�
�
9
9
������
=−−�
���
��+������
E
E �$6=�'
�����������B���������������������2�����N
�
� �= ⋅ �
!� �� �= $6=*�,'
����������!����N
$ '� �� �
�=$6=3'
�������!�����!��2�����������������2����!�����7�������!�7���������������R���2�������44 ����������$���'���!���������7����!��������������������������2������� �� 7� ��� �� ��������� ������ ���� ��� ����� ������������ $����������' �2 ��� �7�� �������� �2 ����������!����!����������������!��������2��=)=
������������� �����
�5
��!��� ����!������� $��������' �2 ���� ���������� �����K�������������2�������������!�������������������!����� !�������� ��� ������� �2 !������ �������2��!���������=��8�����������������������������=
%��� ��� �!���� �� ��� ������� ������ �����������$����������'�2��������������������������B����������=�������������2��������������������!�����$�������!!��������' ������� ���� �� ������� $����� �8��' 8������ ������� ����� �����2�� �� �!!���� ������� �2 H#9����������2��� 2����8�� �� ��� 44 ���� ��������B�� #E ��!��2���������������������!�����������=
��� ������� ��2����� $2����' �2 ��� 44 ����� �� �����������������8��������������������������$�!��2���'�� �!!������ $2��������' ����� !�������� ��� 8��� 1::�#E � #�!��2������� ���������� $������' ������� ����7!������ $�7�������' �2 44 �������= ��� �����������8��� �� �� !������� !����!���� 2���� �2��� ��� �������
$����������'�2�!������������!�������$�����������N τS�?, �����' �2 ����� ��� ����� !�������� ������� ����������������2��������������������!�������2����������!!����� �� �!����� ���!������� $��2��������' �������� ���������������K��=
• :��� ������ 8��� ��� ��� ���� �� �!���� 8��������� ���������� ����� $������ ������� �����E5+!�7���$!�����'�2��������'
• "������� ����������� �2 ������ ��������� ������������
• -���������������2�������$����8*+��'
• �������.7!�������2�������$≈*!!�EM'• :���� K����� ������� ���� ��� �7�� :����������������������8�����������#E �#�!��2����2��������!�����������$����8������2�2���!�7��'
• �������� ��2��2��������������������������� ����� !�������� ��� $2�� #E �#�!��2���
������������� �����
�6
8������ ���1::�����82���!�7��� �� ��� �����������$����'�2��������'
• 4������ ����������� �2 ��� 1:: �� �������������!����2��>�����2#E ���!��2���$����8����������2���!�7��'
• /������������ !�7�� ��� �� ����!�����������2�����
•Errors of the Geom atrical Camera Model
67**
2TQH�&T�Ä+PI�-�4CNN
� ���� �
&T�Ä+PI� ,�9QNNPCEM
�
�
�
�
�
�
�
N o t ens e rro rs (< 1 /50 p ixe l) M echan ica l ins tab ilities o f the senso r m ount and the ob jec tive G eom etric d is to rtions o f the senso r (am ong 20 nm ) T herm a l expans ion o f the sensor (2 ppm /K ) L ine e rro rs by inaccura te synchron isa tion be tw een cam era and ana log-to -d ig ita l converte rs o f the fram e g rabber (under a ha lf p ixe l) P LL osz illa tion a t regu la r sam p ling frequency o f the ana log-to - d ig ita l conve rte r (unde r an e igh th o f a p ixe l) A sym m etrica l po in t p ic tu re resu lted from no t co rrec ted phases o f cam era s igna l filte rs
ro ta tiona l-sym m etric l
���%�*"�����2��������������������M������������
) +�����������
.���� ��� ��!������ 2������� �2 ������ 8��� ��� 2��������������������!!��������!���������������2������������������!���, �����������������������������=
������������� �����
�)
1D Edge Detection
67**
2TQH�&T�Ä+PI�-�4CNN
� ���� �
&T�Ä+PI� ,�9QNNPCEM
sm othed edge
first derivate
maxima
threshold
second derivate
zero crossing po sition
greyva lues
%��=<=� .��� �������
&� � ������� ���� ����� ����� ����� �� ������� �� �������22������������=����8��������!��� ������2���������� ����� 8� ��� ���� �� ���� �� �� �!!��7�������������2��� �� ������7��� �2 ��� 2���� ���������� �� �� ���B��� �������� �2 ��� ����� �����������= # ���� ���!���������� �� � ���������������8��� ��������� ��� !�����������������������K���������=
&� ����������8����8����������������!������� 2���������������=%���������������������������������!�����!�������������=
#2��� ��� ���� �������� ������ 2����8��� ���������� ������� �� ��!��� ���� ������ 8��� ��2���� ��� ��������!�����2�����������=
�����������!!����������2����������!!��7�����������������������������=�������������8=
������������� �����
�;
, #��&�-���� �������
&�����������������!������������������2����������K��� ��� ���!�� ���������� ���� 2���� ��� �������!!����� 2����8��� ���� 8��� �� ��� ���������� �����!��������8������������������N
$ ' $ $ '� $ '' � O � � �===� P � � �� �= ∈ −� + � * � $)'
�����������7������2���������������!�����=�������� �������� ������� ���!�� !��������� ���� �������� ����������������!������=
����� ���� ��� ����� �� ��� 2��� �2 ��� ������ 8���� ������������� �2 !�7��� �� ���!�7��� ������ ��� !���� �2 ��������=
������!��!�������������������� ������� ���!������������������8��N
� �1 1$ � � '� = + $;'
�� ���� ��� !������ �2 !�������� ����������� �2 ��� �����������������8���������������������������������������������!������=
"��! 1� � � � � � �
�
$ $ '� $ '� '=
−
∑��
���+
�
$<'
��� !�������� �3 �2 ��� ���� ����� �� �� 2���� ��
���������� 2������ �2 �!!������� $������������ 2������' �2��������������=
������������2���������2���������2�������!�������������!�������������������������
� � � �- N − + =+� �-�= $ � '� � $�+'
����������
� � � � �M N $ ' $ '− + − − =* * * +�
�M
�= $ � � '� � � $��'
������������� �����
�<
���!�������� �� ��� 2���� �!!���� $!��7�����' �2����2��������������������44 ������
�������!������!���������������!����2���
� � � � � �. N $ ' E $ ' E− + − − =* * * * � + �
�.
�= $ � � � '� � � � =$�*'
&������ �2 ��� ����� �������� ���� ������ $2����'� ��������D�������2���������������!!����=�����!������������ ��8���� ��������2��8���� ���� ��� ������ 2����������������$����������'����������������2�������������������� !��������� $�=�= ��������� �2 ��� ����� ���������'=
. �������������/��������������������
�������������2��������������������������������������7!��������2!��������������2���!��K���������!��������� ��� �>����� ������= %���������� �� ������ ��������!������ !������ �2 ������ ������ �������= ���!��K����� ���� ��!������� �� ���� �� ������� �����= 9� 8����� �� ����� �8� ������ ��� 8� ���� �����2��� � ������������ ������= ��� , ���������� �� �� �������������������8�������>���������������������8������������!������ �� ������ �� ��� �����= ��� ���!���� ��� ����������B���������!����������������!���������������!��=&���� 44 �2���� 8� ������ � !�7�� �� ���!�7�� �������!���������� �����8������8���������� ��� ������2 ����!��������8���!�7�������!�7��!�������=%��������!�7��������������8��������������!�����������������=
&������������������������������������=&8�������������������������2�������������8���������!���=
������������� �����
*+
Lit Spot Projection (Triangulation)
TU H HProf. D r.-Ing.K.R all
0 - 0002 - 0
Dr.-Ing. J. W o llnack
-u
x
y
P (x ,y,z )
B
f = b
z
l1 l2
-v
CCD-sensor
projector
laserbe am
seeingbe am
foca lleng th
sensorfram e
w o rldfram e
object
ba sed is tance
measured point
%��=�+=:����9!��1��K�����$�������������'
���������!��!��K����������>����������!������������������������������8������������>�����������������!����� �� ��K�� ���2��� �� ��� ����= # ������ ����� ����8��������������������������!��K���������������=��� !��K����� ��� ��� ��� ��� �2 ��� ����� ���� ���������������2������!��������2����������������K��!���������, �!��=
:�� �� ������ ���� �� ��K�� ���2�� �� ����������� �� ���������� ����� ���� ��� ��� ��2����� ����� �� ������� ����������= ���������������������8��������������������������������K��!����������������������=
# ����� ������� ������������� ������ ����� �� � S ����������=����������2����������2�������������=������ �� �!!��7������� 2�� 2�� ������ ��K��� $�TT�' ���������2�����������
� � �
� � + = �
8��� ����������!�������������������������K�������������2���������2���������
���!!��7������������=
������������� �����
*�
��������������K��!���� $�����'� ��!��K���������!����
$���'� �� ��� �����!����=&� ���, ��� ��������������
�����������������������������������8��=#��������B��7��������!�����7���2��������=%����������8���������������!����������2��������������������������7��7��=��������������������������������2�����������������������!���� $��+�+'
������������ ��� $�����'��1����=
H�����������������2����������������������=
#�����������!��K�������������2���!����������������������
�
�
�
= − $�,'���
�
�
�
= − $�3'�
2�������������������������=
%���$�,'8����
�
��= − $�5'=
���������������������2����������������2����8�����
� � �= − ���Θ$�6'
%���$�,'8����
� ��
�= − $�)'=
9���>������$�6'����$�6'8����
������������� �����
**
� ��
� � �
�
�
��
�
��
�
= − −���
���
⇒ + = −
⇒ +���
���
= −
⇒ = −
+
��� ��� ���
��� ���
���
���
Θ Θ Θ
Θ Θ
Θ
Θ
�
�
⇒ = −+
��
�
���
���
ΘΘ $�;'
9���>������$�;'����$�,'���$�3'8����
��
�
�
�
� = − =
+���
���
ΘΘ �
��
�
�
�
� = − =
+���
���
ΘΘ
9�8��������������>��������
�
�
�
�
�
�
�
� �
�
�
��
�
�
��
=+
−
�
�
��
�
�
��
>>
4
���
����
ΘΘ =
�������!�������������������N
( � � = $ � '�8���������!�������( = � � �� � �
�
���!�������������� = � � �Θ �
�
��������!������� = � �� �
=
������������� �����
*,
����� ��� !���������� �2 ��� �!��� ��� ���44 �������8��� ������� ������� !����� �� ����� �� ��������� !�������=����������������������������������������������������2�������������������������������=
Triangulation with Structured Lighting
TU H HProf. D r.-Ing.K.R all
0 - 0002 - 0
Dr.-Ing. J. W o llnack
p ro jecto rcam era
see ingbeam
projectionbeam
object
ob ject
p ro jectionp lane
see ingbeam s
pro jecto rcam era
p ro jecto r
cam era
W W �
W W �
W W �
P
W
t110100
110100
:
Light Spot
Light Stripe Binary Encoded Light Stripes
%��=��=�������������8���9��������:�������
����� ���!�� ������� �� ���� ����! !��K����� �� !������!��K����������>���=
���2�������!�!��K���������!�������������K������=��� ���� �� �� �������� ��� !��K����� ��� �2 ��� �7�����������!����8�����������!����=���������������2��������!����8��������K�����2�����������������������!�����������= �����2��� � ������ ��� �2 ��!�� ������ �� ���������� 2��� � ������ ����� 8��� ������� �� �� 2����������������� !����� ��!���� �� ��� ������ �!�������>���= # ����� !���� �� �� ��������� �� ����� ���������� �� ��K������ 8��� � ��������� ����� � ����� !����!��K�������������!��K����8������������=
&������ �2 ����� � ������ ����� ��� �� !�����8� �� !��K��������� ���� �� !����� �� ��� ���� ���� �� ��� �7��������K�����2���=����������������!����������������������2������!���������!�������������=
������������� �����
*3
1�!����!����������������������!�������������������������� 8��� �� ������� �����= ��� ���� >������� �� ��8 �����>���� ������2� ��� ����7 ��� ����� ����!�� �� ��� ���������� 8��� ������� ����� ���� �� !����� ��� !��K�����������������������������=&������������������8���!������������������!������8��������������!�������������������������!�������������������=
����� ���������� �����!���� ��� �������� �2 � �������!������ �� �� ��������� �� ������ ������������� ������������������=
0 #���������������������������
��� ���� !�������� ������ �2 !������ ������ ��� ����������22����� 2��� ����������������=�����2���8� �� ����������������������������������������=
��������������2�!�������������
∀ ∈ ∃ ∈ =$ � ' $ � '$ � '� ( ( � � � (� �
� �� � �
$ � ' �� (⊂ ⊂+� � �8���
� NS !��������������
�$ � '� NS ��2�������������2��
�( NS ����2������2��
� NS �������2���!����������� NS �������2�������!��������!��
����������� NS �������2�����!���������!��
������$�<'
�������!������������������!������
������������� �����
*5
"��� � �$ � ' �� � < >ε ε +=$*+'�8���
�$ � '� ( (= − <" ε $*�'����("NS�����������!��������
�������������2������!����������2���������� �����������������2���!�������������=�����2������22�������!������������������2�����������2������N
� � � �∈ ∈ ⊂� O �===� P� � �
8���∀ ≠ ∈ ⊂ ≠� � � � � � O �===� P �� �
��� � � �≥ $**'
������������!������������� �∗�����!��������2���
��!��������������!��������
∗ = �
� ��
�===� �� � �( ( (∗ = �
� ��
�===� �� � $*,'
8��������������������������8���������������=
%�����������������������������������!������8�������������������������������=%���7��!��
• /�8���D�"������• "�22���/�8���D�"������• 1�8���D�"���������• ������ �����"�����=
��������������2�����!�������������=
�����2��� 8� �� �������� � ����� �� ��������� ��� ��������������2���������=
��� ���������� �2 � 44 ������ �� � ������������� �������� �� �����B�� �� ����� � ���������� ���8� ��������������= ��� ���2��� �2 ���� ���� �� �������� �� ��� �����������8�������������("�����=
������������� �����
*6
1 -���� �� -���������2 $�����( ��� �����3��3���3
-����������(
��������!�����2�8�������2�!!�������8�������������������������2����������������2�����������������������=
%�� 2��7����� ��������� �������� �2 ���� ����� ��� ��B��� ������22����� �������� ��� �� ������ 8���� ��������!������� !��!���� �22���� �� �� ���� 8������ 2�������������$%��=�*'=
SCARA
robot control
%��=�*=%��7����#�������4���
����������������������2N
• #���������������• F�� �� ���� �������� ������� 2�� ���������� ����������������!�������
• #���������������������������������������������8����������������������������
• #� �������� ����� ��8��� ��� !��� ��������� ��8��������!���������������������
• #���!������2�����!!��������������!�������• #��7������!�������������������=
����7����������������������>�����2��������������������2 ��� ����� ������ �� 8��� �� 2�� ��������� !������� �������������� �2 ��� �������� ����� 8��� ������ �� ��� �������������� ������ �2 ��� ������= �� ���� ��� ��� ��������
������������� �����
*)
����� ��� �!���� ������������� 8���� !�������� ���� �����8� �� ��� ��������� ������ �2 ��� �������� �����= F�!����!��� ��� �������� 2������� �2 ��� ��!������� �����������������������!���������=������8�=����������!!���� 2��� ��� �!������ ����� �2 ���������� ����!��������!����������������������&�������=#�� ��������� ��!������� ������!��������� ��������� �� �����������!������2�����������������2����������������2�������������2����������������!������������=#�������������������!����������������������!������������!���������������2 ������!��������������8�����������2 �����!������ ���� ����� ���� �������� 2�� ��������=#������������� ����������� ��8����� !������ ����������!�������� ������� ���8����41 $���� ����� !����' ������!���������������=
&� �������� �� ����� ����������� �!!��������� !�������� �����7�������������������������=�=
• F����!������• /������������• F!������������ �� ������� K��� ���� �2 ��� ����� �2�!!�������=
�� ���������� ���� !���� & 8���� ���� �� ����2�� ���� �� ��������2�����!�����N
#� ������ ���8 2��� ��� !����� ��� ��� �2 FHF F4�
��� �������� �� � �����2���� ���������� �2 �����8���������������2�������2����!K������!�����=��������������������!��2������2���8�������������������������������� 2����= FHF F4 �����2 �� � 94# # �����= F�� �����!���� ��� ���� ��������� �� 8���� �� � ����� 2�� ��22�������������������8!����������7���������������8���!����������������2�8���������= �!����������������������2������2 ����������!��2������� �����2������7!����=&����������������������������������������������!��2
� FHF F4�������������2&���������9������9�������&�=��29���������4���2�����=
������������� �����
*;
8��������������������!��2�����������������2��>�������������=
2. calibrated videometric measurement instrum ent
1. calibrated robot
5. Measurement of relations a) image frame <=> patient frame b) patient frame <=> robot fram e
4. operation planning and simulation use of the 3D image data => generation of robot program
3. tool measurement
2
4
3
5a
5b
1
%��=�,= �����������"������
, ����� ���������� ��������� ������� ��� ���� �� ��������������� ������� �����>��� ��� �� U���� �������!��$4�' ��������� �������� ������� $" &'= ����� ���� ����������B�����������, �4# 8����������$%��=�,'=�����!��������!���������������������������������!���������������� ��� !��2�����= ����� �������� ��������� ����������� �� ��� ��������� ������� �2 ��� ��������!!���������������������������!����2������������!��������8��� ���� �� �� ����= ���� �� �� ���� �� ����� ��������������� ������ �� ��������� ���������� ����������>��!����= &� ��� ��� ���� �� ������� 8��� ��� ���! , 2������� ���� ��� ���� ������� �� ��� ���������������������������������8���������������������������������������� ��������� �>��!����= #� !������ ���8� ����������� ���� ��� 2����� 8��� ��� ������� �2��� �������=�����!����������������������������7�����������8���������������������������!����������������������=
4������ ���2�� ��>����� � ��������� ����� ? K��� ����� �2���������������23��=
���2����������������94# #8����������������������� ��� ���!�� ���������= ��8����� �� ������� ��� ������� ������� ���94# # �� ���� ������� ��� 2�� ���� ������ ��������������8��� �� ���� �� ������� ��8��� �� 2�����= �������� �� !������� ���������� ��� ���� ����������� ���������8�����7�7��$%��=�,'=&��������8�����������!!��������
������������� �����
*<
��������� �� ��������� �� ������� �2 !����!��� ���� �������������������=
������������� �����
,+
�4 ��������
H������#=� ���.=$�<<6'=A-�����������!�������������F22�����1����������������&������������������8�� ����� "�(�������� .�2������ ��� M��!�������� V��� ����B������������ ���1���������!������W� ����������� ��� &�������������� M��������� /#�# $����B������������#����������������� ��������������"����������'�1������!!=,��3+=
H�����=F=$�<<+'=A.��"�(����H������������2�����B��H�������������������������!�B������M�������(�� ���������� &���������������A� ����������� �� %�������� "���������� ��� ���������X� ���H�����8������������������=
�������=����������� =9=$�<55'=A#M�������/�������2��:�8���1���"��������H������"������W�#9".�=�2#!!����"�������!!=*�5�**�=
%������ :=1=� M���� =H= $�<;3'= A&�!������ ��� !������� �2 � �����W� 1��= &... &��= 4��2= �������#�������!!=6*�6)=
-����� F= $�<<6'= A9��������� ��� -���������� ��� &���������������� ��������� ��2 ����� �����X������-������������������A� �������������#����������������B��������������#���������������������%�&&���������������������X������������������������=
������9=#=�"��������"=$�<;5'=A&�!���������#�������1����������#�����2 ����"���!�������W���������2 �����9������*�!!=,<)�3�,=
����������="= $�<;;'=A#9������2M��������4����������=��� ������ ����8"&�1����W�!!=*+)�*3*=
M�B��B����1=�"����������H= =�J������=%=�4���1=�=�1����=#=$�<<,'=A9���������&��������� �����N4��!���������4���9����W�1��=�2���&������������ ��������������#���������4��2������!!=�+E�<�*6=
��� M=�������� �=� 9�8��� 4= $�<<*'= A ���������������������������!��������������� ��� ���2� �����������������9������������H��V�������������-���������������������W� �������������;9!������������-���Y4�=M-�!!=�)���;�=
��� M=� ������� �=� -����� F= $�<<5'= AM���������� M�����N 9������ ��� �7���� �22�����������W�#����������������������F���������������-����"V��������E<5�!!=�3�*,=
���M=�-�����F=�-�X(����=$�<<)'=A.����������2�����B��#��8������������"������W�%�������&��������8����6,�9!������������-���Y4�=M-=
���.=$�<<;'=A#�8������������������"�(����H������������2�����B��M������������22����!�������������� �������!!����������W� %����������H������ � & ���� ; /�= )+<� V�������2� � &�������-���=
9����� -= $�<;)'= @.��8������ ����� "�(���2������ B�� H��������� ��� 1����������� ���F���������������������� ��� &����������������A� ����������� �� %������2���&������� 2V�1�������������������#���������������&1#�&1F%����������1��7��/�=��+=H������=�=N9!������������-���Y4�=M-=
9����� M���� $�<<,'= A&�����2������� ��� M�����������!��������� ������������ M�����W� ������������1�����������������H������%���������������2V����1��7���*6�"V���������4���������������-���Y4�=
9���� �=�=� 9�������� #=4=� /������ 4=1= $�<;6'= A#�� ��������� ������2������� &... &������������4��2������� ���������#���������W�9��%�������4#�!!=3��3;=
����������� �=M=� �� 4=�= $�<;)'= A# "����� 2�� 4���������� ��� 4��!�������� ���� M�������.�����W� 1��������� �2 ��� &... &������������ 4��2����� �� ������ ��� #�������������������� =4=Z!!=,<�33=
��������$*++�'=A����������������2�����B��-������������������������&����������������W��������������� %����������8��!���� �������22�?M�����������?%�������� ��� ��������� ���������X����������������$����!�������������9�����1�������������������*++�'=
J������=����=4=� ����J��9=$�<<6'=A4������#�������4�����������294# ##���W�&... ���������#���������"���B����!!=36�5*=