15
A new approach to outdoor scene description based on learning and top-down segmentation Joan Martõ Â a, * , Jordi Freixenet a , Joan Batlle a , Alõ Âcia Casals b a Computer Vision and Robotics Group, IIiA, University of Girona, 17071 Girona, Catalonia, Spain b Department of Automatic Control and Computer Engineering, Polytechnical University of Catalonia, 08028 Barcelona, Catalonia, Spain Received 26 July 2000; received in revised form 6 April 2001; accepted 6 June 2001 Abstract This paper presents a new approach to outdoor scene description, by providing a methodology for labelling image objects in a top-down way. The system's strategy is based on a cooperative set of distributed tasks, composed of several segmentation processes devoted to the recognition of the objects of interest, and a coordinator process, used to control the segmentation tasks. The approach includes a learning process to generate ¯exible models that can ®t with the relevant objects of outdoor scenes, which can vary signi®cantly under different environment conditions. The results of a series of tests carried out under different weather and seasonal conditions demonstrate the feasibility of the approach. q 2001 Elsevier Science B.V. All rights reserved. Keywords: Outdoor scene description; Natural object recognition; Top-down strategy; Supervised learning 1. Introduction To adequately describe a scene signi®cantly is not a trivial task. It requires the integration of different image processing techniques, pattern recognition algorithms, and arti®cial intelligence tools, in order to transform images into visual descriptions of the world [17]. A scene description system can also be considered as a knowledge-based vision system, because such a system requires models that represent prototype objects and scenes. Any information concerning the speci®c characteristics of an object is contained in the object model database, while a list of objects that are expected to be in an image, and their relationships, are contained in the scene model databases. In regard to these databases, a scene description system must take into account two important issues: 1) the way in which the model knowledge is organised and stored, and 2) how this knowledge is acquired. More speci®cally, 1. Knowledge representation has become a permanent focus of interest, and vision researchers have proposed a large variety of knowledge representations, ranging from simple vectors, to complex structures such as frames or schemas. This paper does not discuss such topics in detail, but a deeper description regarding knowledge representation can be found in [1,8,17]. 2. Knowledge acquisition tools are still in their infancy [8], because many researchers have felt that such issues were secondary in the development of vision systems. However, nowadays, most vision researchers agree that the success of scene description systems lies on their ability to learn from experience and training [4,8,14]. This refers to the systems' capability to adapt to changes such as adding new objects of interest, to better describe the scene, or indeed to have the ability to describe differ- ent types of scenes. Therefore, systems have to learn by means of updating their databases with new objects and scene models. This usually implies a dif®cult and tedious task because up until now, most of the existing knowl- edge-based systems had to incorporate this new model knowledge by hand; and all the more so for code-encap- sulated data. Examples are the VISION/Schema system [12], EYE [11], and the region analyser of Ohta et al. [22] among others, which are successful demonstration systems, and compulsory works of reference. A major drawback of these systems is the signi®cant effort needed relating to the development of the model knowledge base. With the aim to provide some improvements in such knowledge engineering tasks, our approach makes the system code and models databases totally independent, with a fast, simple and easy data acquisition process. The Image and Vision Computing 19 2001) 1041±1055 0262-8856/01/$ - see front matter q 2001 Elsevier Science B.V. All rights reserved. PII: S0262-885601)00065-8 www.elsevier.com/locate/imavis * Corresponding author. Tel.: 134-41-84-86; fax: 134-41-83-99. E-mail address: [email protected] J. Martõ Â).

A new approach to outdoor scene description based on learning and top-down segmentation

Embed Size (px)

Citation preview

Page 1: A new approach to outdoor scene description based on learning and top-down segmentation

� ��� ������ �� ��� ��� ���� ��������� ���� �� �������� �� ���� ��� ������������

���� ���������� ��� � ����������� ���� �������� ������ �������

��������� ��� �� ������� ������ ���� �������� �� ���� � ����� ���� � � � ��� � �� ����� ������ �� ����� �� ������� �� �������� �!�����!� "������#�� � �������� �� � � ��� � �$�%$ & ������ � � � ��� � �� �

���� � !" ���# !$$$% ���� � �� �� ��� &��� " ����� !$$'% ����� " ���� !$$'

��������

(�� ����� �������� � ��� ������ �� ��� ��� ���� ���������� �# ��� � ��� � ���� ����# &�� ��������� ����� ��)��� �� � ���� ���

��#* (� �#����+� �������# �� ���� �� � �������� � ��� �& ��������� ���,�� ������ �& �� ���� ������������ �������� � ��� �� ��

���������� �& �� ��)��� �& ��������� �� � ��� ������ ������� ��� �� ������ �� ������������ ���,�* (� ������ ���� �� � ��������

������ �� �������� -������ �� ��� ��� �� .� ��� �� ���� ��� ��)��� �& ��� ��� ������ �� �� ��# �����.����# �� �� �&&�����

�� �������� �� ������* (� ������� �& � ������ �& ����� ����� ��� �� �� �&&����� ������ �� �������� �� ������ ���������� �� &���������#

�& �� ������* � !$$' /��� ��� 0���� �*1* ��� ����� ����� � *

'��(����) 2�� ��� ���� ���������% 3������ ��)�� ����������% (��� ��� �������#% 0���� ��� ��������

� ���� ������

(� � �4�����# ������ � ���� �����.����# �� ��� �

��� ��� ���,* 5� ��4����� �� ����������� �& �&&����� �����

��������� ����4���� ������� ���������� ���������� ��

����.��� ����������� ������ �� �� �� �� �����&��� ������ ����

����� ���������� �& �� ���� 6'78* � ���� ���������

�#���� �� ���� �� ���� ��� �� � ,����� ������� �����

�#����� ������ �� � �#���� ��4����� �� ��� ���

��������� ������#�� ��)��� �� �����* ��# ��&��������

�������� �� ����. ����������� �& �� ��)�� ��

������� �� �� ��)�� �� �� �������� ���� � ���� �&

��)��� ��� ��� ������ �� �� �� �� ������ �� ����

������������� ��� ������� �� �� ���� �� �� ��������*

5� ����� �� ���� ��������� � ���� ��������� �#����

���� ��,� ���� ����� ��� ��������� ������9 :'; �� ��# ��

�� �� �� �� ,����� �� �� �������� �� ����� � �� :!;

�� ��� ,����� �� �� �4���� * ���� ����.���#�

'* <����� �� �������������� �� ����� � ���������

&��� �& ��������� �� ����� ��������� � � �������

� ����� �����# �& ,����� �� ���������������� �������

&��� ������ ������ �� ������ ��������� �� ��

�� ��� �� ��#�� �* (�� ����� ��� ��� ����� ��

����� �� ������ ��� � ����� ��������� ����� ���

,����� �� �������������� �� �� &��� �� 6'�=�'78*

!* <����� �� �4�������� ����� ��� ����� �� ���� ��&��# 6=8�

������ ���# ��������� � � &��� ��� �� ������ ����

���� ��# �� �� � �������� �& ����� �#�����*

>��� ��� ���� �#�� ���� ����� ��������� ����� ���

�� ����� �& ���� ��������� �#����� ���� �� ����

������# �� �� �� &��� ��������� �� �������� 6?�=�'?8*

(�� ��&��� �� �� �#�����+ ��������# �� � ��� �� �����

�� �� � ��� ��� ��)��� �& ��������� �� ������ ������

�� ����� �� �� �� �� � � �� ������# �� ������ �&&���

��� �#��� �& �����* (���&���� �#����� � � �� �� �� �#

����� �& �� ����� ���� �������� ��� ��� ��)��� ��

���� �� ���* (�� ������# ������� � �&.��� �� �� ����

���, ������ �� ����� ���� ���� �& �� �������� ,�����

� ������� �#����� � �� ���������� ��� ��� �� ��

,����� �� �# �� % �� ��� �� ���� �� &�� � �������

������ ���* /������� ��� �� 150523@0��� �#����

6'!8� /A/ 6''8� �� �� ������ ����#��� �& 2�� �� ��* 6!!8

����� ������ �� ��� �����&�� ������������

�#������ �� ��������# ���,� �& ��&�����* � ��)��

�����, �& ���� �#����� �� �� �����.��� �&&��� ��� �

�������� �� �� � �������� �& �� �� �� ,����� ��

����*

B�� �� ��� �� ��� � � ���� ����� ������ �� ��

,����� �� ����������� ���,�� ��� ������ ��,�� ��

�#���� � � �� �� ��� �������� ������# �� ���� ����

��� � &���� ������ �� ���# ��� �4�������� ������* (�

5���� �� 1����� ��������� 'C :!$$'; '$?'D'$EE

$!"!�==E"@$'@F � ��� &���� ������ � !$$' /��� ��� 0���� �*1* ��� ����� ����� � *

G559 0$!"!�==E":$';$$$"E�=

���*���� ���*��@�����@��� ��

� ��������� ��� �����* (��*9 �H?�?'�=?�="% &��9 �H?�?'�=H�CC*

*� � ������) )����I��� ��*� �*�� :�* ������;*

Page 2: A new approach to outdoor scene description based on learning and top-down segmentation

������ ���� ��� ���� �������� ���,� ���� �� �� ���

�� ������ �������� ��# �# � ������ �� ��� ������

�������&�� �������� �& �� ��)��� �� �������� ������ �#

��,��� �� ��������� �& ������* B� ������� � �������# &��

������J��� �� �����J��� ��# �����.��� ����� ��)��� ��

� ����� �� &�� � ����&#��� ��# ���� ��� ��)�� ���������

����* � ���� ��� ������������ ���� �� ������ �

���� ����. ������������ ��������� ���� &�� ��� ���

&������� ��� ��� �� �� ��)�� �� �� �������� ��,��� ����

����� ��# ����� �� ������� &�������* ������ ���������

&������ �& �� ������� �� �� ��� �& &�JJ# ��� ���� ��

�� �� �� �� �� ���������� ���������� ���������� ��

����. ����� �� ��� �&��� &��� �� ��� ��� �����*

2�� ��� ���� ��������� �#����� ������ ���# ��������

�� �� �� ����� ���������# 6!8* K���� ���� ���� ��������

�#����� � � ��� ��,�� ���� ����� �� ���������� �� ���

�������� �� �� ���������� �& ���� ��� �������� ������

�� ����. ��� ��� �� ������ ���# :�*�* ����# ������ ����

��� �� ���� ���# ����� ������ ��*;* (� ���� ������ &�� ���

��������#� �� ��� �� ��������� �#����� ��� ���� ��

��������� ����������� �� ������� �� ��� �& �������

������� ���� � ��� ��� ��� ���� �� ��� ��� �� �����

������ �& ����. ���� ��� ��� ��� ����� �� ������*

(� ��� ��� ���� �� ���� ��� ������ ��� ������

��)��� �� �� &��� ����� ����. ���� �� ��� �� �����

��# �� �� �� ���������� ���������� ���������� �� �������

��� ����* (�� �� ��������# �& �������� �� ��� ��� ������

������ � ���� �� ���� ��� ������ �����������

����� � &�� ���� � �� �� ������ ��������� �� ����

�& �#� �� ������� �� &��� �� ���* (���&���� � ����

��� �������# ���� �� ���� �&.����� ���� �� �� �����

������� * �� ������ ��� �# (���� 6!C8� ������� �������

������� �� ��# �&.���� ��� �� � � ��� ��������� �� ����

� ���� �� � ��������� ���, ��� ���������# ������� ��

�����* 5� �� �&��� ��� ���� �� ���������� &�������

��� ��&.���� &�� ������������ ����� ��)��� :&�� �����

���� ��� &������� �& � ���� ��� �� ��� �� ��������� ��

&��� ���� ��)��� ��� ��� ��� ����L;* >���� � ������

�������� �& �� ���� ���� ��)�� ���������� ��� ��� � ��

�� �� �� ���&��� �&.���� ��)�� ����������* (�� ��� � ��

����� ����� ������������*

(� ������ ���, &����� �� ��� ������9

� �� ������������ ������� �� ��������� �#���� ��

�� ���� ��

� �� �������# �& �� �#���� �� ������ �� ���������

������*

(� �������� �& ��� ����� �� �� &������* 5� �� ����

������� �� � �� ��� �& ��� ������ �� �� ��� ��������

�� ���� ��� ��� �#���� ��������� ��������* 0����� H

�� � ��� �� �� �� ������ �& ��� ��� ����� �� ��)���

��������� ����� �������� ��# ,����� �� ��������������

�� �4��������* 0����� ? �������� �� �������# &�� ����

���������� �������� �� ���� �& �� ��� �� �� ��� �������

�� ������������ ��������* ������#� ���� ������������

������� ��� �������� � ������������ ��� �� �#���� ��

�� �� ������ �& ���������� ��)��� �� ��� ��� �� ������

��� � � ��� ���� ��� �����# �� ���� *

� ������ ��������

(� ������� ������ �������� ��� ��)�� �� ����

,����� �� &��� ������� ������* 5� ��� ������� ��)��

�� ��� ��� ��� �� ���&��� ����. ����������� ����

���� �� ��� ��� ��4���� �� ���&��� �� ���� ���,�� ��

�� ��� ����� �& ������� �������� �������� � ��������� ������

���� �& �� ������ �� � �� ��� ��� �� ���������� ������*

(���&���� ���� �� ��)�� ,����� �� ���# � �����.���

���� �� ��� �������#� ��� �� ����4���� � ������� ���

������������� �������������� �� ��������� ��� ����.�

�� �������� �� �� �� �� ��������# &��� �� ��� ���

�� ������* (� �������# ������� �� �� ���� ���� �& �

����. ��)�� �# ���������� ,����� �� �& �� ����� ��

��# ��&�������� �������� �� ��)��+� �����������

������� �� �� ��)�� �� �� ��������* � �������

���, ������ �& �� �#���� �� ���� �� ���* '�� ��

���������� � ���� ���� ��� ������� �� ���������� �� ��

�#���� ���� ���� �& ��������� �#����� ��,� 6E�'C�!$�!!8*

5� �������� � ����� ��������� �#���� ���������� ��

����� ����� ���� ������� ����� ������� ������� ���������

���� ����4���� �� ��� ���������� ���� ������� ����� �

.�� ��� �& ����������* K� �� ��� ������ �� �� �� ,����� ��

�� ��4���� * ������#� � ��������� ������ ��� ��4����� ��

��&����� ������ �� ��� �� ������ �� �� ���� ��)��

�� ��*

(�,��� ���� ����� �� &�� ��� ��)�� ���������� ��

�������# � ������� �& ������ �� ��� &��� � �������

��� ��������������� �& ���� �� ��� ������� &��� �����

��� 6?8� �� �� �&.��� �� �������� � ������� ��� �������

�������� �& �� ��)�� ��� ���� �� �� ��� ��������

������� �� ������* (���&���� � &�� �������&�� ��������

�& ��)��� �� �� �&&����� ������� �� ������ ��� ���� � ��

�� �������� � ����� ��� ���,* �&������ �� ��� �� ��&�����

���� �� ������ �� ����� � -������� �� �����&�� ����

��������� �#���� ������ �& ���������� �� ��)��� �� ��

�� ��������# ���� ������� �� ������ �& ��� ��� ������

�� � �� �� �� �� ��� �����#��� ���� ��� ��� �� ������*

(� ��� �& �� ������ ��� �� �������� �� � ������� ��)��

,����� �� �# �������� �� ��&�������� ����� &�JJ#

��� ����*

� �� ������ �� ��� ��� ������������

�� ��� ��������� ��������������� �& �� ���� ���� �

�� ���� �� ������ ������� �� ��� �& � �������� ��� �&

���������� �� �� �� �� ���� ���� ���������������*

2� �����#� �� �������� �& �� ���������� ���� �&&�� ��

���� �� �� ��� .� ������#� �� ��� ������ � ������ �����

�� ��# �� ������ ������* M�� �� �� ��������# �& ��� ���

������ ��� ������ ��,�� ��� �& ������ �� ������ ��

+, - ��./ �� �, 0 �� !� �� ��� �������! �1 2%���3 ��4�5��66'$?!

Page 3: A new approach to outdoor scene description based on learning and top-down segmentation

��������� � ��# ��)�� �� �� ����� ��� ���� � ��

����������# ��� � ��# ������ ��)�� �� �� ������ �#

����. &�������� �� �� �� �� &�������� ����� ����������

��������*

7,�, 8�9��� �������!

2�)�� �� ������ �� ���� ������ �� � ����� ��� ���,�

���� � ����� �������� ������������ � �������� �& ��)���

�� �������� ������* /� ���� ��)�� �� �� ���� �� � ��� �&

��9��� �� ����* �� ��9��� �� �� �� � ������#�� �& � ���� ��)��

������ �� ����� �& ����� �� �������� &������� �� ��

����. ��� ��� �� ������* 0� ���� ���,� ����� � ��

�������� ��)��� ��� &���� �� �� �������� ���� �&

�� ��)���� �� �����.��� �&&���� � � ���� � ���� ��

���� ������ �� ���* >��� ��� ���� ����4��� �����

�� ����� � �����# �� ��� ��� ������ ������ ���� ����� ��

��� ����� �� �������� ���� ��)��� �� ������� �����*

� ������ ���������� �& �� �� ���� ���� ��� �� �

�������� ��������� �& �� ��)�� �� �� ��# ��� ���

�� ������* ����������� �& �&&����� �� ���� �� ���&����

�� � &�JJ# ��# �� �� ��������� ������� �� �� ������

�� ���� ����� �� 0����� ?*!*'* ���* ! ������ �� �������� �

�� ������ ������� �� �������# ���� ��9

� � ��� �& �&&����� ������� �������� ��� �� �� ����

+, - ��./ �� �, 0 �� !� �� ��� �������! �1 2%���3 ��4�5��66 '$?H

���* !* N������ �������������� �& �� ��)�� �� �� �4�������� ������� ���,��� �� � ����� ��� �������� ���,*

���* '* � ����� ������� �� ���� ��� �������#� ���� ��)�� �� ���� ,����� �� �� �������� �� ��� �� ��������� ���,�*

Page 4: A new approach to outdoor scene description based on learning and top-down segmentation

��� ��� �� ������� ��� �� ����� �� �#����* (��� �&&���

��� ���������� ��� ��� �� �.�� �� ��� ��� �� ������9 :�;

�� ������� :��; �� ���� �& �# �� :���; �� ������

:������� �� ���� ���� ��� �# ���� �� ��* 6H8;* B��

�� ��� �& &���������� �� �������� ���,� ���� ����������

�� �� ���������� ����� ��������� �����*

� M��� �4��������* (� ����� .��� ������ �������&��

������� ������������ ��9��� �� ���� :�*�* ���� ��)��� ��

����. ��� ��� �� ������;* (��� �� �������� �������

���� ������� �� ��������� � ����� ������ �& ����� ��

������� &������� &�� �� ��9��� �� ��*

� ������� ��������* (� �������� ���������� ������ �

��������� ������ �& &������� &�� ����������� �� ��9���

�� �� �& ��������*

� O������� ���.�����* (� �������� ���������� ��� ���

� ����� &�� ��, &�� �� �� ���� �& ��������*

���� ����.���#� ��)�� �� ������ ������ ��� �� ������

��� � ������� �����# � ����� ������ �������&�� �����

���� �& ��)��� �� �� �������� ������ �# ��,��� �� ������

����� �& ������ �������� ��� �� ������� �& ��������� �� ��

�� �,#� ������ ��* B���� ���� ������� ���� ����� ��

������� ���������� ��� ������ * (���� ' ������� �� ���

������ ������� &������� 6"8 ������� �� �� = � = ����� ����

:�������� �� &��� ���������� �& ? � ?; �� �.�� ���,���

&�� �� �������� ��������� ������� ������������ ����

��# �� �������� �& ��������������� ���� (���� ! ������

�� != ����� &������� ��� �� ��� ������* (��� &������� ��

�� �� �.� � ��� ��� ����� ����� �� ������� ��������� �&

�������#* 3����� � ����� ����� ��� � ������ ���������

���� ���� � � ��� � �� �� �� ���� �������� &�� ��������

������ ������������ ��� ��� ����� 6!8* A��� � ����� �����#

�& ��������� � � ���� �������� � ������� &��� �������

����� &�� ��# ��� ��� ������� �� ����. ����� �����

&�� �������� ����. ��������* (���&���� �� ��������#

���� ��� �� ���� ��� �& &������� �� �� � ���� ��

��������� ���� ��)���* O���� ��� � &������ ��������

������ ��� ���� �� �� ������ �& &������� ��� ����

��������� �� ��9��� �� ��� �*�* ���� &������� ��

�������� �� ������� �� �� &������ ���� ������������

�� ��)�� ������� �� ���� ������� ��#* (��� �����

� �� ��� �� &������� ������ &�� � �� �� ��)�� � ���

���� � ��� ���� ���������� � ����� � �� �� ���� �&

�� ��)���*

7,�,�, :� ���� ��������

0��� �� ���� ��� �& ����� �� ������� &������� ��� ���

�������# &�� ��)�� �������������� ���# � ������ �� �����#

��� � * (��� � &������ �������� ���, � ��� �� ������

�� ���� ��� �& ����� �� ������� &������� ��� �&&��� ��#

��������� � ��# ��9��� �� �� �� ���� � ����� 6'E8* B�

� � ������� ��� ��#� �� ���# ��� ��� ���,9

� �� ������� � ����� ��� ������� ��� �� �����������

+, - ��./ �� �, 0 �� !� �� ��� �������! �1 2%���3 ��4�5��66'$??

(���� '

(� ��� �& ��� ������� &�������

���������� � ������ ��� ��� ������� �������� ��&� ��������# ����� �� ��# �������* (� ��������� �� ������� ��

�& � '&��� ��� �� � &�

'��"9

���� �� &�� �� � ��� �� � ����� ���# �� ��� �������� ��� �� �� &��� ���������� �� ��������� � ������ �� "9 ��� �� ������ ���������

�� � ������ ����� ��� ������

N���������# (�� ��������� 4�����.�� �� ������� �& � �� �����# �& ������������� ��� ����� �� � �� �� ������� �� �� ������� ��

�� � ;��

<9

����� <9 �� ������ ������� �� �� = � = ������� �� ��� ����� �� ������� ��� �� ���� �& ����� =� !

M����������# (�� ��������� �������� �� ������ �& ����� �������������� �� �� ������� ��9

�� � '��

>9

(� ����� >9 ��� �� �� ������ �& ������� �& ����� =� ! �� � �����

0���������� (�� ��������� �� ����� �� �����# �& ������� ����� �� � ������* (� ����������� �� ������� ��9�= � '==

����� �� ���� �& �= �������� �� �� $� �= � =� �� = �� ������ �& ������ ������ ����� � ����� :E� =� =;

��� ����� (�� ��������� �������� �� �����# �& ����������� ����� �� � ������� �� �� ������� ��9

�� ��

�<9 � =9�

����� <9 �� ������ ��������� �� ���� �& ������ H� �� =9 �� ������ ������

���������� ���������� �������� �� �� ����� �& ������� �& �� ����� �& � ������� �� �� ������� ��9�� � '��

���� � �� �� ����� �& �� �������� ����� ������� �� � �����

Page 5: A new approach to outdoor scene description based on learning and top-down segmentation

+, - ��./ �� �, 0 �� !� �� ��� �������! �1 2%���3 ��4�5��66 '$?E

(���� !

(� ��� �& != �&&����� ����� &������� ��� &�� �������� ��� ��� ����� �� N �� �

3�������� �N� � � �

�� �� &� ! � �

�� �� &� �� � � &

�� �� &

5'D5!D5H 2�� 6!H8 �'

�!

�H

����

���� �

'�H '�H '�H

'�! $ �'�!

�'�? '�! �'�?

����

����

&

����

����

M����� �� ��* 6'!8 !�� �� &� !�� &� �� �� !&� �� �

�������� �� ��* 6E8 H�� "�� &

'$��� �� '

!� ��

�� �� !&� !

?

�5/ �� ��� �����, 678 =� � =�� ?� � ����'���� ��� �� �� � � �! � ��!�'�! ���� =�� � �� ���

=� � ''"�@�@$�'�H � '"@�@$ � $�$'

� � E$$��A�A$�'�H � �@�@$�'�H�A�A$ � $�$'

�� � !$$��@�@$�'�H � �B�B$�'�H�B�B$ � $�$'

�� A� @� B ��� ������� ���

A � !�7"C$�� '�7E'=�� '�'H$$&

@ � '�$$$$�� ?�EC$7�� $�$"$'&

B � $�$$$$�� $�$E"E�� E�EC?H&

>01 �� �� 6!E8 � ���� � � �������

���� ��

? ���H��� !����������� � � � ���

��H�!� ��� ������������� � ! � ���

��H�?� �� � !����������� � � � ���

��

���� ��� ����� �� ���:��!��; �� ��� �� ���:��!��;

(�������� 6!=8? � ����'

H

� ��� &��!�� �� &�

� �

� � '� H����

��������&� ��

��������&� �&

��������&�� �

� �� �� &

H

A��� �� ��* 6H$8 � � ��������&����������&�

� ��������&����������&�!

����� � �� N�������� 6'=8 =� :�������;@!

� � ������������������� �& = � $�E

�����������!��������� �& = � $�E

N��J���J �� B�� � 6'"8? �

�� �& & � �

�!�� � �& & � �

�� � � 'C

��������&��

� �� � � �� �� &

H

������

� � ����

'

!���� ��� ��� &�� ��� ��! � ��� &���� &��

����

����

Page 6: A new approach to outdoor scene description based on learning and top-down segmentation

�& ��� �� &�������� �� ��� ������ �� ����������

��� ��� �� �� ������ ��������.����� �����* >���

�� ��������� ���� �� ��� � ���� ���������� ������ ��

������������ ��� �� ��# �� �� ��� ��� ������ ����

�������� ��#*

� � �� �� ������������ ������������ �� ����� ����

���� �� &����� ���������� ������ �� �� �����������

��#� ��#��� �� ��� � � ���� �� �#��*������ ����������

�# ����� �& �� ���� �� ���� ����* (�� �� �����

�� ���&���� �# ����������� � ��� �& &������� �����

G������� ��������� ����#��� :G��;*

7,�,%, :� ���� �� �� ���) ������� �������

(� �������� �& �� ������� ������ �& &������� ���� ����#�

���# �� � ������ � �������� &������* (#�����#� �� � �����

���� &������ ����� �� ������� �� ������������ ������# �& �

&������ �� � ������ �& &�������� �� ��������� �� �&&�����

��)��� 6'$8* ��������� �� P � � � �� ��4���+ ���� ����

�� ������� �& &������ � �������� �� ���� ��� � �# ����� �

������ ���� ��� ��������� �� ������� �� � ������ � ��#*

���* H ���� �� � ������ ���� ��������� �� � ���� �����

������ &������ ����* (� ������ ����� ���� ��� �� ���

������ ��� �����# ����� ��� ����� ������ ������ &���

������ ���� �� �� � �� � �����# ���� ���������� �# �

������ &������ :������� �� ��� ��� �� 6'H8;* (� �����

O����� M���������� ������� :OM�; �� ���� ����������

�� � �����&�� �����.�� ��� ��������� �� ����� ������� ��

���������� � ������ �� �� ���������� � ������ 6!'8*

/� �� � �& �� ���� �������� �� ��������� �� � ��� �&

,���� �������� :�� �������� ���;� � ������ :�*�* �� ���;

����� ���� &��� ���������� �������� :����� ���; �����

�� �* >��� ��� ��� �� ��� � ���# �� � ������ ������

������ �������� ��� �� ��� ����#� �������# ���������* (�

��������� ��� ������� �& ������� ��� ����� ��� � � � ����

��� ����� ����� ��� ��� ������� ������ &�������* (��

������ �� ����� � ����� �� �����# ���� ��������� ����� ��

����������� ��������.����� ����� �� ��� � * (� ������ ��

� ���� �& #�������� �� �� ��� ������ ��# ��# �� � � � ��

&������ ���� ���� ������ �� ���������� �������*

2�� �� ������ �& &������ ��������� �� �������� ��

��� �& &������� � ��� �� ������ ��������.����� ����� ��

������ * �� ��� ������ ���� ���� ����� &�� ��, ��

��� � � �# ����� �& �����&#��� �� ������ �& �� ������

�����* (�� ��������� �� ���&���� �# ������� �� �����

�& �� ����� ��� �� ���� ��������� �� ��� � ��# ����� ��

�����.� �� � ��� * (� ����� &�� ��, ��� �� ��

������ �� ��� �� �� �� �� ������ �� �����&��� �� ��

������ �& &������ ��������� �# ����� ���� ��� ��������

������� �� �# ����������� �� �������� �& ���� �������

�� ����� ����������*

7,%, ����� �������!

� ���� �� �� ������� �� ���� �& ��)��� ��� ���

������ �� �� �� � ���� �� ���� ������������* (���

#���� ������ ������# ������ � �#���� ���� ��� � ��� ���

������ �� � ��� )��� �� &���� �& �� ���� �������� ����

�� � ������ ��� ������ ��,�� �� � ��� � ���� �� ��� ��

�� ��������� �������� �� �� ��������� ��)��� ��� �&���

��������# ��&���� �� ��* 5� �� �� �� ������ ������ �� �� ���

�� ��&��������� �� ������� �� ��� �& � �������,� �����

����� ���� �� �� �� ��������� �� ��)��� ��� ������ ��

����� �� �� � ���� �� ������������ ����� ���* (��

�������� �� �#���� �& ���� ��� �# �� ���� ��� ��� ������

���� �#����� 6'!�!!�!"�!78� �� ��� ���� �� ����� ������

�� ����� �������� � ����� �� ���� ���������* (� ����

� ������� �& �� ��������� ���9 :'; �� ������# �� ��������

�� ��&�������� :�������� ���������� ��� � ����� ������

&��� �� �� �&&��� �� �� ��� ��)��� �� @�� ��������� ������

�������;� �� :!; �� &���������# �& ��������� � ��� �& �����

&��� �� ����� �� �.���� �� ���������� ��

���������� �& �� ����� �� ��� &������# �.�� �# ��

&�������� ��������9

0���� ��)�� � (#�� �& �������� � M���������� ��)��

(�� �&&����� �#��� �& ��)��� ��� ���� ��� �� �� �����

��� ��� �� ���� ���� �� ������� �� �����* ��� ��������

�� ��)�� �;�*D��� �� �� ������� ��)�� ������ �& ��

���� ��)��� �;�� �� @�� �� ���� ��)�� �����* �;� �� �����

��� ���� ��)��� ������ �� �#���� �� ������ �� &�������

��� ��� ���� �������� &�� �� ���* 5� �� ���� �� ��� ��

�� �� ��# �� ������ �# ����� ���� �#��� �& ���������9

� 8�9��� ��������� 2��*" ��*8�3* (�� �������� ������� ��

����&# �� �&&����� ����� ��� ������ � ������ ��)��*

��� �������� �� �� �������� �� �.�� � #���� �� �� ��)��

��� �� ������ �& � ����� �� � ��� �& ��)���9

����� (���(� �� ����* �������#� �� �������� ��

���� !!��! ��� �� �� �����# �������� �� ������#*

� 8�9��� ������!� 2�*'��*8�3* (�� �������� ������� ��

+, - ��./ �� �, 0 �� !� �� ��� �������! �1 2%���3 ��4�5��66'$?"

���* H* �� ������� �& � ������ ����* 0� ���� ������ &������� ��� � � �

������ ��# �� ���� �&� �� � ������� ������� ��� �������* (� �� �����

�& �� .���� ���������� � ����� ��� ���� ��� �� ���� �� �� .����#

�����.� �� �*

Page 7: A new approach to outdoor scene description based on learning and top-down segmentation

����&# �&&����� ,�� � �& ��)��� ��� �� ���� �����

�� �� �&&����� ,�� � �& �� �E� �!� ��* �������#� ���

�������� �� ���� #������ �� ������ �� ������������

�& � �������� ������� � ��������� :����#� �� �������

��)��; �� � ����*

� �� � � ��� ����* (�� �������� ������� �� ����&# !M

������� ���������� ������� ��)��� �� �� �����

����(� �!#� ��� ���� ��� �� �9 ���� ��* ��� �������� ��

��)�� �;� �� ����� ���� �� �� �*

�� ������� �& � ��� ���� �� �� �� ���� �� ���* ?��

���� ���* ?� ���� ���� �& �� ����� ��� ��� �����������#

������� &��� �� ����* K���� ���� �� ����� �� �����#

&���� �� ���� ,����� �� ���� ���� �� �� �� �� ��

�������� �� �4��������* 5� �� &��������� �� ���������� �&

���� �� ��� �� � ���� ��������� �#���� �� ������ *

� �������� ��� ��� ��� ����� ����������

(� ������� �������# �� ���� �� � ��� �& ���������

�������� ��� �������� �� �� �� �� �������� �� ��)���

�& �������� �� �� ����* 5� ��# �� ���� &��� ���* E ��� ���

�&&����� ,�� � �& �������� � � ���� ������ 9

� � ������ ��� �������� ��� ������ �� ������������

�������� �� �� ���&���� � �� ����� � �� �� ����

��� �& �� ������������ ������� ��� ��� �� � ����

�� ��* (� &����� ���, �� ���&���� �# �� ������� �&

5������� :�25; �� ���� ���� �� ������� �� ���

���&���� �� ������*

� >#� ��!���� ��� ���������� ��� �� ��� ���������

�� �� ����� ����� ���������� �& � ��������� ��)��*

/ ��# ������������ ������ �� ���&���� �� ��� �����9

.����#� � ���� �����.����� �& ������ �� ���&���� ����

�� � &������ ��� ������� ��� ��� &������� ��� ��� ��

�� ��)�� �� �� �������% �� ���� �#� ��� �� ������

� � ���� ������ ���� �������� � ��������������

������ ����� �� ����� � �� ������� ��,��� ���� �����

������ &�������� ����� � ���� -������ �����������

��������*

� ��� �������� �� ��� �� �� � � �� �� �������#�

� ���� �� �� P����� ������������+ �& �� ����� ���

�� ��� �& ������ �� ���� ��������� �#����� �� �������

�� ���* E* (�� ������������ �������� ������ �� ����� ����

����� �������� ���������� �� � ������ ���� ��&��������*

���� �������#� � ������� ����� ������� �������� ��

��� �� �� � ������� �� �� ���� ���������� ��

��� � � ��# ������� ��&�������� &�� ��� ����� ��������

6!?8*

+, - ��./ �� �, 0 �� !� �� ��� �������! �1 2%���3 ��4�5��66 '$?7

���* ?* M����� �& �� ���� ������������ � �� � ����� ����� :�; �� � ������ �& �� �������� ��� ����� ������� &��� �� ���� :�;*

Page 8: A new approach to outdoor scene description based on learning and top-down segmentation

4,�, >#� ������ ��� �������

(� ���������� ������� �� ��� ������ ������ ��

�� ������������ ���,� �� ��������# ����� �� ���* "�

���� ��� ������������ ���,� � ���� �� �� �������

���� �& ��)��� �� 9 ��� ����* (� ��� ������

���� ��� ��9

� 0��� '* O������ ��)�� ���������� ���,�* (� �25

�� ��� �� �� ���� �& ��� ��� �� ���� �� ��� ��

�� �� �� �� � �� ��� �� ��)��� �& ��������* (��

������ �� ��� �� ��� ������ �� ���,� ���

���&��� �� ������������* 5� �� �� �� � ���� �� ��

�������# �� ��� �� ���� ������������ �� ����

�� ��� �� ���� �� �� ��)�� �� �� �������* 3����

��� �� ��)��� �& �� ���� �� �� �� �� ������� ��

����� �� ���# �� ���� ��)��� ��� ������ * �������

����� �� �� �������� ��� � ���� ��)�� �& � ����

�� �� �� ��� ���� ��� �����# �� ���� � ��

�� �����#� ������ ��# ,����� �� ����� ��� ��)���

���������� ���� ��� �� ��������*

� 0��� !9 G��������� ������������ ���,�* (� ��� ��

����� ������ �� � ������� ����� ���� �� ���������

���� ���,� ���&��� �� .��� ���� �& ����������*

� 0��� H9 N������� �������* (� ������������ ���,� ��

���� ��������� ��� ��� �� ������� �� �� ��� ������*

(� ��� ������ ���,��� ��� ��� �� ������������

���,� .���� �� ��� �� ������� �� ��� ����

������ �� ��� ����� ������� �# ����� �& � ��������

�� ����� �& �� �������� ��� ���� �� ��* (�

������ �� � ������ �& ������� ��� ����� # �� ��

���� ��� �� �� ������ �������� �& �� ����

���������*

� 0��� ?9 ���� ������� �� ���� ���� �& ����������*

(� ��� ������� ��� ������ �� �� ��������� �������

������ ���,�* (��� �� ������������ ���,� ����� ����

���� ���� �& ������������ �� �� ��� ������

��� ����� ������ �� � ������� �����*

0���� H �� ? �� �� ������� �� ���� ������ ���� ��� ��

�� ������� �& �� ��)�� �� �� ��������* 0����� ?*!*!

������ ��� ������� �� )����.�� ��� ����#*

+, - ��./ �� �, 0 �� !� �� ��� �������! �1 2%���3 ��4�5��66'$?=

���* E* N������ � �� ��� �& �� �#���� ��������9 :�; �� ��� ������ ������ ���� �� �� P�25+ �� ��� �� �� P�������+ �� ���* :�; 0��� � �����

�������� ���� �� ��� ������ ������ . � ������������ �������� � ���� �� �� ���������� �& �� ��� � ��� ��� �,#� ����� � �� ������� �����

�������* (� ��� ������ ��� ����� &�� �� �������� �� .����# ������ �� ��&�������� �� ��� ��� �� ������ � ������ ��������� �& �� ����*

Page 9: A new approach to outdoor scene description based on learning and top-down segmentation

4,%, >#� !� �*������� ��!���� ��� ���������

(��� �������� ��� ���� �� �� ��� ���� ����� ���

�������� ���,� ���� �� �#���� ������ �� �� ��������

� ����. ��)��* (� &������� ��������� �� �� ��)��

�� �� ������� ���# � ,�# ���� �� �� ��� ����� �& ��

������������*

4,%,�, :��� �# ��) ������! �� ��E��� � ��DD� ( �

>��� � ����� ����� ������������ �� ���&���� �#

����� �& � �����.����� &������ ��� �� �� �����

�� ����� �& �� ����� ������� �� �� ��)�� �� ���* (�

� ���� �����.����� &������ �� �� ���� �� ��� ���

�� ��� �� ����� &�� ��, �� �� ����� ����� ��

��)�� �� ������ ������* �� �� ������ �� 0�����

H*'� �� �� �� ������������ �� ��)�� �� �� � ����.

��� ��� �� ����� �� �� �������� ������ ���� ���

��� �� � �����.����� &������* �������� ��� ��� ���

��� ��� �� ������ �� �� �� ���� &�� �� ��� �& ��

��)��� �& ��������� �� �#���� �������� �� ��������

������� &��� �� � ������� ��)�� ,����� ��* �������

����� �� �� �� ���� ��� �� �� ��� ��� ���� � ��

��������� �& ���� ��)��� ��� �&&�� �� ��# &���

�� �� ���� ������#��* (���&���� �� �� �� �� �� ��

���� ��������� �� �#���� ������� �� � �������

��&�������� �& �� ��)�� �������� �� � &�JJ# ��#*

����� ����� �� ���� ����� ���������� :�� �� ����

�� (� �#��� �� �� ��� �� � �; �� &�JJ# ����� ��

�����.����� &������ �� � ����� �& ��. ���� �� �

����� �� �����.� ��� ��� �� �� &�������� ����9

��9�'

�9 � �9 � �9H

� ���:9� � $

���� � � � � �� � � 6$�'8� ��������� �� ���� �& ��

����� �������� �� ���� (� �#��� �� ��� �� � ��

������� ��#* 5& �� �����.����� &������ �& �� ��)��

���� 9� �����.�� �� ����� �� ��������� �� �� ��)��

��� �:9 �� ��� �� '� �������� �� �� ��� �� �'* ������#�

������ �����.� �� ��������� �� �� ��9��� �� �� 9� ���

������ ���� �������*

���* 7 ���� �� &�JJ# ���� &�� � � � � �� � * �� �� �����

���� �� �� �� ����� � �� ���* 7�� ��� �� ����� ������ ��

��� �� �� �� �& ������ :��� �� ���� ����;% ���� �� � ���� �� ��� �� $� ? &�� �� ����� ����� ���� � �� ��� �� ' &��

�� ������ ����*

(� ������������ ���,� ��� ������ �� �� ���� ���

��������� ��������� �� ���� ���� ��� :��������

������� ������� ��*; �����#* (� ��� ������ ��� ���

� � ���� �� ��� ���� �� ���# ,���� �� ��&��������

+, - ��./ �� �, 0 �� !� �� ��� �������! �1 2%���3 ��4�5��66 '$?C

���* "* �� ������� ������������ �� �� ��� ������ ������ �������� ��� ��� ������������ ���,�* ���������� ����� ��������� �� ��������� ����� ����

����������� ����� ��������� �� ������� ����*

Page 10: A new approach to outdoor scene description based on learning and top-down segmentation

���� �# �� ������������ ���,�* (�� �� ����.���# ������ ��

�� ������� ��� ���� �� ��� ��� * (� ��&�������� ���#

������� �� �� ������� �������� �� �� ����� �& ��� ��#

�& �� �������� �� ���� �� ���������� �� ���

����������� ��� ����� �� ��������� ��������*

(� ������ ������ ��� ���,� �� ��,� ��

�����,���� �� �;�� �� ��#�������� ������� ����� #

��� �� �� ��� �� � ����� �� ��������� �������

������� �# �&&����� ,����� �� ������*

4,%,%, ������ �# ��) ��!�� !��(�!

M�� �� �� ���������# �������� �������� ��� �� �� ��

�������� ��� � ������ ������� �� � �� �� ��)�� � �����

������� ������� �� ��� ���� ���� �� ���� �����* �

������ ������� �������� 6C8 ��� ������ �� �� �� �� ����� �

��� ���������* 5� ��� ���� �� ����������� �������� �� ����

-������ ��� �� �����.����� &������ ��� �� �� .���

����� ��� �������� � ����� �� ��� ��� �� ����������� �&

��� �4���� ������* (� �������� ��,�� ���� ����� �� � ����

���� �� �� �& �� ��)��� �� ���� �� �� ����������� �& ��

������ �� ��� ���* 5� �� ���� �� ���������� �� ������� �&

������ �� ����� �� �� �� ���������� &������ ���� �� �� ��

�� �������� �& �� �� ����� ���� � �� ������ ������������

�� ������* (�� ������� ������ ����� � ����� �� ����

����������� �# ����#��� �� �������� ��� &������ ����

������ �� �� ��� ���� �������� ���,� �� ���# �&&�����

�� ���� ����� &�� � ������ ��)��* 5� ��� ������ �� &������

���� ���� �� ������ ��� ����� �� �� �.� �� � ��#

���������* 5� �� ���� ,���� ��� �� ������ ��� � �# ������

������� ���� � �� �� ����������� ��������* (���&����

�� ������ �� ���� �� �� ��� ��� �� ������ �& �� ����#��

����� ����� �� ��������� ������*

+, - ��./ �� �, 0 �� !� �� ��� �������! �1 2%���3 ��4�5��66'$E$

���* 7* ��JJ# ���� ��� �� ����������� �� �������� �� ��� :�;� (� �#�� :�;� �� ��� �� � � :;*

Page 11: A new approach to outdoor scene description based on learning and top-down segmentation

� � ���������� �������

(� ���&# �#���� ����������# �� ����������� � ��� �&

����������� ���� ���&���� * ���������� �& ��)��� ��

�� �� �� �� �� �� ���� �� �;� �� �� !����� ��� ��� �

��� � �� ����� �& �����* >���� �� ������ �� ���� �&

�� ������� �� �� �� �� ���������� �� �#���� ���&�������

�������� ���� ������ �� � � ���� ��,�� �� ��# �&&���

��� ��� ��� �� ������ �� ���� �� ��������* (� �������� ����

���� �� ���* =� ���� �� ���# ���� ������� ����� ����

��� �&&����� ��� ��� �� ������* >���� �� ������ ��

���* =� �� ��� ���� � �� :������� ��� �� �����;�

���� �� ����� �� ���* =� �� ���� � �� :����!� ��� ��

�����;* ���* C ���� �� ������ ������� ������� �� ��

��������� �& ��� ��� ��� ������� ���� ���* '$ ����

������ �& �� ������������ ������ �� �� ������ �� ���*

C� �� � �� ����������� ���� � ������� �� ����

� ���� ��� ���� �& �� �#����* 3��� ��� �� ��)��� �;��

�& ���* '$� �� �� �� ���� �� �� ��)��� �� ���� �& ���* '$��

���� ��� �������# �������� �� �� .��� ����� ��� ������ ��

������ ������� ������ .�� ���� ������� �����&���#* (��

�� � �#���� ����4���� �& �� ��������������� ���� ��

������� ������� ��� ����� ����� � �# �� ������ �������

������* (�� �� � ������ ��������� �� ��� ��� ������

���� �� ������ ���������� �� ,��� � ������� ���

������� �������� �& �� ��)��� �� �� ��� �������� �������

�� ������* 2�������� �� ��)�� �� ���� �& ���* '$� �� � ���

�������� �� �� .��� ����� �� �� �����# �� ������ �����

��� ������ ��� ��� � ������ �� �� �������* >��� ��� ��

��� ��������� � �������������� ������� �� ��� ��

��� � *

(� ��� � � 4��������� � � �������� �& �� �#����� ��

�����.����� ������� �& ���� ��� E$ ������ � � ����

������ ��� ��&����� ������ ������������ �������

���������� �& �� ����� ��� ��� �� ���� � ��������*

2� � ������ � �� =7Q �& �� ���� ������+ ������ ����

������# �����.� � � �� ���� ���� ���� ������ ����

+, - ��./ �� �, 0 �� !� �� ��� �������! �1 2%���3 ��4�5��66 '$E'

���* =* (� ��� �& �������� ������ ������ ���� �& �� ����� ������ �# �� ����� �� �������&�� �������� �& ��)�� ������#��� :.��� ���;� �� ��

�������� ��� ������� ��� � �� ���������� �� ��)���9 �� �� �� ���� �;�� �� !������ ������ �� ���#� ������ ����� �� ������ ������� ������� ��#*

(���� H

/ �������� �& �� ������� ������� �� ��� �����* (���� 'DH �������� �� ��

������� �& ���* =� ���� (��� 'D" �������� �� �� ������� �& ���* C* (� ����

��� �� �� �� � ����� � ����� � �������� �& ���� ��� E$ ������

O�� �� ��� 0,# N����

Q� Q3� Q� Q3� Q� Q3� Q� Q3�

5�* (���� ' CH 'C C' '? C? ! D $

5�* (���� ! E! '= == H= =C $ D D

5�* (���� H 7E '? =C C CE ' =! '

5�* (��� ' 7' E CE 'E C7 ' D $

5�* (��� ! 7$ !? C' ?" C= ' D $

5�* (��� H 7" !" =7 H! '$$ = D $

5�* (��� ? "$ ?C CH ?H CC ? D $

5�* (��� E =E !! C$ H" CE H D $

5�* (��� " "C H= =' HC C7 !$ D D

2 ����� =$�C! '"�$= ="�E= !=�C! C"�!E E�'7 =7 E�?H

Page 12: A new approach to outdoor scene description based on learning and top-down segmentation

��,�� �� ��� ��� �� ������ ��������# ��,���� �� ��

�#����* (���� H ���� �� ���&������ �& �� ���� ��������

�� ���� ������* ��� �� �������� ��)��� ����� Q�

�� ����� �� ��������� �& �� ���� ��)�� ������������

������ :������� � �� �� ������ ������������ �& � ��#

��)��;� ���� ����� Q3� �� ����� �� ��������� �&

������# ������� ������* 5� �� �� ����� �� ��� ���&���

���� �& �� �#����� ���� ���� �& �� ������ ��� �����.�

4���� �������#* (� ����� �;� &�� �������� �� �������� ��

� �� C"Q �& ����� ��� ���# EQ �& ������ ����� ��������

�� � �����* 2� �� ���� �� � �� �� ����� �� �� �� �� ����

���������# ���� ������ ��� �� ��� ���� ��� : �� �� �

���� ���������#;� ���� ������ ��� �������* 5� ����� �& ��

&�� ��� �� ���� ������ ���� � ��� ��� �� ��� � ���

+, - ��./ �� �, 0 �� !� �� ��� �������! �1 2%���3 ��4�5��66'$E!

���* C* 0�� ����� ������ ������������ ��� ��� ����� �� �� �&&����� �� ������ �� �� .��� ���������*

Page 13: A new approach to outdoor scene description based on learning and top-down segmentation

�� ���� #����� ��� ��� ��*� �� �#���� ��������� ����

�� ���� ������# �� � �� =" �� =$Q �& ����� ������� ��#*

/ �� �� ��)�� !������ &�� �� ���� ��� &�� ��������

� ������� �� ��� ��� ������ �� ���� �& �� ���� ������� ��

�&&��� ��# �������� *

! "���������� �� ������ ���#

5� ��� ����� � ���� ��� �������# �� ���� ������� &��

���������� �� ��������� �����.��� ����� ��)��� �� �

����� ��,��� ���� ����� ����� �� ������� &�������* ����

+, - ��./ �� �, 0 �� !� �� ��� �������! �1 2%���3 ��4�5��66 '$EH

���* '$* 0�����#����� ������� ������� �� ������ �& �;� �� �� ��� ���������� &�� �� ������ �& ���* C� �� :�;� �� C �� :�;* (� ������� �& �� .��� ���� �&

������������ ��� ���� �� �� .��� ������ ���� �� ������� �& ��� ����� ���� ������� ��� ���� �� �� �� �� �����* (�� ����� ���� �� .��� �������

������� �&��� ��� ����� �� ������� �& �� ������ ������� ��������*

Page 14: A new approach to outdoor scene description based on learning and top-down segmentation

���, �� ������J��� ��)��� ��� &���� �� �� ��������

���� �& �� ��)���� �� ���� �� �� �� �������� �� �������

�& ���� ��� �����# ����.� �������� �& �����# �������

���� ���������� :�*�* ������� ��-������ �������� �� ������

������� ���,�;* >��� ��� ���� ����4��� ����� ��

����� � �����# �� ��� ��� ������ ������ ���� ����� ��

��� ����� �# �� �� �������� ���� ��)��� :��������#

������� ����;* 2�� ��� ������ �� �������� ��� ���

����� �� ���� �� �� �&.���� ���������� �& ���� ���

������������ ���� ���� ��� � ��� ���� �������� ���,*

0� ���� �#���� &������� ��������� �� ���������� �� ���� ���

�& ��� ��������9

� ������������* (� ������� ������ ��� � �� �

���� &�� ,����� �� �4�������� �� ���� �� &�� !M

����� ���������*

� :��F����* (� ��������� �������# �� ���� �� ���

�� ���� �� ��� ���� �� ��� ��� � �� ����������

��������* (�� &�� ������� �� �#���� �� ������

�� ���� �#��� �& ������ �� ���������� ��� ��)��� ��

������ ������ � ����� ������ �� �������# �& �����

������ �� �#����*

� ��������* (� �#���� ��� � �� ����� �� � ��� �� ��)��

���������� �������� �� �&&����� ��� ��� �� ������*

� �E�����* (� �#���� ���� ����. &������� &�� ��������

��� �&&����� ��)���� ���������� �� �� ���� �������

���� � &������� �& � ����. ��)��* 5� �� � ��#� ���

�� �#���� ������ �� �� �������� �� ��)��� �� &������ �

���4�� ���� &�� ��� ��)���� ��� �� �#���� ���������

����. ��)�� &�������� �� �� ��������� ������ ��,��

���� ����� �� �������������� �& �� ��)��*

� �������������* (� ������� �������# ������� �

��������� ��������������� ���� �� �&&����� ��)���

�& �������� �� �� ����� ���� �� �� �������� ��

��������*

5� �������� ���� ��� ���������� ����� �� .� ��)���

����� ����. ���� �� ��� �� ������# �� �� ��

���������� ���������� ���������� �� ��������� ����*

(�� �� ��������# �& �������� �� ��� ��� ������ ������

���� ������ ����������� ���� ����� ���� � ��

�� ������ ��������� �� ���� �& �#� �� �������� �� &���

�� ���* (��� ����������� � � �� �� ��������������

�&.������ ��� ���� ��������� �#�����* 3� ���������

�� ��������# �& �� ��������� �������# �� �� ����

���� ���� ���������� �� � ���� &������ &�� ���� ���

�������� �#�����*

(� ���� &������� �& �� ������� ������� �� ���� ��

�� ������ �������#� �� �� ��������� �# �� ����������

��� �� �� �� ��)��� �� ����� :����� �� �������

���������� �� �� ������� ������������ ����� �� ��)���;%

�� ����������� �& ��&�������� ����� ���� �����&����

�������� ������ �� �� �� �� �������� �� � ��� �������

����������� �� ���� ��)���% �� .����#� �# �� ��� �&

&�JJ# ����4��� �� ��� ��� �� ����� �& ���������#

����� ������������*

������ �� ������������ ������� ��� 4���� ��� � ����

�������� ����� ��� � �������������� ����� ��� ��� ��

���������� �������* 5� �������� �� �������������� ��

����� � �# �� ������ ������ ������� ������* B��

�� ��� �& ��� ��� ���� ��� ��������� �� ��� �������#

���,��� �� � #��� �������# �#���� ��� ���� ��� � � ���

������������ �������� �� ���� � ���� &�������* 5� ��

������ ��� ����� ���������� ������� ������� �����

��������� �� ,����� �� ����������� ����4��� ����

��� �� ���� ���&�� ������� �� �� � ������ .�� ��

��� ��� ���� ���������*

$���������

6'8 M*G* ��������� �*�* >������ ������������� ����� ��������������

�� ���9 �� � �� ��� �� � �������� �� G������������

/���������� �� ������ 0������ E" :"; :'CC$; =7'D=="*

6!8 �* ������� �* ������� �* ���������� �* ������� � �� ��� �� ���������� &��

������J��� ������� ��)��� �� ����� ������ �& ��� ��� ������ 5����

�� 1����� ��������� '= ::"�7;; :!$$$; E'EDEH$*

6H8 �* ����� 0* O��� �* ����� � ���� � ����� ������������ ����� �

������ ��������� 5/// (���������� �� 0#������ ��� ��

�#�������� !E :'!; :'CCE; 'E?HD'E"7*

6?8 >* ������* 1����� �������������� �� �� ������ ���� (����� ������

�0�G ?E!� 0��� �& ������� � �� ��������� 0������ 'CC7*

6E8 3*B* ���������� �*(* (����� (*�* (������,�* (�������� ������

&�� ������ ����� ������������� ��9 G���� ���� �& �� 0���

5������������ ���&����� �� 5���� G�������� �� 5�� ������������

���# 'CC7� �� "EED"EC*

6"8 �* ������� �* ����� �* N���* (������ ���������J����� ���� &��

����� ������������� ��9 G���� ���� �& �� 0��� /�������

���&����� �� �������� 1������ 0���� ��������� O������ 5���#�

��# 'CC!� ��* '"$D'"?*

678 �* �����,� �* ����� ��������� ����4�� &�� ����� �������������

�������� 1������ N����� �� 5���� G�������� E! :'CC$;

'?ED'7$*

6=8 M* ��� ���� �* O������ <����� ������� ����� �� ������ ���

�#�����9 � ��� �#� �������� 1����� �� 5���� K� ������ ��� "7

:!; :'CC7; '"'D'=E*

6C8 R* ��&��� R* ���S�J� �* ���������� �* ������* � �������� ������

������� �������� ��� � �# ��������� �������� ��9 G���� ����

�& �� ��&����� 5������������ ���&����� �� G������ �����������

��������� 0����� 0�������� !$$$� ��* '� ��* ?H!D?HE*

6'$8 �* M��� >* O��� ������� �������� &�� �����.������ 5���������� M���

����#��� ' :'CC7; H*

6''8 �*�* M�������� 5����������� ����� ���������� �����9 � �� ��

���� ��� ������� �������� N����� �� 5���� G�������� '7

:'C='; C'D''H*

6'!8 �* M������ �*(* �������� �* ������� �*�* >������ /* �������� (�

���� �#����� 5������������ ������� �& �������� 1����� ! :'C=C;

!$CD!E$*

6'H8 �*�* M������ �*/* ��� ��#� G*/* K���&&� N���� ����� �����.�����

����� ������ ����� ������ ������ 5/// (���������� �� G������

����#��� �� ����� 5���������� '" :C; :'CC?; ===D=CH*

6'?8 �*�* M������ �*�* >������ /*�* �������� <����� ��� �����

�����9 ������� ��������� �� ������������ G���� ���� �& �� 5///

=? :''; :'CC"; '"!ED'"H7*

6'E8 �* ���������� R* O�� ��� �* ������� R* ��&��* K�� �& ������ ����� ��

����� &������ ��������* ���������� �� ��)�� ���������� �� ��� ���

������ ��9 G���� ���� �& �� 5/// 5������������ ���&����� ��

5���� G�������� :5�5G P!$$$;� 1���� ��� ���� �� 0��������

!$$$� ��* H� ��* ?C"D?CC*

+, - ��./ �� �, 0 �� !� �� ��� �������! �1 2%���3 ��4�5��66'$E?

Page 15: A new approach to outdoor scene description based on learning and top-down segmentation

6'"8 �*�* N��J����� �*/* B�� � M������ ����� ���������� B��� ��� ���

������� � �����B����#� ��� ���� ������������� 'CCH*

6'78 �*�* >�����,� O*N* 0������ �������� �� ����� ������ 1��* 55�

������ 'C� <����� ������� ������ � �����B����#� ��� ����

������������� 'CCH� ��* ?CHDEHH*

6'=8 N*>* ����� �� M* N��������� ����� ����� &�� ������� �������

�������� T N����� '! :'C7=; '!D'C*

6'C8 5*A* <��� >*0* A���� �� ��������� ������ &�� ���� �� ������ ���

���� �� ���,� ��� �� ���� �� ��� G������ ���������� != :'!;

:'CCE; '==7D'=C7*

6!$8 �*M* O� ���� 0*5* 0����� �* �� ����� ������� ����� �#���� &��

������ ������������ �� ��������������� 5/// (���������� �� G������

����#��� �� ����� 5���������� H :E; :'C='; E?$DEE"*

6!'8 N*�* �O����� M���������� ����#��� �� ���������� �������

����������� �* B���#�5���������� 3�� A��,� 'CC!*

6!!8 A* 2��� <����� ������� �������������� �& ��� ��� ������� ����

������ G����� G��������� ������� 'C=E*

6!H8 A* 2��� (* <��� �� (* 0�,��� ����� ��&�������� &�� ������

������������� �������� N����� �� 5���� G�������� 'H :'C=$;

!!!D!?'*

6!?8 G* G��� �� N* G������ HM ���� ������������ �# ����� �������

������� 5/// (���������� �� G������ ����#��� �� �����

5���������� '= :!; :'CC"; !''D!'7*

6!E8 �*�* 0���� ����� ����� �����&��� ������ �������� T N����� '!

:H; :'C7=; '!D'C*

6!"8 (*�* 0����� 3������ ��)�� ����������� 0��������1������ 3�� A��,�

'CC!*

6!78 �*�*�* 0������ �*�* ��#�� �*�* >� ��* � ���� �����# ������

&�� �� ������������ �& ������� ������ ��9 G���� ���� �& �� 0���

5������������ ���&����� �� 5���� G�������� �� 5�� ������������

���# 'CC7� ��* '?"D'E$*

6!=8 �*3* (��������* �� �������� � &�����# &�� ���� ����#��� �������

(����� ������ (����� 3��� =7� ����.��� 5���������� �������

0���&�� ������ 5��������� 'C7?*

6!C8 �*/* (����� �* >�����* ������ �������9 �������� �� �� ������

����� ��9 G���� ���� �& �� 5������������ ���&����� ��

� ��� �������� 0��� ����� � N������� 0����� 'CCE� ��*

?C7DE$"*

6H$8 M* A���� <* ���� >* 3�,�����* 0����������� �& ���� ������

��������� ����� � ���� �� ���� ��9 G���� ���� �& �� 5�G�

B��,��� �� ����� 1����� ������������ (�,#�� ������ M������

'CC!� ��* H"7DH7$*

+, - ��./ �� �, 0 �� !� �� ��� �������! �1 2%���3 ��4�5��66 '$EE