Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University...

Preview:

Citation preview

11

Shape Descriptors IShape Descriptors I

Thomas Funkhouser

CS597D, Fall 2003Princeton University

Thomas Funkhouser

CS597D, Fall 2003Princeton University

3D Representations

������������������ ��������������������������

Intuitive specification Yes No No NoGuaranteed continuity Yes No No NoGuaranteed validity Yes No No NoEfficient boolean operations Yes No No NoEfficient rendering Yes Yes No NoAccurate Yes Yes ? ?Concise ? ? ? YesStructure Yes Yes Yes Yes

Edi

ting

Dis

play

Ana

lysi

s

Ret

riev

al

Property

22

Shape Analysis Problems

��������

� ��� ��������

� ���������

� ������

� ��������

� !������

Ø �����

� �������

� "����������

� "� �����

“How can we find 3D models best matching a query?”“How can we find 3D models best matching a query?”

1)

2)

3)

4)

Query

Ranked Matches

Shape

#�����������!����$�����%��#��������

� � � ����������& ������������������������ ����������&������������ �������������������� ��

33

Shape

����������������������������������������'�������(�����(�����������(������)

=

Shape Similarity

*����������������� �������'+(,)������

� ������ � ���� ������������������������

� ���������� ������ ����������������

-�����( ������������� ����� ��� ������������

� *��$������ �'+(,)�≥ .���������+�����,

� /������ �'+(,)�0�.��������������+0,

� ��������� �'+(,)�0��',(+)���������+�����,

� 1�������� ������ �'+(,)�2��',(")�≥ �'+(")

44

Example Distance Functions

�� �����

3� ������ �������

4�����'��5���(���6)

( ) pp

ii baBAd1

),( � −=

( )),(~

),,(~

max),(

minmax),(~

ABdBAdBAd

baBAd iiBbAa

=

−=∈∈

Shape Matching

"��� ��������������� �����������������7#������

� "������������8� ��9���

� "������ �������������9�������������������

Are these the same chair?

55

Shape Retrieval

����7#�������8����������������������� ��

� ������� �������������� �����&��������� 4'�)�

Is this blue chair in the database?

Shape Retrieval

, ���������������������

ShapeRetrieval

SimilarObjects

ShapeIndex

ShapeDescriptor

ShapeAnalysis

ShapeAnalysis

Databaseof

3D Models

GeometricQuery

66

Shape Retrieval

����7#�������8������������������ ��

3D Query

3D Database

Best Matches

Challenge

*�����������������������

� "������������

� : �&�������� �

� ���������������

� #���������

3D Query ShapeDescriptor

3D Database

BestMatches

77

Challenge

*�����������������������

Ø "������������

� : �&�������� �

� ���������������

� #���������

3D Database

3D Query ShapeDescriptor

BestMatches

Challenge

*�����������������������

� "������������

Ø : �&�������� �

� ���������������

� #���������

3D Database

3D Query ShapeDescriptor

BestMatches

88

Challenge

*�����������������������

� "������������

� : �&�������� �

Ø ���������������

� #���������

3D Database

3D Query ShapeDescriptor

BestMatches

Challenge

*�����������������������

� "������������

� : �&�������� �

� ���������������

Ø #���������

3D Database

3D Query ShapeDescriptor

BestMatches

99

Challenge

*�����������������������

� "������������

� : �&�������� �

� ���������������

� #���������

Ø /�������������������������

� /�������������

� /������������������

� �� ����� �������

Different Transformations(translation, scale, rotation, mirror)

Challenge

*�����������������������

� "������������

� : �&�������� �

� ���������������

� #���������

� /�������������������������

Ø /�������������

� /������������������

� �� �������������

Scanned Surface

Image courtesy ofRamamoorthi et al.

1010

Challenge

*�����������������������

� "������������

� : �&�������� �

� ���������������

� #���������

� /�������������������������

� /�������������

Ø /������������������

� �� �������������

Images courtesy of Viewpoint & Stanford

Different Tessellations

Different Genus

Challenge

*�����������������������

� "������������

� : �&�������� �

� ���������������

� #���������

� /�������������������������

� /�������������

� /������������������

Ø �� �������������

Images courtesy of Utah & De Espona

No Bottom!

&*Q?@#A%!

1111

Taxonomy of Shape Descriptors

��� �� ���������������

� �&�����

� -���$�����������

� ��� �$�����������

���������������������

� ;����(�������(�8�����(�<

� +���� ��(����������(�666

� -�������������

Taxonomy of Shape Descriptors

��� �� ���������������

� �&�����

� -���$�����������

� ��� �$�����������

���������������������

� ;����(�������(�8�����(�<

� +���� ��(����������(�666

� -�������������

Images courtesy of Amenta & Osada

1212

Taxonomy of Shape Descriptors

��� �� ���������������

� �&�����

� -���$�����������

� ��� �$�����������

���������������������

� ;����(�������(�8�����(�<

� +���� ��(����������(�666

� -�������������

Image courtesy of De Espona

?

Taxonomy of Shape Descriptors

��� �� ���������������

� �&�����

� -���$�����������

� ��� �$�����������

���������������������

� ;����(�������(�8�����(�<

� +���� ��(����������(�666

� -�������������

?

1313

Statistical Shape Descriptors

+������$������

� ;����

� ������

� !�����

� �������=� �����/���

� ��������������� �����

� ��������+���� ��/���

+������$�������

� ��������������

� 3���������������

� ���������� ����

Feature Vectors

!�� ���������������� � ��$�������������

� ������� ��� ���������������� ������

Feature 2

Feat

ure

1

File cabinets

Tables

Desks

Image courtesy ofMao Chen

1414

Feature Vectors

"� ���(��������(������>(������������������ ��������� �������������������

Feature 2

Feat

ure

1

File cabinets

Tables

Desks

Image courtesy ofMao Chen

What feature vectors?

Voxels

?���������� �������� ��������'�������������)

� ��� �����������*7 ��������'����������������������)

� �'+(,)�0�@@+$,@@*

�������

( )d =,

NA B A-B

1515

Voxels

"�������������������������'#1)��������

� @@+$DT',)@@A ��������� ������������������������������� ��������+�������������������� ��������,

Distance TransformSurface

Image courtesy ofMisha Kazhdan

Voxels

"�������������������������'#1)��������

� @@+$DT',)@@A ��������� ������������������������������� ��������+�������������������� ��������,

Distance TransformSurface

Image courtesy ofMisha Kazhdan

1616

Voxels

"���� ���������������������� �� �

� 6�6(�����������������!/;�����!�;

Image courtesy ofDaniel Keim, SIGMOD 1999

Voxel Retrieval Experiment

1�������������;8������� ��������������A(BC.������(�BD�������

153 dining chairs 25 livingroom chairs 16 beds 12 dining tables

8 chests 28 bottles 39 vases 36 end tables

1717

Evaluation Metric

-�����$������� ���

� -������0������E�E������F������E�����

� �����0������E�E������F������E�E�����

0 0.2 0.4 0.6 0.80

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

Evaluation Metric

-�����$������� ���

� -������0�.�F�.

� �����0�.�F�D

44 55 66

77

0 0.2 0.4 0.6 0.80

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

11 22 33

9988

Ranked Matches

Query

1818

Evaluation Metric

-�����$������� ���

� -������0�A�F�A

� �����0�A�F�D

44 55 66

77

0 0.2 0.4 0.6 0.80

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

11 22 33

9988

Ranked Matches

Query

Evaluation Metric

-�����$������� ���

� -������0�G�F�7

� �����0�G�F�D

44 55 66

77

0 0.2 0.4 0.6 0.80

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

11 22 33

9988

Ranked Matches

Query

1919

Evaluation Metric

-�����$������� ���

� -������0�7�F�D

� �����0�7�F�D

44 55 66

77

0 0.2 0.4 0.6 0.80

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

11 22 33

9988

Ranked Matches

Query

Evaluation Metric

-�����$������� ���

� -������0�H�F�I

� �����0�H�F�D

44 55 66

77

0 0.2 0.4 0.6 0.80

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

11 22 33

9988

Ranked Matches

Query

2020

Evaluation Metric

-�����$������� ���

� -������0�D�F�C

� �����0�D�F�D

44 55 66

77

0 0.2 0.4 0.6 0.80

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

11 22 33

9988

Ranked Matches

Query

Voxel Retrieval Experiment

1�������������;8������� ��������������A(BC.������(�BD�������

153 dining chairs 25 livingroom chairs 16 beds 12 dining tables

8 chests 28 bottles 39 vases 36 end tables

2121

Voxel Retrieval Results

0 0.2 0.4 0.6 0.8

0

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

Voxels

Random

Voxels

-������

ü #���������

ü /�������������

ü /������������������

ü �� �������������

ü : �&�������� �

� ����������������

J "������������

J /���������������������

2222

Wavelets

#��������8���8�������������

16,000 coefficients 400 coefficients 100 coefficients 20 coefficients

Image courtesy ofJacobs, Finkelstein, & Salesin

Wavelets

#��������A�

� =������*�*�*����(����������*�*�*�������������8������������������������������3���������� ������

Jacobs, Finkelstein, & SalesinSIGGRAPH 95

2323

Wavelets

#��������A�

� =������*�*�*����(����������*�*�*�������������8������������������������������3���������� ������

#��������G�

� 1� ����� ������������������������������������������� ������>��

� : ���>� ���������$>���������������2A����KA������������������

Jacobs, Finkelstein, & SalesinSIGGRAPH 95

Jackie Chan Example

4������/����'GDL�GDL)

2424

Truncated And Quantized to 5000

Truncated And Quantized to 1000

2525

Truncated And Quantized to 500

Truncated 100

2626

Truncated 50

Truncated 10

2727

Torus Example

Torus Truncated to 5000

2828

Torus Truncated to 1000

Torus Truncated to 500

2929

Torus Truncated to 100

Torus Truncated to 50

3030

Wavelets

#������� ������A�

� 1��� ������������������

8���+M(9(&N�����,M(9(&N��������� ����������� ���>���������������8(9(& ���8����(����� ����������������6

[ ] [ ]� −=kji

kji kjiBkjiAwBAd,,

,, ,,,,),(

Jacobs, Finkelstein, & SalesinSIGGRAPH 95

Wavelets

#������� ������G�

� 1��� ����������������������������

�����������������������������6

[ ] [ ]�≠

≠=0),,(:,,

,, ),,,,(),(kjiAkji

kji kjiBkjiAwBAd

Jacobs, Finkelstein, & SalesinSIGGRAPH 95

3131

Wavelets

-������

ü /�������������

ü /������������������

ü �� �������������

ü : �&�������� �

ü ���������������

ü "������������

� #����������

J /���������������������

Jacobs, Finkelstein, & SalesinSIGGRAPH 95

Moments

#��������������������������

�=surface

rqppqr dxdydzzyxm

3232

Moments Retrieval Experiment

1�������������;8������� ��������������A(BC.������(�BD�������

153 dining chairs 25 livingroom chairs 16 beds 12 dining tables

8 chests 28 bottles 39 vases 36 end tables

Moments Retrieval Results

0 0.2 0.4 0.6 0.8

0

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

Voxels

Moments [Elad et al.]

Random

3333

Moments Retrieval Results

0 0.2 0.4 0.6 0.8

0

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

Voxels

Moments [Elad et al.]

Random

Moments

-������

ü /������������������

ü �� �������������

ü : �&�������� �

ü ���������������

ü "������������

J /�������������

J /���������������������

J #���������

3434

Extended Gaussian Image

#��������8�����������������������������

� /�������������������9���

� ��������� �����

3D Model EGI

EGI Retrieval Experiment

1�������������;8������� ��������������A(BC.������(�BD�������

153 dining chairs 25 livingroom chairs 16 beds 12 dining tables

8 chests 28 bottles 39 vases 36 end tables

3535

EGI Retrieval Results

0 0.2 0.4 0.6 0.8

0

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

Voxels

Moments [Elad et al.]

EGI [Horn 84]

Random

Extended Gaussian Images

-������

ü /������������������

ü : �&�������� �

ü ���������������

ü "������������

J /�������������

J �� �������������

J /���������������������

J #���������

3636

Other Rotation-Dependent Descriptors

Spherical Extent Functions(Vranic & Saupe, 2000)

Shape Histograms (sectors)(Ankherst, 1999)

Recommended