Transcript
Page 1: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

11

Shape Descriptors IShape Descriptors I

Thomas Funkhouser

CS597D, Fall 2003Princeton University

Thomas Funkhouser

CS597D, Fall 2003Princeton University

3D Representations

������������������ ��������������������������

Intuitive specification Yes No No NoGuaranteed continuity Yes No No NoGuaranteed validity Yes No No NoEfficient boolean operations Yes No No NoEfficient rendering Yes Yes No NoAccurate Yes Yes ? ?Concise ? ? ? YesStructure Yes Yes Yes Yes

Edi

ting

Dis

play

Ana

lysi

s

Ret

riev

al

Property

Page 2: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

22

Shape Analysis Problems

��������

� ��� ��������

� ���������

� ������

� ��������

� !������

Ø �����

� �������

� "����������

� "� �����

“How can we find 3D models best matching a query?”“How can we find 3D models best matching a query?”

1)

2)

3)

4)

Query

Ranked Matches

Shape

#�����������!����$�����%��#��������

� � � ����������& ������������������������ ����������&������������ �������������������� ��

Page 3: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

33

Shape

����������������������������������������'�������(�����(�����������(������)

=

Shape Similarity

*����������������� �������'+(,)������

� ������ � ���� ������������������������

� ���������� ������ ����������������

-�����( ������������� ����� ��� ������������

� *��$������ �'+(,)�≥ .���������+�����,

� /������ �'+(,)�0�.��������������+0,

� ��������� �'+(,)�0��',(+)���������+�����,

� 1�������� ������ �'+(,)�2��',(")�≥ �'+(")

Page 4: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

44

Example Distance Functions

�� �����

3� ������ �������

4�����'��5���(���6)

( ) pp

ii baBAd1

),( � −=

( )),(~

),,(~

max),(

minmax),(~

ABdBAdBAd

baBAd iiBbAa

=

−=∈∈

Shape Matching

"��� ��������������� �����������������7#������

� "������������8� ��9���

� "������ �������������9�������������������

Are these the same chair?

Page 5: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

55

Shape Retrieval

����7#�������8����������������������� ��

� ������� �������������� �����&��������� 4'�)�

Is this blue chair in the database?

Shape Retrieval

, ���������������������

ShapeRetrieval

SimilarObjects

ShapeIndex

ShapeDescriptor

ShapeAnalysis

ShapeAnalysis

Databaseof

3D Models

GeometricQuery

Page 6: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

66

Shape Retrieval

����7#�������8������������������ ��

3D Query

3D Database

Best Matches

Challenge

*�����������������������

� "������������

� : �&�������� �

� ���������������

� #���������

3D Query ShapeDescriptor

3D Database

BestMatches

Page 7: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

77

Challenge

*�����������������������

Ø "������������

� : �&�������� �

� ���������������

� #���������

3D Database

3D Query ShapeDescriptor

BestMatches

Challenge

*�����������������������

� "������������

Ø : �&�������� �

� ���������������

� #���������

3D Database

3D Query ShapeDescriptor

BestMatches

Page 8: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

88

Challenge

*�����������������������

� "������������

� : �&�������� �

Ø ���������������

� #���������

3D Database

3D Query ShapeDescriptor

BestMatches

Challenge

*�����������������������

� "������������

� : �&�������� �

� ���������������

Ø #���������

3D Database

3D Query ShapeDescriptor

BestMatches

Page 9: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

99

Challenge

*�����������������������

� "������������

� : �&�������� �

� ���������������

� #���������

Ø /�������������������������

� /�������������

� /������������������

� �� ����� �������

Different Transformations(translation, scale, rotation, mirror)

Challenge

*�����������������������

� "������������

� : �&�������� �

� ���������������

� #���������

� /�������������������������

Ø /�������������

� /������������������

� �� �������������

Scanned Surface

Image courtesy ofRamamoorthi et al.

Page 10: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

1010

Challenge

*�����������������������

� "������������

� : �&�������� �

� ���������������

� #���������

� /�������������������������

� /�������������

Ø /������������������

� �� �������������

Images courtesy of Viewpoint & Stanford

Different Tessellations

Different Genus

Challenge

*�����������������������

� "������������

� : �&�������� �

� ���������������

� #���������

� /�������������������������

� /�������������

� /������������������

Ø �� �������������

Images courtesy of Utah & De Espona

No Bottom!

&*Q?@#A%!

Page 11: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

1111

Taxonomy of Shape Descriptors

��� �� ���������������

� �&�����

� -���$�����������

� ��� �$�����������

���������������������

� ;����(�������(�8�����(�<

� +���� ��(����������(�666

� -�������������

Taxonomy of Shape Descriptors

��� �� ���������������

� �&�����

� -���$�����������

� ��� �$�����������

���������������������

� ;����(�������(�8�����(�<

� +���� ��(����������(�666

� -�������������

Images courtesy of Amenta & Osada

Page 12: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

1212

Taxonomy of Shape Descriptors

��� �� ���������������

� �&�����

� -���$�����������

� ��� �$�����������

���������������������

� ;����(�������(�8�����(�<

� +���� ��(����������(�666

� -�������������

Image courtesy of De Espona

?

Taxonomy of Shape Descriptors

��� �� ���������������

� �&�����

� -���$�����������

� ��� �$�����������

���������������������

� ;����(�������(�8�����(�<

� +���� ��(����������(�666

� -�������������

?

Page 13: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

1313

Statistical Shape Descriptors

+������$������

� ;����

� ������

� !�����

� �������=� �����/���

� ��������������� �����

� ��������+���� ��/���

+������$�������

� ��������������

� 3���������������

� ���������� ����

Feature Vectors

!�� ���������������� � ��$�������������

� ������� ��� ���������������� ������

Feature 2

Feat

ure

1

File cabinets

Tables

Desks

Image courtesy ofMao Chen

Page 14: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

1414

Feature Vectors

"� ���(��������(������>(������������������ ��������� �������������������

Feature 2

Feat

ure

1

File cabinets

Tables

Desks

Image courtesy ofMao Chen

What feature vectors?

Voxels

?���������� �������� ��������'�������������)

� ��� �����������*7 ��������'����������������������)

� �'+(,)�0�@@+$,@@*

�������

( )d =,

NA B A-B

Page 15: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

1515

Voxels

"�������������������������'#1)��������

� @@+$DT',)@@A ��������� ������������������������������� ��������+�������������������� ��������,

Distance TransformSurface

Image courtesy ofMisha Kazhdan

Voxels

"�������������������������'#1)��������

� @@+$DT',)@@A ��������� ������������������������������� ��������+�������������������� ��������,

Distance TransformSurface

Image courtesy ofMisha Kazhdan

Page 16: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

1616

Voxels

"���� ���������������������� �� �

� 6�6(�����������������!/;�����!�;

Image courtesy ofDaniel Keim, SIGMOD 1999

Voxel Retrieval Experiment

1�������������;8������� ��������������A(BC.������(�BD�������

153 dining chairs 25 livingroom chairs 16 beds 12 dining tables

8 chests 28 bottles 39 vases 36 end tables

Page 17: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

1717

Evaluation Metric

-�����$������� ���

� -������0������E�E������F������E�����

� �����0������E�E������F������E�E�����

0 0.2 0.4 0.6 0.80

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

Evaluation Metric

-�����$������� ���

� -������0�.�F�.

� �����0�.�F�D

44 55 66

77

0 0.2 0.4 0.6 0.80

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

11 22 33

9988

Ranked Matches

Query

Page 18: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

1818

Evaluation Metric

-�����$������� ���

� -������0�A�F�A

� �����0�A�F�D

44 55 66

77

0 0.2 0.4 0.6 0.80

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

11 22 33

9988

Ranked Matches

Query

Evaluation Metric

-�����$������� ���

� -������0�G�F�7

� �����0�G�F�D

44 55 66

77

0 0.2 0.4 0.6 0.80

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

11 22 33

9988

Ranked Matches

Query

Page 19: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

1919

Evaluation Metric

-�����$������� ���

� -������0�7�F�D

� �����0�7�F�D

44 55 66

77

0 0.2 0.4 0.6 0.80

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

11 22 33

9988

Ranked Matches

Query

Evaluation Metric

-�����$������� ���

� -������0�H�F�I

� �����0�H�F�D

44 55 66

77

0 0.2 0.4 0.6 0.80

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

11 22 33

9988

Ranked Matches

Query

Page 20: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

2020

Evaluation Metric

-�����$������� ���

� -������0�D�F�C

� �����0�D�F�D

44 55 66

77

0 0.2 0.4 0.6 0.80

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

11 22 33

9988

Ranked Matches

Query

Voxel Retrieval Experiment

1�������������;8������� ��������������A(BC.������(�BD�������

153 dining chairs 25 livingroom chairs 16 beds 12 dining tables

8 chests 28 bottles 39 vases 36 end tables

Page 21: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

2121

Voxel Retrieval Results

0 0.2 0.4 0.6 0.8

0

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

Voxels

Random

Voxels

-������

ü #���������

ü /�������������

ü /������������������

ü �� �������������

ü : �&�������� �

� ����������������

J "������������

J /���������������������

Page 22: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

2222

Wavelets

#��������8���8�������������

16,000 coefficients 400 coefficients 100 coefficients 20 coefficients

Image courtesy ofJacobs, Finkelstein, & Salesin

Wavelets

#��������A�

� =������*�*�*����(����������*�*�*�������������8������������������������������3���������� ������

Jacobs, Finkelstein, & SalesinSIGGRAPH 95

Page 23: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

2323

Wavelets

#��������A�

� =������*�*�*����(����������*�*�*�������������8������������������������������3���������� ������

#��������G�

� 1� ����� ������������������������������������������� ������>��

� : ���>� ���������$>���������������2A����KA������������������

Jacobs, Finkelstein, & SalesinSIGGRAPH 95

Jackie Chan Example

4������/����'GDL�GDL)

Page 24: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

2424

Truncated And Quantized to 5000

Truncated And Quantized to 1000

Page 25: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

2525

Truncated And Quantized to 500

Truncated 100

Page 26: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

2626

Truncated 50

Truncated 10

Page 27: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

2727

Torus Example

Torus Truncated to 5000

Page 28: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

2828

Torus Truncated to 1000

Torus Truncated to 500

Page 29: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

2929

Torus Truncated to 100

Torus Truncated to 50

Page 30: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

3030

Wavelets

#������� ������A�

� 1��� ������������������

8���+M(9(&N�����,M(9(&N��������� ����������� ���>���������������8(9(& ���8����(����� ����������������6

[ ] [ ]� −=kji

kji kjiBkjiAwBAd,,

,, ,,,,),(

Jacobs, Finkelstein, & SalesinSIGGRAPH 95

Wavelets

#������� ������G�

� 1��� ����������������������������

�����������������������������6

[ ] [ ]�≠

≠=0),,(:,,

,, ),,,,(),(kjiAkji

kji kjiBkjiAwBAd

Jacobs, Finkelstein, & SalesinSIGGRAPH 95

Page 31: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

3131

Wavelets

-������

ü /�������������

ü /������������������

ü �� �������������

ü : �&�������� �

ü ���������������

ü "������������

� #����������

J /���������������������

Jacobs, Finkelstein, & SalesinSIGGRAPH 95

Moments

#��������������������������

�=surface

rqppqr dxdydzzyxm

Page 32: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

3232

Moments Retrieval Experiment

1�������������;8������� ��������������A(BC.������(�BD�������

153 dining chairs 25 livingroom chairs 16 beds 12 dining tables

8 chests 28 bottles 39 vases 36 end tables

Moments Retrieval Results

0 0.2 0.4 0.6 0.8

0

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

Voxels

Moments [Elad et al.]

Random

Page 33: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

3333

Moments Retrieval Results

0 0.2 0.4 0.6 0.8

0

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

Voxels

Moments [Elad et al.]

Random

Moments

-������

ü /������������������

ü �� �������������

ü : �&�������� �

ü ���������������

ü "������������

J /�������������

J /���������������������

J #���������

Page 34: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

3434

Extended Gaussian Image

#��������8�����������������������������

� /�������������������9���

� ��������� �����

3D Model EGI

EGI Retrieval Experiment

1�������������;8������� ��������������A(BC.������(�BD�������

153 dining chairs 25 livingroom chairs 16 beds 12 dining tables

8 chests 28 bottles 39 vases 36 end tables

Page 35: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

3535

EGI Retrieval Results

0 0.2 0.4 0.6 0.8

0

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

Voxels

Moments [Elad et al.]

EGI [Horn 84]

Random

Extended Gaussian Images

-������

ü /������������������

ü : �&�������� �

ü ���������������

ü "������������

J /�������������

J �� �������������

J /���������������������

J #���������

Page 36: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

3636

Other Rotation-Dependent Descriptors

Spherical Extent Functions(Vranic & Saupe, 2000)

Shape Histograms (sectors)(Ankherst, 1999)


Recommended