ˇ ˘˛ ˛ ˛! ˘ˇ˘ˆ #$$ % ˝ &’& - interfacesymposia.org · Probability density...

Preview:

Citation preview

��������� �

����� ���������� ���������������������

����������������������������������� ��!�������

"#$$���%���&'&

��������� �

����� ���������� ���������������������

������������

������������� ���� ��� ������������ �� �

��������������

��������� ������ ���������� ���������������������

��(�� �)')�)���

� ���������

� �� !"�"!���"��#���$#"�"���%��&"�#�$&%�

� �&���!'!���"���#����&��#�

� �!����!���""�

� �&���!'!���"���#����&��#�

� Jurgen Symanzik� Organizing the conference

� Wendy Martinez� Help organizing the short course

��������� *����� ���������� ���������������������

������)

� ��"&��$#"!���"��� �� ���������($"�"!�����"�"!%"!#%�!��� �� �

� � �� ��)&�(�!#%

� �!���%!����!"*����$#"!���!��� �� �

� ���%!"*��%"!��"!���!��� �� �

� �����+,�%���#�$%"�&!���!��� �� �

� �-��(��%

��������� +����� ���������� ���������������������

!� �'����'),��)�������������������������-

� "�"!%"!#���.!%$��!'�"!��

� �!���%!����!"*����$#"!��

� &�,�,!�!"*����%!"*��%"!��"!��

� ��$%"�&� ���*%!%

� �$��&!#�����"���%�����*(�"��%!%���%"!��

� ���"%"&�(

� ��&�� ����!����"���%

� (�"!���"�"!%"!#�����"���%

� �&��+,�%�����"���%

� ���%"!�����������!��

� ����!���&����&�%%!�����"���%

��������� .����� ���������� ���������������������

!������������-

� � �� ��!%����!�"��&�"���#��($"!����� !&�����"���&��$��&!#�#��($"�"!������� !%$��!'�"!���

� �"�!�"��&�"�%��$��&!#�������*%!%/���"&!-�#��($"�"!��/�%!�����(&�#�%%!��������&�(�!#%�

� � �� ��!%����!�"�&�#"! ��%*%"���0��%��,�%!#���"��������"�!%�����"&!-�

� ��%!��%�#��������"&!-��(�&�"!��%/�!"�����&%�(&��&���!������"$&�%�%!�!��&�"��"��%������"��&�#��($"�&�����$���%1�����/��$�#"!��%/�!��%"�"����"%�

� � �� �������&%��!��+�� ����&�(�!#%��$�#"!��%�"�� !%$��!'����"��

��������� /����� ���������� ���������������������

������������-

� ����� �� ���������)&�(�!#%��$�#"!��%��! ��$%�&%�"����,!�!"*�"�����!($��"���&�(�!#%�!�����*�0�*%�

� � �� ��(&� !��%�)���"���%�%��"���$%�&�#����� ���(��((�!#�"!��%�

� ���&���� ��,�������*� �&%!��%/�!���/�&����%�%/����� �� ��� �&�"���*��&%��������%"�#$&&��"�!%�&����%��23��$,%�4$��"� &����%�%� �� �� !�#&��%�� � �� �5%#�(�,!�!"!�%��������"$&�%/������� ��%$,%"��"!���*�#������� "��� $%�&5%� !�"�&��#��� ��0� �&/� "����$������"��%��� ��&���!����,�%!#���*�"���%��������"���%����"�#��!#���(�!��%�(�*���%�,������!�"�!����

��������� 0����� ���������� ���������������������

��������1�����,�2��

� ����� �� ���� ���(���"��� !&�����"�!%�� �!��,�����&�"��������0!����(�&�"!���%*%"��%

� �!#&�%��"�+ �!���0%

� ��#!�"�%�

� ���6�7��!�$-

��������� 3����� ���������� ���������������������

������4)�

� !�����&�#�%%!�������,�-

� ����$�!#�"!��%�����,�-

� ���"&���*%"�������,�-

� *%"�������"!�!#�"!�������,�-

� �("!�!'�"!�������,�-

� ��$&�����"0�&������,�-

� (�!������,�-

� ��,$%"+���"&�������,�-

� "�"!%"!#%�����,�-

� *�,��!#�����,�-

� ������&�#�%%!�������,�-

� 8$''*����!#

� 8!���#!��

� ��%

��������� ������� ���������� ���������������������

�!�2'���2�5�������4)�

� ���&���&���$��&�$%�!��! !�$��%�"��"�����&�"�!&��(�&"*�"���,�-�%�!��� �� �

� ���%��#���,����$����"�"���� �� ��0�,(���

�""(977000���"�0�&�%�#��

��������� ������� ���������� ���������������������

�!)�,�6)���2����,�������

2��������� ���(���"��� !&�����"

��#�7#8#����# ��# 89� �# ����������#����� # ���������#���:��

��#��������$� �� �;��##�:��9�9#�����;�� 7� �#9�������7���

$9������#9����9#�&��� :��$���#�#����� # �����8#�

<9��������#9� �#9$�#��������#�����%#���#9���#�#��#9&�������$

��#�#��9#��#��=�#���9��<����#��������7#�%���&

:��������"����"!#���8$�#"!����!,&�&*

�������� �� ����8�������#�� ��������� �����<�9���������

# �����������#�$� �� ���%#�� #;���� #;�#�&;�����#�����

��������#7�$� �� ��$�9����9>��������� �� 7��� ������ ;

���������� ��:��;�� 7��< ����9�#�� <

��������� ������� ���������� ���������������������

�!)�,�6)���2����,�������

3������� �� ������$���

�����#��#�9���$�������������<�?�#8#���9�<9��� <��� <��<#����

��#����9>�������$� 7��# ����# ��:&��������#��������9�<9��� <

$#���9#���������$���?� �9��;� ���?������;�

� 7��=@#�?�9# �#7�$#���9#���9#��8���=�#&���#��� <��<#�����

$�#>=�#��������� �=#���#7��������#$$�9��#���:�$�9�A�%

�������� �;��9�������9#�$�9����:�$�9�����#>�

�9�<9��� <����%�� ��7 <���#�����9���#�1���=��#7

������� �&

��������� ������� ���������� ���������������������

�!)�,�6)���2����,�������

;���������)&�(�!#%

�����#��#�9���$������B� <9���������=��#�������#�

�$����?�#8#������ 7��������$$#9�$����� �9����8#9����

���#����$���#�8����� �#9$�#&�������<���<�?�#8#������ 7���9#�

�8���=�#�$�9����?7�# �� ���� 7���9##?7�# �� ���8����C��� ;

��<#��9�#�� <;�� 7�� ���� ;�!� 7�#�19������������#�9�����$

��������� 7����8���=�#���9��<����#���������� <��<#�$�9�������

�9�<9���#9�����=��7���������#9� �#9$�#��� 7�������� �&

��������� �*����� ���������� ���������������������

�!)�,�6)���2����,�������

<�� ((�!#�"!���&��&�����"�&��#�

������� ��7#�����=9�9:��$�$� �� �������������:�����

�9�#��9�<9������� �#9�������������&� ������

�=9�9:;�:��9���� 7�,�9�9� ��9�<9����� ��#��

�������$� �� �;�#����������7����$�#�;�� 7����

�������������������� ���# < #&

��������� �+����� ���������� ���������������������

�����*�$���$,��+#�!#�����"���� �� ��!#��/�*�$�0!���%"�&"

"���� �� ����%�"�(���

� ���*�$��� ���-(�&!��#��0!"��(&� !�$%� �&%!��%/�*�$�0!���&�#���!'��"������������!���01���0� �&�0!"��&����%��23�� �� ��"���%��������0������0!"��"���!�"��&�"�����%�"�(�

� ���5"�0�&&*�!��*�$&���$�#�����0!���0�!%��!���&��"��&���"��"�%��0����&�1�!"���(���%����0��"����+��%*�$��� ��0!"��*�$&�� �� ��!�%"����"!���

1)����1����2�)'

• The MATLAB desktop contains GUIS for managing MATLAB files, var iables,And applications.

��������� �.����� ���������� ���������������������

��)2����1�����22�5����'����2��)�

�����"0���&&�*%��&���"&!#�%��� ��"���%�����!���%!��%/����!"!�������%$,"&�#"!����&���((�!���������"+,*+������"�

>> a = 1: 5

>> b = 2: 6

>> a+b

3 5 7 9 11

� #���&+�&&�*���"����"!#%�=���!"!��/�%$,"&�#"!��/��$�"!(�!#�"!��/��! !%!��>�0�&��

������"+0!%��

>> a* 2

2 4 6 8 10

��������� �/����� ���������� ���������������������

��)2�����������22�5����'����2��)�

� �$�:����� ��#�#�# �?=:?#�#�# ���99�:?�99�:���������� ;����#9�;��9�78�� ;���# �:�����8#������#�7$$#9# �� ����� D

� >�&E�:����#� ��������:�#�#�# �?=:?#�#�# �

� >�&��:�����#� ��787#�#�#�# �?=:?#�#�# �

� >�&F������#� ���A��9#�#���#�#�# ���$�>

� r eshape �#�G������� <#���#�����#��$�� ��99�:» a=1: 6

a =

1 2 3 4 5 6

» r eshape( a, 2, 3)ans =

1 3 5

2 4 6

��������� �0����� ���������� ���������������������

��!)2��22�5���)2������

2#������9�9���8#��9�;�

� ��H��D+

� =�H��D.

��#��9� ����#���#9���9� ���������D�G

� )>D���G�����#����� �8#��9�����9��<��+

��������� �3����� ���������� ���������������������

��!)2��22�5���)2������

� ����!���&�(&��$#" !%�#��#$��"���$%!��9» a* b'

ans =

70

� �����$"�&�(&��$#" !%�#��#$��"���$%!��9

» a' * b

ans =2 3 4 5 6

4 6 8 10 12

6 9 12 15 18

8 12 16 20 24

10 15 20 25 30

��������� ������� ���������� ���������������������

������������������������4

� Probability distributions � Descriptive statistics � Cluster analysis � Linear models � Nonlinear models � Hypothesis tests � Multivariate statistics � Statistical plots � Statistical process control � Design of experiments

�7���#7�$9������D�����&������9%�&����#����#��7#�%I9������#�������=�>�����������9��&�����

��������� ������� ���������� ���������������������

'���2�������������!)������������������4

� The Statistics Toolbox supports 20 probability distributions. For each distribution there are five associated functions. They are:� Probability density function (pdf) � Cumulative distribution function (cdf) � Inverse of the cumulative distribution function � Random number generator � Mean and variance as a function of the parameters

� For data-driven distributions (beta, binomial, exponential, gamma, normal, Poisson, uniform, and Weibull), the Statistics Toolbox has functions for computing parameter estimates and confidence intervals.

�7���#7�$9������D�����&������9%�&����#����#��7#�%I9������#�������=�>�����������9��&�����

��������� ������� ���������� ���������������������

�����8�����8� ������8������ ������������6

� Linear Models

� In the area of linear models, the Statistics Toolbox supports one-way, two-way, and higher-way analysis of variance (ANOVA), analysis of covariance (ANOCOVA), multiple linear regression, stepwise regression, response surface prediction, ridge regression, and one-way multivariate analysis of variance (MANOVA). It supports nonparametric versions of one- and two-way ANOVA. It also supports multiple comparisons of the estimates produced by ANOVA and ANOCOVA functions.

� Nonlinear Models

� For nonlinear models, the Statistics Toolbox provides functions for parameter estimation, interactive prediction and visualization of multidimensional nonlinear fits, and confidence intervals for parameters and predicted values.

�7���#7�$9������D�����&������9%�&����#����#��7#�%I9������#�������=�>�����������9��&�����

��������� ������� ���������� ���������������������

���)��,��!)�,)���2)���,��!)������������������4

� Hypothesis Tests

� The Statistics Toolbox also provides functions that do the most common tests of hypothesis - t-tests, Z-tests, nonparametric tests, and distribution tests.

� Multivariate Statistics

� The Statistics Toolbox supports methods in multivariate statistics, including principal components analysis, linear discriminant analysis, and one-way multivariate analysis of variance.

�7���#7�$9������D�����&������9%�&����#����#��7#�%I9������#�������=�>�����������9��&�����

��������� �*����� ���������� ���������������������

���)��,��!)�,)���2)���,��!)������������������4

� Statistical Plots

� The Statistics Toolbox adds box plots, normal probability plots, Weibull probability plots, control charts, and quantile-quantile plots to the arsenal of graphs in MATLAB. There is also extended support for polynomial curve fitting and prediction. There are functions to create scatter plots or matrices of scatter plots

��������� �+����� ���������� ���������������������

�����������������������������������? ��2���)J���'���2���)J

� Computational Statistics Handbook with MATLABWendy L. Martinez & Angel R. Martinez

� Chapman & Hall/CRC, 2002Tel: 800-272-7737Fax: 800-374-3401

� Outside North America Tel: 407-994-0555Fax: 407-989-8732

� ISBN 1-58488-229-8

��������� �.����� ���������� ���������������������

�����������������������������������? ��2���)J���'���2���)J

� Written for upper-level undergraduates and first-year graduate students, this book aims to make computational statistics techniques available to researchers in engineering, statistics, psychology, biostatics, data mining, and any other discipline that must deal with the analysis of raw data.

� The focus of this book is on the methods of computational statistics and how to implement them.

� MATLAB and the Statistics Toolbox are used to solve examples in probability, sampling, data analysis, Monte Carlo methods, nonparametric regression, statistical pattern recognition, and more.

� Appendices provide an introduction to MATLAB and the Statistics Toolbox.

��������� �/����� ���������� ���������������������

�����������������������������������? ��2���)J���'���2���)J

� PREFACE� INTRODUTION� PROBABILITY CONCEPTS� SAMPLING CONCEPTS� GENERATING RANDOM VARIABLES� EXPLORATORY DATA ANALYSIS� MONTE CARLO METHODS FOR INFERENTIAL

STATISTICS� DATA PARTITIONING� PROBABILITY DENSITY ESTIMATION� STATISTICAL PATTERN RECOGNITION� NONPARAMETRIC REGRESSION� MARKOV CHAIN MONTE CARLO METHODS� SPATIAL STATISTICS� APPENDICES

��������� �0����� ���������� ���������������������

�����8������� ��� � � � �?��+� ��?� �����.��� �

� Applied Functional Data Analysis: Methods and Case StudiesJ.O. Ramsay & Bernard Silverman

� Springer-Verlag, 2002Tel: 212-460-1500Fax: 201-348-4505E-mail: service@springer-ny.com

� Outside North America Tel: +49-30-62214870E-mail: orders@springer.de

� ISBN 0-387-95414-7

��������� �3����� ���������� ���������������������

�����8������� ��� � � � �?��+� ��?� �����.��� �

� Written for graduate students and researchers, this book introduces and explores the theory of functional data analysis through case studies of various disciplines.

� Topics covered include modeling reaction-time distributions, functional models for test items, principal component analysis, and differential equations.

��������� ������� ���������� ���������������������

�����8������� ��� � � � �?��+� ��?� �����.��� �

� Introduction � Life Course Data in Cr iminology � The Nondurable Goods Index � Bone Shapes from a Paleopathology Study � Modeling Reaction Time Distr ibutions � Zooming in on Human Growth � Time Warping Handwr iting and Weather Records � How do Bone Shapes Indicate Arthr itis? � Functional Models for Test I tems � Predicting L ip Acceleration from Electromyography � The Dynamics of Handwr iting Pr inted Characters � A Differential Equation for Juggling

��������� ������� ���������� ���������������������

2��97�)&���9����

� �""(977000�,!���""$���$7"&�$%%7��"��,7��"��,��"�

� .�&*��-"��%! ����"�&��"! ��"��"���%"����&����"�0�&�%�"�"!%"!#%�"���,�-

��������� ������� ���������� ���������������������

���������������1��,��!)���)�!�2���,���������)�2����)� �2(���)4��� ��!��������,����)�

� Learning and Soft Computing: Support Vector Machines, Neural Networks, and Fuzzy Logic Models,Vojislav Kecman

� Netlab: Algorithms for Pattern RecognitionIan T. Nabney

� Neural Network Fundamentals with Graphs, Algorithms, and ApplicationsN. K. Bose & P. Liang

� Neural Networks: A Comprehensive Foundation, 2eSimon Haykin

� Neuro-Fuzzy and Soft Computing: A Computational Approach to Learning and Machine IntelligenceJyh-Shing Roger Jang, Chuen-Tsai Sun & Eiji Mizutani

��������� ������� ���������� ���������������������

)���� ��� ���� ������6������� �� �� ��8���

� Matrix Computations, 2eGene H. Golub & Charles F. Van Loan

� Modern Matrix AlgebraDavid R. Hill & Bernard Kolman

� Spectral Methods in MATLABLloyd N. Trefethen

��������� �*

����� ���������� ���������������������

12��!�������������

������������� ���� ��� ������������ �� �

��������� �+����� ���������� ���������������������

�?'������

• The basic 2-D plotting function is pl ot .

• I t produces a simple line plot of numer ic data.• You can give it several x and y pairs to plot, along with choices for

linestyle, marker and color .• See hel p on pl ot for a list of possibilities.

• Example:% pl ot s cur ve wi t h poi nt s

x = - 5: 0. 5: 4;

y = x. ^3;

pl ot ( x, y, ’ g- - ’ , x, y, ’ r * ’ )

��������� �.����� ���������� ���������������������

�?'������

-5 -4 -3 -2 -1 0 1 2 3 4-150

-100

-50

0

50

100

��������� �/����� ���������� ���������������������

�?'�������K ��!)2���),���,��������

• Add a title to your plot using: t i t l e( string)

• Add labels to your plot using:

xl abel ( string) , y l abel ( string)

• Add gr id lines to your plot using: gr i d

• Add multiple plots to same axes using: hol d

• Add a legend to your plot using: l egend

• Zoom in on your plot using:

zoom on, zoom of f

• You can select coordinate points from a plot using: gi nput

• Thi s act ual l y r et ur ns pl ot s f r om t he pl ot r egi on,

not t he dat a set

��������� �0����� ���������� ���������������������

�?'�������K ��!)2���),���,��������

� ����axi s #�������#���,��$%���"��#������"����-�%��!�!"%�

L �"��&�$%��$��(��"%9

• semi l ogy( . . . ) , semi l ogx( . . . ) , l ogl og( . . . )

• st em

• st ai r s

• er r or bar

• pi e

• hi st

��������� �3����� ���������� ���������������������

�����)2����

� ?�$�#���#��%"&$#"���%#�""�&(��"�$%!��9�scat t er ( X, Y, S, C)

� 6�����?��&�� �#"�&%�#��"�!�!���"�����"��

� ���� �#"�&��#��"�!�%�"����&�����&���#����&��&�

� ���� ��$�%�!�����! ��"���#���&�

� ����%�0!"��"���%"����&���!%"&!,$"!���

� ���"������(��!�����&���&��(�%%!,!�!"!�%�

��������� *������ ���������� ���������������������

�����)2�����K )4����)

l oad seamount

%comes wi t h

%t he st andar d

%edi t i on

scat t er ( x, y, 5, z)

��������� *������ ���������� ���������������������

�����)2��������2�4

� ?�$�#���#��%"&$#"���%#�""�&(��"���"&!-�$%!���"���,�%!#�� �� ��(�#�����

� ����,�%!#�%*�"�-�!%�pl ot mat r i x( X, Y)

� ������(���&���&��(�%%!,!�!"!�%

� �-��(��9

x = r andn( 50, 3) ;

y = x* [ - 1 2 1; 2 0 1; 1 - 2 3; ] ' ;

pl ot mat r i x( y)

��������� *������ ���������� ���������������������

�����)2��������2�4

��������� *������ ���������� ���������������������

�������9>�K ����!)2�)4����)

� ���0��$%��,�"���&�$���"%9

pl ot mat r i x( x, y)

� ��!%�(��"%�"���#��$���������� %��"���#��$������"����"��&�

��������� **����� ���������� ���������������������

��2)������)2�����

� ����"�"!%"!#%�����,�-���%�%!�!��&��$�#"!��%�0!"�����!"!�����#�(�,!�!"!�%�

� ���%�������(��"%�$%!����&�$(!��� �&!�,��%�

� �����&�$(%�#���,��!��!#�"���0!"����&��&����7�&�#���&�

� ���%���$�#"!��%��&��#������gscat t er ����gpl ot mat r i x

��������� *+����� ���������� ���������������������

��2)������)2�����

l oad di scr i m

gscat t er ( r at i ngs( : , 1) , r at i ngs( : , 2) , gr oup, ' br ' , ' xo' )

��������� *.����� ���������� ���������������������

��2)������)2�����

gpl ot mat r i x( r at i ngs( : , 1: 3) , r at i ngs( : , 4: 7) , gr oup, … ' br ' , ' . o' , [ ] , ' on' , ' ' , cat egor i es( 1: 3, : ) , cat egor i es( 4: 7, : ) )

��������� */����� ���������� ���������������������

�?'������

• The pl ot 3 function works in the same way as pl ot .

pl ot 3( x, y, z, l i nest yl e)

• The mesh function provides a sur face plot of your matr ix.

• The general form of the function is mesh( x, y, z, C)

• The argument C represents the color . I f this is left out, then the color is

mapped to the height of the sur face.

• Other mesh-like functions:

meshz: draws a cur tainmeshc: draws a sur face and a contour plotwat er f al l : similar to mesh, except column lines are not drawn

��������� *0����� ���������� ���������������������

�?'������

• Example:

[ x, y, z] = peaks;subpl ot ( 2, 2, 1) , mesh( x, y, z)C = del 2( z) ;subpl ot ( 2, 2, 2) , mesh( x, y, z, C)subpl ot ( 2, 2, 3) , meshc( x, y, z)subpl ot ( 2, 2, 4) , meshz( x, y, z)

��������� *3����� ���������� ���������������������

�?'������

��������� +������ ���������� ���������������������

�?'������

• The sur f function is similar to mesh.

• I t plots colored quadr ilaterals with black mesh lines.

• The general form of the function is

sur f ( x, y, z, C)

• Other related sur face functions:

sur f l : creates a sur face plot with specified lightingsur f c: draws a sur face and a contour plot

• You can have other shading using the commands:shadi ng f l at , shadi ng i nt er p, shadi ng f acet ed

��������� +������ ���������� ���������������������

�?'������

• Example:

[ X, Y] =meshgr i d( - 3: . 2: 3, - 2: . 2: 4) ;Z=exp( - ( X. ^2+Y. ^2) / 3) ;subpl ot ( 1, 1, 1)sur f ( X, Y, Z)% pl ot l i nes wi t h col or of quadr i l at er alshadi ng f l at% i nt er pol at e shadi ng acr oss quadr i l at er al sshadi ng i nt er p% r et ur n t o or i gi nal shadi ngshadi ng f acet ed

��������� +������ ���������� ���������������������

�?'������

��������� +������ ���������� ���������������������

�?'�������K ��!)2���),���,��������

� �����,��%/�"!"��%/�#�������-�%��%�0!"��:+��(��"%

� ����������"�#��"�$&%����"���%$&��#��$%!���cont our �$�#"!���

� ?�$�#���&�"�"��"���%$&��#��(��"�$%!���"���"���,�&�,$""����&�r ot at e3d

��������� +*����� ���������� ���������������������

6������J��1�6����)

L .!%$��!'!��� ��$���!%�"���&�(&�%��"�"!��������"��"��"��&��

���!�������3+���&!�%9���=-/*/'>

L .��$�����"��%�"%��� ���$�"!�!���%!������&&�*%����%#���&�

�&� �#"�&���"�����!���������""!#��%"&$#"$&�%�

L ���0!�����������*��"�%#���&���"��

L �-��(������%#���&���"���!��"�,���!&�(&�%%$&���&�

"��(�&�"$&���"���(�!�"%�!��%(�#��

��������� ++����� ���������� ���������������������

L ����9�8����#�7������=#���8#�#7���������9$�#�;�

��#���� #�;�� 7�� ���9���#�&

L 5���� �8#����#�7��9=��� ��$�7������� ���8����#�=:�

���� <�8���#��������9���� <���#���� #�&

L �� ���9���#���9#�� ���9�������79�� ������#$�

��97 ��#��� 7��#��:����##���#9#� ������ #���#�7����

8���#���9#���#����#&

L �����9$�#� �9#���9$�#��9#��#7�=:��� <��� ����$�#A����

8���#����8#9�#���$�������=@#��&

6������J��1�6����)

��������� +.����� ���������� ���������������������

� ���9��#

l oad mr i

%r emove empt y

%di mensi on

D = squeeze( D) ;

x=xl i m;

y=yl i m;

cont our sl i ce( D, [ ] , [ ] , 8)

axi s i j , x l i m( x) , y l i m( y)

daspect ( [ 1 1 1] )

��������� +/����� ���������� ���������������������

�����2,��)�

• Use i sosur f ace to display overall structure of a volume.

• You can combine it with i socap.

• This technique can reveal information about data on the inter iorof the i sosur f ace.

• The following will create and process some volume data and create i sosur f ace and i socap.

• To add some other effects, lights will be added.

• i socap indicate values above (default) or below the value of the

i sosur f ace

��������� +0����� ���������� ���������������������

�����2,��)�

• Try this example, generating uniform random numbers:

dat a = r and( 12, 12, 12) ;dat a = smoot h3( dat a, ' box ' , 5) ;i soval = 0. 5;H=pat ch( i sosur f ace( dat a, i soval ) , . . .

' FaceCol or ' , ' bl ue' , ' Edgecol or ' , ' none' , . . .' Ambi ent St r engt h' , . 2, ' Specul ar St r engt h' , 0. 7, . . .

' Di f f useSt r engt h' , . 4) ;i sonor mal s( dat a, H) %pr oduces smoot her l i ght i ngpat ch( i socaps( dat a, i soval ) , . . .

' FaceCol or ' , ' i nt er p' , ' Edgecol or ' , ' none' ) ;col or map hsvdaspect ( [ 1 1 1] ) , ax i s t i ght , v i ew( 3)caml i ght r i ght , caml i ght l ef t , l i ght i ng phong

��������� +3����� ���������� ���������������������

�����2,��)�

��������� .������ ���������� ���������������������

�����2,��)�� �������

��������� .������ ���������� ���������������������

����)�

� sl i ce �!%(��*%��&"��������%�!#��(����%�"�&�$��� ��$��"&!#���"���

� ����&�!��!#�"�%�"���%#���&� ��$��

� �-��(��9

[ x, y, z] = meshgr i d( - 10: 10, - 10: 2: 10, - 10: 1. 5: 10) ;

v = sqr t ( x. ^2 + y. ^2 + z. ^2) ;

% sl i ce t hr ough t he 0 pl anes

sl i ce( x, y, z, v, 0, 0, 0)

col or bar

��������� .������ ���������� ���������������������

����)�

��������� .������ ���������� ���������������������

���5���!)2�12��!�����2)��6������)

� ��-"$&����((!���"����%$&��#�

� �����%

� �!��"!���@ �� !�%

� �!��"!���@ ��+"��+��*

� �!��"!��

� ����&���&�(�!#%

��������� .*

����� ���������� ���������������������

'��)���������5�2)'��������

����������������������������������� ��!�������

��������� .+����� ���������� ���������������������

!5�'�� )���2)-

� �$&%������!���%!����!"*

� ��$%"�&�%"&$#"$&����*�,���,�$%#�"���!���!��+�!���%!�����%(�#�

� �!%#&!�!���"�����*%!%�#���,����&���!��!#$�"�!���!���&��!���%!�����%(�#�%

� �!%#� �&*����$���&�*!����"!����*�!%���(�����"�$(���&��� ��������!%�

��������� ..

����� ���������� ���������������������

�2��������������)�������5���

��������� ./����� ���������� ���������������������

• The mean satisfies

�2�������������)�������5������

� $((�%��"��"�0���� ����%�"�������+�!���%!������,%�& �"!��%�����0��0!%��"��&�(&�%��"�"��%���,%�& �"!��%�,*���%!������+�!���%!������$�,�&

• The d-dimensional mean of the hyperdimensional point cloud

( )2

1000 �

=

−=n

kkxxxJ

• This is the best 0-dimensional transformation

• What is the best one-dimensional transformation?

��������� .0����� ���������� ���������������������

�2��������������)�������5����?��

� ���%!��&�"���%#�""�&���"&!-

� ���$ 7���#�=#���� #�7�# �� ����9�@#�� �M ���#��# �#��$�����$��A��9#7�#99�9N��#��9�@#����#�7����� ������ #���9��<����#��#� � ���#�79#�� ��$���#�#<# 8#��9��$���#�����#9����9>�������#���9<#���#<# 8���#

� 2#�����������#�#<# 8���#�#<# 8#��9�#A���� ���<8# �=:

�#�H�λ#

( )( )tk

n

kk mxmxS −−=�

=1

��������� .3����� ���������� ���������������������

�2��������������)�������5����? ����

� !�#��"���%#�""�&���"&!-�!%�&��������%*���"&!#�!"������0%�"��"�"����!��� �#"�&%���&�����&"��������,�%!%�����$&��&!�!����%�"�����,%�& �"!��%

� ������&����*�#���%�%���(&�A�#"!���,�%������"����5�B�����&��%"��!��� ��$�%

e1e2

��������� /������ ���������� ���������������������

�2��������������)����������)2����6)����2���!

� �"�&��"! ��*�"���#��#$��"!���#���,�������,*���%!��$��&� ��$����#��(�%!"!������"���=#��"�&�������%#����>���"����"&!-�

� ��!%�!%�"����((&��#��$%���!��� �� ���"����%%�#!�"����$�#"!���!%�pr i ncomp 0�!#��!%�(&� !����0!"��"���%"�"!%"!#%�"���,�-

��������� /������ ���������� ���������������������

�7���#7�$9���www.acm.caltech.edu/~emmanuel/stat/ Handouts/spike_sorting.pdf [V, pcscores, pcvar] = princomp(Xc);

�A9�M�8�9N

pcscores= Xc*V

shape1 = Xm + 150*V(:,1)’ ;shape2 = Xm - 170*V(:,1)’ + 100*V(:,2)’ ;shape3 = Xm - 170*V(:,1)’ - 100*V(:,2)’ ;

��������� /������ ���������� ���������������������

�!)�12��'����2

� ��"����"��(&�A�#"��&���� "����

� �"�#���,���-(��&���%*%"���"!#���*/�&������*/��&���#��,!��"!������"���"0�

� ��(�����"���!��))���/��-(��&��/�������%����*(�&�&�(�!#%

� ��������������� �� ��!�(�����"���!��� �� ���� �&%!������"����&����"�$&�$%!���%(�#���!��!���#$& �%

��������� /������ ���������� ���������������������

�2�")��������2����

� ��!%���"�����""��("%�"���!���(&�A�#"!��%�0�!#��%�"!%�*�%����%�&"�����("!���!"*�#&!"�&!�

� ����$&�#�%��"����("!���!"*�#&!"�&!��!%���"���!�"�&�%"!���#�$%"�&�%"&$#"$&���&��� !�"!��%��&�����&���!"*

� ���� �&%!������"��������&!"�����%�,����!�(�����"���!����&"!��'�������&"!��'

��������� /*����� ���������� ���������������������

�����?'��)��������������1�D��!)��2���)�� ��0�#���0��� ��$�"��"���&�%$�"%����#�$%"�&!����!��+�!���%!������,%�& �"!��%C

� �����!%%!�!��&!"*����%$&��"��"�0��$%�����*���"�,������"&!#�

� ���#��5"��&�0���(!#"$&�����"���#�$%"�&!���!��"����!��+�!���%!�����%(�#��

� ����0��(&�A�#"�"������0�&��!���%!�����%(�#��0�!���(&�%�& !���"����!%"��#��&���"!��%�!(%�������"����,%�& �"!��%�

� ��!%�!%�"�����#$%�����$�"!�!���%!�����%#��!���=��>

��������� /+����� ���������� ���������������������

�!)��)���

� -2/�-:/�D/-� �&��"����&!�!�����+�!���%!������,%�& �"!��%�0!"���%%�#!�"����!%"��#�%�δδδδ!A

� *! !%�"�����0�&��!���%!�����&�(&�%��"�"!������-!����"����!%"��#��,�"0����*! ����*A !%��! ���,*��!A

� ���0!%��"���!�����#���!�$&�"!������"���*! %$#��"��"�"���δδδδ!A �&���%�#��%���%�(�%%!,���"��"����!A

� �������&���0��#��5"��$�&��"����4$��!"*

��������� /.����� ���������� ���������������������

�'���2��)2���,��������

( )�

�<

<−

=ji ij

ji ijij

ee

dJ

2

2

δδ

2

�<

��

��

� −=

ji ij

ijijff

dJ

δδ

( )�

� <<

−=

ji ij

ijij

ji ijef

dJ

δδ

δ

21

• All criteria are invariant to rigid body motions of the points

•Invariant to dilations of the points

•Jee emphasizes errors regardless of the size of the δij

•Jff emphasizes large fraction errors regardless of whether |δij -dij| is large or small

•Jef is a compromise

��������� //����� ���������� ���������������������

�'���2��)'�2)

� ����%���&!"�&!�

� ����%�����!�!"!���#���!�$&�"!������"���*!5%

� �������*

� ��%������"��������#��&�!��"�%�0!"��"�����&��%"� �&!��#�

� �� ��"���(�!�"%�!��"����!&�#"!������"����&��"�%"���#&��%��!��"���#&!"�&!���$�#"!��

��������� /0����� ���������� ���������������������

)�����������,��!)�12�'�)���

( )�� ≠

<

−−=∇

kj kj

jkkjkj

jiij

eey d

yydJ

δ 2

2

kj

jk

kj kj

kjkjffffy d

yydJJ

k

−−==∇ �

≠2

δ

kj

jk

kj kj

kjkj

ji ijefy d

yydJ

k

−−=∇ �� ≠<

δδ

δ2

��������� /3����� ���������� ���������������������

�� �2'�������12�'�)���')��)��

� $((�%��0��0!%��"��%�� ���"*! E�F

� ""�#��"���(&�,����,*����!�!�����#&!"�&!���$�#"!����=�>�"��"�!%��!�!�!'���!����!%���%��$"!��� �#"�&

���&!"���2��=��%!#�)&��!��"���%#��">

2� ���!��!�!"!��!'���/�"�&�%�����θθθθ/�ηηηη=�>/�GF:� ����G�H2

3�

;� ��"!��

<� ��"$&���

I� ���

( ) ( )aJkaa ∇−← η( ) ( ) θη <∇ aJk

��������� 0������ ���������� ���������������������

�'�����������

� ��&� "�* �&%J������"&!#�$�"!�!���%!�����#��!�����&��"��,

� �""(977000�&%��%��!��!���$7(�&%����7�A���%7��"��,��"�

� Matlab Statistics Toolbox (Classical MDS)

� Y = cmdscale(D) takes an n-by-n distance matrix D, and returns an n-by-p configuration matrix Y. Rows of Y are the coordinates of n points in p-dimensional space for some p < n. When D is a Euclidean distance matrix, the distances between those points are given by D. p is the dimension of the smallest space in which the n points whose interpoint distances are given by D can be embedded.

��������� 0������ ���������� ���������������������

1������,�(�!��)���)�,��21���J��1�����

� �����%�"���%��������%��%���

� �����������&��,�"��#��($"�"!�����*�!�"��%! �

��������� 0������ ���������� ���������������������

�������K���� ������� �� �L

� )! �����%�4$��#�����ΦΦΦΦ5%�=(�!�"%�!��"���"���%�$&#��%(�#�>�#��%"&$#"�����((!�����&���Φ Φ Φ Φ "��*�%$#��"��"�(�!�"%���!��,�&!���!��"���%�$&#��%(�#���&����((���"��(�!�"%���!��,�&!���!��"���"�&��"�%(�#��

� ���%����"�����&��"�!%���((!��

� 8$��*�#����#"���"0�+��*�&���$&�����"0�&��0!"��"0��!�($"%�=!��"�!%��-��(��>���������&����$�,�&�����$"($"%�

� �������(�""�&��φφφφ !%�(&�%��"�����#�������!��"���"�&��"�%(�#��#��($"�%�!"%��#"! �"!��

��"� G�φφφφ50�

��������� 0������ ���������� ���������������������

����? �!)�O�)�����'��!)������(�

� ����)���"�"�����%"��#"! �"��������,��#������*M

� �(��"��"���0�!��"%�"��"�!%����������!"%�!����!�"����!��,�&%�$%!��

0�!="H2>�G0�!=">�Hηηηη=">ΛΛΛΛ=N*+*MN>φφφφ!

ηηηη=">�!%������&�!���&�"�ΛΛΛΛ=N*+*MN>�!%�#������"���0!���0!����$�#"!��

� ����&���!'��0������������ηηηη=">

��������� 0*����� ���������� ���������������������

���)2�2)��������,��!)� )�1!����'��)�)O������

� ����0!��!���$�!"�!��"���"�&��"�%(�#��!%���A$%"���%��"��"�!"�!%���&���!���"���(�&"!#$��&�(�""�&�

� �!�"%�!��"�����!��,�&��������*M��&����A$%"���%��"��"�"��&��%"&$#"$&����%����"#��%�"��"����"���(�&"!#$��&�(�""�&����"��$�����"�4$!"���%��$#�

��������� 0+����� ���������� ���������������������

���������������)�)�������

� �""(977000�#!%��$"��!7(&�A�#"%7%��"���,�-7

� The " SOM Toolbox" project was initialized back in 1997 because there was no such thing as a proper SOM-library for theMatlab. Matlab is a magnificent computing environment, but the tools in its neural networks toolbox for SOM were not really up to the state-of-the-ar t. On the other hand the freeware SOM program package SOM_PAK is all well and good, but it's not near ly as flexible as theMatlab environment. So the plan was to offer a simple, well documented Matlabfunction package which is easy to use and modify in the diverse needs that different people unavoidably have.

��������� 0.

����� ���������� ���������������������

�� � #�9�'�# �� ���:�2#7��� � �������

��������� 0/����� ���������� ���������������������

'������)��)���2)���������,��'�

Adapted from “ A Global Geometr ic Framework for Nonlinear DimensionalityReduction,” Joshua B. Tenenbaum, Vin de Silva, John C. Langford, Science,2000 December 22; 290: 2319-2323

��������� 00����� ���������� ���������������������

�!)����������1�2��!�

Adapted from “ A Global Geometr ic Framework for Nonlinear DimensionalityReduction,” Joshua B. Tenenbaum, Vin de Silva, John C. Langford, Science,2000 December 22; 290: 2319-2323

��������� 03����� ���������� ���������������������

��������2�")�������,��!)�,��)��'���

Adapted from “ A Global Geometr ic Framework for Nonlinear DimensionalityReduction,” Joshua B. Tenenbaum, Vin de Silva, John C. Langford, Science,2000 December 22; 290: 2319-2323

��������� 3������ ���������� ���������������������

��� ������8���� ������������ �� �� �)������

Adapted from “ A Global Geometr ic Framework for Nonlinear DimensionalityReduction,” Joshua B. Tenenbaum, Vin de Silva, John C. Langford, Science,2000 December 22; 290: 2319-2323

��������� 3������ ���������� ���������������������

���������2��1!�����)����)2��������

Adapted from “ A Global Geometr ic Framework for Nonlinear DimensionalityReduction,” Joshua B. Tenenbaum, Vin de Silva, John C. Langford, Science,2000 December 22; 290: 2319-2323

��������� 3������ ���������� ���������������������

�2��,���������)�'�����)�

�3�$=#9��>�����8#�# <����>�.�������#��� $$�H�2��0�

��������� 3������ ���������� ���������������������

�2��,���������)�������������

� )&�$��0�"�&����"��!���"���"�#"!��

� �&!#���&��"�*����

� ��� #

� !#>� #

� ����9�$�9�

� ���#�� �,�#�

� �-(��%! ����"�#"!��

� ����!#��� ���"���"�#"!��

� (�!����L�"#�$(���"�#"!��

��������� 3*����� ���������� ���������������������

�2��,���������)��������2)�����

����9�$�9��� 7��)�� 7����9�$9������#9��������#9 ��#� �9 ��7�# ��

��������� 3+����� ���������� ���������������������

�)�()����1)�)�)4�2)������'�����)�

� ��$���*�O2:P�����%

� O:�(�"!��"%

� ����� ��������� ��� ����������

� ������

� ������

� �������������������� ������������

��������� 3.����� ���������� ���������������������

���������������2)�����

���#���%��$�������� �??P�� $�9�� �9 ��7�# �� ���:&

��������� 3/����� ���������� ���������������������

��������1��!)����������,� �2)

� �""(977!%���(�%"����&����$7

“ A Global Geometr ic Framework for Nonlinear DimensionalityReduction,” Joshua B. Tenenbaum, Vin de Silva, John C. Langford, Science,2000 December 22; 290: 2319-2323

��������� 30����� ���������� ���������������������

���������)�2�)��)''��1

�7���#7�$9���Q�� � #�9�'�# �� ���:�2#7��� �=:������� #�9)�=#77 <;RSam T. Roweis1 and Lawrence K. Saul2, Science 2000, pp. 2323-2326.

��������� 33����� ���������� ���������������������

��)����������!)��

�7���#7�$9��;R�� � #�9�'�# �� ���:�2#7��� �=:������� #�9�)�=#77 <;RSam T. Roweis1 and Lawrence K. Saul2, Science 2000, pp. 2323-2326.

��������� �������� ���������� ���������������������

��)���'�,����������)2��

�7���#7�$9��;R�� � #�9�'�# �� ���:�2#7��� �=:������� #�9�)�=#77 <;RSam T. Roweis1 and Lawrence K. Saul2, Science 2000, pp. 2323-2326.

��������� �������� ���������� ���������������������

��������1��!)���)���,� �2)

������9� #=��<#�����D�����&�&��9� ��&#7��S9��#��

���7#� #=��<#�����D�����&�&��9� ��&#7��S9��#����#�

R�� � #�9�'�# �� ���:�2#7��� �=:������� #�9�)�=#77 <;R�Sam T. Roweis1 and Lawrence K. Saul2, Science 2000, pp. 2323-2326.

��������� �������� ���������� ���������������������

�2���)�����������)'� ��!�����? �

� ������%���"����!��������%!"*�������!��"�����"��%(�#�

� ����"&�!�!�������&!"������%���"��("!�!'������,A�#"! ���$�#"!���!����#"�!"���%�,����(&� ���"��"�%$#������,A�#"! ���$�#"!������%���"��-!%"

� ���&��!%��������&����$�&��"���"���"&�!�!�������&!"���#�� �&��%�

��������� �������� ���������� ���������������������

�2���)����������)'� ��!�����? ��

� ���&��!%����"���&�"!#����&���0�&�����0�!#��"����((&�(&!�"�� ��$�%����"���"&�!�!���(�&���"�&%���*�,��#��%���

� �"�!%���"�#���&���0�"��#��(�&���������������"�����"��&����������

� ������((!����&���"���"�(��&�(�!#�%(�#��"��"�����"��%(�#��!��"����&!�!�������!%����*����!��%��"�"�����#�"!������"�������%�

��������� ��*����� ���������� ���������������������

1)�)2���6)�����12��!�������

� ���*�#���,��$%�����&����%!"*������!������� !%$��!'�"!��

� ���*�����&�"����#��%"&�!�����!-"$&�����)�$%%!��%�!��"�����"��%(�#�

� �����&���!""����!""���"��"�����"��0!"�������!�!��� �&%!������"����������&!"��

� Q �Q&�%(��%!,!�!"*�,$,,��5���%�"���%��������#"��%�"��������!��,�&������$�#"!��

� ����#��"�&%����"����!-"$&���&��#���!����"������0+�!���%!��������!�������,������!��"�����"��%(�#�

��������� ��+����� ���������� ���������������������

�!)����!)��������,�1��� ? �

'#$ #��� � ?� #�9����� <�$9������# �����#�;�>;����7�������#;��D

�E�H�:M>T N�H�φM>N �#9#�φ�����#���$�$>#7�=����$� �� �;�� 7� �����'�>������9>'#$ #��� ��?7�# �� ����� $��7� �7�������#&�'�����$���9�#�7�#�� ����8#�#>���:�� ���#��� $��7�����77�1����� � ��#�����8�9� # ��β

Introduce latent space density function p(x); in the spirit of SOM use:

��

���

� −−∝ tWxyWxtp );(2

exp),,|(ββ

( )�=

−=K

iixx

Kxp

1

1)( δ

��������� ��.����� ���������� ���������������������

�!)����!)��������,�1����? ��

� �����%����%��(���(�!�"%�,�#����"���#��"�&%����)�$%%!�����&���%

��������� ��/����� ���������� ���������������������

�2�����1��!)�1��

� ���������&!"���#���,����&! ����&���"��������

� ��%(��%!,!�!"*������#��#��"�&�#��($"����%���&���

� ��-!�!'�"!���$%�%�%!�!��&���&�$�����&� �&!��#�%/�����(%�$��+!� �&%����&���"0�&��0�!��"%�=0�!#��*!���%�"�����&����#��"�&%>�

� ���� �%����*��$!%��#��(�&���"�&%

� ����#���$%��0�!��"���#�*�"��!�#&��%��%���"���%%����"�����((!���

��������� ��0����� ���������� ���������������������

1���,�2�6������J�����

� ����#���&���!�*�$���&%"������0�)�����*�,��$%�����&����%!"*��%"!��"!��

� ��"5%��%%$���"��"�"�����"��"�%(�#����%�"0���!���%!��%

� �����,�&�"����)������!��%�(="N-/�/ββββ>� �%����*�%�"���&���"��#��($"��(=-MN"M/��/�ββββ>��&����! ���(�!�"�"M�!��"�����"��%(�#��

� ��!%�&� �&%�%�"�����(��&�����"��"�%(�#��"����"��%(�#��

� ��!%�*!���%���#��(��"���!%"&!,$"!���!����"��"�%(�#����������#���"����(��"�%���"�!����!�����%$���&*�%"�"!%"!#���&���#��(�!�"�!��"���%(�#��

��������� ��3����� ���������� ���������������������

1������������

��������� �������� ���������� ���������������������

1)�)2���6)�����12��!���������1���')

� �""(977000��#&���%"����#�$�7)��7

��������� ���

����� ���������� ���������������������

��4��2)?���)'�')����5�)���������

������������� ���� ��� ������������ �� �

��������� �������� ���������� ���������������������

,����)���4��2)���')��

�( ) ( , )

( , ) ( , )

f x f x

f x N

i ii

g

i i i

= �

==

π θ

θ µ1

Σ

��������� �������� ���������� ���������������������

)4�)����������4���J������M)�N�

��1�2��!�

� ���(%"�&��!&�������$,!��=2POO>

� )! ������!�!"!����$�%%��"�"����$�,�&����#��(����"%�!��"����!-"$&������"��!&�%"�&"!��� ��$�%�"�!%�"�#��!4$���""��("%�"����-!�!'��"����!���!��������"���������!����"0��%"�(�(&�#�%%

��������� ��*����� ���������� ���������������������

��)2���6)�)��)O�������D�)?��#�

�( ; )

( ; )

τπ θ

π θij

i i j

t tt

g

f x

f x

=�=1

��������� ��+����� ���������� ���������������������

���� ��.������K� ����9��+��

��

��

� �( �)( �) / �'

πτ

µτ

π

τ µ µ π

iij

j

n

iij j

ij

n

i ij j i j ij

ni

n

x

n

x x n

= �

= �

= − −�

=

=

=

1

1

��������� ��.����� ���������� ���������������������

�2���)��� ��!��!)�)����1�2��!�� ������&����*�����%�"�����%"&�!��"���ΣΣΣΣ!5% "��&� ��"�(!�!��

� ��� �&���#����*����.�&*���0

��������� ��/����� ���������� ���������������������

!� �'�� )���������J)��!)���2��)�)2�� �������"�&"%

� ���(%�(&� ��"���� �&���#��"����#�����-!���!��"����!���!�����$&��#�

� �$������"�& ��"!��

� ��!"!����&"!"!��!��

� �"�"���!�!"!���(�%"�&!�&%�"��F��&�2��##�&�!���"����(&!�&�#�$%"�&!���%#�����

��������� ��0����� ���������� ���������������������

!� �'�� )��!���)�<-

� �$������"�& ��"!��

� �! !�����"�& ��"!��

� �!���!�������"!����%"�"�"!%"!#

� �����% ��"���

� ���"%"&�(

� ��/���/����

� ��("! ���!-"$&�%���%�����"���%

� &$�!���=������"�� �/�"�"!%"!#%��������($"!��/�2PPR>

� ��

� ��������%�����$%"�&!��

��������� ��3����� ���������� ���������������������

���

� ��=�>�G�+:�=�>�H��=�>�0��&���=�>�!%�"����$�,�&�����&���(�&���"�&%�!��"������������%!'����

� �������%��������&��&�"���!�!�!'��"��� �������!"!��

� ��!%��&!"�&!���!%�$,A�#"�"��"����������$��&!"*�����!"!��%��%�+:���λλλλ

��������� �������� ���������� ���������������������

,����)���4��2)�����������

� ����

� �!��,���$(������!��&�4$�%"

� ��&"!��'�������&"!��'

� �!��,����%�(�&"����"���,���5%��##��(��*!���%��"0�&�

� �""(977000��("��$0#��� *��!�7�%�7

� 8!�!"���!-"$&�%������!�������&�� ������%

��������� �������� ���������� ���������������������

� ��.����6����������?����� ����= ���>

� &!�,���� ��&#��""�2PP:

� &!�,�2PP<

� �*,&!�����L�&�����%"!��"�&������!-"$&�������

� �$�,�&������&�%��&! ���,*�"�����"��

� �2����%!%"��"

��������� �������� ���������� ���������������������

��')���1�2��!�

2�+ )! �������0��,%�& �"!��

:�+ �(��"���-!%"!����������%!���"�����#$&%! ����

�&

3�+ �������0���&��"��S�-(��!�T���!%���"���!�"

��������� �������� ���������� ���������������������

2)��2��6)�)��)O��������? �

�� ( ;�)

� ( ;�)

� � (� � )

( )( ) ( )

( )

( ) ( ) ( ) ( )

τ π θ

π θ

π π τ π

ni n

i in n

nt t

n nt

g

ni

ni

ni

ni

f x

f x

n

++

+=

+ +

=�

= + −

11

11

1 11

��������� ��*����� ���������� ���������������������

2)��2��6)�)��)O��������? �

� ��

[( � ) � ]( ) ( )( )

( )( ) ( )µ µ τ

πµn

ini n

i

ni n n

ini

nx A+

++= + − −1

11

� Σ

A xn ni T= −+( � )( )�

1 µ

��������� ��+����� ���������� ���������������������

�2)��)�2��)

� ��%"�"��������&���#$&&��"���"��(�!�"�"����#���!-"$&��"�&��!��"����-!%"!��������

� ���!������0�"�&��0����"�!%��!%"��#���-#���%���#�&"�!��S#&��"��"�&�%����T

� ��#�"!����! ���,*�#$&&��"���"��(�!�"

� �� �&!��#���! ���,*�0�!��"���� �&�������"����-!%"!��#� �&!��#�%

� �!-!���#����!#!��"�%�"�"��27�

��������� ��.����� ���������� ���������������������

��4��2)�6������J�������?7

�������9#���=�� #7�� <����%�����#�# ���� �$���#�$ �#�� 7��7���8#�>��9#���9�#7�9#� ������&

��������� ��/����� ���������� ���������������������

��4��2)�6������J�������?7

�������9#���=�� #7�� <����%�����#�# ���� �$���#�$ �#�� 7��7���8#�>��9#���9�#7�9#� ������&

��������� ��0����� ���������� ���������������������

��4��2)�6������J�������?7

�������9#���=�� #7�� <����%�����#�# ���� �$���#�$ �#�� 7��7���8#�>��9#���9�#7�9#� ������&

��������� ��3����� ���������� ���������������������

�'����6)���4��2)�����������

� ����

� �!��,���$(������!��&�4$�%"

� ��&"!��'�������&"!��'

� �!��,����%�(�&"����"���,���5%��##��(��*!���%��"0�&�

��������� ���

����� ���������� ���������������������

�����)2��1

������������� ���� ��� ������������ �� �

��������� �������� ���������� ���������������������

!�����������)2��1-

� �-(��&�"�&*�!����"$&�

� $&(�%��!%�"���&�$(��,%�& �"!��%�%$#��"��"�"��%��#�$%"�&���!��"���%�����&�$(��&����!��������&���!%"!�#"��&���"��%��!���"��&��&�$(%

� �$�,�&����#�$%"�&%�!%�$����0�

� �%�����0���%�%�����"�"!����&�"�-����*�����*%!%

��������� �������� ���������� ���������������������

��"�2��5�)���,������)2��1

� �+����%������"��&���� �&%

� �!�&�&#�!#��9�

� �! !%! �

� �������&�"! �

� ���%!"*�,�%��9�

� �!�!"���!-"$&�%

� �����+,�%���#�$%"�&!��

��������� �������� ���������� ���������������������

%?�)���������)2��1

� �&"!"!��%�"�����"��%�"�!�"���#�$%"�&%

� �$%"��! ��"�������&!"����� ��$����&��

� � �&�������&!"��%��-!%"���&���!���"�!%

� .�&!��"%�#���!�#�$����"��&�%$���&*����%$&�%�����&�$(���#�"!���%$#���%����!��%��&�����%

� ��%!"! ��"��%"�&"!���(�%!"!��

� ��"��$�&��"����"��#�� �&���"�����,���%��$"!��

��������� ��*����� ���������� ���������������������

%?�)���������)2��1�K��������1�2��!�

2� "�&"�0!"��� !�!"!���(�%!"!��%�@ !�!"!���#�$%"�&�#��"�&%

� �������*�#��%����&���%$((�&"

� �������*�#��%����&�����"��%�"

:� %%!�����#���,%�& �"!���"��"���#��%�%"�#�$%"�&�#��"�&

3� ��#��#$��"��"���#�$%"�&�#��"�&�@ "�������

;� ��(��"��&���%"�(�:�$�"!��#�� �&���#��@#�$%"�&%������"�#�����

��������� ��+����� ���������� ���������������������

%?�)�������������

� ��0�!��"�"!%"!#%�����,�-/�.�;

� ��%!#�%*�"�-9

[ i dx, c l oc] =kmeans( X, k ) ;

� i dx #��"�!�%�#�$%"�&�!��!#�%���&���#��(�!�"

� cl oc #��"�!�%�"���#�$%"�&���#�"!��%

� X !%�����+,*+(��"&!-

��������� ��.����� ���������� ���������������������

%?�)�������������

� �("!�����!�($"��&�$���"%�!�#�$��9

� ‘ di st ance’ "��"�%(�#!�!�%�"����!%"��#�����%$&��"��"�!%��!�!�!'���0&"

� �%��#��"&��%�"���"*(�����#��"&�!�9�����/����!��

� ‘ r epl i cat es 59��$�,�&����&�(�"!"!��%����!�!"!���%"�&"!���(�!�"%

� ‘ s t ar t 59�(�#!�!�%���"�������!�!"!��!'�"!��

� ‘ maxi t er 59���-!�$���$�,�&����!"�&�"!��%�$�"!��#�� �&���#�

� ‘ empt yact i on59� #"!���"��"����!����#�$%"�&���%�%�!"%����,�&%

��������� ��/����� ���������� ���������������������

%?�)�������������

� ��"��,$%�%���:�(��%��!"�&�"! ������&!"��

� ��%��2�!%�"���%�����%���%#&!,���(&� !�$%�*

� ��%��:�#��#�%���&�$(��"�%�0��&��(�!�"%��&��!��! !�$���*�&��%%!�����!��"��"�(&��$#�%���,�""�&�%��$"!���@ ����(�%%�"�&�$�����"�

��������� ��0����� ���������� ���������������������

%?�)��������������')���? ��')

% Exampl e f r om t he document at i on f or Mat l ab –

% St at i st i cs Tool box, V4

l oad kmeansdat a

% Get t he i ndi ces f or k- means cl ust er i ng

i dx3 = kmeans( X, 3, ' di st ance' , ' c i t y ' ) ;

% Do a si l houet t e pl ot

[ s i l h3, h] = s i l houet t e( X, i dx3, ' c i t y ' ) ;

x l abel ( ' Si l houet t e Val ue' ) , y l abel ( ' Cl ust er ' )

% Tr y 4 c l ust er s and pl ot

i dx4 = kmeans( X, 4, ' di st ance' , ' c i t y ' ) ;

[ s i l h4, h] = s i l houet t e( X, i dx4, ' c i t y ' ) ;

x l abel ( ' Si l houet t e Val ue' ) , y l abel ( ' Cl ust er ' )

��������� ��3����� ���������� ���������������������

%?�)��������������')��

� !#9#���������#9��������9>��$���#�7�����#�&

� #��##��������#9#��9#�*�����#9�&

� #�� ���#��������#��#���������� ��:C#���#�9#�����&

��������� �*������ ���������� ���������������������

%?�)��������������')��

� ��0�������&��"���#�$%"�&%C

� ����$%����%!���$�""��(��"�=L�$�����U���$%%��$0/�8!��!���)&�$(%�!����"�9� ����"&��$#"!���"����$%"�&� ���*%!%/��!��*/�2PPF>

� �!%(��*%���0�#��%����#��(�!�"�!������#�$%"�&�!%�"��(�!�"%�!���"��&�#�$%"�&%

� �����%��&���+2�"��H2�� H29� �&*��!%"��"��&����"��&�#�$%"�&%� F9�(�!�"%���"��!%"!�#"�*�!������#�$%"�&� +29�(�!�"%��&��(&�,�,�*�!��0&����#�$%"�&

� ����&�(��"��+����%�����&!"�����&��!���&��"� ��$�%����� ����������"�"���&�%$�"%

��������� �*������ ���������� ���������������������

%?�)��������������')��

� 2%" #�$%"�&�%���%�"��,��%�(�&�"����&����"��&%�=�!��� ��$�%>

� �!�"%�!��:�� �&����"�"���,��/�,$"�%��������"! �� ��$�%�

� 3&� #�$%"�&���%�%� �&�����0� ��$�%�@ ��"�0���+%�(�&�"���

��������� �*������ ���������� ���������������������

%?�)��������������')��

� �"�&�%� �&���"&!�%�0!"��;�#�$%"�&%/�0����"�"�!%�&�%$�"�

� ��"��"��"��!���&��"�&�%$�"%��&���,"�!����,�#�$%��"���%"�&"!���(�!�"%���&�"���#�$%"�&%��&��&������*�#��%���

��������� �*������ ���������� ���������������������

!�)2�2�!������)�!�'�

� ���&���&��"0����!��"*(�%9

� ������&�"! �

� �! !%! ���&�(�&"!"!��!��

� ������&�"! �

� ��#���,%�& �"!���!%���#�$%"�&�@ ��&�$(%� �0��#��%�%"�#�$%"�&%��&����&�����"���#��%"�(�$�"!��2��&�$(�&���!�%

� �! !%! �

� �(�&�"���,%�& �"!��%�!�"��"0���&�$(%��"���#��%"�(

� ��"!����&�$(%�&���!�

��������� �**����� ���������� ���������������������

'�6���6)��)�!�'�

� ��"�#������*�$%��/�,$"�%������"���%��-!"%�

� ���� L�$�����U��$%%��$0/�8!��!���)&�$(%�!����"�9� ����"&��$#"!���"����$%"�&� ���*%!%/��!��*/�2PPF

� � �&!""/������$��������%�/���$%"�&� ���*%!%/�;"����/�:FF2

� ��"�!�(�����"���!��� �� ��"�"!%"!#%�����,�-

��������� �*+����� ���������� ���������������������

�11���)2���6)������)2��1

� ��4$!&�%�%� �&���"�!��%�

� �*(������!%"��#��"��,��$%��

� ����"��&�0�&�%/�"���!�"�&(�!�"��!%"��#�%

� �*(������!�����

� ��!%���"�&�!��%���0�"����!%"��#��,�"0����"0���&�$(%�!%���"�&�!����

� ��(���!������"����!%"��#�������!�����/�����#�����"� �&*��!���&��"�&�%$�"%�

��������� �*.����� ���������� ���������������������

'������)��K �6������)���������������������4;�6*

� J�$#�!����J�

� J%�$#�!����J��+"����&�!'����$#�!������!%"��#�

� J#!"*,��#�J���+ �!"*����#���!%"��#�

� J��������,!%J+��������,!% �!%"��#�

� J�!���0%�!J

� J#�%!��J��+ 2��!�$%�#�%!�������,%�& �"!��%����

� J#�&&���"!��J�@ 2��!�$%�#�&&���"!���,�"0���� ��$�%

� J����!��Q�@ (�&#��"�������#��&�!��"�%�"��"��!���&

� QA�##�&�Q�@ (�&#��"�������#����%�"��"��!���&

��������� �*/����� ���������� ���������������������

�5�)���,����(�1)��6������)�K�����������������4;�6*

� J%!����J���+++ ���&�%"��!%"��#�

� J#��(��"�J�+++ �$&"��%"��!%"��#�

� J� �&���J��+++ � �&�����!%"��#�

� J#��"&�!�J+++ #��"�&������%%��!%"��#��="����$"($"�!%�����!���$������������������������*�!��$%!����$#�!������!%"��#�%>

� J0�&�J�����+++ !���&�%4$�&����!%"��#�

��������� �*0����� ���������� ���������������������

��2)�������(�1)

� !������!�����9�

� ��� ���&�%"���!��,�&

� ��,����#��/�%"&����*�#�$%"�&%

� ���(��"���!�����9

� ����$&"��%"���!��,�&

� 8!��%�#��(�#"�#�$%"�&%

� �&���

� ����%�"��A�!��#�$%"�&%�07�%����� �&!��#�%

� ��&�5%��!�����

� ����%�"���!���%����%!'�/�%(��&!#���#�$%"�&%

��������� �*3����� ���������� ���������������������

���������')�,�2�!�)2�2�!����������)2��1

� ����!����!%"��#�%/�$%�9

Y = pdi st ( X, ' met r i c ' )

� �����"�"���#�$%"�&�%"&$#"$&�/�$%�

Z = l i nkage( Y, ' met hod' )

� �����"�"���(�&"!"!��/�$%�

T = cl ust er ( Z, ' cut of f ' , c)

� ����������3��"���#�/�$%�

T = cl ust er dat a( X, cut of f )

� 8�&�"�����%"����/�*�$������"��� ��"����,!�!"*�"��!�(�����"�"����"��&���"���%�

��������� �+������ ���������� ���������������������

���������')�?')�'2�12��

� ��� !%$��!'��"���&�%$�"%/�*�$�#���$%��������&��&���

� ��!%�!%���%�4$��#������+%��(����!��%�"��"�%��0�"�����&��%�

� �����"���*+�-!%�!%�"��� ��$�����"����!%"��#��,�"0����#�$%"�&%�=�-#�("���&���&�5%��!�����>�

��������� �+������ ���������� ���������������������

� �� �������+ ������)� �

� ����,�%!#�%*�"�-�!%

T = dendr ogr am( Z)

� ���&��V�!%�"����$"($"��&����!������

� ��������$�"�!%�"��(��"�3F��,%�& �"!��%����"���,�""���

� �,%�& �"!����$�,�&%�%��0���!��"�#�&&�%(����"����&��"��������(�!�"�

� ����!����������"����,%�& �"!��%��"������������/�$%��

f i nd( T=k)

��������� �+������ ���������� ���������������������

�������')��

% Get t he di st ances

Y = pdi st ( X) ; % def aul t i s Eucl i dean

% Get t he l i nkage

Zs = l i nkage( Y) ; % def aul t i s s i ngl e l i nkage

Zc = l i nkage( Y, ' compl et e' ) ;

% Vi sual i ze r esul t s

dendr ogr am( Zs) ;

t i t l e( ' Si ngl e Li nkage' )

dendr ogr am( Zc) ;

t i t l e( ' Compl et e Li nkage' )

��������� �+������ ���������� ���������������������

')�'2�12���K ���1�)����(�1)

��������� �+*����� ���������� ���������������������

')�'2�12���K �����)�)����(�1)

��������� �++����� ���������� ���������������������

��')�?���)'������)2��1

� ��!%�"�#��!4$��"���%������%!"*��$�#"!����((&��#��

� �%�%��!�!"���!-"$&�����%!"!�%��%������%���&�#�$%"�&�����*%!%�

� ��#��#��(����"����%!"*�#��&�#"�&!'�%���#�$%"�&�

��������� �+.����� ���������� ���������������������

8��������6�����+ ��.���

� ��7#����#�7# ��:�����������$� �#<��#7�7# ��#�

� )>�#���� ?��>�C��� ��#���7���#7����#�����#���9��#�#9�

� ����������#�7��9=��� �$�9����� # ���? ������:� �9����7��9=���

� )������� # ����9��#9C#��������#9

1

( ; ) ( ; )c

k kk

f x p g x=

=�

��������� �+/����� ���������� ���������������������

�6��� ����+� 6���V �����=��>�������

� �#���7�$�9�=��7 <��9�#����� <���#���7#�

� ������ ��$��%#����7�$� �� ��9#A�9#���#9��8#��9�#7�9#

� )���#��? )>�#���� D

� , 7��9�=�=��:�������=�#98��� ��=#�� <����#������� # ��7# ��:�? ��#�����#9�9�

� ����#��? ��>�C��� D

� ��7��#�������9��#�#9��=��#7�� �����#9�9�

��������� �+0����� ���������� ���������������������

�6��� ����+� 6���V �����=��>�������

� ����#�D

� ��#9��8#��#���7

� �� �� 8#9<#�����������������

� �� �78#9<#

� 2#A�9#�� ����<�#��������#���9��#�#9���$���#����� # ��7# ��#�

� 2#A�9#�� ����<�#��������#��#<����M�9��9�9�N

� �##7�� �#�����#��$���#� ��=#9��$����� # ��

� 2#A�9#��� ������#7�7��9=��� �$�9���#����� # ��7# ��#�

� ��7#�?=��#7�����#9 <��779#��#����#�#����#�

��������� �+3����� ���������� ���������������������

�����+� �����������)=����!��� U����"�&*/�2PP3>

� �8#9������7#�D

� �������, �#��>��9#�

� '# ��:����������$����� # ������8�9��#� �9����

� ��7#���#9�� ������ ��9� ���� ���#��8�9� #���$���#����� # ��

� )����<�9��������#7����#�����#����� # ����9��#�#9�&

� �<<���#9��8#���7#�?=��#7�����#9 <�����#7���� ���C#�)�

1

( ; ) ( ; , )c

k k kk

f p φ=

=�x x

��������� �.������ ���������� ���������������������

))����� ��.�����

� 2#<���9��<<���#9��8#�����#9 <D

� )����� ���� �������#9

� �������#�������#9���9#��#9<#7����#�����#�

� ����# #�����7#�#9� #7�=:�7��� #�� 7�� %�<#

� �<<���#9��8#���7#�?=��#7�����#9 <D

� ���#�����#�;���������#9���9#��#9<#7������������#��%#����7�$�9���#�<8# ���7#������>�C#7&�

��������� �.������ ���������� ���������������������

�������������� ���!"#$

� ����������������� ��� ������������ �� ������� ������� ���

������������������

��������������

� ����������������������%����&�����%������'����

� ��������� ����

� ��������� � ���

� !������� ���

� !������� � ����� �� ���� ����

ˆ2 ( , ) log( )M MBIC L m n≡ −x

2K σ= I

2K Kσ= I

K =K K=

��������� �.������ ���������� ���������������������

�������������� ���!"#$

"��������#��$���%������������ �

� ��&��� �����!$�'(�� ��� ��)����������� � ��*(�� ���#�������������������

!$�"������

���

+ ��,�����- !��������$����'(�.��)����������� � ��*(������$�����$'%$/0(�1�����������������

&��&%��%��

����

�������&��

(������"�

��������� �.������ ���������� ���������������������

��')�?���)'������)2��1��)��

2� ((�*�"���$�#��%"&�!�����������&�"! ������(&�#��$&�

:� ����%���$�,�&����#�$%"�&%7���%!"!�%/�#�

3� ����%�������9��2�@ �;

;� 8!���"���(�&"!"!����! ���,*�%"�(�2���&�"���%(�#!�!���#

<� �%!���"�!%�(�&"!"!��/��!���"���0�!��"%/�����%�����#� �&!��#�% ��&���#��"�&�/�,�%������"���������!��%"�(�3

I� �%!���"���#��%���#�=%"�(�:>�����"���!�!"!��� ��$�%�=%"�(�<>/��((�*�"����������&!"��

O� ���#$��"��"���������&�"�!%� ��$�����#������

R� )��"��%"�(�3�"��#���%�����"��&� ��$�����������&�(��"

P� )��"��%�(�:�����#���%�����"��&�������#�����&�(��"

��������� �.*����� ���������� ���������������������

��')�?���)'������)2��1���,� �2)

� (�$% #����#���,����0�������9

000�%"�"�0�%�!��"�����$7�#�$%"

� ��#$���"�"!��������"��&�"�#��!#���&�(�&"%�#���,����0�������9�""(977000�%"�"�0�%�!��"�����$7�&���*7�#�$%"7&�(%�%

�"��

� ��������,�-�!��� �� �

� �&!""���,*� �����U�����*���&"!��'

� ����"��,��� �!��,������"����#�$%" (��������"�"�!,

��������� �.+����� ���������� ���������������������

�������')��

� )�����&�����&�"!���&������%��(����&������!�!"���!-"$&��@ ;�,�%!#������%

� ������&�"! �������+��%�����$%"�&!��

� �����+��%�����$%"�&!��

� .!%$��!'�"!������&�%$�"%

� ����&��&��

� ���0!���$%����"����&���*�����&�"���

��������� �..����� ���������� ���������������������

��')����)'����1)�)2��)�'���

� ��!��"%9��F�:/��F�:/��F�2/��F�<

� �!���%!����!"*9����;

� �G�<F

� ����%9����

W:/�:/�:/�:X/�W+:/�+:/�+:/�+:X/�W+:/�:/�+:/�:X/�W:/�+:/�:/�+:X

� �� �&!��#�%9��2�<�/��/��O<�/��

��������� �./����� ���������� ���������������������

�������')��genmi x

% Load up dat a al r eady gener at ed

l oad dat a

pl ot mat r i x( dat a)

% Do t he aggl omer at i ve MBC st ep

Z = agmbcl ust ( dat a) ;

dendr ogr am( Z) ;

% Do t he ent i r e MBC pr ocedur e

[ bi cs, best model , al l model s, Z, cl abs] =mbcl ust ( dat a, 10) ;

% Pl ot t he BI C val ues

pl ot bi c( bi cs, ' Gener at ed Dat a' )

��������� �.0����� ���������� ���������������������

1������1)�)2��)�'���

� ����)���genmi x #���,��$%���"������&�"��&������ �&!�,��%��##�&�!���"���������"�����$&�,�%!#��!-"$&�������%�

� �$%"������0�"���%(�#!�!���%"�(%�

� ����%� ��"�����"��"��"���0�&�%(�#���&�!����"�-"��!���

� ���������%#�""�&(��"���"&!-�"��#��#��

� ���0!���$%����"��%�"���&���*�����&�"���

��������� �.3����� ���������� ���������������������

��������� �/������ ���������� ���������������������

�����)2��������2�4��,�'�����)���)'�����!)�')��

��������� �/������ ���������� ���������������������

�11���)2���6)����')�'2�12��

��������� �/������ ���������� ���������������������

������,��!)�����6���)�

��������� �/������ ���������� ���������������������

2),)2)��)�� ������������� ���� ���� ���"�&*/�S�����+,�%���)�$%%!����������+)�$%%!�����$%"�&!��/T��!���"&!#%/�.����;P/�����3/�((��RF3+R:2/��("��2PP3�

� ���(%"�&/� ���/���!&�/������/������$,!�/�������=2POO>/�S��-!�$���!���!������&���!�#��(��"����"�� !��"����������&!"���=0!"���!%#$%%!��>/T�������"�"!%"���#����3P/�((��2+3R�

� L�$�����U��$%%��$0/�8!��!���)&�$(%�!����"�9� ����"&��$#"!���"����$%"�&� ���*%!%/��!��*/�2PPF�

� )���� �#��#����/�����L���� ��%��&�/��!-"$&�������%/���&#�������&/�2PRR�

� ����� &!�,�/���������� ��&#��""�/T ��("! ��!-"$&�����%!"*��%"!��"!��/T��""�&����#���!"!��/�.����:I/�����</�OO2+OR</�2PP3�

� &!�,�/������/�S ��("! ���!-"$&�%/T�� / ��RP/�����;:O/�((��OPI+RFI�

L ����� ��0�!% ������0&��#��L���$�/�S����!���&��!���%!����!"*����$#"!���,*���#����!���&���,���!��/T/�#!��#�:FFF/�((��:3:3+:3:I�

� ����������/��������%"��/���������� ������/�S �.!%$��!'�"!�����#��!4$����&�"$�*!���"����"�&�"! ���%"!��"!�������!-"$&�����%!"!�%/T���$&����������($"�"!���������)&�(�!#���"�"!%"!#%/�;=3>/�((�2RF+2PO/=2PP<>�

��������� �/*����� ���������� ���������������������

2),)2)��)�

� ����/������/ ������/������/ &!�,�/������/��%"��/�������/�����&%/�)����/�S ���"����"����"�&�!���"���%"&$#"$&������� $���0��!-"$&��$%!���"�� ��!�������&��"!����&!"�&!�������"���,��"%"&�(/T��"�"!%"!#%��������($"!��/�)�*�+�,--�,))������,..)/�

� ��&�$%� ��%Y�S)��9�����)���&�"! ����(��&�(�!#���((!��/T���������%!%/�T�""(977000��#&���%"����#�$�7)��7"��%!%��"��/�2PPR�

• Joshua B. Tenenbaum, Vin de Silva, John C. Langford “ A Global Geometr ic Framework for Nonlinear Dimensionality Reduction,” , Science, 2000 December 22; 290: 2319-2323

� �� �!""�&!��"��/� ��8������!"�/������ ���� /�"�"!%"!#��� ���*%!%����8!�!"���!-"$&���!%"&!,$"!��%/��!��*��&!�%�!��&�,�,!�!"*�������"����"!#���"�"!%"!#%/�2PR<��

Recommended