86
第第第 第第第第 第第第第第 第第第 第第第第第第第第第 第第第 第第第第第第 第第第 第第第第第第 第第第 第第第第

第三章 聚类分析

Embed Size (px)

DESCRIPTION

第三章 聚类分析. 第一节 集合论基础. 第二节 模糊集合的基本知识. 第三节 模糊聚类分析. 第四节 动态聚类分析. 第五节 系统聚类分析. 第一节 集合论基础 集合论是进行系统分析的重要理论基础。尤其是其中许多概念,方法等,在系统分析中有哲广泛的应用。因此介绍有关集合论的基础知识,对深刻理解和掌握系统工程的基本理论和方法有着重要意义。. 一 几个逻辑运算符号. 以上三个运算符号被广泛应用。下面用真值表来说明它们的物理意义。 设 P 、 Q 为两个逻辑变量 其取值为 : - PowerPoint PPT Presentation

Citation preview

Page 1: 第三章  聚类分析

第三章 聚类分析 第一节 集合论基础

第二节 模糊集合的基本知识

第三节 模糊聚类分析

第四节 动态聚类分析 第五节 系统聚类分析

Page 2: 第三章  聚类分析

第一节 集合论基础 集合论是进行系统分析的重要理论基础。

尤其是其中许多概念,方法等,在系统分析中有哲广泛的应用。因此介绍有关集合论的基础知识,对深刻理解和掌握系统工程的基本理论和方法有着重要意义。

Page 3: 第三章  聚类分析

为更好理解下面介绍的有关集合论的基本知识,先介绍几个常用的逻辑运算符号的物理意义。

“1.逻辑非(NOT)记作 ”;

“ ∧ ”2.逻辑与(AND)记作 ;

“ ∨ ”3.逻辑或(OR)记作 。

一 几个逻辑运算符号

Page 4: 第三章  聚类分析

以上三个运算符号被广泛应用。下面用真值表来说明它们的物理意义。 设 P 、 Q 为两个逻辑变量 其取值为 :

则、∧、∨真值表如表3-1所示。

P QT TURE 1

F FALSE 0、

,或,或

Page 5: 第三章  聚类分析

表 3-1 、 、、真值表

P ┐ P Q P∧ Q P∨ Q

TTFF

FFTT

TFTF

TFFF

TTTF

Page 6: 第三章  聚类分析

由表3-1可知:逻辑非()具有反意词的意义。如P代表学生,则P表示不是学生;逻辑与(∧)、逻辑或(∨)代表两个逻辑变量的运算结果。对于逻辑与(∧)来讲,当P、Q同时为T时,P∧Q为T,否则为假(F)。对逻辑或(∨)来讲,则P与Q至少有一个为T,P∨Q为T,否则为(F)。 对真值表的理解,从简单的开关电路中看的更为清楚。设P、Q代表两个电源开关,开关关上为T,打开为F。电路的灯泡则代表逻辑与(∧)和逻辑或(∨),电灯泡亮为T,不亮为F。显然,图3-1开关串联电路中的灯泡亮与不亮则表示逻辑与(∧)的取值,图3-2的开关并联电路中的灯泡亮与不亮则表示逻辑或(∨)的取值。

Page 7: 第三章  聚类分析

P Q

P Q

图 3-1 开关串联电路

Page 8: 第三章  聚类分析

图 3-2 开关并联电路

P

Q

P Q

Page 9: 第三章  聚类分析

4.条件语句 条件语句是表示逻辑变量之间,或等式之间相互因果关系的一种表达形式 , 分为单向条件语句和双向条件语句。 (1)单向条件语句记成“PQ”,读作有P必有Q。若P为T,且有Q为T,则单向条件语句成立,PQ=T;反之若P为T,而Q为F,则条件语句不成立,PQ=F。 (2)双向条件语句记成“PQ”,读作有P必有Q,有Q必有P。若P为T(F),且有Q为T( F) ,则双向条件语句成立,PQ=T;若P为T (F) ,而Q为 F( T ) ,

则条件语句不成立,PQ=F。 同样,条件语句的物理意义也可用真值表说明,见表3-2。

Page 10: 第三章  聚类分析

P Q 单向条件语句P Q

双向条件语句P Q

TTFF

TFTF

TFFT

TFFT

表 3-2 条件语句真值表

Page 11: 第三章  聚类分析

5.量词 在数学描述式中,特别是在集合论中,经常用到下面两个量词: ( 1 ) 万有量词,可读成“全部”、“所有”、“一切”…。如 ∈ , 等。 ( 2 ) 存在量词,可读成“总有”、“至少有”…。如 , 读成至少一个 属于 ,而 不属于 。

0 jxx

xBxAx

A

A x B

Page 12: 第三章  聚类分析

二 普通集合的基本概念1. 集合与元素 当我们把一群确定的事物当作整体来考察时,则该整体就叫作集合,或简称集。例如某学校的全体教职员工可视为一个集合;全体教职员工、教学实验设备等也可视为一个集合,习惯上,我们常用大写字母A、B、C、D…表示集合,集合中的每一个具体事物叫做这个集合的元素(或简称元),并用大括号括起来,以表示是一个整体。集合的元素一般用小写字母a、b、c、d…来表示。例如已知集合A为 A={a1 , a2 , … , an}

说明集合 A中含有 n个元素。我们又定义集合中元素的个数叫集合的势或基数,记|A|=n。

Page 13: 第三章  聚类分析

当集合中的元素为有限个时,叫有限集合,集合中的元素为无限时叫无限集合。 元素与集合的关系不是属于关系就是不属于关系,二者必居其一。 若a是集合A的一个元素,即a属于A,记为a∈A,若a不是集合A的一个元素,即a不属于A,记为aA。 上述元素与集合的关系可用特征函数来描述,即

时当时当

Ax

AxxA 1

0)(

Page 14: 第三章  聚类分析

2. 集合的表示方法 集合的表示方法有多种多样。就给定的集合来讲,一般有三种表达形式:

( 1 )列举法 指把集合中的所有元素一一列举出来的方法。

如A= {1,2,3,4}, B={b1,b2,b3} 等。

( 2 )趋势法 这种表达方法仅适用于集合中元素的排列具有某种规律性,此时只需列举出有限个元素,其余元素可用省略号“……”表示。例如: A={…,-1,0,1,2,…}

B={a1 , a2 , … , an}

Page 15: 第三章  聚类分析

(3 ) 描述法 又称谓语语句法,这是一种广泛应用的集合表示方法。其一般表达式如下 A={x|p(x)}

式中: x -表示集合元素;

p(x)-作为谓语,用以说明 x 是什么,或在什么范围内变化。例如: A= {x| 1≤ x ≤2} 这里 p(x) 是说明集合A的元素是由〔1 , 2〕闭区间全体实数组成的。又如: 此集合与 完全等价。

},,2,1{ nixA i

},,,{ 21 nxxxA

Page 16: 第三章  聚类分析

3. 集合的包含与相等 包含关系是用来描述集合与集合之间关系的一种表示方法。设有A、B二集,如果属于A的元素全部属于B,则A称作B的一个子集,或说集B包含集A,记成A B ,或B A 。其数学描述如下:

一个集合 A称为B的真子集,则A与B的关系叫真包含关系,记成AB。其数学描述如下: 例如: A= {a,b},B={a,b,c},则有AB。 根据包含关系,我们可定义两个集合相等的关系式,即 (3-3) 如果两个集合存在着包含关系的话,不是相等关系,就是真包含关系。 (3-3) 式则是全面反映了这两种关系。

AyByBxAxBA 不一定

AyByBxAxBA

ABBABA

Page 17: 第三章  聚类分析

注意:对于两个相等的集合还有以下两个性质: (1 ) 重复元素没有意义,即 A= {1,2,2,4}={1,2,4} (2 ) 同一集合不同表达形式当然相等。例如:

A= {x|x(x-1)=0},B ={0,1} 则A=B。

Page 18: 第三章  聚类分析

4. 几个重要集合 ( 1 )空集 Φ 指不含有任何元素的集合。其表达式如下: Φ= {x|P(x)∧P(x)} 式中谓语 P(x)∧P(x) 说明既满足P (x) ,又满足P (x) 的元素是不存在的。因为P (x) 为T, P(x) 为 F ,显然这样的 x是不存在的,故为空集。 (2 ) 单元素集 只含有一个元素的集合叫单元素集,如 {a} ,{b}… 等。单元素集与单元素是两个完全不同的概念。如“学生”做为集合的一个元素,可能是男学生,女学生,也可能是若干个学生,而 { 学生 } ,则表示学生的全体。 (3 ) 全集 U 指由论域全体元素组成的集合叫全集,一般记成 U 。其表达式为 : U ={x|P(x)∨ P (x)} 式中的谓语 P(x)∨ P(x) 与并运算等价。意指满足P (x) 和不满足P (x)都是集合的元素。

Page 19: 第三章  聚类分析

(4)幂集 设 A为任意有限集合,则包含Φ和A在内的全部子集族称作集合A的幂集,记为 ρ(A) 。 例如: 当

根据上面的例子,我们归纳给出求幂集势的一般公式如下因为

所以

n21nn21n

333

222

111

AaaAabaA

AbcacabcbaAcbaA

AbaAbaA

AAaA

,,,,,

:::

:::

,,,,,,,,,

,,,,

,

| | , | |

| | , | |

| | , | |

| | , | |

A 1 PA 2 2

A 2 PA 2 4

A 3 PA 2 8

A n PA 2

1 11

2 22

3 33

n nn

Page 20: 第三章  聚类分析

三 直积集

顾名思言,直积集可表面理解成两个以上集合直接相乘而得到的集合。但事实并非完全如此。直积集又叫序集,它是建立在有序对概念基础上而定义的新集合,这也是它与普通集合的本质区别所在。为了给出直积集的一般定义。我们需首先介绍有序对的概念。

Page 21: 第三章  聚类分析

1. 有序对 在解析几何中我们知道,可用一对有顺序的实数( x,y)来表示平面座标上的一个点。某中规定x所在位置叫第一座标,代表在x轴上的取值;y所在位置叫第二座标,代表在y轴上的取值。显然, #!& 随着 x,y的不同取值,便对应着平面上不同的点,并且一般情况下, (x,y)≠(y,x) 如图3-3所示, (3,1)≠(1,3) , (-1,3)≠(3,-1) , (-2,2)≠(2,-2) 等等。这说明,有序对引入了位序的概念,而普通集合则与元素排列顺序无关,如 {1, 2}={2, 1}。 两个有序对,只有当它们的第一座标和第二座标分别相等时 ,才认为它们是相等的,即 (a,b)=(p,q)a=p∧b=q

Page 22: 第三章  聚类分析

(3,1)

x

(-1,3)

(2,-1)

(3,-1)

(1,3)

(-2,2)

y

图 3-3 直角坐标系

Page 23: 第三章  聚类分析

2. 直积集 设A、B为任意两个非空集合,则由A、B中的全体元素组成的有序对(a ,b)叫做A到B的直积集,记为A×B,即 A×B ={(a, b)| a∈ A∧ b∈ B,且a ,b取遍 A、B中的一切元 } 式中 ( a,b)又叫有序二元,并且a位于第一座标,b位于第二座标。 如果第一座标取自B的一切元,第二座标取自A的一切元,则全体有序对(b ,a)组成的直积集叫B到A的直积集,记成B×A,即 B×A= {(b, a)|b∈B∧a∈A,且 b, a取遍B,A的一切元 } 根据有序对的定义,显然有A×B≠B×A 如果 A=B, 则有 A×B=B×A=A2=B2 此时 A2(B2) 叫集上直积集,又叫直幂集。

Page 24: 第三章  聚类分析

实例:

例1:已知 ,求A到 B的直积集。解: A×B= {(a, b)| a∈A∧b∈B,且 a, b取遍A,B的一切元 } 例 2:已知X=Y= {-∞<x,y<∞},求直积集。解:

其中 叫二维笛卡空间,也即是说,若X取全体实数集合,则其直幂集代表平面上全部点的集合。

A a a B b b b1 2 1 2 3 , , , ,

a b a b a b a b a b a b1 1 1 2 1 3 2 1 2 2 2 3, , , , , , , , , , ,

X Y Y X X Y

x y xy

D

2 2

2

, | .

D2

Page 25: 第三章  聚类分析

3. 推广 以上我们研究的是两个集合的直积集问题,其中有序对叫有序二元。那么,我们完全可以仿照这种思路,把直积集的概念推广到几个集合。 设已知 个非空集合,则 到 , 到 …的直积集记成 ,且 式中:( ) --叫有序n元。 当n=2时,则为两个集合的直积集;当n=3时,则是三个集合的直积集等等。

n

1iiA

n

1in21n21nn2211n21i AAAaaaAaAaAaaaaA 的一切元取遍且 ,,,,,|,,

A A A1 2 n A1 A2 A3A2

n21 aaa ,,

Page 26: 第三章  聚类分析

同理,当上式 时,则

称作直幂集。 关于直积集的势,给出如下两个计算公式:

当 A1=A2=…=A n时,

A A A1 2 n

nn

1ii AA

|||||| n21

n

1ii AAAA

nn

1ii AA ||

Page 27: 第三章  聚类分析

四 关系集

研究直积集的根本目的,就是为了进一步研究关系集做准备。客观物质世界普遍存在着各种各样的联系,而这种联系又都可表现为各种关系。例如:在社会中 , 在家庭中 , 在数学上 , 在生物界 ,

在一部机器上等等。任何一种联系都可定义一种关系。关系集就是各种关系的数学描述方法,对我们认识和改造客观世界有着重要指导意义。

Page 28: 第三章  聚类分析

1. 关系集的数学描述 设 为n个非空集合,则直积集 的一个子集 叫 的一个n元关系集,显然

根据全集的定义, 即是 n元关系全集,故可令

在客观世界中,存在着二元关系、三元关系、四元关系等多元关系。如一个家庭、若干国家组成的经济共同体、各种球类比赛的各个球队等,都属于多元关系。但是,在多元关系中,二元关系是大量的,也是最基本的。因此,我们将重点讨论二元关系。

A A A1 2 n, , ,

n

1iiA

Rn

n

1iiA

n

1ii

n AR

n

1iiA

n

1iiAU

Page 29: 第三章  聚类分析

2. 二元关系集的定义 由 式可知,当n=2时,则

叫做 的一个二元素关系集, 叫二元关系全集。然

而,无论 式,还是 式,它们都没有

对关系子集的确切含意加以说明,因此,也就无法给出具体

的关系子集。

※以后讨论的二元关系集都记成R,而不记成 。

UAR2

1ii

2

n

1ii

n AR

2

1iiA

2

1iiA

UAR2

1ii

2

R Ani

i 1

n

R2

Page 30: 第三章  聚类分析

设已知A、B两个非空集合,则A×B的一个子集RA×B叫A×B的一个二元关系集,且 R= {(a,b)| a∈A∧b∈B∧a与 b是什么关系 } 显然,上式中的谓语是定义a与b是什么关系的,也是我们给出二元关系集的基本依据。 例 1:已知集合 A ={1,2,3}, 定义 A上的一个二元关系集为 R={(a,b)| a,b∈A∧a≤b}。则有 : R ={(1,1),(1,2),(1,3),(2,2),(2,3),(3,3)}A2同理,若定义R ={(a,b)| a,b∈A∧a= b} 则有 R= {(1,1),(2,2),(3,3)}A2

Page 31: 第三章  聚类分析

例 2:已知小张(女)、小王(男)、小李(女)三名同学分别记为a、b、c。即A= {a, b, c}。我们做如下定义: 1. R={(a, b)| a, b∈A∧a与 b为同学关系 },则

2. R={(a, b)| a, b∈A∧a与 b为女同学关系 },则 R={(a, a) , (a, c) , (c, a) , (c, c)} 3. R={(a, b)| a, b∈A∧a与 b为男同学关系 },则 R={(b, b)} 由上面例题不难看出,任何一个关系子集都需给出明确的定义,关系子集与关系全集之间具有一般包含关系()。 与普通集合一样,任意一个二元关系(a,b)可能属于关系集 R,也可能不属于关系集 R,为以后分析问题方便,我们规定: 当 (a, b)∈R时,则说明a与b具有关系 R,记成aRb; 当 (a, b)∈R时,则说明a与b不具有关系 R,记成a b。

R A a a a b a c b b b a b c c c c a c b2= = {( ),( ),( ),( ),( ),( ,( ),( )( )}, , , , , , ) , , ,

R

Page 32: 第三章  聚类分析

3. 关系图、关系矩阵

二元关系与运筹学的分枝“图论”有着密切的关系。可以说

二元关系是图论的基础,而图论是二元关系的图形表示。

空间集合的二元关系,都可抽象成平面上点集之间的对应关

系。并规定用一条矢线从第一座标指向第二座标来表示这种关

系。这样,任意一个二元关系,都可画成相对应的关系图,从

而使二元关系变得更加清晰明了。下面举两个实例。

Page 33: 第三章  聚类分析

例1:已知

要求画出A×B的全关系图。答案如图 3-4所示。

例 2:已知A= {1,2, 3 },R为定义在A上的一个二元关系集,R=

{(a,b)|a,b∈A∧a≤b},要求画出A上的全关系图和R关系图。

因为

={(1,1),(1,2),(1,3),(2,1),(2,2),(2,3),(3,1),(3,2),(3,3)}

R={(1,1),(1,2),(1,3),(2,2),(2,3)(3,3)}

根据二元关系规定,给出关系图如图 3-5所示。

A a a a B b b b1 2 3 1 2 3 , , , , ,

A2

Page 34: 第三章  聚类分析

A Ba1

a2

a3

b1

b2

b3

图 3-4 A×B 全关系图

Page 35: 第三章  聚类分析

图 3-5 A 上关系图

a. 全关系图 b. R 关系图

1

2

3

1

2

3

Page 36: 第三章  聚类分析

一个关系图必对应一个关系矩阵,相反亦成立。对关系矩阵做如下定义:

上式表明关系矩阵是个0-1矩阵。根据全关系图和 R关系图可给出如下关系矩阵:

ji

ji

bRa0Rba1

Rij

mxnRij

R

m

mM当当,,

)(

M

1 1 1

1 1 1

1 1 1

U

M

1 1 1

0 1 1

0 0 1

R

Page 37: 第三章  聚类分析

4. 二元关系的性质 二元关系有五个重要性质,深刻了解这些性质,对正确分析系统中的各种关系非常重要。设R是集合A上的一个二元关系。则R可能具有如下五个性质: (1)R具有反身性 x∈AxRx. (2)R具有反反身性 xAx x. (3)R具有对称 x.y∈A∧xRyyRx。 (4)R具有反对称 x.y∈A∧xRyy x。 (5)R具有传递 x.y.z∈A∧xRy∧yRzxRz。 假设已知集合A= {1,2,3},集上的二元关系分别为:

R

R

Page 38: 第三章  聚类分析

(1) 当 R={(a,b)|a.b∈A∧a=b},则 R={(1,1)(2,2)(3,3) 说明 R满足反身性,即x∈A xRx。 (2) 当 R={(a,b)|a.b∈A∧a < b},则 R={(1,2),(1,3),(2,3)}。 说明 R满足: a.反反身性 x∈ Ax x b.反对称性 x.y∈A∧xRyy x c. 传递性 1,2,3∈A∧1R2∧2R31R3。 (3) 当 R={(a,b)|a.b∈A∧a≥b},则 R={(1,1),(2,2),(3,3),(2,1),(3,2),(3,1)}. 说明 R满足 : a.反身性 x∈AxRx b.反对称性 x.y∈A∧xRyy x c. 传递性 3,2,1∈A∧3R2∧2R13R1。

RR

R

Page 39: 第三章  聚类分析

五 序集 顺序或排序在系统分析与评价中经常用到 .从集合的观点出发,如果依据某种原则,如大小关系、优序关系、包含关系等,将集合的元素排成一定序列,我们就称该集合为序集。在系统分析与评价中,经常用到的序集有以下几个。

Page 40: 第三章  聚类分析

1. 偏序集 定义 设A为一非空集合,R是A上的一个二元关系,如果R满足: (1) 反身性 (2) 反对称性 (3)传递性 则说 R是 A上的一个偏序关系集 , 记成 P={A,≤} 式中:P-代表偏序集合 ≤ -是偏序关系代号,可能是“”、“≤”、“≥”等关系。 P={A, ≤ } 式可读作在集A上的偏序(≤)关系集合。

Page 41: 第三章  聚类分析

例1:已知A= {a,b}, ρ(A)={Φ, , , } 则幂集上的包含关系便是一个偏序集,即 R=P={ρ(A),}={(a, b)|a, b∈ρ(A)∧ab} ={(Φ,Φ),(Φ, ),(Φ, ),(Φ, ),( , ) ( , ), ( , ), ( , ),( , )} 很容易看出,R关系集满足反身性、反对称性和传递性三个性质,所以R为偏序关系集。另外,我们还可通过关系图了解的更清楚,如图 3-6所示。 为了简化关系图,特做如下规定: ①省略反身关系和传递关系; ②要求各关系枝的箭头方向由下向上指。经过简化的关系图叫 H图。

ab

a

a

a

b

a abb

bb abab ab

abab

Page 42: 第三章  聚类分析

图 3-6 偏序关系图及其对应的 H图

a. 偏序关系图 b. H 图

ba

abab

a b

Page 43: 第三章  聚类分析

另外,在偏序集中,允许存在不可比较元素。如 与 之间就没有枝相 连,故不可比较。 例2:已知A ={1,2,3,4,5,6,7,8,9,10,11,12}, 设A

上的一个二元关系为R= {(a,b)| a,b∈A∧b/a=整数 }。则此二元关系集也是一个偏序关系集。对应的 H图如图 3-7所示。

a b

Page 44: 第三章  聚类分析

图 3-7 A 上整除关系 H 图

1

23

5

10

8

7

96

11

12

4

Page 45: 第三章  聚类分析

2.拟序集 定义 设A为一非空集合,R是A上的一个二元关系集,若满足 (1 ) 反反身性 (2 ) 反对称性 (3 )传递性 则说R是A上的一个拟序关系集,记成 Q={A, } 式中:Q-代表拟序集合, 是拟序关系符号,可能是“”、“ <” 、“ >” 等关系。

Page 46: 第三章  聚类分析

例1:设A ={a,b},其幂集为 ρ(A)={Φ, , , )} 则集上的真包含关系是一个拟序关系集。即 R =Q={ρ(A) , }={(a,b)| a,b∈ρ(A)∧a b} ={(Φ, ) , (Φ, ) , (Φ, ) , ( , ) , ( , )}

显然,R关系集满足定义拟序集的三个性质,其关系图和H图如图 3-8 所示。

a

a

a abab ab

ab

b

b

b

Page 47: 第三章  聚类分析

图 3-8 拟序关系图及其对应的 H 图

a. 拟序关系图 b. H 图

ba

abab

a b

Page 48: 第三章  聚类分析

例 2:大系统单元层次结构关系是拟序关系。

任何一个复杂大系统都可划分成许多层次。层

次之间存在着真包含关系,这种真包含关系,便

形成了大系统单元集合巢式结构的无限序列。如

图 3-9所示便是一个典型例子。

Page 49: 第三章  聚类分析

A - 某农业系

… A A

B

A

BC

A

BCD

B - 某县级系

C - 某县级系

D -国家大系

图 3-9 大系统单元集合巢式结构无限序列

Page 50: 第三章  聚类分析

3. 全序集 全序集是偏序集的一个特例。 如果一个集合A上的偏序关系(≤),满足a, b∈ A,且a≤b或a≥b必有一个成立,则称此偏序为全序,此时的偏序集又叫全序集,记成 T= {A,≤ } 式中:T-代表全序集。 ≤ -全序关系符号。 例如:设A= {1,2,3},定义A上的一个二元关系 R ={(a,b)| a,b∈A∧a≤b},则 R =T={A,≤}={(1,1),(2,2),(3,3),(1,2),(2,3),(1,3)}即是偏序集,也是全序集。对应的关系图和H图如图 3-10所示。 实际上,全序的概念是依据某种要求(关系),将集合中的元素排成一列。如图 3-10中的H图所示。在实际工作中,方案评价排序就是全序集的应用。

Page 51: 第三章  聚类分析

图 3-10 全序关系图及其对应的 H 图

1

2

3

a. 全序关系图 b. H 图

3

2

1

Page 52: 第三章  聚类分析

六 划分与覆盖1.划分 设 A为一给定的非空有限集合, 为 A的非空子集族,若满足 (1 ) (2 )则 叫 A的一个划分,记成

例如,设A为某个农业系统,则

就是 A 的一个划分。

}{ 54321

渔副牧林农)(

A,

A,

A,

A,

AA

}{ 21 nA,,A,AA )(nA,,A,A 21

nA,,A,A 21

AAn

ii

1

jiAA ji

Page 53: 第三章  聚类分析

如果在第一次划分的基础上继续划分下去,称作化分加细,分两种情况:一是划分真加细;二是一般划分加细。划分真加细是指对第一次划分的四个子系统再次划分。即

且 。 根据以上要求继续往下划分,便得到一个划分真加细序列。

4,3,2,121 iAA ii

},,,,

{4241

4

3231

3

2221

2

1211

1

AA

A,

AA

A,

AA

A,

AA

AA )(

Page 54: 第三章  聚类分析

一般划分加细是指在第一次划分的基础上 ,只有部分子系统被划分加细了 , 而有的子系统仍保持不变。根据以上要求继续往下划分,便得到一个一般划分加细序列。即

具体见图 3-13所示。

},,,

{ 43231

3

2221

2

1211

1 A,AA

A,

AA

A,

AA

AA )(

Page 55: 第三章  聚类分析

图 3—13

划分加细序列

A

A1

A2 A3

A21

A22

A4

A31

A32

A42

A41A11

A12

A21

A22 A31

A32

A4

A11

A12

一般划分加细序列

划分真加细序列

1

( A ) 11

( A )

( A )

Page 56: 第三章  聚类分析

2. 覆盖 覆盖也是一种划分,故也称覆盖划分。假如某非空有限集合A的划分如图 3-14所示。显然 ,我们把这种划分叫覆盖划分。这也是划分与覆盖的唯一区别,下面给出覆盖划分的定义。 定义 设A为一给定的非空有限集合 , 为 A的一个非空子集族 , 若满足

则 叫A的一个覆盖划分,记成

43 AA

nA,,A,A 21

AAn

ii

1

nA,,A,A 21

}{ 21 nA,,A,AACov )(

Page 57: 第三章  聚类分析

图 3—14 覆盖划分

A3

A4

A

A1

A2

A3

A4

Page 58: 第三章  聚类分析

同划分一样,覆盖也有覆盖加细和覆盖真加细之分。设 为A的一个覆盖划分,在此基础上,若 再进行一次覆盖划分,则称覆盖真加细划分;若只部分 被划分,则称覆盖加细划分。 例如,

则 为 的一个覆盖真加细。其层次结构如图 3-15所示。

},,,{)( 210 nAAAACov

),,2,1( niAi

iA

},,

,,,

{)( 210 dcb

A

cba

AACov }

,,

,,

,,

,{)( 4321

1 ed

B

dc

B

cb

B

ba

BACov

},,,,{ edcbaA

)(1 ACov )(0 ACov

Page 59: 第三章  聚类分析

图 3—15 覆盖真加细层次结构

A1

A

A2

B1 B2 B3 B4

a b c d e

COV0 ( A )

COV1 ( A)

Page 60: 第三章  聚类分析

例如,

则 为 的一个覆盖加细。其层次结构如图所示。

},,,,{ edcbaA

},,,

,,

{)( 3210 ed

A

dcb

A

ba

AACov ,

},

4,

,,,,

,{)( 321

1 ed

B

dc

B

cb

B

ba

BACov ,

)(1 ACov )(0 ACov

Page 61: 第三章  聚类分析

图 3—16 覆盖加细层次结构

A1

A

A3

B1 B2 B3 B4

a b c d e

COV0

COV1

A2

Page 62: 第三章  聚类分析

第二节 模糊集合的基本知识 一、模糊数学简介 1965年,美国著名控制论专家查德( L.A.Zadeh)最先在一个杂志上发表了一篇题为“ Fuzzy sets” 的论文,它标志着模糊数学的诞生。 随着科学技术的进步,特别是计算机科学的发展,人们要处理的问题愈来愈多,范围愈来愈广泛。尤其涉及许多复杂大系统问题,要求对大量的模糊概念做出量的回答,这便是模糊数学产生和发展的客观实践基础。 最后强调一点,模糊数学不是使数学模糊数化,而是用精确定义的概念刻化模糊现象,从而使数学这种工具应用到经典数学所不能及的领域中。

Page 63: 第三章  聚类分析

二、模糊集合的定义

我们知道,对于一个普通集合A,可以用

来表示这个集合, 称为集合A的特征函数。

和普通集合一样,我们把被讨论的对象的全体称为论

域(集),常用大写字母X,Y,…表示,用小写字母,

, ,…表示论域(全集)中的元素。

Ax

AxxA 0

1)(

)(xA

x y

Page 64: 第三章  聚类分析

设 为所论全集, 的一切模糊子集记为 ,则映射

式中: 称为 的隶属函数, 的具体取值称为 对

的隶属度。如 =1,说明 百分之百属于 ; = 0.

8,说明 有八成属于 。

]1,0[)(

]1,0[:

~

xXAAx

X

A

A

~~

)(~

xA

xx

x

~A

~A

~A

~A)(

~

xA

)(~

xA

)(~

xA

~AX X

Page 65: 第三章  聚类分析

模糊子集一般写成

可见,模糊集合于普通集合的根本区别在于: 若 : X{0,1} 为普通集合 : X[0 , 1] 为模糊集合 这表明模糊集合的隶属关系扩展到整个 [0 , 1]区间取值,这就便于描述真实世界。 如,

})(

,,)(

,)(

{ ~~~

2

2

1

1

~n

nAAA

x

x

x

x

x

xA

}5

1.0,

4

6.0,

3

1,

2

6.0,

1

2.0,

0

0{

~A

Page 66: 第三章  聚类分析

三、模糊集合三要素 1.概念或命题 指所研究的是什么问题,这是模糊研究的前提。如研究的是“模糊相似关系”、“青年人”、“天气热”、“天气凉爽”等等都是模糊概念。 2.论值 支持给定概念的具体内容,这里讲的内容依概念不同而不同。如给定概念是“模糊相似关系”,则论值即指研究对象的集合;如给定概念是“青年人”,则论值即指部分年龄的集合,设X代表人们年龄的全集,则子集 A={10,18,40,50} AX就是“青年人”概念的论值。

Page 67: 第三章  聚类分析

3.隶属度 论值 x属于给定概念的资格程度叫x的隶属度,以上面所论对象为“青年人”为例。论值中有四个年龄。它们分别属于“青年人”的资格我们可通过不同方法求得。现假设它们的隶属度为

于是得到如下模糊子集,即

A A

A A

~ ~

~ ~

10 0.5, 18 1.0

40 0.8, 50 0.6

A 10 /10, 18 /18, 40 / 40, 50 / 50

0.5 /10,1.0 /18,0.8 / 40,0.6 / 50

~A A A A~ ~ ~ ~

Page 68: 第三章  聚类分析

模糊集合三要素之间的关系如图 3- 17所示。

显然,用模糊集合描述客观世界将更真实,更实际,

这也是经典数学所无法比拟的。

模糊集合的重要工作就是计算隶属度。其计算方

法主要有经验模糊评分法、相对系数评分法和功效

系数法。前两种方法在第九章系统评价中介绍,下

面就功效系数法的应用举几个例子。

Page 69: 第三章  聚类分析

10

岁 1

8岁

40

岁 5

0岁

1.0

0.5

0

青年人

概念

图 3—17 模糊集合三要素关系图

Page 70: 第三章  聚类分析

例 4-1 经费在1万元到 10万元之间越多越好。此题概

念是《经费越多越好》,故取 其余经费的隶属

度按线性变化,如图 3 - 18 所示。

例 4-2 根据某地区多年降雨情况分析,降雨量在 400

500毫米基本是丰收年,而≤ 200毫米,≥ 700毫米将出

现严重旱、涝灾害,试求降雨量隶属丰收年的隶属度。根据

题意知 ,降雨量在 200700毫米之间降雨

量的隶属度变化如图 3-19所示。

A A400 500 10 200700 0 . , ,

A A10 1 1 0 ,

Page 71: 第三章  聚类分析

图 3—18

1.0

0.5

10万元5 万元1 万元

µA ( 5 ) = 4 / 9

Page 72: 第三章  聚类分析

图 3—19

1.0

0.5

0700

450

100

200

300

500

600

A(x)

降雨(毫米)

Page 73: 第三章  聚类分析

四、模糊集合定义的几个基本运算 1.相等 论域X上两个模糊子集 与 相等的必充条件是:

2.余集 论域 X上模糊子集 的余集记为 ,其隶属度定义为 例如:设 ={0/0,0.1/1,0.4/2,0.7/3,0.9/4,1.0/5} ={1.0/0,0.9/1,0.6/2,0.3/3,0.1/4,0/5}

~B

)()(~~~~

xxBA BA

~A

~A

)(1)(~~

xx AA

~A

~A

~A

Page 74: 第三章  聚类分析

3.并集 论域X上模糊子集 和 的并记作 ,其隶属度定义为

例如

~A

~B

~BA

)}(),(max{)(~~ ~

xxx BABA ~

}/.,/.,/.,/.,/{

}/.,/.,/.,/.,/{

}/.,/.,/.,/.,/{

~~

~

~

49030126012000

49037024011000

46030126012000

BA

B

A

Page 75: 第三章  聚类分析

4.交集 论域X上的模糊子集 和 的交记作 ,其隶属度定义为

例如,以上面并集运算中的 和 为例,其交集为

~A

~B

~BA

)}(),(min{)(~~ ~

xxx BABA ~

4}6037024011000 /.,/.,/.,/.,/{~

BA~

~A

~B

Page 76: 第三章  聚类分析

五、模糊关系与模糊等价关系 1.模糊关系 前面我们介绍的关系集都是二值逻辑范畴,即

式中 叫二元关系的特征函数。 但是,在现实生活中,还有许多关系是不能完全用二值逻辑来刻划的。比如两个人的相象关系,用“象”与“不象”就说不明白。恰在这个问题上,人们多用“象”、“非常象”、“很象”、“有点象”等词汇加以刻划。由此不难看出引入模糊关系的必要。仿照模糊子集的定义方法,我们给出模糊关系的定义如下:

RyxxRy

RyxyRxyxR

),(,,1

),(,,0),(

或说明或说明

),( yxR

Page 77: 第三章  聚类分析

设已知论域X和Y,则X×Y的一个模糊子集 称为X到Y的一个模糊关系,且

式中 叫模糊关系的隶属函数,因其在〔0,1〕取值,这就使得精确刻划模糊关系成为可能。 例如:已知 X 和 Y 分别代表两组人体体重集合,且

试求两组“体重相似”关系,即

~R

]1,0[),(

]1,0[:

~

~

yx

YXR

R

),(~

yxR

506040

||||||321 xxx

X

70655035

||||||||4321 yyyy

Y

]1,0[),(},),{(~~

yxYyXxyxR R体重相似关系

Page 78: 第三章  聚类分析

求解此问题的步骤如下: 1 ) .建立二元关系矩阵

y y y y

X Y

x

x

x

x y x y x y x y

x y x y x y x y

x y x y x y x y

1 2 3 4

1

2

3

1 1 1 2 1 3 1 4

2 1 2 2 2 3 2 4

3 1 3 2 3 3 3 3

( , ), , , , , ,

, , ( , ), , , ,

, , , , , , ,

y y y yx

x

x

4035 4050 4065 4070

6035 6050 6065 6070

5035 5050 5065 5070

1 2 3 4

1

2

3

, , , , , , ,

, , , , , , ,

, , , , , , ,

Page 79: 第三章  聚类分析

2 ) .将二元关系矩阵转换成模糊关系矩阵

上式就叫模糊关系矩阵。显然,如能求出 (i=1,2,3;j=1,2,3,4) ,则便求得量化的模糊关系矩阵。假如通过某种准则对其量化后得到:

R~

y y y y

R

x

x

x

x y x y x y x y

x y x y x y x y

x y x y x y x y

1 2 3 4

1

2

3

R 1 1 R 1 2 R 1 3 R 1 4

R 2 1 R 2 2 R 2 3 R 2 4

R 3 1 R 3 2 R 3 3 R 3 4

~

~ ~ ~ ~

~ ~ ~ ~

~ ~ ~ ~

, , , , , , ,

, , , , , , ,

, , , , , , ,

iiR yx ,~

y y y y

R

x

x

x

0.9, 0.85, 0.8, 0.7

0.7, 0.85, 0.9, 0.8

0.8, 1.0, 0.8, 0.75

1 2 3 4

~

1

2

3

Page 80: 第三章  聚类分析

上面的例子是研究两个集合之间的模糊关系。而在许多情况下是探讨集上的模糊关系,如模糊聚类分析就是如此,即

X在这里就是聚类单元全集。 设 ,求X上的模糊相似关系。很明显,其模糊相似关系矩阵如下:

X x x x x x1 2 3 4 5 , , , ,

44R34R24R14R

43R33R23R13R

42R32R22R12R

41R31R21R11R

4

3

2

1

4321

xxxxxxxx

xxxxxxxx

xxxxxxxx

xxxxxxxx

x

x

x

x

R

xxxx

,,,,,,,

,,,,,,,

,,,,,,,

,,,,,,,

~~~~

~~~~

~~~~

~~~~

~

]1,0[: 2

~XR

Page 81: 第三章  聚类分析

由上式我们可得出如下重要认识: 1) , 我们定义成反身性,即自己与自己总是100%相似。 2) ,我们定义成对称性。 3)由上面两点可知,集上的相似关系矩阵是个主对角线为1的对称矩阵。

ji1xx jiR ,,~

)(,,~~

ji ijRjiR xxxx

Page 82: 第三章  聚类分析

2.模糊等价关系

聚类分析的目的是把研究对象的组成单元分成若干个等价类、而任何一个等价类 ,都满足三个性质:

1)反身性

2)对称性

3)传递性

如一个班级的同学关系就是一个等价类。

Page 83: 第三章  聚类分析

我们已经知道,集上的模糊相似关系已满足反身性和对称性要求,唯独是否满足传递性还不清楚,因此,还必须在此基础上求出模糊等价关系。模糊等价关系定义如下: 设 是X上的一个模糊关系,若满足:1) 满足反身性

2) 满足对称性3) 满足传递性

R~

R~

R~

R~

x X x x 1R~

, x X x x x x x xi j R i j R j i

~ ~, ,

R R2

~ ~

Page 84: 第三章  聚类分析

为了在模糊关系的基础上求模糊等价关系,有如下定理: 设 是X上的一个模糊关系,且 |X|=n,则必有K≤n,使下式成立

则 便是X上的模糊等价关系,记为 (此定理证明从略) 在应用本定理求模糊等价关系时,可取 的偶次幂,

这样可节省大量计算时间,下面举例加以说明。

R~

t R R R R R Rk k 1

~ ~ ~ ~ ~ ~

Rk

~

R R R2 4 8

~ ~ ~、 、

t R~

R~

Page 85: 第三章  聚类分析

例如,已知如下模糊关系矩阵

显然, 满足反身性和对称性,但是否满足传递性还不得而知,为此要进行矩阵合成运算,即连续求 ,计算便告结束。 这里应当注意的是,模糊矩阵相乘与普通矩阵相乘有很大不同,它应遵循模糊集定义的运算规划,即两个数相乘取极小(∧运算),多个数相加取极大(∨运算)。如 矩阵中的第一行与第二列(行)相乘的结果是:

R~

R

1 01 08

01 1 05

08 05 1~

. .

. .

. .

R R R R R R t R2 4 8 8 4 4

~ ~ ~ ~ ~ ~ ~,、 、 。若 则令

R~

max

01 1 05

1 01 08

max 01 01 05 05

. .

. .

. . . .

R~

Page 86: 第三章  聚类分析

另外,考虑对称矩阵的特点,不用将两个相同矩阵并列起来再行、列相乘,而把列号当成行号即可。本例计算过程及结果如下:

R

1 05 08

05 1 05

08 05 1

2

~

. .

. .

. .

R

1 05 08

05 1 05

08 05 1

4

~

. .

. .

. .

因为 故计算停止 则R R

t R

1 05 08

05 1 05

08 05 1

2 2 2

~ ~

~

, ,

. .

. .

. .