局部泛化误差模型及其在模式识别中的应用

开题人：吴彬导师：王熙照

23/4/19

河北大学数学与计算机学院机器学习中心

开题报告要点• 问题研究意义• 问题研究现状• 目前已做工作• 今后工作内容

23/4/19Faculty of Mathematics and Computer Science , HeBei University

-4 -2 0 2 4 6 8-4

-2

0

2

4

6

8

-4 -2 0 2 4 6 8-4

-2

0

2

4

6

8

问题研究意义2( ( ) ( )) ( )true T

R f F p d x x x x

true empR R

23/4/19Faculty of Mathematics and Computer Science , HeBei University

-4 -2 0 2 4 6 8-4

-2

0

2

4

6

8

问题研究意义 0 0( )?? ( )f F x x

23/4/19Faculty of Mathematics and Computer Science , HeBei University

-4 -2 0 2 4 6 8-4

-2

0

2

4

6

8

问题研究意义 2( ( ) ( )) ( )Q

local SR f F p d x x x x

问题研究现状

23/4/19Faculty of Mathematics and Computer Science , HeBei University

2

22 *

( ) ( ( ) ( )) ( )Q

SM S

emp S SM

R Q f F p d

R E y A R Q

x x x x

W.W.Y. Ng, D.S. Yeung, D. Wang, E.C.C. Tsang and X-Z Wang

“Localized Generalization Error and Its Application to RBFNN Training”

Proc. of Intl. Conf. on Machine Learning and Cybernetics, pp. 4667 - 4673, 2005

Hoeffding Inequality

问题研究现状• 结论明显界过大

• 应用中只考虑两项

*( )SM true SMR Q R R Q

2

emp SR E y

指出前面文章存在两个问题并给出解决问题的办法

指出前面文章存在两个问题并给出解决问题的办法

XI-ZHAO WANG, BIN WU, JIE LI

“An Improvement for Localized Generalization Error Mode”

Proc. of Intl. Conf. on Machine Learning and Cybernetics, pp. 4667 - 4673, 2007

问题研究现状

23/4/19Faculty of Mathematics and Computer Science , HeBei University

1

( )( )1

( )( )1

Q

Q iQ i

Q iQ i

S

N

i ii

N

i SSi

N

i SSi

f F p d

f FN

f f p dN

F F p dN

xx

xx

x x x x

x x

x x x x

x x x x

针对第一个问题给出新局部泛化误差模型针对第一个问题给出新局部泛化误差模型

“An Improvement for Localized Generalization Error Mode”

问题研究现状• 不同类别的数据在 邻域不相交• 假设在 邻域内有 iF Fx x( )Q iS x

( )Q iS x

1

( )( )1

Q iQ i

N

i ii

N

i SSi

f FN

f f p dN

xx

x x

x x x x

( )( )1

Q iQ i

N

i SSi

F F p dN

xxx x x x

针对第二个问题给出目前想到的解决办法针对第二个问题给出目前想到的解决办法

“An Improvement for Localized Generalization Error Mode”

针对模式识别问题针对模式识别问题

问题研究现状• 用局部泛化误差模型设计分类器• 1 找一种确定 的方法，其中需保证不同

label 的点之间的临域不重叠• 2 用 标准训练分类器 ( 应用于任

意训练算法 )

Qemp SR E y

( ) Q iS x

用局部泛化误差模型设计分类器

用局部泛化误差模型设计分类器

问题研究现状• 怎样的 是合理的？• 第二项如何计算？

( )( )1

Q iQ i

N

i SSi

f f p dN

xxx x x x

目前模型面临的问题目前模型面临的问题

( )Q iS x

使用积分的数值计算方法时间复杂度高

现有结果存在问题

( )Q iS x iE f f x x

2

( )Q iS x iE f f x x Wing NGWing NG

LiuLiu

目前已做工作• 怎样的 是合理的？

• 简单的确定 方法

怎样的分类边界是正确的怎样的分类边界是正确的

( )Q iS x

( )Q iS x

目前已做工作• 从训练过程中的函数 ( 连续函数 ) 分析• 从最终判定函数 ( 阶梯函数 ) 分析

第二项如何计算？第二项如何计算？

几何观点

23/4/19Faculty of Mathematics and Computer Science , HeBei University

-4 -2 0 2 4 6 8 10-4

-2

0

2

4

6

8

10

目前已做工作• 基于核方法分类器设计• 基于启发式方法分类器设计

设计分类器设计分类器

今后工作内容• 启发式方法分类器的完善改进

Thanks for your attention

23/4/19Faculty of Mathematics and Computer Science , HeBei University

Any question?