研究内容概要

脱机中文手写识别脱机中文手写识别—从孤立汉字到真实文本—从孤立汉字到真实文本

脱机中文手写识别脱机中文手写识别—从孤立汉字到真实文本—从孤立汉字到真实文本

博士研究生：苏统华博士生导师：张田文教授

（申请哈尔滨工业大学工学博士学位）

哈尔滨工业大学计算机学院

二〇〇八年七月十六日

22脱机中文手写识别—从孤立汉字到真实文本哈尔滨工业大学计算机学院

研究内容概要

手写预处理

无切分识别

特征提取 LM 纠错判别学习

非限定人的、非限制书写的中文手写文本库

基于合成样本的数据稀疏克服方法

基础数据及处理

无切分和切分相结合的手写识别

识别技术

多种特征变换

多层次处理

特征提取与变换

识别性能提升

手写文本切分、识别的评价准则

切分识别


研究内容概要

扩展关键技术

基本关键技术

基础关键数据


研究内容概要


识别技术


识别性能提升



研究内容概要



多种特征变换

识别技术



无切分识别

手写预处理

特征提取

切分识别


目录

1 研究依据

3 文本识别的基本评价准则

4 基于切分策略的文本识别研究

5 基于无切分策略的文本识别研究

2 HIT-MW文本库的构建

6 双策略组合的文本识别研究

7 结论


目录

1 研究依据

文本识别的基本评价准则

基于切分策略的文本识别研究

基于无切分策略的文本识别研究

HIT-MW文本库的构建

双策略组合的文本识别研究

结论

2

3

4

5

6

7

1 研究依据手写库评述识别策略评述小结2 HIT-MW 库3 文本识别评价4 切分识别5 无切分识别6 双策略组合7 结论


手写库评述



手写库评述

英文手写库：数字字母单词句子

中文手写库：孤立汉字

实际需求：真实手写文本



识别策略评述

英文：基于切分策略的识别系统基于无切分策略的识别系统单词整体 (holistic) 识别系统

中文：基于切分策略的识别系统研究侧重点：

• 孤立汉字识别方面• 基本没有涉及复杂手写对象



小结

手写汉字识别的未来需求：文本级别的手写库切分系统的重新检视无切分系统的评估性能评价体系定位其中的真正问题



目录

2

研究依据






结论

1

3

4

5

6

7

1 研究依据 2 HIT-MW 库总体过程语言材料采样书写者抽样样本示例手写行提取授权使用者3 文本识别评价4 切分识别5 无切分识别6 双策略组合7 结论


总体过程

语言材料采样Text Sampling

书写者抽样Writer Sampling

版面设计Layout Design

样张收集Form Collecting

文本分割Text Splitting

采样策略设计阶段Sampling Design

手写样本扫描Handwriting Scan

图像级预处理Image Preprocessing

真值标记Database Labeling

手写行提取Textline Extractio

n

手写样本收集阶段Handwriting Collection

手写库处理阶段Database Processing



语言材料采样










手写行分割Textline Extraction



数据源：人民日报语料内建语言上下文方便未来扩展根据语用分配样本数量

分层随机采样策略 04 年 1 到 10 月新闻按月份划成 1

0 类每类内，等额非重复抽取 25 篇



语言材料采样













40

50

60

70

80

90

100

100 700 1300 1900 2500 3041

( )字表大小字数

(%)

覆盖

率40

50

60

70

80

90

100

100 700 1300 1900 2500 3041

( )字表大小字数

(%)

覆盖

率



书写者抽样













目标人群在校大学生高年级高中生政府公务人员

目标人群确定理由笔迹定型的证据减少抽样偏差适合应用背景减少资源的开销

采样策略全国分成南、中和北三个区域按照就近原则选择书写者



书写者抽样













60.69 61.37

0

20

40

60

80

100

采样数据 04年统计数据

(%)

理科

生比

例

60.69 61.37

0

20

40

60

80

100

采样数据 04年统计数据

(%)

理科

生比

例



书写者抽样













57.2562.54

57.2663.29

0

20

40

60

80

100

高中大学

男性

高中

生、

大学

生比

例(%

)

采样数据98年统计数据

57.2562.54

57.2663.29

0

20

40

60

80

100

高中大学

男性

高中

生、

大学

生比

例(%

)

采样数据98年统计数据



样本示例



手写行提取

横笔划特征点提取数据量为原来的 4%

纠斜算法特征点旋转集角度投影判决规则

水平投影法切分手写行得到 5667 个手写行共 8677 个手写行行边界的切分正确率 72.51%





n





手写行提取

中科院自动化所的进展最小生成树方法 + 距离学习算法匹配度 90% 时的检测率为 95.02%





n




HIT-MW 库的使用者


目录

3

研究依据






结论

1

2

4

5

6

7

1 研究依据 2 HIT-MW 库3 文本识别评价实验数据集识别率字符切分率4 切分识别5 无切分识别6 双策略组合7 结论


实验数据集

第一步随机抽取 383 幅手写行作为测试集 ( 共含 8471 字符 ) 。

第二步在剩余 5284 幅手写行中，删去与测试集中手写行同源 ( 同一个书写者 )的全部手写行。执行删除操作后， 3172幅手写行保留下来，进入下一步处理。

第三步类似第一步，选择 189 幅手写行作为验证集 ( 共含 4100 字符 ) 。

第四步进一步删除与验证集同源的手写行 (2306 幅手写行保留下来 ) 。

第五步随机在 2306 幅手写行中抽出953 份作为训练集 ( 共含 20701 字符 ) 。



实验数据集



识别率

识别正确 D 删除错误S 替换错误I 插入错误

识别正确率 RCR识别准确率 RAR



字符切分率

Hong 算法Liu 算法

改进：加入识别信度信息



字符切分率

Hong 算法示例

Liu 算法示例

Ns表示切分正确的字符块Nb表示切分总块数Nt表示实际总块数



字符切分率

切分正确率 SCR

切分精确率 SPR

切分偏差率 SBR



目录

4

研究依据






结论

1

2

3

5

6

7

1 研究依据 2 HIT-MW 库3 文本识别评价4 切分识别总体结构矫形新观点改进 MQDF

5 无切分识别6 双策略组合7 结论


总体结构

孤

立

汉

字

识别

预处理

特征提取/ 选择

模式分类

字符

缩放比率：自适应 vs 固定坐标变换：线性 vs 非线性网格划分：均匀 vs 弹性

Cell+FPF梯度en-FPF

MPTMMQDF2

汉字图像

字符切分

手写文本行

字符串

Hong 算法Liu 算法




手写矫形的新观点

设计新的字符切分方法时，如果证据仅来自一种矫形配置，其可信性可能并不成立

设计新的特征时，如果证据仅来自一种矫形配置，其可信性可能并不成立

设计新的分类器时，如果证据仅来自一种矫形配置，其可信性可能并不成立





不同矫形手段构成 8 种配置1 研究依据 2 HIT-MW 库3 文本识别评价4 切分识别总体结构矫形新观点改进 MQDF




差别 RCR=0.95% RAR=0.82%





差别 RCR=2.33% RAR=2.64%





差别 RCR=1.16% RAR=1.29 %




改进 MQDF 分类器

二次判别函数 (QDF) ：源于 Bayes 分类理论假设类条件概率密度为高斯分布

修改的 QDF(MQDF2) ：假设给类别等概率出现修改协方差估计公式

• 对大的特征值仍采用最大似然估计• 对小的特征值截止为

存在问题





加入先验信息可以从训练集估计也可以从大型语料库估计记作 MQDF3









实验结论加入先验之后，六个系统有明显提升用语料库估计的先验更具稳定性




目录

5

研究依据






结论

1

2

3

4

6

7

1 研究依据 2 HIT-MW 库3 文本识别评价4 切分识别5 无切分识别总体结构滑动窗嵌入训练算法解码算法与切分方法比较缓解数据不足改进特征提取6 双策略组合7 结论


总体结构

基于滑动窗的特征

提取 Viterbi算法

B-W算法

性能

手写真值

手写行

字符HMM

字符串



滑动窗



B-W算法

性能

手写真值

手写行

字符HMM

字符串

SW

..., oi, oi+1, ...



嵌入训练算法



B-W算法

性能

手写真值

手写行

字符HMM

字符串



拓扑结构


汉字 HMM

数字、标点等HMM


核心概念


手写行

中文手写识别

手写行的观测序列

手写行的标记真值

字符 HMM

语句 HMM

o1 o 2 o3 .. .. .. oi .. .. .. oT

“中”“

别”

...

...

...

......

中文手写识别


嵌入训练算法


...

... ...

...

...

第 q 个 HMM

i j

... ...


...

嵌入训练算法


... ...

i j


解码算法



B-W算法

性能

手写真值

手写行

字符HMM

字符串



解码算法


t-1 时刻 t 时刻

i

j

......


与切分系统的比较

无切分系统特征 : 四平面交叉特征 + 网格特征

切分系统特征 : 四平面交叉特征 + 网格特征分类器

• 多模板匹配法 (MPTM)• 改进的 MQDF(MQDF3)




80维融合特征的无切分系统

12模板匹配法





包含 Box-Cox 变换的 MQDF3





不含 Box-Cox 变换的 MQDF3




小结无切分识别策略具有巨大潜力同类型特征上的表现，无切分系统优于多模板匹配法同类型特征上的表现，无切分系统优于不含 Box-Cox

变换的 MQDF 同类型特征上的表现，无切分系统劣于含 Box-Cox 变

换的 MQDF• 原因：无切分系统没有任何的矫形手段



缓解数据不足

主成分分析 (PCA)巨方差绑定方法 (GVS)



缓解数据不足

16DCELL

64DFPF

80DFUS

36DPCA

36DGVS


缓解数据不足


缓解数据不足


缓解数据不足

1 研究依据 2 HIT-MW 库3 文本识别评价4 切分识别5 无切分识别总体结构滑动窗嵌入训练算法解码算法与切分系统比较缓解数据不足改进特征提取6 双策略组合7 结论


缓解数据不足

小结有效缓解数据不足问题对汉字识别至关重要



改进特征提取

竖平面记为 VT 更新公式：

横平面记为 HT撇平面 RT捺平面 LT



改进特征提取



改进特征提取

汉字识别率达到 50%



目录

6

研究依据






结论

1

2

3

4

5

7

1 研究依据 2 HIT-MW 库3 文本识别评价4 切分识别5 无切分识别6 双策略组合串行结构并行结构7 结论


总体结构



边界精化



字符切分比较


SCR比较


识别比较



总体结构



信度公式



信度公式



信度公式



识别结果



目录

7

研究依据


基于切分策略的文本识别系统

基于无切分策略的文本识别系统


双策略组合的文本识别系统

结论

1

2

3

4

5

6

1 研究依据 2 HIT-MW 库3 文本识别评价4 切分识别5 无切分识别6 双策略组合7 结论


结论

1. 建立手写文本研究的基本评价体系为评价文本的识别优劣，定义了识别正确率和识别准确率。两种准则可以有效刻画系统在删除错误、插入错误和替换错误上的平衡能力。

为了评价不同字符切分方法，定义了切分正确率、切分精确率和切分偏差率等准则。综合应用这三种准则，可以发现切分方法在数字、标点和汉字等不同字符类型上的切分能力以及在过切分和弱切分上的偏向性。

2. 从全新角度构建 HIT-MW 库 HIT-MW 库是国际上首个文本级别的中文手写库，它的收集

成功昭示着手写文本时代的开端。大量的支撑证据表明，这些基础数据可以视为全体中文手写

文本的代表子集；其上的识别结果，具有统计意义。目前，该库已为十多家科研机构采用。

3. 提出基于无切分策略的中文手写识别思路并证实其可行性训练时直接采用手写行，不需要对字符位置进行标记。可以刻画相邻字符间的连接关系。



结论

4. 无切分识别框架下提出增强的四平面交叉特征（ en-FPF） en-FPF 的方向平面包含了重构原始图像的全部重要信息。 en-FPF 在融合了简单的网格特征，并结合主成分分析和数据

共享方法之后，对汉字的识别正确率，在训练数据稀疏的条件下，仍超过 50% 。

5. 给出切分框架下手写矫形方面的指导意见设计新算法时，如果其支持证据仅依据于一种手写矫形配置上表现出的优势，那么其可信性可能并不成立。

理想的方案是比较待评价新、旧系统各自最优手写矫形配置上的结果。

6. 给出切分框架下改进的 MQDF 分类器 MQDF 分类器需要改进，以加入先验概率信息。进一步的分析显示，采用大规模语料估计的先验信息比直接从训练集估计的先验更具稳定性。



结论

7. 扩展多分类器研究的内容和范围组合输出分别为一串类和单个类（或候选列表）的系统，提高单个识别器的性能，是一个迄今仍未研究的问题。

定义字符匹配率用以反映两系统在某个识别正确率上的互补能力。

分别设计了串行结构和并行结构的双策略组合系统。



结论





多种特征变换

识别技术



无切分识别

手写预处理

特征提取

切分识别


致谢

导师张田文教授各位评审专家所有提供无私帮助的人

关德军、邓毅平、宋玲、张迪、夏辉、喻学才、谢海丹，孙玉凤、苏灿、邵光金

刘成林教授、金连文教授、丁晓青教授、付强博士、郭军教授、张洪刚教授、黎运阳、殷飞、陈霞等

李培华博士、马波博士、吴江华博士、张海英博士、王海晶博士、全红艳博士、王晓华博士、陈冬、邱兆文、蔺想红、王雪华、梅峰平、庞俊彪、江志勇、周宇、赵琦、刘小珍、武斌博、苏先宇等

张强博士、谢宗武博士、邱灵博士、李超、李彬、孟范伟、刘力平、汪春等

陈淑艳、宫美娜、张其顺、姜春晖等张牧、张新波、李金松等所有提供手写样本的朋友论文的匿名审稿人

Documents

研究内容概要