Upload
others
View
1
Download
0
Embed Size (px)
Citation preview
財團法人自行車工業研究發展中心
委託學術機構研究計畫書結案報告
計劃名稱 :
以機器視覺整合復健運動系統之開發
Development of the rehabilitation
systems with the machine vision
technology
執行期間:96 年 3 月 至 96 年 12 月
計劃主持人: 林宸生
研 究 生 : 李坤城
執行機構:逄甲大學
中華民國九十六年十二月十一日
i
目錄
目錄................................................................................................................................. i
圖目錄.......................................................................................................................... iii
表目錄............................................................................................................................ v
一、摘要....................................................................................................................... vi
二、 前言...................................................................................................................... 7
2.1 研究背景與動機............................................................................................. 7
2.2 產業現況及需求(國、內外) .......................................................................... 8
2.3 研究目的及其重要性..................................................................................... 9
2.4 研究範圍....................................................................................................... 10
三、 研究方法............................................................................................................ 14
3.1 理論基礎........................................................................................................ 14
3.1.1 色彩模形............................................................................................ 14
3.1.2 位置偵測............................................................................................ 16
3.1.3 影像分割............................................................................................ 18
3.1.4 角度計算............................................................................................ 20
3.1.5 熱量計算............................................................................................ 21
3.2 限制條件....................................................................................................... 23
3.3 系統架構....................................................................................................... 24
3.4 研究步驟....................................................................................................... 25
3.4.1 擷取推蹬動作膝關節影像................................................................ 25
3.4.2 偵測移動中物體................................................................................. 25
3.4.3 標記運算............................................................................................. 26
3.4.4 推蹬動作分析.................................................................................... 27
ii
3.4.5 腳推蹬動作消耗熱量計算................................................................ 29
四、 研究成果............................................................................................................ 32
五、 成果評估與應用................................................................................................ 35
六、 後續工作方向.................................................................................................... 35
七、 結論.................................................................................................................... 36
八、參考文獻.............................................................................................................. 37
iii
圖目錄
圖 2.1 醫療器材成長圖................................................................................................ 8
圖 2.2 電腦視覺體適能檢測...................................................................................... 11
圖 3.1 利用磁力式感應裝置的手套.......................................................................... 16
圖 3.2 超音波式頭盔.................................................................................................. 17
圖 3.3 機械式位置感測器.......................................................................................... 17
圖 3.4 灰度分佈圖...................................................................................................... 19
圖 3.5 灰度分佈圖(2) ................................................................................................. 19
圖 3.6 推蹬動作示意圖.............................................................................................. 20
圖 3.7 膝關節示意圖.................................................................................................. 20
圖 3.8 腿部推蹬訓練機.............................................................................................. 24
圖 3.9 系統整體架構.................................................................................................. 25
圖 3.10 腿部推蹬動作示意圖..................................................................................... 25
圖 3.11 影像分割流程圖 ............................................................................................. 26
圖 3.12 腳部標記和角度運算.................................................................................... 27
圖 3.13 推蹬動作角度變化圖.................................................................................... 27
圖 3.14 硬體與環境配置圖........................................................................................ 30
圖 3.15 系統流程圖.................................................................................................... 31
圖 4.1 膝關節特徵物體量測(彎曲時) ....................................................................... 32
圖 4.2 膝關節特徵物體量測(伸直時) ....................................................................... 32
圖 4.3 物體邊緣化...................................................................................................... 33
圖 4.4 肌耐力訓練復健介面...................................................................................... 33
圖 4.5 遊戲介面.......................................................................................................... 34
圖 4.6 資料庫建立人機介面...................................................................................... 34
圖 4.7 歷史資料比較曲線圖...................................................................................... 35
iv
圖 7.1 復健運動器材.................................................................................................. 36
v
表目錄
表 2.1 未來高齡化人口趨勢........................................................................................ 8
表 2.2 1996~2006 年我國醫療器材工業市場趨勢 .................................................. 9
表 3.1 呼吸交換率的每公升耗氧卡值...................................................................... 22
表 3.2 運動強度與耗氧量對照表.............................................................................. 22
vi
一、摘要
由於社會人口逐漸趨於老化,再加上我國殘障人士中又以肢體殘障人士居
多,即以開發智慧型復健運動系統讓老年人能即由此系統運動達到更加健康,運
動傷害之人也能達到復健的效果,配合健康管理系統做後續的健康管理分析,並
以機器視覺來整合復建運動系統之開發。智慧型復健運動系統是以CCD和運動醫
療器材配合Borland C++ Builder軟體來開發,即由判別褲子顏色來進行肢體動作
識別,依個人腿長記錄起始和終止的位置,經多次訓練情況記錄來比較歷史資料
曲線圖,假如姿勢動作不正確以語音提醒機制來加以提醒。
關鍵字:影像分割、復健、位置偵測
7
二、 前言
2.1 研究背景與動機
由於世界平均生育率下降,全球人口已呈現普遍高齡化的現象。依照聯合國
對高齡化社會及高齡社會的定義,目前台灣老年人口約占總人口的 8.7%,已達
高齡化社會標準,預估到 2030 年老年人口將達 19.5%,正式進入高齡社會,而
到了 2040 年,老年人口預計達 25%,人口老化情形將更趨明顯。另依據內政部
統計數據顯示,民國九十年我國殘障人口比例佔人口總數之 3.37%,其中又以肢
體殘障者居多,佔所有殘障人口之 42.91%。顯示我國社會環境中因高齡或肢體
障礙而需要在各項設施設計及設置時予以特別考量的族群比例相當高。
據聯合國資料顯示,目前老年人口比率超過 20%的國家,包括德、日等國。
估計至 2050 年,我與捷克、美國等國也將加入。基此,以美國而言,至 2007
年,遠距醫療產業市場規模將呈近兩位數成長。
另一方面,台灣本身也已進入高齡化社會。根據行政院經建會民國 93 年 12
月所規劃的「醫療保健及照顧服務業發展綱領及行動方案」中所作的人口推估,
2003 年時,我國 65 歲以上人口比率,已超過 9%,而至 2020 年,則將高達 14
%;老人人口數在可預見的 50 年內,將增加近 400 萬人。我國人口老化速率僅
次於日本,為全球第二。可見世界各地的銀髮族市場,會在未來幾年日趨龐大。
據統計,全球醫療器材市場 2004 年為 1,562 億美元,以醫院用設備與器材
為主,佔 86%,其餘依次是醫用耗材與傢俱佔 11%、輔具佔 3%。
未來醫療照護、醫療復健的的需求日趨龐大,有鑒於此,為了減輕復健師的
負擔,及有效的掌握使用者的使用狀況,於是有了一個新的概念,結合復健器材、
生物特徵的識別[1]及機電技術的整合,設計一套智慧型復健系統整合生物特徵
判別之應用。
8
2.2 產業現況及需求(國、內外)
圖 2.1 醫療器材成長圖
(2003~2008 年全球醫療器材市場規模 資料來源:工研院 IEK-IT IS 計畫)
表 2.1 未來高齡化人口趨勢
(資料來源:工研院 IEK-IT IS 計畫)
台灣在醫療器材產業,已奠定相等雄厚的基礎,如以電動代步車為主要的必
9
翔實業,以血糖計和尿酸測試儀為主的五鼎生技及以福祉器材與防褥瘡襯墊為主
的雅博公司,在經歷多年的努力即積極部署後上市或上櫃,均有相當不錯的表
現。未來幾年若能配合適當條件,其發展潛力不容忽視[2]。
表 2.2 2001~2006 年我國醫療器材工業市場趨勢
項目 2001 年 2002 年 2006 年
產值(NT 億元) 270 318 650
工廠數 350 380 500
從業人員 9,540 13,350 20,000
內銷 29 31 23
外銷 71 69 77
資料來源:經濟部生物技術與醫療工業發展推動小組整理,2006
2.3 研究目的及其重要性
一個人如果長期不活動將使關節活動喪失,身體變得僵硬或殘障。長期臥床
或身體障礙實施正確的復健運動,將使他們受益良多[3]。
在現代社會中,老年人口正在逐年的成長,而據統計,65 歲以上的老年人
當中,有 88%的比例至少有一項以上的慢性疾病。雖然目前已經證實運動對老人
的健康有益,而且能提升行動的能力,但老人的生活普遍還是停留在少動的狀
態,因此怎樣讓老人瞭解運動對自己健康的重要性,是一個減少社會成本,同時
又能維護老人生活品質的重要課題。有學者提出三個因子,和人的行為能力息息
相關,一個是身體質量指數﹝BMI﹞,一個是有無吸煙,一個是身體活動程度。
美國賓州大學曾對 1741 位受試者做長達 32 年的追蹤,發現 BMI 小於 25、不吸
煙、有活動習慣的人,平均老化的速度會晚 5 年。因此,一個人的生活型態會決
定他的健康狀況。
10
復健運動的優點和目的[4]
1、使痙攣的肌肉鬆弛,維持其正常的功用。
2、預防關節變形攣縮。
3、促進血液循環,減少水腫發生。
4、增加活動的耐力與持久力。
5、增加身體的對稱性。
總之,老人運動復健的目的在於維持其活動性,鼓勵自己照顧生活鎖事並維護
老人自尊心。其原則在於鼓勵做自動自發性的活動。年老是人生必經之路,適當的
醫療照顧與家庭朋友的支持可以確保老年人平靜快樂的生活;給予老人適當且健全
的慢性醫療照護體系加以妥善照顧及復健。不僅使子女可安心於工作,解決社會問
題,老人亦能有自主有尊嚴的繼續生活著。
透過本研究來達到復健運動器材與遊戲做結合,讓老年人和運動傷害復健之人在
運動中也能達到互動的效果和增加趣味性,在遊戲中進行中就不知不覺消耗卡路
里,達到運動效果,不像傳統復健運動器材只是做單純的復健動作。
2.4 研究範圍
元智大學[5]應用於體適能活動視覺互動裝置之設計,此系統以單線發展的
架構,以畫面導引使用者順序進行體適能的檢測活動,輸入身高、體重…等身體
組成的資訊後,開始依柔軟度、肌力與肌耐力、瞬發力、以及心肺耐力…等等項
目逐一檢測。以電腦視覺來進行體適能檢測,則以對應傳統體適能檢測的要素,
進行發展下列四個活動來對應肌力、肌耐力、柔軟度、心肺耐力的檢測,這四個
活動為:1.舉旗活動、2. 打擊活動、3. 閃躲活動、4. 跳躍活動。電腦視覺體適
能檢測內容如下:
11
圖 2.2 電腦視覺體適能檢測
復健相關研究[6]
當手部無法正常的病人做復健時,復健師是否能在病人身上做出正確且可靠
的評估是很重要的。手部診斷的過程包含手部抓力量測、關節移動量測、面對震
動、溫度和碰觸的靈敏度量測。因為手部骨骼的複雜,復健師必頇做較多次的量
測以得到較準確的數字。這是個費時且不易做好的工作。在傳統的人工復健過程
中,有兩個主要問題發生:
1. 量測關節彎曲伸長角度時不易準確而且乏味。
2. 在測驗病人狀況時可重複性不高,導致同一個復健師必頇在同一個病人的同
一個復健步驟上重複測試,這對病人或復健師來說是
不方便而且不切實際的。
12
中風或跌倒之微監測裝置
本研究的目的即在於使用電子資訊儀器對中風或跌倒之微監測系統進行研
究。本計畫結合感測、數位式資料存取、網路及攝影等技術,提出「遠端數位中
風或跌倒之微監測裝置」,即時自動反應功能,其獨特的中風或跌倒偵測通報裝
置,而當病人有中風或跌倒時,系統可即時感知、自動通報的功能,在遇有病人
中風或跌倒之緊急情況時,提供保護功能並以主機或連線喇叭可即時發出警報聲
音,並以直撥呼叫方式,通知指定的對象,以便危機處理。本年度重點將本跌倒
偵測系統結合於多功能智慧衣上,搭配其它子計劃所設計之線路及通訊介面連結
以作實際測試,以將實際動作之訊號作擷取並加以分析,以達本系統之穩定。另
外本系統除了可應用於中風病人及老年人外,更可進一步應用於遠端監測之功
能,如應用於登山客上山登山之活動情形之訊號偵測。透過遠距數位中風或跌倒
之微監測系統,醫院看護者便可省卻許多親身視察的次數,且能夠幫助遠端需要
協助的人。
潛水鐘搶救行動一應用於重度癱瘓患者之眼控、頭控、吹控人機介面研究[7]
這是一個讓重度癱瘓的病人能夠寫書出版的兼顧科技與人文的研究計畫,預
期在影像式瞳位追蹤器、頭控系統、眨眼控制系統、吹控系統等人機界面做一先
導性分析測試及應用。本計畫中所開發的人機界面,我們稱之為潛水鐘救援人機
界面,以重度癱瘓的病人為使用對象,即使他們四肢無法活動,語言表達困難,
全身只剩下兩眼或頭部可以轉動,只要意識清楚,瞳位追蹤器、頭控系統、眨眼
控制系統、吹控系統等人機界面將會是他們與外界溝通的最佳管道。最終目標則
是希望藉由這些本土研發的人機界面能協助重殘傷友自力完成一本書之編製,以
呈現此計畫之整體成果,書名:潛水鐘救援行動。這本書可能是科技研發者、社
會服務者、多位病友利用合力的著作加上家屬、本計畫相關人員在人機界面的研
13
發心歷路程的文稿,如此則潛水鐘救援人機界面的研發計畫方可獲得成功的驗
證。
本研究計畫一方面要改良現有的人機界面系統,一方面也透過醫院、病友協會、
慈善及殘障團體等來篩選合適的使用人選,並配合醫療專業人員在臨床的評估與
訓練,來進行研究與推廣。這些本土研發的人機界面系統在計畫結束時必將會呈
現成功的案例,並公開發表,如此可使後繼的使用者產生激勵作用與建立對這些
本土研發的人機界面系統之信心。
機器視覺在人體動作分析之應用
人體動作分析在機器視覺裡也算是熱門研究,可能的應用面也相當廣泛,包
括有虛擬實境、智慧型監控、感知介面等,並且在這其中有許多的困難點有待克
服。建置一個從側身取像的靜態人體動作分析系統。使用CCD 光學元件的數位
相機作為影像擷取裝置,將乒乓球做為標記點,貼附於面向數位相機一側的人體
上、下肢主要關節點表面。利用機器視覺在人體動作分析上,主要分為下列幾個
步驟:(1) 影像擷取,(2) 影像前處理,(3) 標記點偵測,(4) 標記點分類,(5)
腰椎壓力計算。在研究方法上以下列步驟完成人體動作分析系統之研究:首先蒐
集有關人體動作分析的相關文獻與資料,整理所使用的各種技術,從中發展一套
有效的影像前處理及偵測標記點之方法。接著用自行發展的判斷法則對標記點位
置進行判斷所屬位置。對應出正確位置標記點的座標資訊,以及另外輸入受試者
的身高、體重、抬舉物重,可以帶入簡化的生物力學模式,推測出腰椎所承受的
壓力,提供作業人員對潛在可能造成傷害的姿勢或是抬舉負荷進行改善[8]。
14
三、 研究方法
3.1 理論基礎
3.1.1 色彩模形
顏色分割 (Color Segmentation)
顏色分割就是將影像中各種顏色做分類[9],最直接的方式就是將影像的長
條圖(Color histogram)裡作多重閥值,根據顏色的分佈做選擇性的過濾,將我們
所要的顏色區域從影像中分離出來。對於膚色分析來說,要找出膚色的區域就必
頇定義膚色的顏色為何,由於膚色與一般環境的色彩有顯著的差異,但在RGB
space 裡定義的影像顏色會因光源強弱的關係而有深淺的變化,所以直接在RGB
space 上作顏色的分割會有很大的誤差,因此許多研究就採用對光線強弱較不敏
感的色彩空間(Color space)對顏色做分割,如:正規化RGB、HSL、YCrCb、YIQ…
等,以下是膚色偵測常用的色彩空間:
1. 正規化RGB (Normalized RGB)
由於在RGB space 表示的影像,會因光源的亮度強弱使得物體本身相同顏色
的地方,在影像中所呈現的顏色卻顯得不同,但是只要對R與G 予以正規化,就
能使R 與G 對光線的靈敏度減少,其公式為:
BGR
Rr
(3.1)
BGR
Gg
(3.2)
我們只要將正規化所得到的r 與g,取代原先的RGB space,就能使顏色對光
線的靈敏度減少,針對膚色做適當的閥值選取,就能把膚色範圍從影像中分離出
來,由於B 對光線的靈敏度較小,在此可以忽略。
2. HSL
在HSL 色彩空間中,H 為色度(Hue),S 為飽和度(Saturation),L 則為亮度
(Luminance)。HSL 的優點是分離了影像中色彩和亮度的部分,對於顏色分割有
15
很好的效果,因此許多人臉偵測的系統都使此色彩空間[10],但缺點為電腦運算
複雜度較高,較不適合即時系統的需求。由於亮度已經被獨立出來,彼此之間的
關聯性很小,故適合做影像前處理,但由於電腦絕大部分都是以RGB 來表示,
所以必頇經由RGB轉換到HSL。轉換過程較為複雜,其公式如下:
)
)BG)(BR()GR(
)BR()GR(2
1
(cosH2
1
(3.3)
)B,G,Rmin(BGR
31S
(3.4)
3
BGRL
(3.5)
此外另有一與HSL 極為類似的色彩模型HSI,由於在膚色偵測中只需
要H 與S 即可,因此不再贅述。
3. YCrCb
YCrCb 為修改YUV 色彩模型所得到的,JPEG 壓縮用的即為YCrCb模型。
YCrCb 分別為一個亮度元素(Luminance)Y 以及兩個彩色素:Cb(Blueness)與Cr
(Redness),Y、Cr、Cb 與R、G、B 之間的關係如下:
128
128
16
B
G
R
0.0710.3680.439
0.4390.291.0148
0.0980.5040.257
C
C
Y
b
r (3.6)
YCrCb 也是利用亮度與色度分離的關係來做為做影像分割的色彩模型。
4. YIQ
YIQ 類似YCrCb,其為NTSC (National Television Standards Committee)傳送
影像時所使用的規格。如同YCrCb,YIQ 與RGB 也是屬於線性關係,公式如下:
B
G
R
0.3130.323212.0
0.327-0.275596.0
0.1140.5870.299
Q
I
Y
(3.7)
人臉偵測中顏色分割的目的就是要把人臉與背景分離開來,但在畫面中若含
16
有類似膚色的物體,則單純使用膚色偵測會太過薄弱,因此在處理完後還需搭配
其他的方式才能增加系統的可靠度。
3.1.2 位置偵測
在互動機制裝置中,有許多的應用都需要及時的位置偵測。如機器手臂、
CAD、生物力學… …等。都需要空間座標的即時偵測。一直到目前為止,已經
有許多位置偵測裝置發展得相當成熟了,並且有相關的產品在市面上販售,若是
依原理來區分的話,大致可區分為以下四類。
1. 磁力式(Magnetic Sensors)
磁力式的感應裝置[11,12]是利用一個低頻的磁場來偵測一個移動的物體在
三度空間裡的位置。這種低頻的磁場由一個發射(Transmitter)所產生的,相對的,
在所要偵測位置的物體上則會有一個接受器(Receiver),負責感應發射器所發射
出來的磁場。再計算磁力的大小,來判斷物件在三度空間的位置。計算後的數據
可以透過 RS-232 傳送到電腦上。
圖 3.1 利用磁力式感應裝置的手套
17
2.超音波式(Ultrasound Sensors)
超音波感測裝置[13]其原理類似磁力式的感測裝置,只是感測裝置所發射的
是超音波,而不是磁力。超音波式的感應裝置與磁力式類似的缺點,也就是在音
波傳遞的過程中,若是受障礙物遮蔽時,容易影響其準確性。
圖 3.2 超音波式頭盔
3.機械式 (3-D Probes)
機械式的感應裝置 [14][25]其原理是利用連桿、齒輪、彎曲感應器
(BendingSensor)、及其他一些機械結構所構成的,其特色就是位置準確度高,能
夠正確的得到待測物的位置,每秒可以偵測 200 個位置以上。
圖 3.3 機械式位置感測器
18
4.影像式感應器 (Image Sensors)
影像式的工作原理[16],是利用 CCD(Charge Coupled Device)或是PD (Photo
Diode) 等光電元件來抓取影像訊號,再將影像訊號做進一步的處理,以判斷所
要偵測物件,在空間中的位置。缺點是,這種判斷的方式需要較佳的電腦配備,
處理速度才不會過於緩慢。若是要判斷三度空間中的座標,則需要兩台以上的攝
影機,或是配合其他的裝置,待測物的位置資訊才能準確的被偵測到。
而國內的交通大學,則是利用兩台個人電腦,及兩台攝影機,來完成空間中
的定位,以設計了一套棒球遊戲系統[17]。但是利用影像來定位的方式仍有其存
在的缺點,即其背景需要單一化,若是太過於複雜的背景,容易會造成誤判的情
形。本研究主要是以影像式的位置偵測方式來測量待測物的位置,並將其應用在
復健系統。
3.1.3 影像分割
運動是人類和動物用以從不相關的背景取出移動中物體做為一個有力的線
索。在影像處理中,運動是由感應系統與被觀測的景象之間的相對位移產生的
[18]。
空間域技術
檢測兩幅分別發生於時間 1it 和 t 的影像 f(x, y, 1it )和 f(x, y, t)之間的變化,
最簡單的方法就是兩幅影像一個像素一個像素逐一做比較。這樣一個程序就形
成一幅差值影像,就是前一張與後一張做相淢的結果。假設我們有一個僅包含
靜態成分的參考影像,將具有相同背景但包括一移動物體的影像做比較,產生
抵消掉靜態成分的兩影像差值,只留下對應於非靜態影像成分的非零元素。
在時間 1it 和 t 時所取得的兩幅影像的差值影像定義成:
D(x ,y)=
otherwise0
T|)y,y,x(f)t,y,x(f|1 1i (3.8)
19
其中 T 為臨界值,當兩幅影像的灰階值在座標(x ,y)處有明顯差別時,D(x ,y)
在(x ,y)處才能為 1,其中是否有明顯差別由臨界值 T 所決定。
在動態影像處理中,D(x , y)中具有值 1 的所有像素都被認為是物體運動結
果。實際上,D(x , y)值為 1 時,也是雜訊出現的結果。一般而言,這些點在差
值影像中是孤立點,而去除它們一個簡單方法是在 D(x,y)中形成 4 連通或 8 連
通 1 的區域。
圖 3.4 灰度分佈圖
經過上式公式後=>
圖 3.5 灰度分佈圖(2)
20
3.1.4 角度計算
圖 3.6 推蹬動作示意圖
當腳做推蹬動作時,會有一彎曲的角度,所形成之角度為非等腰三角形,所
以將非等腰三角形分為兩個直角三角形,再利用三角關係來計算出它的角度值。
膝關節「角度算法」
圖 3.7 膝關節示意圖
21
當腳做推蹬動作時,會有一彎曲的角度,所形成之角度為非等腰三角形,將
非等腰三角形分為兩個直角三角形
1A =tan-1
(BD/ AD) (3.9)
2A =tan-1
(CD/ AD) (3.10)
將兩個直角三角形分別算出 1A 和 2A 後相加,即為膝蓋彎曲的角度值 A 。
3.1.5 熱量計算
運動的過程中,熱量的消耗其實是透過運動過程中的氧氣消耗量與二氧化碳
產生量推算,不僅可以評估運動過程的實際能量消耗,甚至更進一步可以用來評
量運動時的脂肪與葡萄糖消耗比例。
首先,運動參與者必頇先瞭解到,如果人體以葡萄糖做為能量來源時,每消
耗 1 公升的氧氣會產生 1 公升的二氧化碳,也就是說,以葡萄糖為能量來源時
的呼吸商(respiratory of quotient,簡稱 RQ,體內局部組織的二氧化碳產生量除以
氧氣攝取量)等於 1;以脂肪為能量來源時的 RQ 約等於 0.7;以蛋白質為能量來
源時的 RQ 約等於 0.8。不過評量人體內的組織呼吸狀況,有其執行上的困難存
在,因此,透過人體參與運動時的肺部氣體交換狀況(呼吸交換率,respiratory
exchange ratio,簡稱 RER,肺部氣體交換時的二氧化碳增加量除以氧氣消耗量)
的測量,再加上蛋白質僅在激烈運動時,才有少量參與提供能量的現象;可以依
據肺部的氣體交換,評量出運動過程的能量消耗。
一般來說,人體在靜止休息時的 RER 約 0.82、在極低強度(散步、慢跑、輕
鬆騎車)運動時的 RER 反而下降(約 0.75 至 0.80 之間)、接近最大運動時的 RER
約等於 1。也就是說,人體在低強度運動狀態下,脂肪參與提供能量的比例較高,
隨著運動強度的增加,RER 也隨著上昇,葡萄糖參與提供能量的比例也增加;
22
在最大運動狀態下,則幾乎皆以葡萄糖提供能量。當 RER 等於 0.85 時,葡萄糖
與脂肪各提供一半的身體能量需求。
除此之外,如表 1 所示,隨著 RER 的上昇,人體每消耗 1 公升氧氣所能產
生的能量也隨著增加;例如當 RER 等於 0.8 時,人體消耗每公升氧氣能夠產生
4.801kcal 的能量;當 RER 等於 0.9 時,人體消耗每公升氧氣能夠產生 4.924kcal
的能量;當 RER 等於 1 時,人體消耗每公升氧氣則能夠產生 5.047kcal 的能量。
儘管最低與最高能量產生的差異不到 1﹪,但是,隨著運動強度增加,逐漸提高
每公斤氧氣的能量消耗趨向,卻也是不爭的事實[19]。
另外每個人的平均安靜攝氧量(或稱為休息代謝率)為每分鐘約需消耗 0.3 公
升的氧。如表 2 所示,人體的氧攝取量與運動強度呈正比關係,因此,人體的氧
攝取量高低是身體活動水準的指標。輕鬆的運動,每分鐘攝氧量在 0.75 至 1.50
公升間(心跳率在 120 以下);中等強度的運動,每分鐘攝氧增加至 2.0 至 2.5 公
升(心跳率在 140 至 160 間);令人筋疲力竭的激烈運動,每分鐘攝氧超過 3.0 公
升 (心跳率在 200 上下) [20]。
表 3.1 呼吸交換率的每公升耗氧卡值
表 3.2 運動強度與耗氧量對照表
23
經由上述,可得運動時全程消耗的熱量為 Cn,其中 Cn 的相關參數包括人體
依運動強度每分鐘所需的氧氣為 yS ,人體依呼吸交換率(RER)每公升氧氣所消耗
的熱量為 yR ,運動全程所用的時間T,由表 1 及表 2, 1Y (大卡/每公升氧氣),
1X (RER), 2Y (氧氣/分鐘), 2X (心跳率) 可得下式知運動時的能量消耗可以透過
下列的算式來評估,令運動時間為 T,即可經由下列式子得知全程消耗的熱量為
Cn:
1 2 1 2Cn[S(Y ),R(Y ),T]=Y Y T (3.11)
2
1 1 1 1Y ( ) 0.2 0.8729 3.975X X X (3.12)
6 3 2
2 2 2 2 2( ) 4 10 0.0016 0.1749 6.1524Y X X X X (3.13)
3.2 限制條件
起始條件 : 本系統主要是利用推蹬機配合CCD攝影機擷取膝關節影像傳送
到 PC 經過影像處理技術和遊戲做一個巧妙結合在投影至大螢幕跟使用者做互
動。在一開始設定時,背景方面盡量將背景單純化,光線不要太亮或太暗,一定
要擷取到膝關節影像才能偵測角度範圍。
邊界條件 : 膝關節推蹬之影像不要超過攝影機擷取範圍。
24
3.3 系統架構
圖 3.8 腿部推蹬訓練機
利用 CCD 擷取推蹬動作影像傳送至 PC,再經由影像處理技術跟遊戲結合並
投影到大螢幕上和復健者做趣味性的互動,即以達到運動和樂趣的雙動效果。
25
圖 3.9 系統整體架構
3.4 研究步驟
3.4.1 擷取推蹬動作膝關節影像
首先將使用者推蹬動作利用 CCD 攝影機偵測腳部膝關節影像,如圖 3.10
圖 3.10 腿部推蹬動作示意圖
3.4.2 偵測移動中物體
使用影像處理之影像分割技術將移動中物體擷取出來,如圖 3.11
26
圖 3.11 影像分割流程圖
3.4.3 標記運算
將擷取到之腳部影像做四點標記來計算出其使用者推蹬動作角度,如圖 3.12
27
圖 3.12 腳部標記和角度運算
3.4.4 推蹬動作分析
利用推蹬動作分析來計算出遊戲相對之位移量,如圖 3.13
圖 3.13 推蹬動作角度變化圖
28
由圖 3.13 可知,腳在一開始做推蹬動作是呈彎曲的形狀,角度為最小值,
當慢慢往前做推蹬動作彎曲的角度會越來越大,做收回則彎曲角度越來越小,每
次推蹬動作的最大、最小角度值都不一樣。
設 Initial ref minmax , uflag 為曲線上升之旗標, dflag 為曲線下降之旗
標
i1i 為前一角度和後一角度之差值
當腳做推蹬(曲線上升)時
1imaxu thentrueflag& 0if
otherwise0
1)(ifkoffset
refmaxd (3.14)
式中 offset 為位移之總偏移量, kd 為 )( refmax 角度差乘上一常數 K
倍, 1 為角度臨界值。
maxref , uflag =false, dflag =true;
當腳做推蹬收回(下降曲線)時
1imind thentrueflag& 0if
otherwise0
1)(ifkoffset
minrefd (3.15)
minref , uflag =true, dflag =false;
以上就完成一腳部推蹬收回的分析動作,如此一直重覆下去。
一開始設 max 、 min 、 ref 為初始角度值, uflag 、 dflag 為曲線上升下降
動作之旗標,當腳做推蹬動作角度變化呈現曲線上升時,後一次 1i 與前一次 i
角度差值為 ,當差值 大於零和 uflag 等於 true 則 max 就為 1i ,一直到達
29
曲線之最高點即為 max , max 跟初始角度參考值 ref 做相減大於角度臨界值
1 時就偏移一個位移量 koffset d , d 為 max 和 ref 的差值,k 為固定
移動倍率,當 d 越大,偏移之位移量 offset 也就越大, maxref 來重設參考
值; 當差值 小於零 min 就為 1i ,一直到達曲線之最低點即為 min ,偏移量
計算與前一個方法相同,此時 minref 來取代新的參考值。
以斜率方式來求出最大值 max 、最小值 min :
利用兩點式公式: i1i
i1i
12
12
ttxx
yym
(3.16)
式中 1i 為後一個角度值, i 為前一個角度值, 1it 為後一個時間, it 為前一個
時間,角度差比上時間差即為所得之斜率 m。
當斜率 m 由正斜率變化到負斜率,即為曲線上升之最高點 max ;反之,負斜率變
化到正斜率即為下降至最底點 min ,即由最大值與最小值之差來算出位移之偏
移量。
3.4.5 腳推蹬動作消耗熱量計算
設 i 為腳推蹬前一次與後一次角度差值, i 為角度變化臨界值, iQ 為消
耗之熱量, iC 為每公升氧氣所消耗之卡路里, it 為運動時間。
110if
)t(D)(CQ 11111
nn1nif
)t(D)(CQ nnnnn (3.17)
n
1i
iiii
n
1i
i
n321T
)]t(D)(C[
Q
QQQQQ
(2.18)
30
TQ 為腳推蹬運動之消耗總熱量
當腳做推蹬動作會有一角度位移差,所消耗之熱量為每公升氧氣所消耗之卡
路里和每分鐘所耗之氧量和角度差 i 與運動時間 it 有關, iD 可視為運動強度
因子,隨著角度不同,膝蓋推蹬時保持在某一角度所耗之熱量也就不同。
CCD
主機
螢幕
背景
圖 3.14 硬體與環境配置圖
本研究以機器視覺整合腿部推蹬訓練機達到互動遊戲的效果,本系統包含
腿部推蹬訓練機、PC、和影像擷取裝置,即由 CCD 擷取腳部推蹬動作到
PC 將影像做分割,取出移動中物體做標記分析並算出其彎曲之角度,
如復健者彎曲角度少於 60 度將以語音提醒復健者做修正,藉由遊戲過
程中,慢慢復健,使病患的膝關節可以彎曲至 60 度以內,逐一調整膝關節的角
度。遊戲操作過程中,操作者坐在座椅上,一旁由 CCD偵測腳部,腳部則支撐腳
踏板,讓膝關節做尺蠖運動,使移動式座椅以傾斜 45 度由左下至右上移動。根
據遊戲介面顯示,可看出操作者能夠彎曲腳部的角度,然後每天逐一紀錄,讓操
作者的腳部能隨著遊戲中的運動,慢慢調整及伸展腳部。
31
啟動BCB互動程式
開啟CCD攝影機
開始監控
進入特徵物體(操作者的腳膝 )
參數調整1取樣率
(Sampling Rate)
調整取樣率來增加讀取速度
參數調整2二值化
(Threshold)
調整二值化來偵測特徵物體的三點座標值
檢查三點座標是否穩定
進入遊戲打磚塊
利用腳部模仿尺蠖運動來操控遊戲中
的托盤
遊戲結束
調整背景與CCD偵測的範圍
是
否
是否繼續進行遊戲
否
是
按「離開」或「上一頁」
按「Start」繼續
觀察膝關節角度
圖 3.15 系統流程圖
32
四、 研究成果
圖 4.1 膝關節特徵物體量測(彎曲時)
圖 4.2 膝關節特徵物體量測(伸直時)
33
圖 4.3 物體邊緣化
圖 4.4 肌耐力訓練復健介面
34
圖 4.5 遊戲介面
圖 4.6 資料庫建立人機介面
35
圖 4.7 歷史資料比較曲線圖
五、 成果評估與應用
利用本系統在醫院取 50 個復健者來做測試,透過這樣的方式能直接知道系
統是否人性化和操作方便,將其缺點做進一步改善,讓其系統更加完整穩定。近
年來國外許多研發活動的大量投資極大地影響了機器視覺檢測設備市場的發
展。為了能在這個競爭激烈的環境中立於不敗之地,製造商需要跟得上市場的變
化,並同時提供能夠充分滿足客戶需求的技術。機器視覺具有精確、高速、高可
靠性等優點,廣泛應用在工業自動化生產與檢測設備。再加上醫療照護、醫療復
健的的需求日趨龐大,為了減輕復健師的負擔,及有效的掌握使用者的使用狀
況,於是有了一個新的概念,結合復健器材、生物特徵的識別及機電技術的整合,
設計一套智慧型復健系統整合特徵物體判別之應用。
六、 後續工作方向
1. 腿部推蹬訓練機在肌持力的功能上能做加強,加強與操作者的互動方式,
增加其趣味性。提昇遊戲複雜性,增加腳部的上下平移設定。增加遊戲的
模組,遊戲介面簡易化,讓老年人也能夠馬上上手操作。
36
2. 研究姿勢辨識,手勢辨識的功能開發、姿勢運動的開發,利用手的動作與
遊戲做互動。或用手代替滑鼠或鍵盤來控制游標左右上下移動。
3. 與腳踏車、平衡板等運動器材做結合互動之遊戲系統雛形開發。不用限定
平衡板的顏色。以 CCD 偵測平衡板,來做互動遊戲。像是做躲球的動作。
4. 研發新的遊戲模式,增加其互動性和聲光效果。
5. 利用兩台 PC 做區域連線對打。
6. 在 CCD 追蹤方面,利用反光貼片貼至腳部做追蹤。
7. 以雙 CCD 偵測三維空間中之物體來執行 3D 遊戲之互動。
七、 結論
隨著現今科技的成長,更多人將注意到醫療工程這塊領域。然而遊戲與醫療
做結合,可讓此產品潛力無窮,更可互惠操作者,若將此產品帶入市場,即可達
到另一潮流,一項運動與遊戲互動結合的表現。讓老年人在家就能即由此系統達
到運動健康效果,不會造成關節退化,間接也能讓子女出外工作能放心,運動傷
害之復健者即由健康管理系統自己做復健記錄和歷史資料曲線圖的呈現,讓復健
者能隨時了解自己的訓練情況,進而達到復健效果,搭配上互動遊戲增加其在復
健運動之趣味性,而不只是單純反覆做一樣的動作。
圖 7.1 復健運動器材
37
八、參考文獻
[1] 王茂駿、吳文言、林國照,自動化人體計測系統中標記點辨識,第十屆中華
民國人因工程學會年會暨研討會論文集(2003)。
[2] http://www.standards.org.tw/Download/htm/health_2.asp
[3] 高雄基督教信義醫院復建中心, “基本復健運動”, 財團法人高雄基督教信義
醫院,2005年。
[4] 衛教專區, “人工髖關節置換術之復健”, 台灣復健醫學會,2006年。
[5] 陳立德,應用於體適能活動視覺裝置之設計,元智大學資訊傳播學系碩士論
文,2004年。
[6] 鄭啟英,虛擬實境在復健之應用,國立中央大學機械工程所碩士論文,1999
年。
[7] 林宸生,”潛水鐘搶救行動”,逢智科技股份有限公司,2002年。
[8] 吳燿全,人體姿勢重建與動作辨識的研究,清華大學資訊工程學系碩士論文
(2005)。
[9] Lae Kyoung Lee, Sungshin Kim, Young-Kiu Choi, and Man Hyung Lee,
“Recognition of hand gesture to human-computer interaction,” The 26th Annual Conf.
of IEEE on Industrial Electronics Society, vol.3, pp.2117-2122, 2000.
[10] http://cmm.ensmp.fr/~demarty/CTI/segmentation_couleur_ang.html
[11] X. Xie, R. Sudhakar, and H. Zhuang, “A Cascaded Scheme for Tracking and
Head Movement Compensation,” IEEE Trans. Systems, Man, and Cybernetics - Part
A: Systems and Humans, vol. 28, no. 4, pp. 487-490, July 1998.
[12] G. Burdea and P. Coiffect, “Virtual Reality Technology”, John Wiley & Sons,
New York N.Y., 1994.
[13] F. H. Raab, E. B. Blood, T. O. Steiner, and Herbert R. Jones,“Magnetic Position
and Orientation Tracking System”, IEEE Transactions on Aerospace and Electronic
System, Vol. AES-15, No.5, September 1979, pp.709-717.
[14] H. A. Sowizral and J. C. Barnes, “Tracking Position and Orientation in Large
Volume ”, Proc. of IEEE Virtual Reality Annual International Symposium, Seattle,
W.A., September 1993, pp.132-139.
[15] G. Burdea, “Force And Touch Feedback For Virtual Reality”, John Wiley & Sons,
New York N.Y. 1996.
[16] J. Gradecki, “The Virtual Reality Construction Kit”, John Wiley & Sons, New
York N.Y. 1994.
[17] T. Takahashi and T. Sakai, “Teaching Robots Movement in Virtual Reality”,
IEEE/RSJ International Workshop on Intelligent Robots and Systems IROS ’91, Nov.
3-5 1991.
http://www.standards.org.tw/Download/htm/health_2.asphttp://cmm.ensmp.fr/~demarty/CTI/segmentation_couleur_ang.html
38
[18] 陳稔, ”融入與互動式虛擬棒球遊戲中真人揮棒打擊”, 國立交通大學資訊工
程系, 碩士論文, 民國 86 年。 [19] 繆紹綱,數位影像處理,台灣培生教育出版股份有限公司,2006。
[20] 王順正,運動時的能量消耗,運動生理週訊(第21期),August.27.1999
[21] 林正常, 活力指標:最大攝氧量運動生理週訊(第39期), January.07.2000
[22] Lae Kyoung Lee, Sungshin Kim, Young-Kiu Choi, and Man Hyung Lee,
“Recognition of hand gesture to human-computer interaction,” The 26th Annual Conf.
of IEEE on Industrial Electronics Society, vol.3, pp.2117-2122, 2000.