25
KSAT 電電電電電電電電電電電電 KSAT 電電 電電電電電電電電電電電電電電 () 電電電 電電電電電電電電 電電電電電電電 [email protected] http:// kbc.ntcu.edu.tw / 04-22183526 04-22183526

KSAT 簡介 (以知識結構為基礎的適性測驗)

Embed Size (px)

DESCRIPTION

KSAT 簡介 (以知識結構為基礎的適性測驗). 郭伯臣   國立台中教育大學 教育測驗統計所 [email protected] http://kbc.ntcu.edu.tw/ 04-22183526. Who am I?. 中文姓名: 郭伯臣 英文姓名: Bor-Chen Kuo. 國立台中教育大學 教育測驗統計研究所 暨 數學教育學系 副教授. 美國普渡大學 電機及資訊工程學院 博士 國立台灣師範大學 教育心理與輔導學系 博士班 國立台中師範學院 國民教育研究所 測驗統計組 碩士 - PowerPoint PPT Presentation

Citation preview

Page 1: KSAT 簡介    (以知識結構為基礎的適性測驗)

KSAT:電腦適性測驗診斷系統簡介

KSAT 簡介

(以知識結構為基礎的適性測驗)

郭伯臣  國立台中教育大學 教育測驗統計所

[email protected] http://kbc.ntcu.edu.tw/

04-2218352604-22183526

Page 2: KSAT 簡介    (以知識結構為基礎的適性測驗)

KSAT:電腦適性測驗診斷系統簡介

Who am I?

中文姓名:郭伯臣 英文姓名: Bor-Chen Kuo

美國普渡大學 電機及資訊工程學院 博士國立台灣師範大學 教育心理與輔導學系 博士班國立台中師範學院 國民教育研究所 測驗統計組 碩士國立台中師範學院 數理教育學系 數學組 學士

國立台中教育大學國立台中教育大學教育測驗統計研究所教育測驗統計研究所 暨 暨 數學教育學系數學教育學系副教授副教授

Page 3: KSAT 簡介    (以知識結構為基礎的適性測驗)

KSAT:電腦適性測驗診斷系統簡介

.教育資源分配 學測、基測

.教育政策評估 (臺灣學生學習成就評量資料庫)

.個人學習診斷

. KSAT 的屬性?

壹、教育測驗的功能運用

試題反應理論( item response theory , IRT)試題順序理論( ordering theory , OT )

Page 4: KSAT 簡介    (以知識結構為基礎的適性測驗)

KSAT:電腦適性測驗診斷系統簡介

.「以知識結構為基礎的適性測驗」 ( Knowledge Structure Based Computerized Adaptive

Testing System )

.學習的歷程遠比我們想像的複雜:

.專家知識結構

.學生知識結構

.補救教學結構

貳、何謂 KSAT ?

「因材施測」+「因材施教」=「量身定作」「因材施測」+「因材施教」=「量身定作」

Page 5: KSAT 簡介    (以知識結構為基礎的適性測驗)

KSAT:電腦適性測驗診斷系統簡介

94 年康軒第九冊中「三角形」單元教材地位( 4 個教學重點)

Page 6: KSAT 簡介    (以知識結構為基礎的適性測驗)

KSAT:電腦適性測驗診斷系統簡介

「三角形」單元補救教學結構 --- 以學生試題結構為主,參照專家知識結構建立補救教學結構

5-2 三角形內角和等於 180度

5 利用等腰三角形的特性求出未知的角度

3 認識等腰直角三角形

3-1 認識直角三角形

3-2 , 4-1 ,5-1 辨別等腰三角形

3-2-1 , 4-1-1 ,5-1-1 知道等腰三角形

4 找出等腰三角形

1-1-1-1-1 , 2-1-1-1-1 , 3-1-1 辨別直角

專家知識結構

1-1-1-1-1 ,2-1-1-1-1 ,3-1-1 辨別直角

5-2 三角形內角和等於 180度

5 利用等腰三角形的特性求出未知的角度

3 認識等腰直角三角形

3-1 認識直角三角形

3-2 , 4-1 ,5-1 辨別等腰三角形

3-2-1 , 4-1-1 , 5-1-1 知道等腰三角形

4 找出等腰三角形

學生試題結構

1-1-1-1-1 , 2-1-1-1-1 , 3-1-1辨別直角

5-2 三角形內角和等於 180 度

5 利用等腰三角形的特性求出未知的角度

3 認識等腰直角三角形

3-1 認識直角三角形

3-2 , 4-1 , 5-1辨別等腰三角形

3-2-1 , 4-1-1 ,5-1-1 知道等腰三角形

4 找出等腰三角形

補救教學結構

試題順序理論

Page 7: KSAT 簡介    (以知識結構為基礎的適性測驗)

KSAT:電腦適性測驗診斷系統簡介

.以精細的知識節點進行診斷測驗

.自動化選題,符合學生學習狀況

.當測驗精準度設定為 95%時,可比傳統紙筆測驗節省約 50% 作答試題

.具有「同分不同錯群」的鑑別能力

.嚴謹的題庫建制過程

.由教育測驗研究單位所開發

參、 KSAT 的特色

Page 8: KSAT 簡介    (以知識結構為基礎的適性測驗)

KSAT:電腦適性測驗診斷系統簡介

94 年康軒第九冊中「三角形」單元教材地位( 4 個教學重點)

Page 9: KSAT 簡介    (以知識結構為基礎的適性測驗)

KSAT:電腦適性測驗診斷系統簡介

5-2 三角形內角和等於 180度

5利用等腰三角形的特性求出未知的角度

3認識等腰直角三角形

3-1 認識直角三角形

3-2 , 4-1, 5-1 辨別等腰三角形

3-2-1 , 4-1-1, 5-1-1 知道等腰三角形

4找出等腰三角形

1-1-1-1 知道銳角

2-1-1-1 知道鈍角

1-1 知道銳角三角形

2-1 知道鈍角三角形

1-1-1-1-1 , 2-1-1-1-1 , 3-1-1 辨別直角

1-1-1 辨別銳角

2-1-1 辨別鈍角

1找出銳角三角形

2找出鈍角三角形

6-1 , 7-1辨別正三角形

7利用正三角形的特性求出未知的角度

7-2 利用平角的特性求出另一個角度

6-1-1 , 7-1-1 知道正三角形

6找出正三角形

8三角形兩邊和大於第三邊

9三角形中小角對小邊、大角對大邊

BACK

KSAT 中「三角形」單元專家知識結構( 23 個測驗節點)

Page 10: KSAT 簡介    (以知識結構為基礎的適性測驗)

KSAT:電腦適性測驗診斷系統簡介

「三角形」單元原有 23個測驗節點,整併為 17個補救教學重點

Page 11: KSAT 簡介    (以知識結構為基礎的適性測驗)

KSAT:電腦適性測驗診斷系統簡介

試題編號試題參數

(PROB) 試題編號試題參數

(PROB)鑑別度(a值 )

難度(b值 )

猜測度(c值 )

鑑別度(a值 )

難度(b值 )

猜測度(c值 )

MATH01 1.0069 -3.70753 0.19758 0.6593 MATH19 0.91784 -0.8746 0.21075 0.5161

MATH02 1.00249 -2.16866 0.1784 0.7994 MATH20 1.49836 -2.00788 0.21017 0.5381

MATH03 1.30297 -2.33338 0.169 0.0004 MATH21 1.71738 -1.29902 0.2241 0.895

MATH04 1.67396 -2.23351 0.18676 0.9497 MATH22 1.81938 -1.98953 0.16481 0.8846

MATH05 1.20188 -1.98152 0.16708 0.6642 MATH23 1.74759 -1.0733 0.28966 0.2343

MATH06 1.25081 -2.41926 0.18089 0.8681 MATH24 1.70848 -0.90887 0.22367 0.7484

MATH07 2.26457 -2.13333 0.17903 0.2214 MATH25 1.52807 0.15779 0.21109 0.2473

MATH08 1.56342 -1.63751 0.16824 0.8502 MATH26 1.04288 -0.84479 0.21142 0.3555

MATH09 2.24298 -1.417 0.13383 0.705 MATH27 0.86374 -0.6442 0.17866 0.6429

MATH10 2.56316 -2.23115 0.1875 0.6977 MATH28 0.72709 0.83311 0.1738 0.1874

MATH11 2.79472 -1.89395 0.18761 0.6422 MATH29 2.62345 -1.09285 0.36729 0.3211

MATH12 1.11756 -1.63533 0.19549 0.9984 MATH30 1.34503 1.06616 0.1099 0.1162

MATH13 0.96976 -2.92173 0.19008 0.2081 MATH31 1.00181 -0.73024 0.19367 0.0559

MATH14 1.02007 5.34459 0.21825 0.8949 MATH32 0.5992 -1.85117 0.20538 0.271

MATH15 1.34516 -2.89362 0.19099 0.9652 MATH33 1.47365 -1.0438 0.21786 0.5259

MATH16 1.97169 -0.84839 0.22329 0.2791 MATH34 1.77884 -0.94031 0.30227 0.2977

MATH17 1.33284 -2.30086 0.19554 0.1788 MATH35 1.11209 -0.23877 0.22457 0.0995

MATH18 1.67997 -2.48925 0.19386 0.783 MATH36 1.77762 -0.69653 0.24002 0.5308

Page 12: KSAT 簡介    (以知識結構為基礎的適性測驗)

KSAT:電腦適性測驗診斷系統簡介

• 試題分析• 試題 14 :下圖中共有多少個等腰三角形?

2 4 6 8

• 通過率 22.4 且鑑別度 -0.009• 分析原因可能是圖中含有形狀接近等腰三角形的

三角形,造成學生的誤答,爭議性較大,影響作答,故將圖形橫向放大,降低難度。

Page 13: KSAT 簡介    (以知識結構為基礎的適性測驗)

KSAT:電腦適性測驗診斷系統簡介

.以精細的知識節點進行診斷測驗

.自動化選題,符合學生學習狀況

.當測驗精準度設定為 95%時,可比傳統紙筆測驗節省約 50% 作答試題

.具有「同分不同錯群」的鑑別能力

.嚴謹的題庫建制過程

.由教育測驗研究單位所開發

參、 KSAT 的特色

Page 14: KSAT 簡介    (以知識結構為基礎的適性測驗)

KSAT:電腦適性測驗診斷系統簡介

.動態選題:根據學生的學習狀況、以學生的知識結構為主

.結構越正確,診斷迷思概念越精準精準

.結構越強,節省試題數越多

系統動態選題的概念

A

B C

D E F G H I

0

0 1

1 1 1 1待測 待測

待測

待測 待測

待測 待測 待測 待測01預測作答情形補救教學路徑

Page 15: KSAT 簡介    (以知識結構為基礎的適性測驗)

KSAT:電腦適性測驗診斷系統簡介

辨別直角 三角形內角和等於 180度

利用等腰三角形的特性求出未知的角度

認識等腰直角三角形

認識直角三角形

辨別等腰三角形

知道等腰三角形

找出等腰三角形

學生試題結構

甲生作答情形

答對答錯

預測答對

1-1-1-1-1 , 2-1-1-1-1 , 3-1-1辨別直角

5-2 三角形內角和等於 180 度

5 利用等腰三角形的特性求出未知的角度

3 認識等腰直角三角形

3-1 認識直角三角形

3-2 , 4-1 , 5-1辨別等腰三角形

3-2-1 , 4-1-1 ,5-1-1 知道等腰三角形

4 找出等腰三角形

補救教學結構

Page 16: KSAT 簡介    (以知識結構為基礎的適性測驗)

KSAT:電腦適性測驗診斷系統簡介

辨別直角 三角形內角和等於 180度

利用等腰三角形的特性求出未知的角度

認識等腰直角三角形

認識直角三角形

辨別等腰三角形

知道等腰三角形

找出等腰三角形

學生試題結構

乙生作答情形

答對答錯

預測答對

1-1-1-1-1 , 2-1-1-1-1 , 3-1-1辨別直角

5-2 三角形內角和等於 180 度

5 利用等腰三角形的特性求出未知的角度

3 認識等腰直角三角形

3-1 認識直角三角形

3-2 , 4-1 , 5-1辨別等腰三角形

3-2-1 , 4-1-1 ,5-1-1 知道等腰三角形

4 找出等腰三角形

補救教學結構

Page 17: KSAT 簡介    (以知識結構為基礎的適性測驗)

KSAT:電腦適性測驗診斷系統簡介

.以精細的知識節點進行診斷測驗

.自動化選題,符合學生學習狀況

.當測驗精準度設定為95%

時,可比傳統紙筆測驗節省約50%作答試題

.具有「同分不同錯群」的鑑別能力

.嚴謹的題庫建制過程

.由教育測驗研究單位所開發

參、 KSAT 的特色

Page 18: KSAT 簡介    (以知識結構為基礎的適性測驗)

KSAT:電腦適性測驗診斷系統簡介

.以精細的知識節點進行診斷測驗

.自動化選題,符合學生學習狀況

.當測驗精準度設定為 95%時,可比傳統紙筆測驗節省約 50% 作答試題

.具有具有「同分不同錯群」的鑑別能力「同分不同錯群」的鑑別能力

.嚴謹的題庫建制過程嚴謹的題庫建制過程

.由教育測驗研究單位所開發由教育測驗研究單位所開發

參、 KSAT 的特色

Page 19: KSAT 簡介    (以知識結構為基礎的適性測驗)

KSAT:電腦適性測驗診斷系統簡介

測驗代號 作答紀錄 總

分錯誤類型組別

錯誤類型描述

w00017 0,1,1,1,1,1,1,1,1,1,1,1,1,1,1,0,1,0,1,1,1,0,1,0,1,1,1 88 4 「最簡分數」、「兩異分母比較大小」

t00001 1,0,1,1,0,1,1,1,1,1,0,1,1,1,1,1,1,1,1,1,1,1,0,0,1,1,1 88 7 「最簡分數」、「約分」、「兩異分母比較大小」

t00006 0,1,0,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,0,1,0,1,1,1 88 9「最簡分數」、「約分」、「公因數」、「等值分數」、「兩異

分母比較」、「通分」

t00011 1,1,1,1,0,1,1,1,0,1,0,1,1,1,1,1,1,1,1,1,1,0,1,0,1,1,1 88 10

「最簡分數」、「約分」、「公因數」、「等值分數」、「兩異分母比較」、「兩同分母比較」、

「通分」

s20011 1,1,1,1,1,1,0,1,1,1,1,1,1,1,1,1,0,1,0,1,1,1,1,0,1,1,0 88 12「最簡分數」、「約分」、「兩

異分母比較」、「兩同分母比較」、「公倍數」、「擴分」

w20022 1,0,1,1,1,1,1,1,0,1,1,1,1,1,1,0,1,1,1,1,1,1,1,0,1,1,0 88 11

「最簡分數」、「約分」、「兩異分母比較」、「通分」、「兩

同分母比較」、「公倍數」、「擴分」

t20018 1,1,1,1,0,1,0,1,1,1,1,1,1,1,1,1,1,1,1,1,0,0,1,0,1,1,1 88 5 「最簡分數」、「兩異分母比較大小」、「通分」

「擴分、約分」單元 同分不同錯群 舉例「擴分、約分」單元 同分不同錯群 舉例

Page 20: KSAT 簡介    (以知識結構為基礎的適性測驗)

KSAT:電腦適性測驗診斷系統簡介

伍、 KSAT 測驗網站介紹

.目前的測試站 http://163.23.74.70/~ladder/

Page 21: KSAT 簡介    (以知識結構為基礎的適性測驗)

KSAT:電腦適性測驗診斷系統簡介

謝 謝 大 家!

Page 22: KSAT 簡介    (以知識結構為基礎的適性測驗)

KSAT:電腦適性測驗診斷系統簡介

94 年康軒版六上數學各單元

單元 名稱 信度預測精準度 =95% 預測精準度 =90%

施測題數

節省題數

節省百分比

施測題數

節省題數

節省百分比

K1101 數的十進結構 0.89 15 17 53.13% 7 25 78.13%

K1102 因數與倍數 0.931 19 13 40.63% 10 22 68.75%

K1103 平面與立體圖形 0.903 9 19 67.86% 8 27 96.43%

K1104 分數的加減 0.923 22 11 33.33% 7 26 78.79%

K1105 分數的乘法 0.921 17 12 41.38% 2 27 93.10%

K1106 小數的乘法 0.923 16 15 48.39% 11 20 64.52%

K1107 面積 0.875 14 14 50.00% 9 19 67.86%

K1108 比、比值與成正比 0.884 17 14 45.16% 14 17 54.84%

K1109 分數的除法 0.935 16 19 54.29% 10 25 71.43%

平均 0.91 48.24% 74.87%

Page 23: KSAT 簡介    (以知識結構為基礎的適性測驗)

KSAT:電腦適性測驗診斷系統簡介

94 年南一版六上數學各單元單元 名稱 信度

預測精準度 =95% 預測精準度 =90%

施測題數

節省題數

節省百分比

施測題數

節省題數

節省百分比

N1101 十萬以上的數 0.859 19 21 52.50% 9 31 77.50%

N1102 因數與倍數 0.869 13 18 58.06% 7 24 77.42%

N1103 形體的性質 0.865 10 22 68.75% 7 25 78.13%

N1104 分數的加減 0.914 16 19 54.29% 4 31 88.57%

N1105 圖形的面積 0.856 13 18 58.06% 5 26 83.87%

N1106 小數 0.88 14 20 58.82% 9 25 73.53%

N1107 容量和重量 0.91 14 16 53.33% 9 21 70.00%

N1108 怎樣列式 0.887 13 18 58.06% 6 25 80.65%

N1109 分數的乘法 0.938 11 15 57.69% 4 22 84.62%

N1110 土地的面積 0.928 16 17 51.52% 4 29 87.88%

N1111 小數的乘法 0.915 16 15 48.39% 6 25 80.65%

N1112 比和比值 0.914 15 14 48.28% 10 19 65.52%

平均 0.89 55.65% 79.03%

Page 24: KSAT 簡介    (以知識結構為基礎的適性測驗)

KSAT:電腦適性測驗診斷系統簡介

94 年康軒版五上數學各單元

單元 名稱 信度

預測精準度 =95% 預測精準度 =90%

施測題數

節省題數

節省百分比

施測題數

節省題數

節省百分比

K0901 整數四則 0.891 15 17 53.13% 6 26 81.25%

K0902 重量和容量 0.911 13 21 61.76% 5 29 85.29%

K0903 數列與圖形序列 0.843 16 19 54.29% 8 27 77.14%

K0904 分數的乘法 0.92 17 20 54.05% 7 30 81.08%

K0905 三角形 0.842 14 22 61.11% 6 30 83.33%

K0906 因數與倍數 0.903 15 16 51.61% 7 24 77.42%

K0907 時間的計算 0.929 15 21 58.33% 6 30 83.33%

K0908 統計圖表 0.843 8 21 72.41% 5 24 82.76%

K0909 體積和表面積 0.881 15 17 53.13% 7 25 78.13%

平均 0.885 57.76% 81.08%

Page 25: KSAT 簡介    (以知識結構為基礎的適性測驗)

KSAT:電腦適性測驗診斷系統簡介

94 年南一版五上數學各單元

單元 名稱 信度預測精準度 =95% 預測精準度 =90%

施測題數

節省題數

節省百分比

施測題數

節省題數

節省百分比

N0901 概數與概算 0.891 15 17 53.13% 6 26 81.25%

N0902 快慢和時間 0.923 21 14 40.00% 13 22 62.86%

N0903 垂直、平行和四邊形 0.845 25 13 34.21% 16 22 57.89%

N0904 小數和乘法 0.923 20 17 45.95% 9 28 75.68%

N0905 統計圖 0.804 16 17 51.52% 9 24 72.73%

N0906 立方公分 0.888 13 19 59.38% 7 25 78.13%

N0907 因數與倍數 0.916 22 14 38.89% 14 22 61.11%

N0908 長方體和正方體 0.889 16 14 46.67% 8 22 73.33%

N0909 容量 0.905 16 17 51.52% 8 25 75.76%

N0910 多邊形和內角和 0.912 15 19 55.88% 7 27 79.41%

N0911 怎樣計算 0.926 20 15 42.86% 8 27 77.14%

平均 0.893 47.27% 72.30%

Back