Tháng 11-2012

Phân tích được định nghĩa ngân hàng câu

hỏi trắc nghiệm

Sử dụng được máy chấm trắc nghiệm

theo bảng kiểm

Sử dụng được phần mềm làm ngân hàng

MCQ (EmpTest)

Đánh giá được độ khó, độ phân biệt, câu

nhiễu có giá trị của 1 câu MCQ

Chọn lựa được các câu MCQ có giá trị

Chỉnh sửa được các sai sót thường gặp về

mặt hình thức và nội dung

Là tập hợp các câu hỏi trắc nghiệm:

Đã sử dụng để thi

Đã đánh giá: độ khó, độ phân biệt, câu nhiễu

Đã chỉnh sửa

Đã quy định thời gian cho phép để trả lời

Đã ghi nhận số lần sử dụng

Đã ghi nhận thời điểm đưa vào

Độ khó

Độ phân biệt

Câu nhiễu có giá trị

Câu MCQ có giá trị

Phần trăm số người trả

lời đúng

Mức độ

70 -100 Khó I (câu dễ)

30 - 70 Khó II (câu trung bình)

0 – 30 Khó III (câu khó)

Không phụ thuộc vào đặc điểm nội tại của

câu hỏi mà phụ thuộc vào người dự thi.

Tính khó dễ thay đổi theo đối tượng dự

thi.

Trong đó:

G: nhóm học viên giỏi

KE: nhóm học viên kém

Chỉ số D Đánh giá câu trắc nghiệm

< 0.2 Kém, cần loại bỏ hoặc sửa chữa

0.2 – 0.3 Tạm được, cần sửa chữa cho hoàn chỉnh

0.3 – 0.4 Khá tốt, nhưng có thể làm cho tốt hơn

> 0.4 Rất tốt

Câu nhiễu có dưới 5% thí sinh lựa là câu nhiễu

không có giá trị

Độ khó từ 30-70%

Độ phân biệt > 0.2

Các câu nhiễu có giá trị > 10%

Ngoài ra, không có lỗi kỹ thuật, dựa vào

lâm sàng, suy luận để trả lời, đúng mục

tiêu

Top 10 những lỗi thường gặp

10. Các lựa chọn không đồng nhất về nội dung

9. Các cặp lựa chọn đồng nghĩa-đối nghĩa

8. Các lựa chọn trùng lặp nhau một phần hoặc câu

sau chứa toàn bộ câu trước

7. Sử dụng những từ có nghĩa tuyệt đối trong các

câu nhiễu (luôn luôn, chắc chắn, …)

6. Câu trả lời đúng là “Tất cả các câu trên đều

đúng”13

5. Các câu nhiễu được viết với cấu trúc và văn phạm khác hẳn nhau4. Các câu nhiễu có độ dài và độ phức tạp khác nhau3. Câu dẫn và các câu nhiễu có từ đồng nghĩa2. Câu dẫn và các câu nhiễu dùng trùng từ ngữ 1. Câu dẫn và câu đúng có cấu trúc ngữ pháp khác nhau

(Berk R A, 2002, ifmsa.org)14

◦ Lỗi chính tả, chấm câu, ngữ pháp

◦Đoạn văn lặp lại

◦Câu TRỪ MỘT (viết ở dạng khẳng định)

◦Nhiều đáp án ở câu C và D

◦Độ dài câu tuỳ chọn không bằng nhau

National Board of Medical Examiners

Y học là khoa học ứng dụng và kỹ năng

tay nghề học kiến thức LS để ứng

dụng

Andrology chỉ học những điều ứng

dụng được

Kiến thức LS nếu đặt vào bối cảnh LS sẽ

nhớ rất lâu

Sử dụng một tờ báo tốt hơn so với tạp chí. Bờ biển là một nơi tốt hơn đường phố. Lúc đầu, nên chạy hơn là đi bộ. Bạn phải cố gắng nhiều lần. Cần có một số kỹ năng nhất định, nhưng rất dễ thực hiện. Ngay cả trẻ em cũng làm được. Chim hiếm khi lại gần. Tuy nhiên, mưa có thể làm ướt sũng. Nhiều người làm cùng lúc sẽ gây ra vấn đề. Mỗi cái cần nhiều chỗ. Nếu không có biến chứng, mọi chuyện sẽ rất yên bình. Có thể dùng đá để neo. Nếu mọi thứ thoát ra, bạn sẽ không có một cơ hội thứ hai.

Mưa sẽ gây nguy hiểm. Sau một lúc sẽ khát nước. Sử dụng xi măng tốt hơn cỏ và cỏ tốt hơn đá. Có thể sử dụng một tay, nhưng chỉ nên làm khi ngồi. Xài dây xích sẽ tốt, nhưng không nên xài dây thừng. Nghiêng người về trước sẽ giúp rất nhiều, nhưng nghiêng nhiều hướng khác nhau sẽ trở ngại. Xài vỉa hè làm mọi người bực mình. Xài hai chân sẽ dễ dàng hơn. Gió có thể cản trở. Không thể đi ngược dễ dàng. Khá dễ để tìm hiểu và rất khó quên. Kinh nghiệm thường có sau khi bị đau. Móng tay dài gây trở ngại.

Những điều học được tốt nhất không phải

là những gì đã được dạy

Những điều học được tốt nhất là những gì

đã được kiểm tra

Muốn học viên học điều gì thì phải kiểm tra điều đó

Nếu GV dạy LS & biện luận, nhưng

• Chỉ kiểm tra trí nhớ & dữ kiện LS, thì

• SV sẽ học những dữ kiện LS

Và không quan tâm đến biện luận LS

Nếu động từ mục tiêu trong bài giảng là:

• Trình bày, nhận biết, nhớ, …

SV chỉ cần nhớ đơn thuần

Nếu động từ là: phân tích, đánh giá, áp

dụng, so sánh, phân biệt, chẩn đoán, dự

đoán, tìm mối liên quan,…

SV cần làm 3 việc:

(1) Nhớ kiến thức, (2) Giải thích, & (3) Đưa

ra những nhận xét

lý luận LS hay giải quyết vấn đề

Bài 1 Mục tiêu 1

Mục tiêu 2

Mục tiêu 3

Mục tiêu 4

Mục tiêu 5

Mục tiêu 6

Mục tiêu 7

Nhớ X X

Hiểu X X

Áp dụng X

Phân tích X

Tổng hợp X

Đánh giá x

Đánh giá lĩnh vực nào◦ Kiến thức – Thái độ - Kỹ năng

Mức độ năng lực◦ Biết – Biết cách – Áp dụng – Thực hiện

Mục đích của đánh giá◦ Quá trình học/đào tạo – Kết thúc môn/khóa

Giá trị về nội dung◦ Thấp – Trung bình – Cao

Độ tin cậy◦ Thấp – Trung bình – Cao

Đánh giá lĩnh vực nào◦ Kiến thức – Thái độ - Kỹ năng

Mức độ năng lực◦ Biết – Biết cách – Áp dụng – Thực hiện

Mục đích của đánh giá◦ Quá trình học/đào tạo – Kết thúc môn/khóa

Giá trị về nội dung◦ Thấp – Trung bình – Cao

Độ tin cậy◦ Thấp – Trung bình – Cao

U = Utility (Lợi ích) R = Reliability (tính tin cậy) V = Validity (tính giá trị) E = Educational impact (tác động giáo dục) A = Acceptability (tính chấp nhận được) C = Cost (chi phí) W = Weight (trọng số)

U = wrR x wv

V x weE x wa

A x wcC

van der Vleuten C. The assessment of professional competence: developments, research and practical implications. Advances in Health Sciences Education. 1996; 1: 41-67.

Tên Điểm (%)Câu

1 2 3

1 90 1 0 1

2 90 1 0 1

3 80 0 0 1

4 80 1 0 1

5 70 1 0 1

6 60 1 0 0

7 60 1 0 1

8 50 1 1 0

9 50 1 1 0

10 40 0 1 0

Tổng số 8 3 6

Câu

Tổng câu

đúng nhóm trên

Tổng câu

đúng nhóm dưới

Độ khóĐộ

phân biệt

1 4 4 0.8 02 0 3 0.3 -0.63 5 1 0.6 0.8

TênĐiểm(%)

Câu

1 2 3 4 5 6 7 8 9 10

1 100 1 1 1 1 1 1 1 1 1 1

2 90 1 1 1 1 1 1 1 1 0 1

3 80 1 1 0 1 1 1 1 1 0 0

4 70 0 1 1 1 1 1 0 1 0 1

5 70 1 1 1 0 1 1 1 0 0 1

6 60 1 1 1 0 1 1 0 1 0 0

7 60 0 1 1 0 1 1 0 1 0 1

8 50 0 1 1 1 0 0 1 0 1 0

9 40 1 1 1 0 1 0 0 0 0 1

10 30 0 1 0 0 0 1 0 0 1 0

Tổng số 7 10 8 5 8 8 5 6 3 6

Group A B* C D E F

Hi % 1 1 91 4 1 2

Lo % 20 6 51 14 6 3

Total % 9 2 76 8 3 2

D-index: -0,0

Group A B C* D E F

Hi % 0 1 60 3 3 3

Lo % 0 1 60 25 8 6

Total % 0 1 74 12 7 6

D-index: 0.33

Group A B C* D E F

Hi % 44 1 50 2 1 2

Lo % 20 15 21 22 20 2

Total % 32 7 34 14 11 2

D-index: 0.30

Group A B C* D E F

Hi % 18 10 51 17 2 2

Lo % 24 24 21 25 4 2

Total % 22 17 34 22 3 2

D-index: 0.30

Định nghĩa ngân hàng MCQ

MCQ: độ khó, độ phân biệt, câu nhiễu

Chọn MCQ giá trị: không lỗi kỹ thuật, bối

cảnh lâm sàng, suy luận, đúng mục tiêu

o Câu thi có tập trung vào một mục tiêu nhất định hay không?

o Vấn đề chính của câu thi có được phát biểu rõ ràng trong phát biểu gốc (stem) không?

oCác tùy chọn có chứa đoạn văn bị lặp lại không? Nếu có thì nên đưa vào phát biểu gốc (stem) và bảo đảm phát biểu gốc chỉ chứa các thông tin cần thiết.

o Phát biểu gốc ở dạng câu khẳng định?

o Các tùy chọn (alternatives) có rõ ràng không?

o Các tùy chọn có loại trừ lẫn nhau không?

o Các tùy chọn có “đồng dạng” không, tức không có tuỳ chọn nào đi lạc hướng?

o Các tùy chọn có vô tình chỉ ra câu trả lời không?

o Có nhiều tùy chọn kiểu “Tất cả đều đúng” hay “Tất cả đều sai” không?

o Câu thi có chứa các câu gây nhiễu (distractor) hiệu quả không?

o Có bảo đảm chỉ có một và chỉ một câu trả lời đúng?

o Các câu trả lời đúng có sắp xếp ngẫu nhiên ở mọi vị trí trong toàn bài thi?

o Cách trình bày câu thi có rõ ràng không?

oKiểm tra xem có lỗi chính tả, lỗi ngữ pháp, lỗi chấm câu không?

o Câu thi có chứa những từ ngữ quá khó không?

o Nếu bài thi đã được tổ chức thi rồi, thì kết quả của lần thi trước có được phân tích chưa?

oCâu có chứa nguyên văn trong sách giáo khoa không?