Tıp Eğitiminde Program Değerlendirme

Tıp Eğitiminde Program Değerlendirme

Dr. İskender SayekEmekli Öğretim Üyesi

Hacettepe Üniversitesi Tıp Fakültesi

Kocaeli Üniversitesi Tıp FakültesiTıp Eğitimi Seminerleri

9 Nisan 2013

Terminoloji• Evaluation/Assessment/Appraisal ...• Değerlendirme/ Ölçme-değerlendirme/Değerlendirme

• Evaluation/Research• Değerlendirme/Araştırma

• Output/Outcome• Ürün/Çıktı

• Curriculum/Programme• Müfredat/Program

Eğitimde Değerlendirme/Araştırma

• Değerlendirme: Yerel olarak kullanılacak veri ve bilgiyi üretmek için yapılan ve genellikle etik kurul onayına gerektirmeyen ancak etik ilkelere uygun olarak yapılması gereken (sonuçların kullanılabilirliğini arttırmak için) çalışmalar

• Araştırma: Genelleştirilebilir sonuçları üretmek için yapılan, akran değerlendirmesi olan bir dergide yayınlanması hedeflenen, etik kurul onayı gerektiren çalışmalar

Morrison J BMJ 2003; 326:385-87

Tıp Eğitiminin Özellikleri

• Karmaşık (Kompleks) bir sistem• Farklı komponentleri ve komponentler arası

etkileşim vardır• Değerlendirme bütüncül bir yaklaşım

gerektirir: Bireysel komponentlerin değerlendirilmesi yararlı değildir

• Programın tümü komponentlerinin toplamından fazladır

Frye AW, Hemmer PA. AMEE Guide No 67 Med Teach 2012;34:6288-99

Tıp Eğitimini Etkileyen Faktörler

Program özellikleri

Bileşenler ve düzenleyicilerin etkisi

Alan ile ilgilibilgi değişimi

İç ve dış faktörler

Eğitim ortamı

Program katılımcıları

Meslekiuygulamalar



• Tıp eğiticisi/eğitimcisinin sorumluluğudur• Eğitimde değişimin anahtarıdır• Program geliştirme için önemli • Eğitim programının durumunu ve bunu sağlayan

faktörleri belirler• Program geliştirme ya da eğitim programlarının

incelenmesi ile ilgilenenler değerlendirme ile ilgili teorik ilkeler çerçevesinde daha yapıcı ve etkin değerlendirme yöntemlerini kullanır


Tıp Eğitiminde Program Değerlendirme Nedir?

• Bir eğitim programının kavramsallığı, tasarımı, uygulamaları ve yararı ile ilgili verilerin toplaması, analizi ve yorumunu sağlayan sistematik bir yaklaşımdır.

• Bir kurs veya eğitim programı ile ilgili eleştirel değerlendirme yapma ve karar vermek için bilgi toplama sürecidir.

Wall D; in Understanding Medical Education 2010

Tıp Eğitiminde Program Değerlendirme Nedir?

• Eğitim programlarına bir ‘’değer biçme’’ sürecidir

• Eğitim programının tasarımı, uygulanması ve ürün/çıktılarının niteliğinin izlenmesi ve geliştirilmesi ile etkililiğini değerlendirmek amacıyla kullanılacak verilerin sitematik toplanması ve analizidir (ACGME)


TEPDAD : Program Değerlendirme

• Eğitim programının değerlendirilmesi, program geliştirme ve öğretim tasarımı sürecinin bir parçasıdır.

• Eğitim programının değerlendirilmesi, programın geliştirilmesi ve/veya etkinliğinin gösterilmesi amacına yönelik olarak eğitimle ilgili tüm ögeler üzerinden kesitsel ve/veya sürekli veri toplanması, analizi ve yorumlanması süreci olarak tanımlanabilir.

Program Değerlendirme İçin Nedenler

İç Nedenler

Dış Nedenler

Akreditasyon kurumlarıKaynak sunucular Eğiticilerin sorumlu olduğu kurumlar

Program çıktılarının ölçümlenmesiProgram geliştirme


• Eğitimin öğrenenin beklentilerini karşıladığının güvencesini vermek

• Eğitimde düzeltilmesi gereken alanları belirlemek• Kurum kaynaklarının uygun kullanımını sağlamak• Eğiticilere geri bildirim vermek ve teşvik

etmek/ödüllendirmek : Eğiticinin gelişimini sağlamak

• Tıp fakültelerinin ‘‘değerlerini’’ ortaya çıkarmak• Müfredat geliştirilmesini kolaylaştırmak

Tıp Eğitiminde Program Değerlendirme Amaçları?

Morrison J BMJ 2003; 326:385-87

Tıp Eğitiminde Program Değerlendirme Amaçlar ?

Tanınırlıkamaçlı değerlendirme

Bilgiamaçlı değerlendirme

Gelişmeamaçlı değerlendirme


Müfredatilişkili

Eğitim ve Öğrenmeilişkili

Ölçme-Değerlendirmeilişkili


• Müfredat– Müfredat/Program geliştirme– Öğrenim amaç ve hedeflerine uygunluğun değerlendirilmesi– Program çıktılarının değerlendirilmesi

• Eğitim ve Öğrenme– Öğrenenin gereksinimlerinin karşılanma güvencesi– Kötü/Uygun olmayan eğitimin belirlenmesi– Eğitim programlarının onaylanması– Eğitici ve kurumlara geri bildirim verilmesi– Eğiticilere yıllık değerlendirme– Yükselme ve kariyer geliştirme


• Ölçme-Değerlendirme– Ölçme-Değerlendirme çıktılarını değerlendirme :

sınavların değerlendirilmesi (Kurumsal , Ulusal)– Değerendirme araçları geliştirme: Değerlendirme

araçlarının geçerliliği ve güvenirliğinin değerlendirilmesi

– Değerlendirme stratejilerinin uygunluğunu belirleme

Program Değerlendirme Planlaması

Değerlendirmenin amaç ve hedefleri nedir?

Kimden ve nasıl bir veri toplanacaktır?

Verileri kim toplayacak ve analiz edecektir?

Hangi analiz, yorumlama ve karar verme süreç kuralları uygulanacaktır? Sorumlu kimdir?

Değerlendirme sonuçları kime verilecektir?


Program Değerlendirme Çeşitleri

Tanılayıcı Değerlendirme

Biçimlendirici Değerlendirme

Düzey BelirleyiciDeğerlendirme

Programa girişte yapılan değerlendirme

Program sürecinde yapılan değerlendirme

Program çıkışında yapılan değerlendirme

Demirel Ö Kuramdan Uygulamaya 2002


TanılayıcıDeğerlendirme

(Diagnostic Evaluation)

BiçimlendiriciDeğerlendirme

(Formative Evaluation)

Düzey BelirleyiciDeğerlendirme

(Summative Evaluation)Programa girişteyapılan değerlendirme:bilişsel davranışları,duyuşsal özellikleri vedevinişsel becerilerideğerlendirir Program sürecinde

yapılan değerlendirme:Öğrenme güçlükleriniortaya çıkarmak ve gerekli düzeltmeler ve planlama yapılması amaçlanır

Program sonundayapılan değerlendirme:Kazanılmış davranış, özellik ve becerileri ölçmeye yararan değerlendirme


Değerlendirme Modelleri

• Deneysel/ Yarı-deneysel modeller: Yeni uygulamalar ile eski uygulamaları karşılatırmak; uygulanması zor

• Kirkpatrick’in dört-düzey değerlendirme modeli: Program çıktıları ile ilgili değerlendirme

• Mantık modeli: Değişim sürecine odaklı; eğitimde yenileşim (inovasyon) içerikli

• CIPP (context/input/process/product) modeli

Kirkpatrick’in Değerlendirme HiyerarşisiSonuçla

rın Değerlendirilm

esi (Toplu

ma etkisi)

Tutum/Davranışın Değerlendirilmesi

(öğrenmenin çalışma ortamına taşınması)

Öğrenmenin Değerlendirilmesi (Gerekli bilgi ve beceriler)

Eğitilenin memnuniyeti ya da tepkisinin Değerlendirilmesi


Tıp Eğitiminde Kirkpatrick’in Hiyerarşisi

Sağlık hizmet

sunumunda iyileşme

Mesleki davranışta değişim

Öğrenme gerçekleşmesi

Yanıtlayanların memnuniyeti

Eğitim etkinliğine katılım


Kirkpatrick‘in Değerlendirmede Odaklanma Düzeyleri

• Düzey 1— Öğrenenlerin memnuniyet ve tepkileri

• Düzey 2a—Tutum ve algıların modifikasyonu• Düzey 2b—Bilgi ve becerilerin edinilmesi• Düzey 3—Davranış değişikliği• Düzey 4a— Kurumsal uygulamalarda değişim• Düzey 4b— Hasta yararı

Morrison J BMJ 2003; 326:385-87

Mantık (Logic) Modeli

Girdi Etkinlikler Çıktı (Outputs)

Ürün(Outcomes)

KaynaklarAlt yapıİnsangücüKurum kültürü

Girişimler StratejilerYenileşimlerHedeflenendeğişimler

Eğitilenin bilgi veya becerileriYeni bilgi vebecerilerin uygulanmasıHasta yararı

Eğitilen sayısıEğitici özelliğiÜretilen modülsayısı

CIPP Modeli

• CIPP (context/input/process/product) modeli– (Bağlam/ girdi/ süreç/ürün)

• Program geliştirme odaklı , programın başarısını ya da başarısızlığını göstermeyi hedeflemez

• Programın kısımlarının karmaşık, dinamik ve lineer olmayan bir ilişkide olduğunu fark eden yaklaşımlar için güçlü bir model

CIPP Modeli• Bağlam/ girdi/ süreç değerlendirmesi iyi leştirme odaklı :

Biçimlendirici değerlendirme (Formative)• Ürün değerlendirmesi düzey yükseltici değerlendirme

(Summative)• Bağlam Değerlendirilmesi: Yeni program planmada ya da

planlı değişimlerde yararlı– Programın amaç ve hedeflerini gereksinimlere, sorunlara ve

olanaklara göre belirler• Girdi Değerlendirilmesi: Eğitim planlamasında kaynak

kullanımı ile yeni program planlanması ve önerisinde yararlı, sürekli veri sağlar- tıp eğitiminde çok etkili

CIPP Modeli

• Süreç Değerlendirilmesi: program uygulanmalarını değerlendirmede etkili, çıktının değerlendirilmesini sağlar ve bir program değişiminde yararlı (Sürekli gelişim) – Program sonu değerlendirmede kullanılabilir– Program bileşenlerine tanınırlık sağlar

• Ürün Değerlendirmesi: Program çıktılarına odaklı değerlendirme– Olumlu-olumsuz, kısa-uzun dönem, beklenen-beklenmeyen

çıktıları değerlendirir, – Eğitim gereksinimlerinin ne kadar karşılandığını belirler

Değerlendirme Modellerinin Karşılaştırılması

CIPP Bağlam Girdi Süreç ÜrünMantık Model

Girdi Etkinlikler Çıktı Ürün

Kirkpatrick Eğitilen-ilgili çıktılarDeneysel/Yarı deneysel

Program içeriği ile çıktının lineer ilişkisi

Değerlendirme Evreleri

Planlama ve Hazırlık

Eğitim ve Öğrenim Etkinliği

Etkinlik ile İlgili Veri Toplanması

Yansıma (Refleksiyon) ve

Analiz


Eğitim Programlarında Etkililik Değerlendirmesi Evreleri

Veri Toplama

Verileri Ölçütlerle

Karşılaştırıp Yorumlama

Etkililik Hakkında

Karar Verme


Değerlendirme Yöntemleri

• Subjektif ve objektif ölçütler içerebilir• Niteliksel ve niceliksel yaklaşımlar olabilir• Fazla veri toplamaktan kaçınmak gerekir• Kolay uygulanabilir ve hızla kullanılabilir bilgi

üretmesi gerekir

Morrison J BMJ 2003; 326:385-87

Yöntemler• Görüşmeler

– Mülakatlar– Odak grup görüşmeleri

• Kurum ziyaretleri• Anketler• Grup görüşmeleri

– Kar topu inceleme (Snowball review) : Grup üyeleri tartışarak sonuca varır

– Nominal grup tekniği: Grup üyelerinin hepsi görüş bildirir• Öğrenci performans değerlendirmeleri

– Öğrenim çıktılarının değerlendirilmesi• Gözlemler

Öğrenci Değerlendirmeleri

• Geribildirimler, anket uygulamaları • En sık kullanılan yöntem• Çok değerli bilgi verir• Tek başına kullanılmamalı

Değerlendirme ÖrnekleriSubjektif Objektif

NitelikselOdak gruplarıGörüşmeler

NÖKS ile başarılı sonuçlandırılmış görevlerin analizi

NicelikselDeğerlendirmeler: Anket

Sınav sonuçlarınıneğilim değerlendirilmesi

Morrison J BMJ 2003; 326:385-87

Değerlendirme Araçları

• Öğrenci değerlendirmeleri

• Uzman değerlendirmeleri

• Dış değerlendirmeler• Öz-değerlendirme• Eğitim video kayıtları• Öğrenci görüşmeleri-

mülakatları

• Mezunların değerlendirmeleri

• İşveren değerlendirmeleri• Yönetici değerlendirmeleri• Eğitim Bursları/

Ödüllendirmeleri• Eğitim çıktılarının

ölçümlenmesi• Eğitim portfolyoları


• Değerlendirmede yanlı tutumu azaltmak için öğrenciler, eğiticiler, diğer klinisyen ve hastalar gibi gruplardan birden çok kişiden görüş alınmalıdır.

• Müfredatın tam etkililiği öğrencilerin mezun olmasından belli bir süre geçtikten sonra ancak belirlenebilir.

İdeal bir Değerlendirme

• Güvenirlik• Geçerlik • Değerlendiren ve değerlendirilen tarafından

kabul edilirlik• Düşük maliyetli

TEPDAD: UTEAK Standartları

• 5. PROGRAM DEĞERLENDİRME 5.1. Program değerlendirme sistemi TS.5.1.1. Tıp fakültelerinde, eğitim programını ve öğrencilerin gelişimini izleyen, programa ilişkin görüş ve önerilerin tanımlanması ve ele alınmasını sağlayan bir program değerlendirme sistemi mutlaka olmalıdır. Program değerlendirme sistemi, mutlaka, düzenli olarak toplanan öğretim üyesi ve öğrenci geribildirimleri ve eğitim programı hedefleriyle ilişkilendirilmiş öğrenci performansı izlemlerini kapsamalıdır.

• GS.5.1.1. Tıp fakülteleri evrensel eğitim programı değerlendirme modellerinden yararlanarak, fakülteye özgü kapsamlı bir eğitim programı değerlendirme sistemi geliştirilmelidir.

• GS.5.1.2. Program değerlendirme kapsamında programın bağlamı, girdileri, süreci ve çıktılarına yer verilmeli, mezunların tıbbi kariyerlerine ilişkin bilgiler değerlendirilmelidir.

• 5.2. Program değerlendirme sonuçlarının paylaşım ve kullanımı

• TS.5.2.1. Tıp fakülteleri program değerlendirme sonuçlarını mutlaka fakülte yönetimi, akademik görevliler, öğrenciler ile paylaşmalı ve programın iyileştirilmesi yönünde kullanmalıdır.

• GS.5.2.1. Tıp fakülteleri, program değerlendirme süreci ve sonuçlarının geçerlik ve güvenirlik kanıtlarını toplamalı ve göstermelidir.

• GS.5.2.2. Tıp fakülteleri dış değerlendirme yöntem ve süreçlerini kullanmalıdır.

Özet• Değerlendirme:– Müfredat geliştirmede kullanılabilmeli– Tıp fakültesinin akademik gelişimine pozitif süreç

olarak katkı sunmalı• Değerlendirme hedefleri – Açıkça tanımlanmalı– Öğretim çıktıları ile ilişkilendirilmeli

• Değerlendirme yapılırken:– Birden çok kaynaktan bilgi toplanmalı– Sonuçlar tüm katılımcılarla paylaşılmalı

• Öğrenenler:– Değerlendirme geliştirilirken mutlaka katkı

sunmalı– Görüşlerine değer verilmeli

• Değerlendirenler:– Değerlendirme sonuçlarına göre eksikliklerin

düzeltilmesi, yöntemlerin ve içeriğin iyileştirmesi ve güncellenmesi sağlanmalı

– Süreç tekrar edilebilmeli


Eğitim süreçlerinin önemli öğelerinden birisidir.

Uygulanan eğitim programının etkililiği

hakkında karar verme

Eğitim hedeflerinin karşılanma derecesini

tayin etme

Eğitim araçlarının niteliği ile ilgili sistematik

bilgi toplama aracı

Eğitim programına devam, değiştirme ya da yeni bir aşamaya geçme ile ilgili karar verme

Teşekkür ederim .....

Documents

Tıp Eğitiminde Program Değerlendirme