Akademik Değerlendirme ve Kalite Geliştirme Süreçleri İçin Bir Veri Toplama Sistemi

Salih Zafer Dicle1, Muhammet Damar2, Yaşar Dereli3 1 Dokuz Eylül Üniversitesi, Bilgi İşlem Daire Başkanlığı, İzmir

2 Dokuz Eylül Üniversitesi, Yönetim Bilişim Sistemleri AD. Yönetim Bilişim Sistemleri Bölümü, İzmir3 Dokuz Eylül Üniversitesi, Bilgi İşlem Daire Başkanlığı, İzmir

zafer@deu.edu.tr, muhammet.damar@deu.edu.tr, yasar@deu.edu.tr

Özet: Dokuz Eylül Üniversitesi Akademik Değerlendirme ve Kalite Geliştirme(ADEK) süreçlerinden genel sekreterliğe bağlı kalite birimi sorumludur. ADEK süreçlerinde farklı birimlerden farklı dönemlerde çeşitli süreçler için veri toplayabilmek, veriyi saklayabilmek ve veriye gerektiği zamanda ulaşabilmek çok önemlidir. Çalışmamızda kalite biriminin akademik değerlendirme ve geliştirme süreçlerindeki ihtiyaçları göz önüne alınarak Dokuz Eylül Üniversitesi Bilgi İşlem Daire Başkanlığı tarafından gerçekleştirilen Akademik Değerlendirme ve Kalite Geliştirme Birimi Veri Toplama Sistemi açıklanmıştır. Uygulama PHP programlama dili ve MYSQL veri tabanı kullanarak herhangi bir sisteme bağımlı olmayacak Şekilde bir içerik yönetim sistemi olarak gerçekleştirilmiştir. Uygulama bir web projesidir. Sistem farklı farklı birimlerden farklı raporlar için birim bazlı veri toplamaya imkân sağlamaktadır. Bir birimden veri toplamak havuza kişi atayıp, o kişiyi o birimle ilişkilendirmek kadar kolaydır. Kişiler sisteme girdiğinde sorumlu olduğu verileri görür ve gerekli veriyi sağlar. Geliştirilen uygulama, uygulama süreçleri ve uygulamanın kapsamının aktarılması, üniversitelerin içinde bulunduğu bologna süreci ve diğer kalite uyum süreçleri dikkate alındığında ve sistemin diğer üniversitelere örnek teşkil etmesi, fikir vermesi noktasında önemlidir.

Anahtar Sözcükler: Veri Toplama Sistemi, Akademik Değerlendirme ve Kalite Geliştirme, Kalite Birimi, Kalite Sistemi

A Data Gathering System for Academic Evaluation and Quality Improvement ProcessAbstract: Quality department of the general secretary is responsible from the Dokuz Eylul University Academic Evaluation and Quality Improvement (ADEK) processes. Collection and consolidation of data from different departments at various times, registration and accessibility of this precious data are very important parts of the ADEK processes. This study introduces the "Academic Evaluation and Quality Improvement Department Data Acquisition System" developed by the IT department of Dokuz Eylul University, according to the academic evaluation and improvement processes requirements of quality department. Data collection system software is a web project, which is developed by using PHP programming language on MySQL database as a content management system. The system allows department based collection of data from different departments for different reports. Collection of a departmental data is as easy as a user assignment and creating a relation with the department. When users logged in, they see the data they are responsible of and provide this data. When the data collection software, business processes, bologna processes of the universities and other quality improvement processes taken into consideration this study is an important, impressive model for other universities.

Keywords: Data Acquisition Systems , Academic Evaluation and Quality Improvement , Quality Unit, Quality System

1. Giriş

Günümüzde internet teknolojilerinin giderek artan rolü, birçok alanda olduğu gibi, veri toplama sistemleri ve verinin yönetimi noktasında bizlere büyük kolaylık kazandırmıştır[1]. Akademik değerlendirme ve kalite geliştirme Bologna Sürecine 19 Mayıs 2001’de Prag’da ülkemizin de katılmasıyla üniversitelerin sorumluluğu haline gelmeye başlamıştır[7]. Bologna sürecinin temel gerçeği, bilgi çağının rekabetçi ortamında yerini sağlamlaştırmak isteyen Avrupa Birliğinin, Bilgi Avrupa’sını yaratma gayesidir[5]. Yükseköğretim Kurumlarında Akademik Değerlendirme ve Kalite Geliştirme Yönetmeliği, 25942 Sayı ve 20.09.2005 tarihli Resmi Gazetede yayımlanarak yürürlüğe girmiştir ve kalite güvence konusunda ülkeler arası

işbirliğinin geliştirilmesi yönünde öngörülen çalışmaların başlatılması amacıyla gerçekleştirilmiştir[6].Yayınlanan bu yönetmelik kapsamında üniversiteler bir takım sorumluluklara sahip olmuşlardır. Akademik değerlendirme ve kalite geliştirme süreçleri birçok ihtiyacı beraberinde getirmektedir. Bu ihtiyaçlardan biri Yüksek Öğretim Kurumu’nun dönemsel istediği raporlara için üniversite içerisinde farklı birimlerden veri toplayabilmektir. İstenilen raporlar doğrultusunda, birbirinden bağımsız birimlerden, farklı zamanlarda istenen veriler dijital ortamdan bağımsız bir Şekilde toplanmaktadır. Veri dijital olarak saklanmadığında bir takım sıkıntıları beraberinde getirir. Bu doğrultuda süreçlerin sağlıklı bir Şekilde gerçekleştirilebilmesi için Dokuz Eylül Üniversitesi Bilgi İşlem Daire Başkanlığı, süreçlerden sorumlu biri olan kalite biriminin iş süreçlerini kolaylaştırıcı veri toplama sistemini gerçekleştirmiştir.

Şekil 1. DEÜ. Kalite Birimi Web Sitesi ve İçerik Yönetimi Giriş Ekranları

Geliştirilen sistem sayesinde farklı dönemlerde farklı birimlerden veri toplama imkânı sağlanmaktadır. Geliştirilen sistemin birçok fonksiyonu mevcuttur. Bu fonksiyonlar uygulama özellikleri noktasında detaylı bir Şekilde ele alınacaktır. Geliştirilen veri toplama sistemi sadece akademik değerlendirme ve kalite geliştirme süreçleri için değil merkezi yapılanmanın olduğu ve farklı birimlerden veri toplama gereksinimi olan birçok yerde kullanılabilir. Gerçekleştirilen uygulama bir içerik yönetim sistemi özelliğini de taşımaktadır[11].

Bilgi sistemleri, ticari, bilgi paylaşım ya da sunum amaçlı yapılardır. Bu yapılar, kâr amaçlı olsun ya da olmasın kullanıcıların memnuniyeti temel alınarak tasarlanmalıdır[2]. Gerçekleştirilen uygulama kullanıcıların gereksinimleri ve üniversitenin ihtiyaçları doğrultusunda ortaya çıkmıştır. Gelişen teknoloji birçok hizmetin web ortamından sunulmasına imkân tanımaktadır ve web bilgi sistemleri, belirli bir konuya ilgi duyan kişilere ya da belirli bir kullanıcı grubunun niteliklerine ve beklentilerine uygun bilgi ya da hizmet veren dijital ortamlardır[3].

Şekil 2. Bilgi Sistemi Başarı Modeli[4]

Şekil 2’de görünen DeLone ve Mclean’ın Bilgi Sistemleri Başarı Modeline göre bilgi sistemlerinin başarısı altı aşamalı bir yapıya bağlıdır. Bunlar; bilginin kalitesi, sistemin kalitesi, kullanıcı memnuniyeti, sistemin kullanımı, bireysel etki ve organizasyona etki olarak sıralanmıştır. Gerçekleştirilen çalışma bilgi sistemini gerçekleştirim noktasında kolay ve etkin kullanımı hedeflemiştir. Şekil 2 üzerindeki özellikler dikkatli Şekilde irdelenerek veri toplama sistemi bir web uygulaması şeklinde gerçekleştirilmiştir.

2. Yükseköğretim Kurumlarında Akademik Değerlendirme Ve Kalite Geliştirme Süreçleri

Yükseköğretim kurumlarında gerçekleştirilen akademik değerlendirme ve kalite geliştirme süreçleri Bologna süreci ile başlamıştır. 1990’lı yılların sonlarına doğru Avrupa Birliğinde eğitimde ve özellikle yükseköğretimde bilgi çağı dinamiklerine cevap verme temposunun giderek hız kaybetmiştir. Bununla beraber yükseköğretim sisteminin çıktıları olan öğrencilerin istihdam edilebilirliğine ivme kazandırma düşüncesi, Avrupa Birliğini 2010 sonunda gücünü bilgi ve bilimden alacak olan bilgi toplumuna dönüştürme girişimine başlamasına neden olmuştur. Bu girişimle başlayan sürece Bologna Süreci denmektedir[5].

Şekil 3. Yüksek Öğretim Kurumlarında Akademik Değerlendirme ve Kalite Geliştirme Ana Süreç Haritası[7]

Yükseköğretim Kurumlarında Akademik Değerlendirme ve Kalite Geliştirme faaliyetlerinin amacı, yükseköğretim kurumlarının eğitim, öğretim ve araştırma faaliyetleri ile idari hizmetlerinin değerlendirilmesi, kalitelerinin geliştirilmesi, bağımsız “dış değerlendirme” süreciyle kalite düzeylerinin onaylanması ve tanınması konusundaki çalışmalara ilişkin esasları düzenlemek şeklindedir[6].

Şekil 2’deki ana süreç haritasında görülen akademik değerlendirme ve kalite geliştirme raporu kapsamında gerekli verilerin toplanması ihtiyacı doğrultusunda uygulama geliştirilmiştir.

Toplanan veriler üniversitenin diğer birimlerini ilgilendirme noktasında kalite birimi üzerinden ilgili birimler ile paylaşılabilir.

3.Veri Toplama Sistemi ve Çalışma Şekli

İlgili veri toplama sistemi Dokuz Eylül Üniversitesi Bilgi İşlem Daire Başkanlığı tarafından gerçekleştirilmiştir. Veri toplama sisteminin içerik yönetim fonksiyonlarını taşımasına rağmen asıl odaklandığı nokta farklı dönemlerde farklı birimlerden talep edilen verileri toplayabilmek ve saklamaktır. Sistemin çalışması basitçe birim oluştur, kullanıcı havuzu oluştur, havuzdan ilgili kişileri birimlere sorumlu kıl ve raporlar ile birimleri örtüştür şeklindedir. Birimlerin görev tanımları belirlidir. Talep edilen verilerin hangi birimin sorumlu olduğu bilindikten sonra ilgili verileri toplamak kolayca gerçekleşmektedir. Şekil 4 üzerinde veri toplama sistemi sayesinde gerçekleştirilebilecek süreçler gösterilmiştir.

Şekil 4. Akademik Değerlendirme Veri Toplama Sisteminin Genel İşleyişiŞekil 5 üzerinde veri toplama sistemi ara yüzü ve sistem giriş ekran görüntüleri görülmektedir.

Şekil 5. Veri Toplama ve Web Sitesi Yönetim Paneli Ana Ekranı ve Sistem Girişi Görüntüsü

4.Veri Toplama Sisteminin Özellikleri

Veri toplama sistemi yukarıda açıklandığı gibi kalite biriminin sorumluluğunda çalışan bir sistemdir. Teknik noktalarda bilgi işlem birimi sürece dahil olmaktadır. Bu durumun nedeni web site içerik yönetim sistemi ile entegre bir uygulamanın gerçekleştirilmesinden kaynaklanmaktadır. Günümüzde Web 2.0 sürecinde içerik anlayışının ve öneminin artmasıyla, “İçerik Yönetimi” kavramı hemen hemen bütün alanlarda ihtiyaç duyulan ve tartışılan bir kavram haline gelmiştir[10]. İçerik yönetim sistemi uygulamaları, mevcut kurumsal bilginin organize edilmesi, düzenlenmesi, denetlenmesi, depolanması, arşivlenmesi, paylaşılması ve sunumunu sağlar. Bu noktada bir web uygulaması olarak içerik ekleme, düzenleme ve ilgili içerikleri yayınlama gibi özellikleri mevcuttur. Tabi uygulamanın asıl odaklandığı nokta kalite biriminin ihtiyaçlarına uygun olarak veri toplayabilmektir. Gerçekleştirilen uygulamanın özellikleri dört başlık altında web sayfa yönetimi, verinin talep edilmesi ve verinin yönetimi, birimler ile iletişim ve rapor türleri olmak üzere dört ana başlıkta toplanabilir.

4.1 Web Sayfası Yönetimi

Bu bölümde sayfa yönetimi, açık kaynak kodlu içerik yönetim sistemlerinden joomla[12], wordpress[13], drupal[14] sistemleri kadar zengin özeliklere sahip olmasa da temel kullanıcı gereksinimleri doğrultusunda işlevini gerçekleştirebilmektedir. Bu özellikler sırasıyla, sabit sayfalar, yeni sayfa içeriği ekleme, duyuru ekleme ekranı ve banner-footer gibi bölümlerin düzenleneceği ekranlardır.Sabit sayfalar, sayfa yönetimi içerisinde kullanıcı sabit olarak oluşturulmuş üzerinde sadece içerik değiştirme hakkına sahip olunan bölümdür. Silememe nedeni kalite birimi web sayfası içerisinde ilgili sayfaların olmazsa olmaz sayfalar olması ve ana sayfadaki sabit menüler ile ilişkilendirilmiş olmasıdır. Şekil 6 üzerinde gri renkte görünen sayfalardır. Şekil 6 üzerinde görüldüğü üzere bu sayfalarımız için sadece düzenle ve detay fonksiyonları işletilmektedir.

Şekil 6. Sayfa Listesi GörünümüKullanıcılar web sayfası yönetiminde, sınırsız sayıda sayfa oluşturabilme, yeni sayfa ekleme yeteneğine sahiptir. Sayfa yönetimi menüsünde, listelenen sayfalar arasında gri renkte olmayan sayfaların oluşturduğu gruptur. Kullanıcı yeşil artı ikonu ile yeni sayfa

oluşturabileceği ekrana gelir. Kullanıcı CK Editör özellikleri[9] vasıtasıyla istediği kadar yeni sayfa oluşturabilir ve bu sayfaları birbiri içinde link vererek çağırıp yayınlanabilir.Duyuru ekranı, siteyi takip edenlerin Şekil 1’de görüldüğü gibi bizden haberler bölümünü düzenleme imkânı bulmaktadır. En yeni 3 haber sitede gösterilir. Daha eskiler için site üzerinde haber listeleme bölümü aracılığı ile ulaşılır. Listelenen haberlerin üstüne tıklandığında ilgili haberin detayına ulaşılmaktadır. Bu şekilde kalite birimi süreçler doğrultusunda, organizasyon iç ve dış paydaşlarıyla bilgi paylaşabilir.İletişim bilgileri, Şekil 1 üzerinde bizden haberler bölümü altındaki sabit bölüm, sitenin en alt tarafında kalan bölüm ve Dokuz Eylül Üniversitesi logosu yanındaki bölümdür. Kullanıcı süreçlerinde bilgi işlem personelinden bağımsız bir şekilde telefon, faks görevli kişi vb. değişiklik olabilecek verileri güncelleyebilmesi için oluşturulmuş bölümdür.

4.2 Veri Talep ve Verinin Yönetimi

Aşağıdaki Tablo 1 üzerinde Dokuz Eylül Üniversitesi performans göstergesi olarak talep edilen 75 adet veriden 10 tanesi tablo üzerinde farklı birimleri gösterecek şekilde sunulmuştur. Gerçekleştirdiğimiz uygulamamızda bazen aynı birim altında farklı proje gruplarından veya müdürlüklerinden veriler talep edilebilmektedir. Bu noktada, sistemin sabit birim ağacı olmaması ve herhangi bir sisteme bağımlı olmadan istenilen şekilde raporlara bağlı sanal birimler oluşturulabilmesi, veri toplama sürecinde avantaj sağlamaktadır.

Tablo 1.Dokuz Eylül üniversitesi 2013 Yıllı Performans Göstergeleri Veri ve Birim İlişkisi Tablosu No Talep Edilen Veri İlgili Birim1 1.1 Ortaöğretim başarı puanlarının ortalaması Bilgi İşlem Daire Başkanlığı Öğrenci

İşleri Proje Grubu13 13.1Kadrolu toplam öğretim elemanı (Öğretim üyesi, öğretim

görevlisi, okutman, araştırma görevlisi, uzman) başına düşen öğrenci sayısı

Bilgi İşlem Daire Başkanlığı Personel İşleri Proje Grubu

5 Bütçe Ödenekleri5.1. Personel Giderleri5.2. Sosyal güvenlik Giderleri vb.

Strateji Geliştirme Daire Başkanlığı

7 7.1Öğretim elemanı (Prof., Doç., Yrd.Doç., Öğr. Gör., Araş.Gör., Okutman, Uzman) başına düşen döner sermaye geliri

Döner Sermaye İşletme Müdürlüğü

22 22.1Yüksek lisans programlarına kabul edilme oranı Öğrenci İşleri Daire Başkanlığı35 35.1. (Değerlendirme yılı içinde işe yerleşen bir önceki yılın Ön

lisans mezun sayısı / Değerlendirme yılının bir önceki yılında mezun olan toplam Ön lisans öğrenci sayısı) x 100

Kariyer Planlama Koordinatörlüğü

37 37.1 Uluslararası öğrenci değişim programlarına katılım oranı Dış İlişkiler Koordinatörlüğü37 37.11. (Yurtiçi değişim gelen öğrenci sayısı toplamı / Toplam

öğrenci sayısı) x 100Farabi Koordinatörlüğü

45 45.1Tam metin yayın sayısı (SCI-expanded, SSCI ve AHCI) / Öğretim üyesi sayısı

Kütüphane ve Dokümantasyon Daire Başkanlığı

50 50.1 Kurum tarafından düzenlenen ulusal ve uluslararası bilimsel konferans, seminer, panel vb. faaliyetlerin sayısı

Basın Halkla İlişkiler Koordinatörlüğü

Verinin talep edilmesi ve yönetimi bölümünde gerçekleştirdiğimiz uygulamanın kullanıcı ekleme, birim ekleme, dönem ve rapor ekleme, dönem için soru kategorisi ekleme, soru kategorisine bağlı kullanıcı ekleme ve bu kullanıcı rolleri gibi fonksiyonları bulunmaktadır. Bunlar sırasıyla:

Kullanıcı ekleme: Ekranda kişi admin soyadı, e-mail adresi, diğer bilgileri ve en önemlisi kullanıcı türü bulunmaktadır. Kullanıcı türü kişinin sorumluluk alanını ve ulaşacağı ekranları belirler.

Birim ekleme: Birim ekleme ekranında rapora bağlı birim bulunmaktadır. Yani sanal birimler gibi düşünülebilir. Bu sistemde farklı gruplardan daire başkanlıkları veya koordinatörlük değil daha alttaki bir yapılanmadan da veri toplama imkanı sağlamaktadır.

Dönem ve rapor ekleme: Kalite birimi kendisine gelen rapor talebini karar verilmiş gruplar üzerine dağıtır. Burada, toplanmak istenen verinin bir dönemi, son veri giriş tarihi bulunmaktadır.

Dönem için veri(soru) kategorisi ekleme: Her rapor kendisini oluşturan veri(soru) kategori gruplarına sahiptir. Bu veri kategorileri altında istediğimiz kadar soru oluşturabiliriz. İlişkilendirdiğimiz veri kategorileri sayesinde kullanıcı ekranında bu verileri kullanıcılar cevaplayabilir.

Veri(soru) kategorilerine bağlı kullanıcı ekleme: Bu veri kategorileriyle ilgili birimler örtüştürülür. Her soru kategorisi eklenirken sorumlu birim de bu veriyle ilişkilendirilerek veri tabanına eklenir. Bu ilişki ile birim bazlı raporlama imkânı gerçekleştirilmiş olur.

Kullanıcı rollerine göre ekranlar: Admin ekranı, kullanıcı ekranı ve üst yönetim ekranı şeklinde kullanıcı ekranları mevcuttur. Her rol için farklı görevler tanımlanmış ekranlar buna göre oluşmuştur. Admin ekranında birim ekleme, kullanıcı ekleme, rapor ekleme, soru ekleme ve benzeri veri talep, veri yönetim süreçleri ve sayfa yönetimi ile ilgili tüm modüller bulunmaktadır. Kullanıcı ekranında admin panelinden farklı olarak kullanıcı yardım ekranı bulunmaktadır. Bu kullanıcının veri girişi veya sistemi yeni kullanması durumu için oluşturulmuş bir ekrandır.

Şekil 7. Veri Toplama Sistemi Birim Sorumlusu Kullanıcı Ekranı

4.3 Birimler İle İletişim

Sistemde bulunan kişilere, birimlere toplu veya kişisel olarak sisteme kayıt edilirken ki mail adresleri üzerinden mail atmaya imkân sağlanmaktadır. Bu şekilde sisteme kayıtlı kullanıcılara kolaylıkla ulaşılabilecek ve yeni bir veri talebinden kolayca haberdar olabileceklerdir.

4.4 Rapor Türleri

Rapor süreçlerinde 7 adet rapor bulunmaktadır. Bu raporlar sayesinde ilgili verilere kolayca

sınıflandırılabilmekte ve toplu olarak ulaşabilmektedir. Bu rapor türleri sırasıyla dönem raporları, dönem ve rapora bağlı soru kategorileri, dönem ve rapora bağlı sorular, dönem ve rapora bağlı cevaplar, dönem ve rapora bağlı kullanıcılar, dönem ve rapora bağlı kullanıcı ve buna bağlı soru kategorileri, dönem ve rapora bağlı kullanıcı ve buna bağlı sorular, dönem ve rapora bağlı kullanıcı ve buna bağlı cevapları, dönem ve rapora bağlı birimler, şeklindedir.

5. Sonuç ve Değerlendirme

Gerçekleştirilen uygulama bir içerik yönetim sistemi özelliği taşımaktadır. İçerik yönetimin ana odaklandığı noktada, farklı birimlerden, istenilen zamanlarda, verinin toplanması vardır. Açık kaynak kodlu içerik yönetim sistemleri olan joomla, drupal, wordpress vb. içerik yönetim sistemleri kadar gelişmiş değildir. Tabi bazı açık kaynak kodlu dspace, eprints, federo[15] gibi açık kaynak kodlu kurumsal arşiv yazılımları gibi de gelişmiş özelliklere sahip değildir. Gerçekleşen çalışma kalite biriminin ihtiyaçları doğrultusunda farklı birimlerden veri toplama ve bu verinin saklanması ve raporlanması gibi süreçleri gerçekleştirmektedir. Bu gerçekleştirilen adımlar tüm üniversitelerde benzerlik taşımaktadır. Bu noktada çalışma süreçleri sadece akademik değerlendirme ve kalite geliştirme süreçleri adına ele almaması ve farklı dönemlerde gerçekleştirilebilecek sanal birimler ile veri toplamaya ve saklamaya imkân sunması adına rehber bir kaynak niteliği taşımaktadır. Proje bir sonraki adımda bir proje grubuyla açık kaynak kod felsefesiyle, içerisinde php ve mysql yapısını koruyabileceği bir framework ile daha da geliştirilebilir.

Kaynakça

[1]Çakıroğlu Ü., "Web Tabanlı Veri Toplama Ve Analiz Sistemi", Akademik Bilişim 2007, 31 Ocak - 2 Şubat 2007 Dumlupınar Üniversitesi, Kütahya, (2007)[2]Shih, H.-P.,"An empirical study on predicting user acceptance of e-shopping on the Web. Information & Management", 41, 351-368, (2004)[3]Soydal İ., "Web Bilgi Sistemlerinde Hizmet Kalitesi", Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü Bilgi ve Belge Yönetimi Anabilim Dalı, Doktora Tezi, Ankara, (2008)[4]Petter S.,William DeLone W., McLean E.,Measuring Information Systems Success: Models, Dimensions, Measures And Interrelationships, European Journal of Information Systems 17, 236–263,(2008)[5]Arslan,M.M ., Bahadır, H., Bologna Süreci ve Türkiye, Sosyal Bilimler Araştırmaları Dergisi. 2, 2007:222-229, (2007)[6]Yükseköğretim Kurumlarında Akademik Değerlendirme Ve Kalite Geliştirme Yönetmeliği, Resmi Gazete Tarihi: 20.09.2005 Resmi Gazete Sayısı: 25942,(2005)[7]Yükseköğretim Kurumlarinda Akademik Değerlendirme Ve Kalite Geliştirme Rehberi, Yükseköğretim Akademik Değerlendirme Ve Kalite Geliştirme Komisyonu, (2007) [8]Yüksek Öretim Kurumu Bologna Süreci, Erişim Tarihi: 05.12.2014, https://bologna.yok.gov.tr/ [9]CK Editör Özellikleri, Erişim Tarihi: 05.12.2014, http://ckeditor.com/[10] Ozan Ö., "CMS, LMS, LCMS Kavramları", Akademik Bilişim 2009, 11-13 Şubat 2009 Harran Üniversitesi, Şanlıurfa (2009)[11] İçerik Yönetim Sistemi, Erişim Tarihi: 28.12.2014, http://tr.wikipedia.org/wiki/%C4%B0%C3%A7erik_y%C3%B6netim_sistemi[12] Joomla, Erişim Tarihi: 28.12.2014, http://tr.wikipedia.org/wiki/Joomla![13] Wordpress, Erişim Tarihi: 28.12.2014, http://tr.wikipedia.org/wiki/WordPress[14] Drupal, Erişim Tarihi: 28.12.2014, http://tr.wikipedia.org/wiki/Drupal

[15] Özgür Yazılımlar,Erişim Tarihi:28.12.2014, http://acikerisim.ankos.gen.tr/ozguryazilimlar.html