DESTEK VEKTÖR MAKİNE TABANLI BULANIK SİSTEMLER, YENİ … · DESTEK VEKTÖR MAKİNE TABANLI BULANIK SİSTEMLER, YENİ BİR GÜRBÜZ SINIFLAYICI VE REGRESÖR TASARIMI Ayşegül

T.C. FIRAT ÜNİVERSİTESİ

FEN BİLİMLERİ ENSTİTÜSÜ

DESTEK VEKTÖR MAKİNE TABANLI BULANIK SİSTEMLER,

YENİ BİR GÜRBÜZ SINIFLAYICI VE REGRESÖR TASARIMI

Ayşegül UÇAR

Tez Yöneticileri

Prof. Dr. Yakup DEMİR

Prof. Dr. Cüneyt GÜZELİŞ

DOKTORA TEZİ

ELEKTRİK-ELEKTRONİK MÜHENDİSLİĞİ

ANA BİLİM DALI

ELAZIĞ, 2006

T.C. FIRAT UNİVERSİTESİ

FEN BİLİMLERİ ENSTİTÜSÜ



Ayşegül UÇAR

Doktora Tezi

Elektrik-Elektronik Mühendisliği

Ana Bilim Dalı

Bu tez, 8 Kasım 2006 tarihinde aşağıda belirtilen jüri tarafından oybirliği ile başarılı olarak değerlendirilmiştir.

Danışman: Prof. Dr. Yakup DEMİR

Danışman: Prof. Dr. Cüneyt GÜZELİŞ

Üye: Prof. Dr. Ferit Acar SAVACI

Üye: Prof. Dr. Mustafa POYRAZ

Üye: Doç. Dr. Erhan AKIN

Üye: Yrd. Doç. Dr. Selçuk YILDIRIM

Bu tezin kabulü, Fen Bilimleri Enstitüsü Yönetim Kurulu’nun ......./......../............ tarih ve .................................. sayılı kararıyla onaylanmıştır.

TEŞEKKÜR

Öncelikle Prof. Dr. Cüneyt Güzeliş ve Prof. Dr. Yakup Demir’e onların denetimi altında

doktora çalışmama fırsat verdikleri için teşekkür etmek istiyorum.

Tüm çalışmalarım boyunca Prof. Dr. Yakup Demir’in yakın ilgisi, önerileri, sabrı ve

anlayışı hem akademik hem de sosyal açıdan gelişmem için sürekli olarak beni teşvik etmiştir.

Onunla çalışmak fırsatını yakaladığım için her zaman çok şanslı olduğumu düşünürüm.

Son beş yıl boyunca uzak mesafeye ve yoğun çalışmalarına rağmen, destek ve

öğütleriyle her zaman yanımda olan Prof. Dr. Cüneyt Güzeliş sayesinde akademik bakış açım

değişmiştir.

Dr. Hatice Doğan’a yakın arkadaşlığı, tez çalışmalarım hakkındaki önerileri ve

programlarımı geliştirmemdeki katkıları için çok teşekkür ederim.

Eğitim hayatım boyunca beni destekleyen aileme minnettarım.

Ayşegül UÇAR

xii

ÖZET Doktora Tezi



Ayşegül UÇAR

Fırat Üniversitesi

Fen Bilimleri Enstitüsü

Elektrik-Elektronik Mühendisliği

Anabilim Dalı

2006, Sayfa: 113

Bu tezde; giriş uzayında Destek Vektör Makinelere (DVM’lere) seçenek sınıflayıcıların ve regresörlerin tasarımı yapılmıştır. Bu amaçla, eğim iniş yöntemleri kullanılarak çözümü yapılabilen eniyileme algoritmaları sunulmuştur.

Bu çalışmada ilk olarak, giriş uzayında DVM’lerdeki gibi hem yapısal hata hem de deneysel hata prensibine dayanarak karar yüzeyleri küre ve elipsoit biçimli olan iki sınıflı sınıflayıcı algoritmaları önerilmiştir. Bu algoritmalar çok sınıflı sınıflama problemlerine basit olarak genişletilmiştir. Önerilen tüm algoritmaların, gürültü ve aykırı verilere karşı gürbüzlüğünü artırmak için, her veriye farklı bir üyelik değeri atanarak yeni bulanık küre ve elipsoit biçimli sınıflayıcılar elde edilmiştir. İkinci olarak, küre ve elipsoit biçimli karar yüzeylerinin dışında, Radyal Tabanlı İşlev Ağlarının (RTİA’ların) veya klasik bir gizli katmanlı Yapay Sinir Ağlarının (YSA’ların) yüzeyleri gibi daha karmaşık karar yüzeyleri kullanılarak sınıflama başarımını arttırmayı amaçlayan bir algoritma önerilmiştir. Önerilen algoritma, regresyon kestirimi için de genişletilmiştir. Üçüncü olarak, RTİA’lar kullanılarak elde edilen sınıflayıcı ve regresör formülasyonları, çekirdek kullanılarak yeniden türetilmiştir. Son olarak, bulanık sistemlerin genelleme yeteneğini artırmak amacıyla, DVM’nin istatiksel öğrenme algoritmasına benzer bir öğrenme algoritması sunulmuştur.

Önerilen tüm algoritmalarda, penaltı parametresi uyarlanır seçilerek gürültü ve aykırı verilere karşı daha az duyarlı olma özelliği sağlanmıştır. Algoritmaların, bilimsel yazındaki birçok yönteme göre başarımı farklı veri kümeleri üzerinde eğitim süresi ile eğitim ve test hataları açısından karşılaştırılmıştır.

Anahtar Kelimeler: Destek vektör makineler, bulanık mantık, penaltı işlev yaklaşımı, eğim iniş algoritmaları, sınıflama ve regresyon kestirimi.

xiii

ABSTRACT PhD Thesis

SUPPORT VECTOR MACHINES BASED FUZZY SYSTEMS,

A NEW CLASSIFIER AND REGRESSOR DESIGN

Ayşegül UÇAR

Firat University

Graduate School of Natural and Applied Sciences

Department of Electrical and Electronics Engineering

2006, Page: 113

In this thesis, new classifiers and regressors in the input space as alternatives to Support Vector Machines are designed. For this aim, new optimization algorithms that can be solved using gradient descent methods are proposed.

Firstly, based on the structural and empirical error principles such as SVMs, two class classification algorithms with spherical and ellipsoidal decision surfaces are proposed. The classifiers are extended simply to multi-class classification. To increase robustness against noise and outliers of all proposed algorithms, new fuzzy spherical and ellipsoidal classifiers are constructed by assigned a membership to each point. Secondly, by using more complex decision surfaces such as that of Radial Basis Function Network (RBFN) or one hidden layer Artificial Neural Networks (ANN) except from sphere and ellipse decision surfaces, an algorithm increasing the classifier performance is proposed. The algorithm is extended to regression estimation. Thirdly, classifier and regressor formulations obtained by using RBFN are again derived by using kernel functions. Finally a similar learning algorithm to statistical learning algorithm of SVM is introduced to increase the generalization performance of fuzzy models.

In all proposed algorithms, penalty parameter is determined iteratively. Thus less sensitivity against noise and outlier data is achieved. The performances according to many methods in the literature of the algorithms are evaluated in terms of training time and training and testing correctness on different benchmark data sets.

Keywords: Support vector machines, fuzzy logic, penalty function approach, gradient descent methods, classification, and regression estimation.

i

İÇİNDEKİLER TABLOSU

Sayfa

İÇİNDEKİLER i

ŞEKİLLER LİSTESİ v

TABLOLAR LİSTESİ viii

KULLANILAN BAZI TERİMLER LİSTESİ ix

KISALTMALAR LİSTESİ x

SEMBOLLER LİSTESİ xi

ÖZET xii

ABSTRACT xiii

1. GİRİŞ 1

1.2. Tezin Organizasyonu 8

2. GİRİŞ UZAYINDA KÜRE ve ELİPSOİT BİÇİMLİ AYRIŞTIRICI YÜZEYLER

KULLANARAK SINIFLAMA

10

2.1. Destek Vektör Makinelerin Bazı Eksiklikleri 10

2.1.1. Küre ve Elipsoit Biçimli Çekirdek Kullanarak Sınıflama 12

2.2. Önerilen Küre ve Elipsoit Biçimli Sınıflayıcıların Tanımı 15

2.2.1. Matematiksel Temel 17

2.2.1.1. Uyarlanır Öğrenme Oranlı Eğim İniş Yöntemi 19

2.2.1.2. Momentum Terimi İçeren Uyarlanır Öğrenme Oranlı Eğim İniş Yöntemi 20

2.2.1.3. Ölçeklenmiş Eşlenik Eğim İniş Yöntemi 21

2.2.1.4. Yarı-Newton Yöntemi 21

2.3. Önerilen İki Aşamalı Formülasyon 23

2.3.1. Aşama-I: Küre Biçimli Sınıflayıcılar 23

2.3.1.1. Önerilen Küre Biçimli Sınıflayıcılar İçin Çözüm Yöntemi 24

2.3.2. Aşama-II: Elipsoit Biçimli sınıflayıcılar 24

2.3.2.2. Önerilen Elipsoit Biçimli Sınıflayıcılar İçin Çözüm Yöntemi 25

2.3.3. Penaltı Parametresinin Seçimi 26

2.4. Uygulamalar 27

2.4.1.Veri Kümeleri 27

2.4.1.2. İki Sınıflı Sınıflayıcılar İçin Uygulamalar 29

2.4.2. Önerilen Sınıflayıcıların Farklı Yöntemlerle Eğitilerek Başarımının

İncelenmesi

29

ii

2.4.3. Zambak Çiçeği Veri Kümesi ile İki Sınıflı Sınıflama Problemi 38

2.4.4. CKH, BUPAKB, İyonosfer, WGK ve GYA Veri Kümeleri ile Sınıflama

Problemi

39

2.5. Çok Sınıflı Sınıflama 45

2.5.1. Aşama-I: Küre Biçimli m-Sınıflı Sınıflayıcılar 45

2.5.1.1. Önerilen Küre Biçimli m-Sınıflı Sınıflayıcılar İçin Çözüm Yöntemi 46

2.5.2. Aşama-II: Elipsoit Biçimli m-Sınıflı Sınıflayıcılar 47

2.5.2.1. Önerilen Elipsoit Biçimli Sınıflayıcılar İçin Çözüm Yöntemi 48

2.6. Çok Sınıflı Sınıflama İçin Uygulamalar 48

3. BULANIK KÜRE ve ELİPSOİT BİÇİMLİ SINIFLAYICILAR 52

3.1. Önerilen Bulanık Küre ve Elipsoit Biçimli Sınıflama Probleminin Tanıtımı 52

3.2. Aşama-I: Bulanık Küre Biçimli Sınıflayıcılar 52

3.2.1. Bulanık Küre Biçimli Sınıflayıcılar İçin Çözüm Yöntemi 53

3.3. Aşama-II: Bulanık Elipsoit Biçimli Sınıflayıcılar 54

3.3.1. Bulanık Elipsoit Biçimli Sınıflayıcılar İçin Çözüm Yöntemi 54

3.4. m-Sınıflı Bulanık Küre ve Elipsoit Biçimli Sınıflayıcılar 55

3.4.1. Aşama-I: Küre Biçimli m-Sınıflı Bulanık Sınıflayıcılar 55

3.4.2. Aşama-II: Elipsoit Biçimli m-Sınıflı Bulanık Sınıflayıcılar 56

3.5. Uygulamalar 57

3.5.1. Yapay Veri Kümesi ile Sınıflama Problemi 57


3.5.3. Kanser Veri Kümeleri ile Sınıflama Problemi 61

4. RADYAL TABANLI İŞLEVLERİ KULLANARAK SINIFLAMA ve

REGRESYON KESTİRİMİ

63

4.1. Problem Tanıtımı 63

4.2. RTİ Dönüşümü Kullanarak Sınıflama 64

4.2.1. RTİ Dönüşümü Kullanarak Sınıflama İçin Çözüm Yöntemi 66

4.3. RTİ Dönüşümü Kullanarak Regresyon Kestirimi 67

4.3.1. RTİ Dönüşümü Kullanarak Regresyon Kestirimi İçin Çözüm Yöntemi 68

4.4. Uygulamalar 70

4.4.1. WGK, CKH ve İyonosfer Veri Kümeleri ile Sınıflama Problemi 70

4.4.2. İki Spiralli ve Dört Spiralli Veri Kümeleri ile Sınıflama Problemi 71

4.4.3. Sinc İşlevi ile Regresyon Kestirimi 76

5. ÇEKİRDEK İŞLEVLERİ KULLANARAK SINIFLAMA ve REGRESYON

KESTİRİMİ

78

iii

5.1. Doğrusal Olarak Ayrıştırma Yapan Sınıflayıcı İçin Önerilen Formülasyon 78

5.1.1. Önerilen Doğrusal Sınıflayıcı Formülasyonunun Çözüm Yöntemi 79

5.2. Çekirdek Tabanlı Sınıflayıcılar İçin Önerilen Formülasyon 80

5.2.1. Çekirdek Tabanlı Sınıflayıcılar İçin Önerilen Formülasyonun Çözüm

Yöntemi

81

5.3. m-Sınıflı Sınıflama İçin Önerilen Çekirdek Tabanlı Formülasyon 82

5.4. Regresyon Kestirimi İçin Önerilen Çekirdek Tabanlı Formülasyon 83

5.4.1. Regresyon Kestirimi İçin Önerilen Çekirdek Tabanlı Formülasyonun

Çözüm Yöntemi

84

5.5. Uygulamalar 84

5.5.1. CKH, BUPAKB ve İyonosfer Veri Kümeleri ile Sınıflama Problemi 84


6. YAPISAL ve DENEYSEL RİSKİ ENAZLAYAN BULANIK MODELLER 92

6.1. Bulanık Tabanlı Modeller 92

6.2. Ele Alınan Bulanık Tabanlı Modelin Yapısı 94

6.3. Regresyon Kestirimi İçin Bulanık Tabanlı Modellerde Önerilen Öğrenme

Algoritması

96

6.4. Uygulamalar 99

6.4.1. Sinc İşlevi ile Regresyon Kestirimi Problemi 99

6.4.2. Mackey-Glass Zaman Serisi ile Öngörüm Problemi 101

7. SONUÇLAR 102

KAYNAKLAR 106

EK-1. İSTATİSTİKSEL ÖĞRENME KURAMI E1-1

E1.1. Örneklerden Öğrenme Kavramı E1-1

E1.1.2. Deneysel Riskin Enazlanması E1-2

E1.2. Öğrenmeye Felsefi Yaklaşım E1-3

E1.3. Temel Niceliklerin Tanımı E1-4

E1.3.1. Öğrenme İşleminin Tutarlılığı E1-4

E1.3.2. Öğrenme İşleminin Yakınsama Hız Oranı E1-5

E1.3.3. VC-boyutu E1-6

E1.3.4. Öğrenme İşleminin Genelleme Yeteneği E1-7

E1.3.5. Yapısal Riskin Enazlanması E1-8

EK-2. DESTEK VEKTÖR MAKİNELERİ E2-1

E2.1. DVM’lere Giriş E2-1

E2.2. En Uygun Ayrıştırıcı Çok Boyutlu Düzlem E2-2

iv

E2.2.1. Doğrusal Olarak Ayrılabilen Durumlar E2-2

E2.2.2. Doğrusal Olarak Ayrılamayan Durumlar E2-4

E2.3. Çekirdek Tabanlı DVM’ler E2-5

E2.4. Çok Sınıflı DVM’ler E2-9

E2.5. Regresyon Kestirimi İçin DVM’ler E2-10

E2.6. Uygulama Noktaları E2-12

EK-3. DESTEK VEKTÖR MAKİNE ÇEŞİTLERİ E3-1

E3.1. Mangasarian’ın Destek Vektör Makine Formülasyonları E3-1

E3.1.1. Doğrusal Destek Vektör Makine Sınıflayıcılar E3-2

E3.1.2. LDVM, NLDVM, DDVM ve NDVM Sınıflayıcılar E3-4

E3.1.2.1. Lagrangian Destek Vektör Makine (LDVM) Sınıflayıcılar E3-4

E3.1.2.2. Sonlu Newton Lagrangian Destek Vektör Makine (NLDVM)

Sınıflayıcılar

E3-5

E3.1.2.3. Düzgün Destek Vektör Makine (DDVM) Sınıflayıcılar E3-6

E3.1.2.4. Sonlu Newton Destek Vektör Makine (NDVM) Sınıflayıcılar E3-7

E3.1.2.5. Yakınsal Destek Vektör Makine (YDVM) Sınıflayıcılar E3-8

E3.2. Joachims’in Destek Vektör Makine Formülasyonu E3-10

ÖZGEÇMİŞ

v

ŞEKİLLER LİSTESİ

Sayfa

Şekil 2.1 (a) RTİ çekirdek ve (b) ikinci dereceden polinomsal çekirdek için öz

nitelik uzayındaki mesafelere karşı giriş uzayındaki mesafe.

12

Şekil 2.2 (a) Daire biçimli çekirdek ve (b) elips biçimli çekirdek için giriş

uzayındaki mesafelere karşı öz nitelik uzayındaki mesafe.

14

Şekil 2.3 Fisher’in zambak çiçeği test kümesinin sadece ilk iki karakteristiğine ait

verilerin gösterimi. İlk sınıfa ait veriler yıldızlar ile diğer sınıfa ait veriler

üçgenler ile gösterilmiştir.

16

Şekil 2.4 Daire biçimli sınıflayıcı. 16

Şekil 2.5 Elips biçimli sınıflayıcı. 17

Şekil 2.6 Aşama-I’de önerilen sınıflayıcının MUÖEİ algoritması ile eğitim

başarımı ve karar yüzeyleri.

33

Şekil 2.7 Aşama-II’de önerilen eniyileme probleminin MUÖEİ algoritması ile

eğitim başarımı ve karar yüzeyleri.

35

Şekil 2.8 RTİ çekirdekli DVM sınıflayıcının karar yüzeyleri. 37

Şekil 2.9 Aşama-I’de önerilen eniyileme probleminin MUÖEİ algoritması ile

eğitim başarımı.

44

Şekil 2.10 Aşama-II’de önerilen eniyileme probleminin MUÖEİ algoritması ile

eğitim başarımı.

45

Şekil 2.11 Aşama-I’de önerilen çok sınıflı eniyileme probleminin eğitim başarımı ve

karar yüzeyleri.

50

Şekil 2.12 Aşama-II’de önerilen çok sınıflı eniyileme probleminin eğitim başarımı

ve karar yüzeyleri.

50


karar yüzeyleri.

50



51


karar yüzeyleri.

51



51

Şekil 3.1 Üyelik işlevlerinin elde edilmesi için merkez yönteminin geometrik

gösterimi.

58

vi

Şekil 3.2 YV22, yapay veri kümesi için bulanık elipsoit biçimli sınıflayıcıların

sonuçları.

59

Şekil 3.3 MUÖEİ algoritması ile önerilen bulanık sınıflayıcının eğitim başarımının

değişimi.

59

Şekil 4.1 (a) Dört spiralli veri kümesi ve (b) iki spiralli veri kümesi için r=57 ve 58

ile RTİA yüzeyi kullanarak oluşturulan sınıflayıcıların karar yüzeyleri ve

eğitim başarımı. Eğitim noktaları * (bir sınıf ) ve + (diğer sınıf) ile

gösterilmiştir.

74

Şekil 4.2 (a) Dört spiralli veri kümesi ve (b) iki spiralli veri kümesi için genel

DVM sınıflayıcıların karar yüzeyleri. Eğitim noktaları * (bir sınıf ) ve +

(diğer sınıf) ile gösterilmiştir. Elde edilen destek vektörler ise daire

içerisine alınmıştır.

75

Şekil 4.3 (a) r=20 ile RTİA yüzeyi kullanarak oluşturulan regresyon kestirimi

formülasyonunun yaklaşım sonuçları: ε-duyarsız bölgesi (-.-), gürültülü

eğitim verileriyle elde edilen eğri (-.) ve test verilerini kullanarak

hesaplanan eğri kalın düz çizgi ile gösterilmiştir, (b) eğitim başarımı.

77

Şekil 5.1 (a) İyonosfer, (b) BUPAKB ve (c) CKH veri kümeleri üzerinde, önerilen

yöntemin 10 katlı eğitim başarımlarından rasgele alınan bir sonuç.

87

Şekil 5.2 Zambak çiçeği verisinin (a) 1.sınıfı, (b) 2. sınıfı ve (c) 3. sınıfı üzerinde

önerilen çekirdek tabanlı sınıflayıcıların eğitim ve test başarımları –

Verilen bir sınıfa ait eğitim noktaları (*) ve test noktaları (x) ile

gösterilirken, diğer sınıfa ait eğitim noktaları (○) ve test noktaları ise □ ile

gösterilmiştir.

91

Şekil 6.1 Bulanık tabanlı modelin karar verme düzeni. 93

Şekil 6.2 Yaygın olarak kullanılan üç bulanık model yapısı [83]. 94

Şekil 6.3 Ele alınan Takagi-Sugeno bulanık tabanlı model. 95

Şekil 6.4 Önerilen bulanık tabanlı modelin öğrenme algoritması. 97

Şekil 6.5 Önerilen bulanık tabanlı sistem ile regresyon kestirimi, (a) eğitim

sonuçları, eğitim verileri düz çizgi, ε-duyarsız bölge kesikli çizgi,

hesaplanan eğri kalın düz çizgi ile gösterilmiştir (b) test sonuçları.

100

Şekil 6.6 Bilinen bulanık tabanlı sistem ile regresyon kestirimi, (a) eğitim

sonuçları, eğitim verileri düz çizgi, hesaplanan eğri kalın düz çizgi ile

gösterilmiştir (b) test sonuçları.

100

Şekil 6.7 Kaotik Mackey-Glass zaman serisi. 101

vii

Şekil 6.8 x(501)~x(1000) zaman serisinin benzetim sonuçları (a) ε=0.02 ve

öbekleme algoritması kullanarak 10 kuralla oluşturulan bulanık modelin

eğitim ve test başarımları, ε-duyarsız bölge (:), hesaplanan (-.) ve gerçek

değerler düz çizgi ile gösterilmiştir. (b) eğitim ve öngörüm hataları.

103

viii

TABLOLAR LİSTESİ

Sayfa

Tablo 2.1 Farklı eğitim algoritmalarının kıyaslanması. 30

Tablo 2.1 Farklı eğitim algoritmalarının kıyaslanması. 31

Tablo 2.2 Önerilen sınıflayıcıların eğitim başarımının küre biçimli ve RTİ

çekirdekli DVM ile kıyaslanması.

36

Tablo 2.3 Önerilen sınıflayıcıların ve DVM’nin 10 katlı eğitim ve test doğrulukları

ile eğitim sürelerinin kıyaslanması.

38

Tablo 2.4 Önerilen sınıflayıcıların, farklı eğitim algoritmaları kullanılarak elde

edilen 10 katlı eğitim ve test doğrulukları ile eğitim sürelerinin

kıyaslanması.

41

Tablo 2.5 Önerilen sınıflayıcıların diğer sınıflayıcılar ile 10 katlı eğitim ve test

doğrulukları ile eğitim sürelerinin kıyaslanması.

42

Tablo 2.6 Denektaşı veri kümeleri üzerinde BKB, BKD ve önerilen yöntemin

kıyaslanması.

49

Tablo 3.1 Önerilen sınıflayıcıların 10 katlı eğitim ve test doğrulukları ile eğitim

sürelerinin kıyaslanması.

61

Tablo 3.2 Deneylerde kullanılan veri kümesinin özeti 61

Tablo 3.3 Kanser veri kümeleri için önerilen sınıflayıcının ve DVM’nin

doğruluklarının kıyaslanması.

62

Tablo 4.1 RTİA yüzeyi kullanarak oluşturulan sınıflayıcıların ve DVM

sınıflayıcıların denektaşı veri kümeleri üzerindeki başarımları.

71

Tablo 4.2 RTİA yüzeyi kullanarak oluşturulan sınıflayıcıların, DVM sınıflayıcıların

ve RTİA sınıflayıcıların denektaşı veri kümeleri üzerindeki başarımları.

72

Tablo 5.1 Önerilen çekirdek tabanlı sınıflayıcı ile NLDVM, DVMlight ve

DVM’nin 10 katlı eğitim ve test doğrulukları ile eğitim sürelerinin

kıyaslanması.

86

Tablo 5.2 Zambak çiçeği veri kümesi üzerinde önerilen çekirdek tabanlı sınıflayıcı

ile DVM’nin 10 katlı eğitim ve test doğrulukları ile eğitim sürelerinin

kıyaslanması.

88

Tablo 6.1 Önerilen bulanık modelin sinc işlevi üzerinde eğitim ve test başarımı. 100

Tablo 6.2 Mackey-Glass zaman serisinin son 300 verisinin öngörümü problemi

üzerinde, farklı yöntemlerin başarımlarının kıyaslanması.

102

ix

KULLANILAN BAZI TERİMLER LİSTESİ

Literature Bilimsel yazın

Margin Pay

Kernel Çekirdek

Feature space Öznitelik uzayı

Hyperplane Çok boyutlu düzlem

Minimization Enazlama

Maximization Ençoklama

Optimization Eniyileme

Optimal En uygun

Support vector Destek vektör

Empirical error Deneysel (ampirik) hata

Robust Gürbüz

Clustering Öbekleme

Global Tümel

x

KISALTMALAR LİSTESİ

Destek Vektör Makine DVM

Vapnik-Chervonenkis boyutu VC boyutu

Radyal Tabanlı İşlev RTİ

Radyal Tabanlı İşlev Ağları RTİA

Yapay Sinir Ağları YSA

Genel Eğim İniş GEİ

Uyarlanır Öğrenme Oranlı Eğim İniş UÖEİ

Momentum terimli Uyarlanır Öğrenme Oranlı Eğim İniş MUÖEİ

Eşlenik Eğim İniş EEİ

Ölçeklenmiş Eğim İniş ÖEİ

Ortalama Karesel Hatanın Karekökü OKHK

Yarı-Newton yöntemi YN yöntemi

Bire Karşı Bir yöntemi BKB yöntemi

Bire Karşı Diğerleri yöntemi BKD yöntemi

Lagrangian Destek Vektör Makine LDVM

Sonlu Newton Lagrangian Destek Vektör Makine NLDVM

Düzgün Destek Vektör Makine DDVM

Sonlu Newton Destek Vektör Makine NDVM

Yakınsal Newton Destek Vektör Makine YDVM

Küre Çekirdekli Destek Vektör Makine KÇDVM

Bulanık Destek Vektör Makine BDVM

k-En yakın Komşuluk algoritması k-EK algoritması

İstatiksel Öğrenme tabanlı Bulanık Modeller İÖBM

Bulanık Elipsoit biçimli Sınıflayıcılar BES

Genel Elipsoit biçimli Sınıflayıcılar GES

Karush-Kuhn-Tucker teoremi KKT teoremi

xi

SEMBOLLER LİSTESİ

x Giriş vektörü

y Etiket vektörü

R Yarıçap

c Merkez vektörü

Ters kovaryans matrisi

A Penaltı parametresi

F(.) Amaç ölçütü

f(.) Kayıp işlevi

(.) Karar işlevi

L Eğitim veri sayısı

M Sınıf sayısı

Gauss işlevinin genişliği

Yapay hata değişkeni

Pay

L(.) Lagrangian işlevi

w Gerçel ağırlık vektörü

b Orijinden kayıklık oranı

Lagrange çarpanı

K Çekirdek matrisi

(.) Öznitelik uzayına dönüşüm işlevi

C DVM için düzenlileştirme sabiti

Duyarsız bölgenin genişliği

Öğrenme oranı

Gradyen matrisi

H Hessian matrisi

s Bulanık üyelik değeri

Ölçeklenmiş ağırlıklar

1

1. GİRİŞ

Ölçüm verilerine uygun modellerin kurulması, etiketli veya etiketsiz verilerin karşı

düştüğü sınıfların belirlenmesi ve örnek verilere, seçilen bir uzaydaki, en uyan işaretin veya

işlevin belirlenmesi; örüntü tanıma, işaret işleme ve kontrol gibi birçok alanın en temel

problemleridir. Belirtilen problemler, “verilerle tanımlı bir bağıntıya biçimi bilinen veya

öğrenilen bir işlevin parametrelerinin belirlenmesi yoluyla yaklaşılması” problemine

dönüştürülebilir. İstatistiksel yöntemler, işaret dönüşüm yöntemleri, Yapay Sinir Ağlarına

(YSA’lara) dayalı yöntemler, bulanık mantığa dayalı yöntemler farklı türden bağıntılar

sağlarlar. Bu tezde incelenen Destek Vektör Makineler (DVM’ler), var olan yöntemlere etkin

seçenekler sunan ve günümüzde yapı, tasarım ve uygulama açılarından sürekli gelişim içinde

olan doğrusal olmayan cebrik modellerdir.

DVM’ler yapısal olarak, düşük boyutlu bir giriş uzayından alınan vektörleri, yüksek

boyutlu bir diğer uzaya doğrusal olmayan bir biçimde taşıyan bir dönüşümdür. Dönüşümü

gerçekleyen makine, sistem ya da ağ, dönüşümü belirleyen bir çekirdek ile tanımlanır. Sınıflama

problemlerinde, yeteri kadar yüksek boyutlu uzaya taşınan vektörler doğrusal ayrıştırılabilir

duruma gelir. En uygun doğrusal ayrıştırıcı, ayrıştıran düzlemler arasından sınıflara uzaklığı en

çok olanıdır. Pay olarak adlandırılan en yakın uzaklık; yüzeye en yakın olan vektörlerin

belirlenmesi ile bulunur. DVM’ye de adını veren ve destek vektörler olarak adlandırılan bu

vektörler, ayrıştıran düzlemi belirler ve DVM’lerin tasarımı için etkin bir yol sunarlar.

Temelleri istatistiksel öğrenme kuramına dayanan DVM’ler, örüntü tanıma ve

regresyon problemlerinin çözümünde sağlam ve etkin bir yöntem olarak kullanılmakta ve birçok

uygulama alanında ümit veren bir yöntem olarak durmaktadır [25].

Örüntü tanıma alanının geleneksel yöntemleri, eğitim kümesi üzerindeki başarımın

ençoklanmasına ve böylece deneysel riskin enazlanmasına dayanırlar. DVM’ler deneysel ve

yapısal risklerin ikisini de enazlayacak şekilde eğitilirler. DVM’lerin tasarımında genelleme

hatası için verilen bir üst sınır enazlanır.

Yaygın kullanım bulan ve etkin bir yöntem sunan DVM’lerin, yapısal olarak

geliştirilme süreci devam etmekte ve artan bir eğilimle yeni uygulama alanlarında

denenmektedir. DVM’lerin uygulanmasında, aşağıda belirtilen dolayısıyla geliştirilmesi gereken

5 zayıf yan bulunmaktadır.

Birincisi, DVM’lerin asıl olarak geliştirildikleri iki sınıflı problemlerin [22, 101], çok

sınıflı problemlere etkin olarak genişletilmesidir. Bir sınıfa karşı diğer sınıf, bir sınıfa karşı

diğer sınıflar ve yönlendirilmiş çevrimsiz çizge DVM’ler bu yöndeki genişletmelere örnek

olarak verilebilir [46, 65, 76]. DVM’lerin çok sınıflı sınıflama başarımını arttırmak için,

2

öncelikle ikili sınıflama yapan DVM’lerin başarımını arttırmak gerekir. Çok sınıflı problemlere

doğrudan çözüm öneren formülasyonlar genelde iyi bir başarım vermemektedir [106].

İkinci yan, iki sınıflı sınıflamada aşırı uygunluk problemidir. [47]’de belirtildiği gibi,

DVM’ler gürültü ve aykırı verilere çok duyarlıdır.

Üçüncü yan, hesaplama ve bellek gereksiniminin eğitim kümesinin eleman sayısı ile

orantılı büyümesi ve bu nedenle çözümün çok yavaş olmasıdır [22, 51]. Büyük boyutlu bir

karesel programlama probleminin çözümünü gerektirdiği için, DVM’lerin büyük veri

kümelerine uygulamaları sınırlı kalır.

Dördüncü yan, veriler çok boyutlu uzaya aktarılırken uzaklık sırasının korunması için,

çekirdek ve çekirdek parametresinin seçiminde sorunlarla karşılaşılmasıdır [27, 70, 110].

DVM’ler, yüksek boyutlu uzayda en yakın iki veri arasındaki uzaklığı ençoklayarak sınıflama

yapar, ancak birçok çekirdek uzaklık sırasını korumaz, çekirdek parametresi de hesaplanan

uzaklığın büyüklüğünü değiştirir. Bu nedenle uygun çekirdek ve çekirdek parametresi

seçilmediğinde, yüksek boyutlu uzayda uzaklık sırası korunmadığından veya uzaklıklar arası

farklar küçüldüğünden hatalı sınıflamaya yol açılır. Bu problemi gidermek için [3]’te yeni bir

çekirdek önerilmiştir.

Beşinci bir yan, DVM’lerin eniyileme problemi olarak formüle edilen tasarım

yöntemlerinde, amaç ölçütü içerisinde bulunan penaltı katsayısının uygun değerinin

belirlenmesinin başarımı çok etkilemesidir [88].

Bu tezde DVM’nin yukarıda adı geçen zayıf yanlarının yol açtığı problemlerin 5’ini de

çözmeye yönelik iki farklı çalışma yapılmıştır. Birinci çalışma, istatistiksel öğrenme kuramına

dayanan DVM’lere seçenek olacak yeni sınıflayıcılar oluşturmaktır. İkincisi ise; bu problemleri

gidermek için DVM’lerin tasarımının dayandığı eniyileme formülasyonunda ve karşı düşen

eğitim algoritmasında değişiklikler yapmaktır.

Birinci çalışmada, DVM’ye seçenek olacak sınıflayıcıların öznitelik uzayı yerine giriş

uzayında oluşturulmasıyla, veri yapısının korunması probleminin çözülmesi amaçlanmıştır.

Çalışmada, ayrıştırma yüzeyleri olarak, geçmişten beri yaygın olarak kullanılan ve birçok

uygulamada yüksek doğrulukla karar vermeyi sağlayan küreler ve elipsoitler kullanılmıştır.

Küre ve elipsoide dayalı sınıflayıcılar, bilimsel yazında birçok araştırmaya konu olmuş

ve birçok sınıflama probleminde başarıyla uygulanmışlardır. [74, 81]’de geliştirilen küre biçimli

sınıflayıcılarda, her bir sınıf için birden fazla küre kullanılmıştır. Rosen 1965’te, ayrıştırma

yüzeyleri olarak elipsoitler kullanmış, en uygun sınıflayıcının tasarımını bir eniyileme problemi

olarak önermiştir [84]. Çalışmasında her bir sınıfın örnek örüntülerini içeren en küçük hacimli

elipsoit bulmayı amaçlamıştır. Elipsoidin kovaryans matrisinin pozitif yarı tanımlılığı üzerinde

hiçbir kısıt kullanmamıştır. Barnes 1982’de, Rosen’in formülasyonu üzerinde Lagrange

3

çarpanları yöntemini kullanarak kendi yöntemini oluşturmuştur [5]. Açık bir şekilde elipsoidin

kovaryans matrisi üzerine pozitif yarı tanımlılık kısıtını eklemiştir. Verinin ayırma sınırının

dışında olabilmesi için herhangi bir şart vermemiş veya herhangi yapay değişken

tanımlamamıştır. İki boyutlu 7 örüntü içeren küçük boyutlu bir örnek üzerinde uygulama

yapmıştır.

1999’da Tax ve Duin, verilen bir veri kümesini tanımlamak için öz nitelik uzayında en

küçük hacimli bir küre oluşturmuştur [95, 96]. Burada; penaltı yaklaşımı kullanılarak, hata ve

en küçük hacim arasında bir denge kurulmuştur. Önerilen formülasyon, aykırı veri bulma veya

tek sınıflı sınıflamaya uygulanmıştır. 2005’te Wang ve diğerleri, Tax ve Duin’in çalışmasından

yola çıkarak tek bir küre ile öz nitelik uzayında dairesel sınıflama yapmıştır [104]. Hacim

enazlanmasının yanında payın ençoklanmasının amaçlandığı bu çalışmada: California, Irvine

Üniversitesi’nin (UCI) makine öğrenme veritabanları arşivinden [72] Wisconsin isimli göğüs

kanseri verileri (WGK), İyonosfer radar yansımaları verisi (İyonosfer), Hindistan’daki Pima

yerlileri içerisindeki şeker hastaları verileri (Pima), Liver ve Sonar verileri üzerinde elde

ettikleri deneysel sonuçlar verilmiştir.

Glineur 1998’de, elipsoitler kullanarak örüntü ayırma problemi için formülasyonlar

önermiştir [39]. Bu formülasyonların, ardışıl karesel doğrusal konik programlama tekniği (SQL

conic) ile çözülebilmesi için problemi, n+1 boyutlu uzaydaki bir probleme dönüştürmüştür. En

Büyük Ayırma Oranı (EBAO) formülasyonunda, aynı merkezli iki elipsoit oluşturmuştur,

iiT

i caca 1 ve jjT

j cbcb 2 . İkinci elipsoit, birincisinden ayırma

oranı kadar geniş seçilmiş ve ayrıştırıcı elipsoitlerin kümesi üzerinden ayırma oranı en büyük

yapılmak istemiştir. Oluşturulan iki elipsoidin ortasından geçen aynı merkezli elipsoit ayrıştırıcı

yüzey olarak alınmıştır. Bu yöntemin dezavantajı, hiçbir ayrıştırıcı elipsoit bulunmadığında

(elipsoidin dışında olması gereken veriler içinde ise veya içinde olması gereken veriler dışında

ise), yöntemin tüm örüntü uzayını kapsayacak şekilde bir ayrıştırıcı elipsoit, yani,

nxnnx

xn

0001~

1

1 sonucunu bulmasıdır. Bu dezavantajdan kurtulmak için, En Küçük Hacimli

Elipsoit (EKHE) formülasyonunu önermiştir. EKHE’de bir elipsoidin hacmine denk olan yarı

eksenlerinin uzunluğunun karesi enazlanmıştır. EKHE’nin başarısızlığı, sadece

1 caca iT

i kısıtının kullanılması ve tüm bj’lerin elipsoidin dışında bulunmasının

gerekliliğidir. Sadece bir bj örüntüsünün, elipsoidin içinde olması, algoritmanın yanlış bir

çözüm yapması için yeterlidir. Bu dezavantajdan kaçınmak için, basitçe bj’lerin çoğunun

elipsoidin dışında olması kısıtını içeren yeni bir yöntem önermiştir. Kısıtı modellemek için,

ai’ler ve her bir bk arasındaki ayırma oranları ayrı ayrı hesaplanmış, bu ayırma oranlarının

4

aritmetik ortalamasının mümkün olduğu kadar büyük olması sağlanmıştır. Bu, ρj’lerin toplamını

veya onların karelerinin toplamını en büyük yapmaya denktir. Bu yöntemin ise gerçekte hiçbir

ayrıştırıcı elipsoit olmadığı zaman, sonuç bulamadığı ve özellikle karelerinin toplamı

alındığında, küçük ayırma oranlarını en çok yapmaktan ziyade, daha çok olanları en çok

yaparak ayırma oranlarını artırdığını göstermiştir. Böylece Karesi alınmış Ayırma Oranlarının

Toplamını Enazlayan (KAOTE) yeni bir yöntem önermiştir. Bu yöntemde, tüm bj’lerin

elipsoidin dışında bulunmasını gerektiren kısıt kullanılmasının bir dezavantaj olduğunu

belirtmiştir. UCI makine öğrenme arşivinden Zambak çiçeği verileri, WGK, Pima, Boston

Housing verileri üzerinde yöntemin başarımı ve bilimsel yazındaki çalışmalarla karşılaştırmalı

sonuçlar vermiştir.

2003’te Astorino ve diğerleri, hem öz nitelik uzayında hem giriş uzayında, B gibi bir

kümeden A gibi bir kümeyi ayıran (A’nın tüm noktalarını içeren ve B’nin noktalarını içermeyen)

en küçük hacimli küre bulmayı amaçlamışlardır [1]. Burada; merkez sabitlenerek, formülasyon

doğrusal programlama problemi olarak önerilmiştir. Ayrıca iki dönüştürülmüş küme üzerinde

çalışarak, öz nitelik uzayında da aynı algoritmanın uygulanabileceği gösterilmiştir. Veriler her

zaman küreler ile ayrılmadığı için, problemi daima uygulanabilir kılmak üzere, sınıflama

hatasının amaç ölçütü ile hacmin enazlanma ölçütünü birleştirmiştir. Böylece B’nin bazı

verilerinin, A kümesinin verilerini kapsayan küre içerisinde olabilmesini sağlamak ve aykırı

veriler tarafından oluşturulan etkiyi de azaltmak istemiştir. Burada; UCI makine öğrenme

arşivinden WGK verisi, Cleveland isimli kalp hastaları (CKH) verisi, İyonosfer verisi, Mantar

verisi, Tic-Tac-Toe Endgame (Tic-Tac-Toe) verisi ve [75]’deki galaksi yıldız ayrıştırma (GYA)

verisi kullanılarak elde edilen sonuçlar, bilimsel yazındaki DVM temelli yaklaşımlarla

karşılaştırmalı olarak verilmiştir. Aynı yazarlar tarafından 2005’te, sadece elipsoitlerle

ayrılabilir verilerin giriş uzayında ayrılması amaçlanmıştır [2]. Bu nedenle elipsoidi tanımlayan

parametrelere bağlı olan hata işlevi enazlanmıştır. Böylece ayrıştırma tam olarak gerçekleştiği

zaman, sıfıra eşit olan bir amaç ölçütü elde edilmiştir. Sınıflamada kayıp işlevi olarak, “maks”

alınmıştır. Eniyileme problemi, düzgün olmayan eniyilemeden de faydalanılarak yerel arama

türünden bir algoritma ile çözülmüştür. Merkezler öncelikle sabit alınmış, daha sonra en dik iniş

tekniği kullanan bir algoritma ile güncellenmiştir. Algoritma, UCI makine öğrenme arşivinden

WGK verisi, CKH verileri, BUPA Karaciğer bozuklukları (BUPAKB) verisi ve Amerika

Birleşik Devletleri Kongre Oylama Kayıtları örnekleri üzerinde denenmiştir.

Konno ve diğerleri 2002’de, yarı-tanımlı programlama problemi olarak ifade edilen

başarısızlık ayırtacı analizi için yeni bir düzlem kesme algoritması önermiştir [54]. Burada

finansal veri, finansal yorum kadar iyi matematiksel özellikleri olan elipsoit biçimli yüzey ile

ayrılmıştır. Formülasyonda sınıflama hatasının ağırlıklı toplamı (yani elipsoit biçimli yüzeyden

5

sapmaları da içeren) esnek elipsoit ayrıştırıcı kısıtlar üzerinden enazlanmıştır. Elipsoit biçimli

ayrıştırmanın çok boyutlu düzlemle ayrışmadan, belirgin olarak daha iyi sonuçlara götürdüğü,

özellikle DVM yaklaşımında kullanılan yöntem gibi karesel yüzeylerle oluşturulan

ayrıştırmadan daha iyi sonuç verdiği gösterilmiştir

Kharechko ve diğerleri 2004’te, Gram-Schmidt dikleştirme tekniği kullanarak ve

Glineur’un çalışmasına benzer olarak aynı merkezli iki elipsoit arasındaki ayırma oranını en

büyük yapma yöntemi kullanarak, öz nitelik uzayında elipsoit biçimli ayırma

gerçekleştirmişlerdir [52]. Bu ayrıştırıcı elipsoitler n+1 boyutlu uzayda, kanonik homojen

formdadır [52], (yani ayırma oranı aynıdır ve c de basit formüller kullanarak hesaplanabilir).

Reuters-21578 veri kümesinin 10 kategorisi üzerinde ayırma sonuçları, DVM ile karşılaştırmalı

olarak verilmiştir.

Potra ve diğerleri 2004’te, öngörüm amacı için yarı-tanımlı programlama kullanarak

benzer eşmerkezli elipsoitler veya doğrusal programlama kullanarak iki paralel çok boyutlu

düzlem kurmuştur [79]. Elipsoit biçimli ayrıştırmayı iki aşamalı olarak yapmıştır. İlk aşamada,

Glineur’un yöntemine benzer olarak iki eş merkezli elipsoit kurmuş ve ayırma payını

ençoklamıştır. Bu aşamanın Glineur’unkinden farkı, elipsoit denklemini polinomsal olarak

vererek İç Nokta yöntemleriyle [88, 108] polinomsal zamanda çözülebilmesidir. İkinci aşamada,

yanlış sınıflandırılmış noktaların sayısının enazlanması için ilk bölümde bulunan iki elipsoit

arasında üçüncü bir elipsoit bulmuştur.

Bu tezde önerilen küre biçimli ve elipsoit biçimli sınıflayıcılar, bilimsel yazında mevcut

olanlardan tamamen farklıdır. Önerilen formülasyonlarda, hacim ve sınıflama hatası aynı anda

enazlanmıştır. DVM gibi Lagrange çarpanları yöntemi kullanarak öz nitelik uzayında sınıflama

yapan yöntemlerin tersine, önerilen yöntem penaltı parametresi kullanarak giriş uzayında

sınıflama yapmaktadır [28]. Böylece fazladan hiçbir yapay değişken kullanılmamaktadır.

Çözüm, eğim iniş yöntemi ile yapıldığı için geniş veri kümelerine uygulanabilir. Karesel

programlamadan ve [39]’daki konik programlamadan daha hızlıdır. Bunun dışında,

Mangasarian ve diğerlerinin [34-36, 58, 66-69]’daki doğrusal denklem takımları ile çözümü

yapılabilen DVM tabanlı algoritmalarına hem hız hem de doğruluk olarak yakındır.

İkinci çalışmada, DVM’nin geniş veri kümelerine hızlı bir şekilde uygulanabilmesini

sağlamak için, penaltı yaklaşımı kullanarak, birincil formülasyon tabanlı yeni bir eniyileme

problemi sunulmuş ve çözümü için eğim iniş yöntemleri önerilmiştir. DVM problemleri için

eğim iniş yöntemlerinin uygulanması yeni değildir. DVM’nin doğrudan eğitiminde, şimdiye

kadar yapılan çalışmalar ikincil programlama temeline dayanır [22, 34]. Bu durumda da veri

sayısı fazla olan sistemlerle ilgilenildiğinde, eğitim süresi ve hesapsal problemler mevcuttur.

Chapelle 2002’de, yoğunluk kestirimi problemleri için; en küçük hacimli daire problemlerinde,

6

parametre hesaplamasında ve sınır tanımlamalarında eğim iniş yöntemlerini kullanmıştır [14].

Chapelle bu tez çalışması ile eş zamanlı olarak ilk defa, [15]’deki çalışmasında birincil biçimi

kullanarak sınıflama problemleri için formülasyon önermiştir. Bu tezde ve bu tez sonuçlarının

kısmen yayınlandığı [100]’de [15]’den farklı olarak, formülasyonlar hem sınıflama ve hem

regresyon için önerilmiştir. Ayrıca yapısal hata ve deneysel hata arasında ödünleşimi sağlayan

penaltı sabiti her özyinelemede uyarlanır olarak elde edilmiştir. Böylece hem DVM’lerde seçimi

önemli olan bu parametrenin seçiminden kaçınılmış hem de gürültü ve aykırı verilere karşı daha

az duyarlı olması sağlanmıştır. Bunun dışında, çok sınıflı sınıflama problemleri için tekbir

formülasyon önerilmiştir.

Bulanıklaştırma, insan faktörünün etkili olduğu sistemlerde yararlı sonuçlar

vermektedir. Diferansiyel denklemler gibi klasik matematiksel aletler kullanarak sistem

modelleme, belirsiz sistemler ve birkaç çözümü olan sistemler ile ilgilenmek için uygun

değildir. Karmaşık sistemleri basitleştirmek için kullanılan yöntemlerden biri, modelleme

aşamasındaki belirsizlik ve şüphenin mantıklı bir miktarını iptal etmektir. Bu durumda sonuç

sistem kesinlikle kusursuz değildir, fakat birçok durumda oluşturulan uygun modeller problemi

çözer. Böyle bir belirsizlik, Zadeh’in bulanık mantık sistemleri ile karşılanabilir. Zadeh 1960’ta,

geleneksel sistem analizinin birçok gerçek yaşam uygulamasında gereğinden çok kusursuz

olduğu duygusunu belirtmiştir. Ardından 1961 yılındaki bir makalesinde, bilinen bir olasılık

dağılımına dayalı olmayan tamamen bir önceki bilgi ve pratik deneyimi yansıtan bulanık

mantığın temellerini açıklamıştır [83].

İlk olarak sistematik bir şekilde, Takagi ve Sugeno tarafından keşfedilen bulanık

modelleme veya tanıma; kontrol, öngörüm ve çıkarım gibi birçok önemli uygulamada

kullanılmıştır [55, 57, 83, 105]. Bulanık mantık isminin ifade ettiği gibi, tam olmaktan ziyade

yaklaşık mantıktır. Bulanık mantığın önemi, insan mantığının kurduğu çoğu modelin doğal

olarak yaklaşık olması gerçeğinde yatar.

Bulanık kuramı, sistemin analizi klasik teknikler ile çok fazla karmaşık ise mevcut bilgi

kaynakları belirsiz, tam olmayan ve nitel olarak yorumlanırsa faydalı görünür. Böylece bulanık

karar modeli klasik tam matematiksel karar ve insana benzer karar verme arasında uzlaşmaya

doğru bir adım olarak bakılabilir.

Bulanık modeli tanımlama işlemi, yapı tanıma ve parametre hesaplama olarak genellikle

iki aşamaya ayrılır [4, 18, 21, 57, 83]. Yapı tanıma aşamasında; uygun giriş değişkenleri, giriş

değişkenleri arasındaki ilişki, kuralların sayısı, giriş çıkış uzayının bölümlere ayrılması, model

parametrelerinin başlangıç değerleri gibi birkaç yapı öğesi belirlenir. Parametre hesaplama

aşamasında ise model parametreleri, deneysel risk enazlanarak ayarlanır. Bilimsel yazında

öbekleme yöntemi, genetik yöntem, karar ağacı yöntemi, dikgen en küçük kareler yöntemi ve

7

QR-tekil değer ayrışım yöntemi gibi birçok yöntem düşünülmesine rağmen, yapı tanıma güçtür

ve çok sayıda çözümü vardır [21, 83]. Bu nedenle insan müdahalesi yapı tanımada genellikle

gereklidir.

Bilimsel yazında bulanık mantık ve DVM, sınıflama veya regresyon kestirimi için iki

farklı şekilde birleştirilmektedir. Birinci şekilde, her bir veri farklı bir üyelik değerine

atanmıştır. [47, 48-50, 62, 71, 97, 107]. İkincisinde ise bulanık sistemlerin yapısının

oluşturulması hedeflenmiştir. Chen ve diğerleri 2003’te, üyelik işlevlerinin genel varsayımları

altında toplamsal bulanık sistemler ile çekirdek makinelerinin ilişkisini göstererek, verilen

eğitim örneklerinden, destek vektör öğrenme yaklaşımı ile bulanık kural tabanlı sınıflayıcı

sistemler oluşturmuştur [18]. Uçar ve diğerleri 2003’te sıfırıncı ve birinci dereceden bulanık

tabanlı sistemler ile DVM’nin eşitliğini çıkararak bulanık sistemlerin başlangıç yapısını

oluşturmuş, başarımı arttırmak amacıyla bulanık sistemlerin karma öğrenme algoritmasını

kullanmıştır [98]. Uçar ve diğerleri [99]’da öbekleme algoritması kullanarak bulanık sistemler

oluşturmuştur. Hao ve diğerleri [2004]’de, [98]’e benzer olarak DVM tabanlı bir bulanık

modelleme çerçevesi tanımlamışlardır. Sıfırıncı dereceden bulanık tabanlı sistemler ile

DVM’lerin eşitliğinden faydalanılarak, DVM öğrenme algoritmasıyla bulanık eğer-ise

kurallarını çıkarmışlardır [21]. Fakat bulanık sistemleri tekrar eğitmemişlerdir. Kim ve diğerleri

2006’da, ölçme gürültüsü içeren giriş ve çıkış verisi temeline dayanan doğrusal olmayan

dinamik sistemlerin modellenmesi için, olasılık Bayes öğrenme çatısına sahip genişletilmiş

ilgililik vektör makineleri kullanarak, eş zamanlı olarak eniyileme uygulayan yeni bir bulanık

tabanlı sistem önermiştir [53]. Bu sistemin eğitimi karma öğrenme algoritması ile yapılmıştır.

Lin ve diğerleri 2006’da, sınıflama için destek vektör tabanlı bulanık yapay sinir ağı

geliştirmiştir. Lin’in çalışmasında, YSA’lar kullanılarak bulanık uyarlanır çekirdek önerilmiştir

[63]. Tasarım üç aşamalı olarak gerçekleştirilmiştir. İlk aşamada, başlangıç kural yapısı ve ağ

yapısının üyeliği, bulanık öbekleme algoritması ile otomatik olarak oluşturulmuştur. İkinci

aşamada, bulanık sistemin katmanları arasındaki ağırlıklar bulanık çekirdekli DVM’nin eğitimi

sonucunda elde edilen parametreler kullanılarak hesaplanmıştır. Üçüncü aşamada, gereksiz

bulanık kurallar elenerek uygun bulanık kurallar belirlenmiştir. Ancak oluşturulan bulanık

sistemlerde, hem deneysel hem de yapısal hata enazlanmamıştır.

Bu tezde iki farklı yaklaşımla, bulanık mantık kavramları kullanılmıştır. Önerilen

sınıflayıcı ve regresörlerin iyi bir şekilde genelleştirme yetenekleri ve bulanık küme kuramının

insanın düşünmesine benzer olma özelliklerinin birleştirilmesi amaçlanmıştır.

Bu tezde bulanık mantığın içerildiği ilk çalışmada, önerilen küre ve elipsoit biçimli

sınıflayıcıların gürültü ve aykırı verilere karşı gürbüzlüğünü artırmak için Bulanık Destek

Vektör Makinelere (BDVM’lere) benzer olarak her bir veriye uygun bir üyelik değeri

8

atanmıştır. Böylece, yöntemin özellikle aykırı verilere karşı etkisi azaltılmıştır. İkincisinde ise,

bulanık tabanlı sistemlerin genelleştirme yeteneğini artırmak, gürültü ve aykırı verilere karşı

gürbüz olmasını sağlamak amacıyla başlangıç yapısı bilinen bulanık sistemler için DVM’nin

istatiksel öğrenme algoritması tanıtılmıştır.

1.2. Tezin Organizasyonu

Bölüm 2: Öncelikle giriş uzayında ayrıştırma yapılmasının nedeni incelenerek, yeni

küre ve elipsoit biçimli çekirdekler önerilmiş, başarımı ve geçerliliği tartışılmıştır. Daha sonra

giriş uzayında iki aşamalı sınıflayıcılar önerilmiştir. İlk aşamada, karar yüzeyinin küre biçimli

olduğu kabul edilerek, DVM’lerdeki gibi hem yapısal hatayı hem deneysel hatayı enazlama

ilkesine dayanan yeni bir eniyileme problemi önerilmiştir. Çözüm yöntemi olarak eğim iniş

yöntemleri önerilmiştir. Farklı eğim iniş yöntemleri, önerilen problemin çözümünde kullanıldığı

zaman başarımın ne olacağı örnekler ile tartışılmıştır. İkinci aşamada ise elde edilen başarımı

artırmak için karar yüzeyi elipsoitlere genişletilmiştir. Bunun için ilk aşamadan elde edilen

merkez ve yarıçap değerleri kullanılarak, ikinci aşamanın başlangıç değerleri oluşturulmuştur.

Son olarak, çok sınıflı sınıflama problemleri için tek bir formülasyon, çözüm yöntemi hem küre

hem elipsoit biçimli karar yüzeyleri için verilmiştir. Önerilen tüm formülasyonların başarımı

eğitim, test hataları ve eğitim süresi açısından farklı veri kümeleri üzerinde elde edilmiş ve

bilimsel yazındaki birçok yöntem ile karşılaştırılmıştır. Önerilen küre veya elipsoit biçimli

sınıflayıcıların, özellikle eğitim süresi açısından, karesel programlama ile çözümü yapılan genel

DVM sınıflayıcılar ile arasında büyük fark olduğu gösterilmiştir. Ayrıca küre veya elipsoit

biçimli karar yüzeylerinin, DVM’lerinki gibi karmaşık olmasına rağmen kabul edilebilir bir

başarım verdikleri gösterilmiştir.

Bölüm 3: Bir önceki bölümde önerilen küre ve elipsoit biçimli sınıflayıcılar, deneysel

ve yapısal risk arasında bir ödünleşim sağlayarak sınıflama yaptıkları için gerçekte gürbüz

yöntemlerdir. Bunun ötesinde ödünleşim parametresi de her özyinelemede uyarlanabilir olduğu

için, genel DVM’lere göre gürültü ve aykırı verilere karşı çok gürbüz olduğu düşünülebilir.

Ancak ele alınan veri kümesi, önerilen karar yüzeylerinin merkezlerinden ve her iki sınıftan çok

uzakta olan aykırı veriler içerdiği durumda, sınıflama başarımını artırmak için yeni bulanık küre

ve elipsoit biçimli sınıflayıcılar bu bölümde tanıtılmıştır. Farklı veri kümeleri ve üyelik işlevleri

kullanılarak sınıflama başarımları test edilip tartışılmıştır.

Bölüm 4: Her veri, küre veya elipsoit biçimli karar yüzeyleri ile ayrışmayabilir. Bu

nedenle bu bölümde gizli katman uzayı olarak isimlendirilen Radyal Tabanlı İşlev Ağların

(RTİA’ların) oluşturduğu yüzeylerin kullanımı amaçlanmıştır. Bu amaçla sınıflama ve

9

regresyon kestirimi için yeni bir formülasyon önerilmiştir. Örnek uygulamalar üzerinde klasik

RTİA ve RTİ çekirdekli DVM’nin başarımları karşılaştırılmış ve tartışılmıştır.

Bölüm 5: Bu bölümde, bir önceki bölümde önerilen yöntem ve formülasyonlar φ

dönüşümü yerine, çekirdek kullanılarak yeniden türetilmiştir. Elde edilen formülasyonlar eğim

iniş yöntemleri ile çözülmüştür. Böylece karmaşık yüzeyler ile geniş veri kümelerine hızlı bir

şekilde uygulanabilme yolu açılmıştır. İkinci olarak, yapısal hata ve deneysel hata arasında

ödünleşimi sağlayan penaltı sabiti her özyinelemede uyarlanabilir olarak elde edilerek, hem

DVM’lerde seçimi önemli olan bu parametrenin yanlış seçiminin oluşturduğu sorunlardan

kaçınılmış hem de gürültü ve aykırı verilere karşı daha az hassas olması sağlanmıştır. Üçüncü

olarak, momentum terimli uyarlanır öğrenme oranlı eğim iniş yöntemi kullanılarak, klasik

DVM’ye göre hızlı olması sağlanmıştır. Dördüncü olarak, çok sınıflı sınıflama problemleri için

tek bir basit formül önerilerek, DVM’lerde halen çözülmeye çalışılan zor bir problem aşılmıştır.

Bölüm 6: Bu bölümde, bulanık sistemlerin genelleştirme yeteneğini artırmak ve gürültü

ve aykırı verilere karşı gürbüz olmasını sağlamak için, DVM’nin istatiksel öğrenme

algoritmasına benzer bir öğrenme algoritması önerilmiştir.

Bölüm 7: Sonuç bölümünde, bu tezin bilime yaptığı katkılar özetlenmiş ve gelecek

çalışmalar için öneriler ortaya konmuştur.

EK-1: Bu bölümde, öğrenme probleminin formülasyonu tanıtılmış ve eğitim

örneklerinin sınırlı sayısı ile öğrenme için istatistiksel öğrenme kuramının temel sonuçları

açıklanmıştır.

EK-2: Sınıflama ve regresyon kestirimi için, karesel programlama ile çözümü yapılan

genel DVM formülasyonları bu bölümde tanıtılmıştır. Her iki formülasyon için, hem doğrusal

hem doğrusal olmayan durumda DVM’nin birincil ve ikincil programlamaları kısaca

tanıtılmıştır.

EK-3: Bu bölümde, uygulamaları karşılaştırma amacıyla kullanılan, bilimsel yazındaki

yöntemler tanıtılmıştır.

10

2. GİRİŞ UZAYINDA KÜRE ve ELİPSOİT BİÇİMLİ AYRIŞTIRICI YÜZEYLER KULLANARAK SINIFLAMA

2.1. Destek Vektör Makinelerin Bazı Eksiklikleri

EK-2’de detayları verilen DVM’ler; 1,1-y , x,,,...,, n11 LL yxyx eğitim

örneklerinin L örneği verildiği zaman, verileri yüksek boyutlu uzaya taşıyarak, o uzayda (2.1) ile verilen düzlemi oluşturup sınıflama yapmak üzere tasarlanmıştır, bxwx T . (2.1)

Burada; nw ve b çok boyutlu düzlemi oluşturan parametreler ve φ(x) verileri giriş

uzayından yüksek boyutlu uzaya dönüştürmek için kullanılan dönüşüm işlevidir [101]. DVM’ler (2.2) ile verilen birincil eniyileme problemini çözerek eğitim hatasını (birinci

terim) ve genelleme hatasını (ikinci terim) aynı anda enazlar.

2

1 21, w

LCwL

L

iii

(2.2)

iiTi -ξbxwy 1 , 0i (2.3)

Burada; C parametresi genelleme ve eğitim hatası arasındaki ödünleşimi nitelemektedir, i ise

bxw iT ve yi arasındaki mutlak hatayı göstermektedir.

(2.2)’de 2w ’nin enazlanması, öz nitelik uzayında zıt sınıfın iki en yakın verisi

arasındaki mesafe olarak bilinen payın ençoklanmasına karşılık gelir [EK-2]. Çoğu zaman

verileri yüksek boyutlu uzaya dönüştüren φ(x) bilinmediğinden, hesaplamalarda kolaylık

sağlamak için veriler bu işlevi kullanmadan bir çekirdek yardımıyla örtük olarak yüksek boyutlu

uzaya taşınır. Bu amaçla birincil eniyileme problemi, Lagrange çarpanları yöntemi kullanarak

ikincil forma çevrilir,

L

i

ijijij

L

jiiikincil xxKyyL

11,

,21 (2.4)

kısıtları: 01

L

ii

iy , ,0LC

i Li ,...,1 . (2.5)

Burada; i Lagrange çarpanlarını ve ji xxK , çekirdeği jTiji xxxxK , ile

hesaplanan iç çarpımı göstermektedir.

Sonuç karar işlevi ise çekirdek ve Lagrange çarpanları kullanarak

11

vektörlerdestek

jii

i bxxKysignx

, (2.6)

ile hesaplanır. Burada; destek vektörler 0 Lagrange çarpanlarına karşılık gelen ix

değerleridir.

Yüksek boyutlu öz nitelik uzayında her bir örüntü, bir nokta olarak düşünülür ve giriş

uzayındaki noktaların bağıl yerini gösterir. Öz nitelik uzayında ayrıştırma yapılırken veri

yapısının da korunması gerekir. Veri yapısı, örnekler arasındaki mesafeyi tanımlar ve verinin

temelini oluşturan doğal bir özellik olarak düşünülür [70]. Veri yapısının korunması DVM

sınıflayıcılarda önemli bir kriter olarak düşünülür [110]. Çünkü DVM, öz nitelik uzayında en

yakın veriler arasındaki payı ençoklamayı amaçlar. Eğer veriler öz nitelik uzayında giriş

uzayındakine göre farklı yerlerde bulunursa hatalı sınıflama yapılır.

Bu bölümde; giriş ve öz nitelik uzayında veri yapısı incelenerek, DVM’lerin hatalı

sınıflama yapıp yapmadığı kontrol edilmiştir. Bu amaçla DVM uygulamalarında en çok

kullanılan RTİ ve polinomsal çekirdekler ele alınmıştır. RTİ çekirdek durumunda öz nitelik

uzayındaki mesafe,

.2exp22

,,.2,

22

2

ji

jjjiiiji

xx

xxKxxKxxKxx (2.7)

ile bulunur [26-28]. Burada; giriş uzay mesafesi ile ilgili duyarlılığı düzenlileştirir ve seçimi

önemlidir. Polinomsal çekirdek durumunda ise, öz nitelik uzayındaki mesafe giriş uzayındaki

mutlak mesafeye bağlıdır [56].

Şekil 2.1’de RTİ ve polinomsal çekirdekler için, giriş uzayındaki bir noktaya diğer

noktaların mesafesi ile aynı noktanın öz nitelik uzayında diğer noktalara mesafesi arasındaki

ilişki verilmiştir. Şekil 2.1a’dan görüldüğü gibi RTİ çekirdek durumunda, sigma parametresi

uygun seçilmez ise, giriş ve öznitelik uzayındaki mesafe arasındaki doğrusal ilişki, mesafe

artarken bozularak öz nitelik uzayında veri noktalarını birbirine yaklaştırdığı için sınıflamanın

hatalı olma olasılığı artar. Polinomsal çekirdek durumunda ise, öz nitelik ve giriş uzayı

mesafeleri arasında ilişki doğrusal değildir. Şekil 2.1b’den görüldüğü gibi, giriş uzayında iki zıt

sınıfın en yakın iki verisi ve öz nitelik uzayında en yakın iki veri olmayabilir. Dolayısıyla pay

farklı olabilir. Böylece giriş uzayında, gerçek pay ençoklanmadığı için sınıflama hatalı olabilir.

12

0 0.5 1 1.5 2 2.5 3 3.5

0

0.5

1

1.5

Giris uzayindaki mesafe

Öz

nite

lik u

zayi

ndak

i mes

afe

sigma=1sigma=0.5sigma=2

0 0.5 1 1.5 2 2.5 3 3.5

0

0.5

1

1.5

2

2.5

3

3.5

4

Giris uzayindaki mesafe

Öz

nite

lik u

zayi

ndak

i mes

afe

(b)

Şekil 2.1 (a) RTİ çekirdek ve (b) ikinci dereceden polinomsal çekirdek için öz nitelik uzayındaki mesafelere karşı giriş uzayındaki mesafe.

Sonuç olarak, yüksek boyutlu uzayda sınıflama yapmak sakıncalı olabilir. Bunun dışında DVM’lerin diğer eksiklikleri ise temel olarak; çekirdek parametrelerinin seçimi, düzenlileştirme sabiti C’nin seçimi, büyük sayıdaki veriler ile ilgilendiğinde DVM’nin ikinci dereceden programlama kullanılarak bu problemleri çözememesi veya aşırı hesaplama gerektiği için uzun zaman alması, gürültü ve aykırı veri içeren veri kümelerinde doğru çözüm yapmaması ve başlangıçta ikili sınıflama problemlerini çözmeye yönelik tasarlanması olarak gösterilebilir [64].

Bu tezde, bahsedilen problemlerden kurtulmak için DVM’ye yeni düzeltmeler önermek veya seçenek sınıflayıcılar oluşturmak hedeflenmiştir. Bunun için ilk olarak yeni bir çekirdek oluşturulmuştur.

2.1.1. Küre ve Elipsoit Biçimli Çekirdek Kullanarak Sınıflama

Vapnik Chervonenkis [EK-1] boyutunu enazlayan dolayısıyla genelleme hatasını

enazlayan ayrıştırıcı yüzeyler, özelde daireler (küreler) genelde elipslerdir (elipsoitlerdir). [7,

20, 28, 87, 94, 108]’de öbekleme ve tek sınıflı sınıflama problemleri için küre ve elipsoit biçimli

yüzeyler kullanılmıştır. DVM ise farklı karar yüzeyleri oluşturarak sınıflama yapabilir. Ancak

küre veya elipsoit biçimli karar yüzeylerine sahip ayrıştırıcı yüzeyler kolay yorumlanabilir

oldukları için biyoloji, tıp ve benzeri alanlarda öngörüm amaçları için kullanılırlar. Polinomsal

çekirdeklerin denklemleri, küre denklemine yakın olmakla birlikte tam olarak bir küre olmadığı

için giriş uzayında küreye benzer ayrıştırıcı yüzeyler veremezler. Bu bölümde, DVM

sınıflayıcılarda kullanmak için Mercer şartını sağlayan yeni küre ve elipsoit biçimli çekirdekler

Öz

nite

lik u

zayı

ndak

i mes

afe

Öz

nite

lik u

zayı

ndak

i mes

afe

Giriş uzayındaki mesafe (a)

Giriş uzayındaki mesafe (b)

13

bularak, anlamlı yüzeyler elde etmek amaçlanmıştır.

Öncelikle ayrıştırıcı yüzey küre olarak alınırsa, yüzey denklemi

0 2 Rcxcxa T (2.8)

ile verilir. Burada; a ölçekleme sabitini, nc kürenin merkezini ve R kürenin yarıçapını

göstermektedir. Denklem açılırsa,

02 2 Rccxcxxa TTT (2.9)

0...2...22... 2222

212211

222

21 Rcccxcxcxcxxxa nnnn (2.10)

elde edilir. İki boyutlu giriş için daire biçimli karar yüzeyi

0

1

222

1

22

21

222

2121

x

x

xx

aRacacacaca (2.11)

olarak bulunur. (2.11), DVM’nin 0 bxw iT yüzeyine benzetilebilir. Burada b eşiği, 1

katsayılı terim olarak düşünülerek sıfır alınabilir. Ancak bu durumda oluşacak çekirdek işlevi

Mercer şartını sağlamaz. Mercer şartının sağlanması için (2.11)

0

122

2

1

22

21

4321

bxxxx

wwwwbxw iT (2.12)

olarak değiştirilir. (2.12), EK-2’de doğrusal çekirdekli DVM sınıflayıcı için verilen ikinci

dereceden programlama problemi ile çözülerek, w ve b parametreleri hesaplanır. Bu değerler

kullanılarak ayrıştırıcı yüzeyin R ve c değerleri

,2

,2

, 32

211

aw

ca

wcwa

(2.13)

abwacacR 422

21

2 (2.14)

olarak elde edilir. Çözüm çok boyutlu giriş için benzer şekilde genişletilebilir.

Ayrıştırıcı yüzey elipsoit biçimli alınırsa, yüzey denklemi

01 cxcxa T (2.15)

ile verilir. Burada; nc elipsoidin merkezini ve nxn elipsoidi tanımlayan pozitif tanımlı

ters kovaryans matrisini göstermektedir. İki boyutlu giriş için elips biçimli ayrıştırıcı denklem

01 22

11

2221

12112211

cxcx

cxcxa (2.16)

14

olarak yazılabilir. Bu yüzey, DVM’nin ayrıştırıcı yüzeyi olarak kullanılırsa ve b eşiği eklenirse

0

1

2

1

22

21

21

654321

b

xxxxx

x

wwwwwwbxw iT (2.17)

elde edilir. Küre biçimli ayrıştırıcıya benzer olarak DVM’nin ikinci dereceden karesel

programlama problemi çözülürse, w parametreleri elde edilir. Bu değerler kullanılarak ayrıştırıcı

yüzeyin parametreleri

2

132

2

435

1 4

2

www

w

www

wc

, 2

1142

2w

wcwc , (2.18)

aw1

11 , a

w222 ve

aw2

12212

(2.19)

olarak hesaplanır.

0 0.5 1 1.5 2 2.5 3 3.5

0

1

2

3

4

5

6

Input space distance

Feat

ure

spac

e di

stan

ce

0 0.5 1 1.5 2 2.5 3 3.50

0.5

1

1.5

2

2.5

3

3.5

4

Input space distance

Feat

ure

spac

e di

stan

ce

(a) (b)

Şekil 2.2 (a) Daire biçimli çekirdek ve (b) elips biçimli çekirdek için giriş uzayındaki mesafelere karşı öz nitelik uzayındaki mesafe.

Önerilen küre ve elipsoit biçimli çekirdekler kullanılarak oluşturulan DVM’ler, genel

DVM’lerden hesapsal olarak daha kolaydır. Şekil 2.2’de, daire ve elips biçimli çekirdekler için

giriş uzayındaki bir noktaya diğer noktaların mesafesi ile aynı noktanın, öz nitelik uzayında

diğer noktalara mesafesi arasındaki ilişki verilmiştir. Şekil 2.2a’dan görüldüğü gibi daire biçimli

çekirdek durumunda, giriş ve öznitelik uzayları arasındaki mesafe ilişkisi tam olarak doğrusal

Giriş uzayındaki mesafe (b)

Öz

nite

lik u

zayı

ndak

i mes

afe

Öz

nite

lik u

zayı

ndak

i mes

afe

Giriş uzayındaki mesafe (a)

15

değildir. Ancak polinomsal çekirdek kadar doğrusal olmayan bir ilişki yoktur. Şekil 2.2b’de ise

elips biçimli çekirdeğin, tamamen doğrusal olmayan bir işlev verdiği görülür. Bundan dolayı

kullanılması uygun değildir ve seçenek sınıflayıcılar oluşturulması gerekir.

2.2. Önerilen Küre ve Elipsoit Biçimli Sınıflayıcıların Tanımı

Bilinen en basit ve az hata ile ayrıştırma yapan sınıflayıcılar genelde elipsoitlerdir.

Bölüm 2.4’te detayları verilecek olan Fisher’in Zambak çiçeği test kümesinin iki sınıfı, Şekil

2.3’de görülmektedir. Bu sınıflar daire biçimli yüzey kullanılarak ayrıştırılmak istenirse, sınıfın

tüm verileri daire olarak ayrıştırılamayacağı için Şekil 2.4’deki gibi bir çok veri karar yüzeyinin

dışında kalır. Ancak karar yüzeyi elips biçimli olursa, Şekil 2.5’deki gibi veriler tam olarak

ayrılabilir. Dolayısıyla bu tezde, giriş uzayında sınıfların ayrıştırıcı yüzeyleri önce küre biçimli

olarak düşünülmüş, sonra daha iyi başarım elde etmek için sınıflayıcı elipsoit biçimli gösterime

genişletilmiştir. Böylece sınıfları ayrıştırmak için, sadece küre ve elipsoit biçimli yüzeyleri

kullanmak amaçlanmıştır [100]. Yüzeylerin içine ait noktalar bir sınıf, dışındakiler ise diğer bir

sınıf alınarak, küre ve elipsoit biçimli sınıflayıcılar oluşturulmuştur.

Problem iki aşamalı olarak düşünülmüştür. Önce karar yüzeyi küre alınmış eniyileme

problemi önerilmiştir. Önerilen formülasyon eğer problem küre olarak ayrıştırılabiliyorsa,

formülasyon %100 doğrulukla çözülecek şekilde oluşturulmuştur. Aksi durumda ise verilerin

hatalı sınıflamasına da olanak vererek önerilen eniyileme probleminden beklenilen en iyi

sonucu vermesi sağlanmıştır. Bu durumda elde edilen doğruluk azalacaktır. Bu nedenle ikinci

aşamada, verilerin hatalı sınıflamasına izin vermeden elipsoitler kullanarak ayrıştırılabilme

olasılığı düşünülerek, ilk aşamaya benzer şekilde karar yüzeyi elipsoitler olan sınıflayıcılar

tasarlanmıştır. Burada ilk aşamada elde edilen kürenin merkez ve yarıçapları, elipsoidin merkez

ve ters kovaryans matrisinin başlatılması için kullanılmıştır. Böylece merkez ve özellikle

elipsoidin ters kovaryans matrisinin başlatılmasında ve güncellenmesinde ortaya çıkan

problemlerden kaçılmıştır. Elipsoidin ters kovaryans matrisinin pozitif tanımlılığı her adımda

kontrol edilmiştir. Kötü şartlanma sayısına bakılarak katsayılarda düzeltme önerilmiştir [4, 40].

Ancak örneklerde, birinci aşamadan elde edilen merkez veriler kullanıldığı için, bu düzeltme

adımına gerek duyulmadığı görülmüştür.

16

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2 2.5-3

-2

-1

0

1

2

3

4

Şekil 2.3 Fisher’in zambak çiçeği test kümesinin sadece ilk iki karakteristiğine ait verilerin gösterimi. İlk sınıfa ait veriler yıldızlar ile diğer sınıfa ait veriler üçgenler ile gösterilmiştir.

-3 -2 -1 0 1 2 3-3

-2

-1

0

1

2

3

4

Şekil 2.4 Daire biçimli sınıflayıcı.

Çanak yaprağı uzunluğu

Çan

ak y

apra

ğı g

eniş

liği


Çan

ak y

apra

ğı g

eniş

liği

x

17

-3 -2 -1 0 1 2 3-3

-2

-1

0

1

2

3

4

Şekil 2.5 Elips biçimli sınıflayıcı.

2.2.1. Matematiksel Temel

Bu tezde önerilen, küre ve elipsoit biçimli sınıflayıcılar gerçekte kısıtlı eniyileme

problemidir. Bu nedenle, penaltı işlevi yöntemi kullanarak, kısıtlı eniyileme probleminin kısıtsız

eniyileme problemi haline dönüştürülmesi gerekir. Bu bölümde, gerekli matematiksel temel

sunulmuştur.

Genel kısıtlı eniyileme problemi (2.20)’deki gibi ifade edilir [6, 11, 31]

min xf (2.20)

kısıt ,...,m, jxg j 10

ni, ibxia

,...,k, lxh

i

l

1

10 (2.21)

Burada; nn Rxxx ...,,1 ve xf bir amaç ölçütü, xg j ve xhl sırasıyla eşitsizlik ve

eşitlik kısıtlarıdır. ia ve ib ise ix için arama uzayı alt ve üst sınırlarıdır.

Penaltı yaklaşımı kullanarak, kısıtlı problem basitçe aşağıdaki gibi kısıtsız probleme

dönüştürülebilir.

Çan

ak y

apra

ğı g

eniş

liği


18

x AGxf

x, hx, gxfxF lj 00

: (2.22)

k

ll

m

jj xhxgxG

11

: (2.23)

Burada, RA genel bir penaltı parametresini göstermektedir. Bu dönüşüm sonucunda, tüm

amaç ölçütü F(x) olmuştur. (2.24)’deki kısıtsız problem çözülerek F(x)’i enazlayan nRx bulunur.

xF min (2.24)

A>0

Bu yaklaşım ile ortaya çıkan iki soru vardır. Birincisi kısıtsız eniyileme probleminin,

asıl kısıtlı probleme ne kadar iyi yaklaşacağı, ikincisi de önerilen kısıtsız problemin nasıl

çözüleceğidir [103]. Öncelikle ilk sorunun cevabı üzerinde düşünülürse, penaltı parametresinin

bu yaklaşımın doğruluğunu belirleyebildiği gösterilebilir. A parametresi sonsuza doğru artarken,

bu yaklaşım artan bir şekilde kararlı olur. Yani kısıtlı problemin çözümü kısıtsız problemin

çözümüne yaklaşır.

Penaltı parametresinin nasıl seçileceği düşünülürse, F(x)’in ve G(x)’in değeri büyük ise

A’nın küçük olması gerektiği görülür. Küçük değerdeki A düzgün bir arama ile sonuçlanarak,

F(x)’in değerini aşağıya çekecektir. Ayrıca eğer iki terimin değeri de küçükse, A’nin arama

yönü içinde tümel en uygunu sağlamak için yeterince büyük olması gerekir. Bununla birlikte

çoğu durumlarda, değeri önemli olan penaltı parametresinin seçimi probleme bağlıdır ve penaltı

işlevinin seçimi için genel bir kural da yoktur [109]. Çapraz geçerlilik testi, L-eğrisi testi veya

uygun bir değer bulununcaya kadar “deneme ve yanılma” yöntemi kullanılarak bu parametre

seçilebilir [16].

Çapraz geçerlilik testi, düzenlileştirme parametresinin seçimi için uygun bir yöntemdir.

Çapraz ilişkinin dayanak noktası, verinin geçerlilik ve eğitim kümesi içine bölünmesidir.

Çalışılan algoritmada, bilinmeyen parametrenin sabitlenmiş değeri veri kümesine uygulanır.

Daha sonra geçerlilik kümesi, çapraz geçerlilik hatasını hesaplayarak parametre seçiminin

uygunluğunu test etmek için kullanılır. İşlem, parametrenin farklı değerleri için tekrarlanır ve en

düşük çapraz geçerlilik hatasını veren parametrenin en uygun olduğu düşünülür. Bu mantıkta,

çapraz geçerlilik kümesini yorumlayan veya en uygunu hesaplamak için eğitim kümesine izin

veren parametreyi seçer. Eğer veri sadece iki alt kümeye bölünürse “hold-out testi” olarak, ā

eşit ölçülü alt kümelere bölünür ve her bir kat için aynı işlemler yapılırsa “ā katlı çapraz

geçerlilik testi” olarak, ā eğitim veri sayısına eşit ise bu yöntem “leave-one-out testi” olarak

adlandırılır [77, 78].

19

Penaltı parametresi, veriye uzunluğu ve bir önceki bilgi arasındaki ödünleşimi kontrol

eder. Eğer çok küçük seçilirse düşük cezalandırmaya, çok büyük seçilirse aşırı cezalandırmaya

götürür. F(x) ve AG(x)’in logaritmik olarak çizimi, L-eğrisi olarak adlandırılır. Eğer aşırı

düzenlileştirme (cezalandırma) varsa eğri gerçekte yataydır, tersi durumunda ise eğri dikeydir.

Böyle bir çizim “L” şekilli bir karakteristiğe sahiptir. Düşük ve aşırı cezalandırma arasındaki

geçiş, L-eğrisinin köşesidir ve bu köşedeki penaltı parametresinin değeri en iyi olarak

düşünülür. Bu iki yöntem, tekrar eden birçok işlem gerektirdiği için fazla hesapsal yük getiren

bir iş olarak düşünülür [43, 44].

Önerilen kısıtsız problemin çözümü için, xF [23]’deki gibi enerji işlevi olarak

düşünülüp, eğim iniş yöntemlerinden biri kullanılarak eniyileme probleminin çözümü

yapılabilir [23]. Enerji işlevinin enazlanma problemi, eğim iniş yöntemleri uygulanarak adi

diferansiyel denklemli sisteme dönüştürülür.

00 x, xx,AFηdtdx

x , (2.25)

A>0 (2.26)

ntx ve tx, uygun olarak seçilen nxn simetrik pozitif tanımlı integrasyon adımıdır.

(2.25)’deki diferansiyel denklem sistemi, temel gradyen sistem olarak adlandırılır ve bu yöntem

sürekli zamanlı en dik iniş yöntemidir. xF yönü, herhangi bir noktada xF enerji

işlevinin en büyük negatif değişiminin yönüdür. Elde edilen bu sistemin ayrık zamanlı eşdeğeri

(2.27)’deki fark denklemler kümesi ile gösterilir.

AkxFkkxkx ,1 x (2.27)

kη 0 k=0, 1, 2,…

Burada; η(k) öğrenme oranı genellikle sabit alınır. Sıfırdan büyük ancak yakınsamayı sağlamak

için sınırlı bir bölge içerisinde seçilmesi gerekir. Her eniyileme problemi için öğrenme oranını

doğru seçmek zordur. Yakınsama oranını artırmak için önerilen bazı yöntemler aşağıda

anlatılmıştır [23].

2.2.1.1. Uyarlanır Öğrenme Oranlı Eğim İniş Yöntemi

Öğrenme oranı küçük bir değer ile başlatıldıktan sonra, (2.28)’deki gibi özyineli denklem

ile değiştirilebilir.

. ise, 1

ise, 1

kηkx Fkx Fkbη

kxFkx Fkaηk (2.28)

diğer

20

Burada; parametrelerin tipik değerleri a=1.05, b=0.7 ve =1.04 olarak seçilmiştir [23].

2.2.1.2. Momentum Terimi İçeren Uyarlanır Öğrenme Oranlı Eğim İniş Yöntemi

Uyarlanır öğrenme oranı ve momentum terimi kullanılarak, yakınsama hızlandırılabilir.

Momentum ve uyarlanır öğrenme oranı ile eğim iniş algoritmasının kullanımı, bir parabol ile

hata yüzeyi üzerinde enaza yaklaşmaktır [23, 83]. Parametre değişimleri için (2.29)’daki kural

kullanılır:

1

kxkkxkxkFkx ijijij

ijij (2.29)

Parametrenin değişimi üç faktöre bağlıdır. Bunlar; parametreye göre hata işlevinin türevi,

parametrenin gerçek değeri ve parametrenin bir önceki değişimidir.

γ katsayısı (tipik olarak γ ≈ 10-4) parametrenin aşırı büyümesini engeller. [83]’de iki

farklı momentumlu eğim iniş yöntemi sunulmuştur. Bunlar arasındaki farklılık, η öğrenme oranı

ve α momentum teriminin seçiminden dolayıdır. Birinde momentum terimi sabit alınır (tipik

olarak α ≈ 0.9) ve öğrenme oranı (2.28)’deki gibi ayarlanır. Diğerinde ise öğrenme oranı,

(2.30)’daki gibi iki değerden birini alır,

diger. 0

icin 1 veya0 0

kxkxkxkF

ijijij (2.30)

Momentum terimi α her bir adımda her parametre için ayarlanır,

diger.

01 veya ijijijmaxijmax

kk

kkkSkk

ijij

ij

(2.31)

Burada;

kxkxkFkS ij

ijij

ve kSkS

kSk

ijij

ijij

1

(2.32)

olarak hesaplanır.

Momentum ve uyarlanır öğrenme oranı ile eğim iniş algoritması, standart eğim inişten

daha hızlıdır ve yerel enaza takılma eğilimi daha azdır.

21

2.2.1.3. Ölçeklenmiş Eşlenik Eğim İniş Yöntemi

Burada, başlangıç eğimi 0g ve başlangıç vektörü 00 gp ile özyineli olarak iki vektör

oluşturulur,

11 ii xFg ve 1 kkkk pgp . (2.33)

k , Polak-Ribiere formülü kullanılarak

21

12

k

kTkk

kg

ggg (2.34)

elde edilebilir. Burada; g eğim yönü ve p eşlenik yönü olarak adlandırılır. F’nin wi+1’deki enaz

noktasına ulaşmak için, doğru enazlama yoluyla wi’den pi yönü boyunca ilerlenir ve enaz

noktada gi+1 oluşturulur.

Eşlenik eğimin temeli, bulunulan adımı mümkün olduğunca küçük adımlarla bir önceki

adıma dikgen yönde giderek, bulunulan adımda önceki adımın sonuçlarını çürütmektir. Eşlenik

yönü, salınımı enazlar ve daha uzun olmayan adımlara izin verir. Böylece hata işlevi, en dik iniş

yönünde daha hızlı azalmasına rağmen, en dik iniş yönünden daha hızlı yakınsama sağlanır.

Ölçeklenmiş eşlenik eğim algoritmaları, eşlenik yönleri boyunca zaman tüketici yön

aramadan kaçınan eşlenik eğim algoritmasının bir çeşididir. Bu algoritma [45], geniş

parametreli sistemler için iyi bilinen algoritmalar arasında en hızlı olarak düşünülür. Levenberg-

Marquart algoritmasındaki gibi FH 2 Hessian matrisini ölçeklemek için skaler ζ içerilir.

kkk pεΔx (2.35)

adım ölçüsü 2kkk

Tk

kTk

kpsp

gp

(2.36)

k

kkkkk

gpxgs

(2.37)

kkkqk

kkkkk pεxFxF

pεxFxFΔ

(2.38)

Burada; F bir gerçel sayıyı, Fq hatanın karesel yaklaşımını, ζk her bir adımda qFF ’nun 1’e ne

kadar yaklaştığına bağlı olarak azalıp-artan skaler bir faktörü göstermektedir.

2.2.1.4. Yarı-Newton Yöntemi

Newton’un yöntemi, hızlı eniyileme için eşlenik eğim yöntemlerine seçenektir [31, 45,

22

73]. Eğim iniş algoritması, (2.39)’daki güncelleme kuralını kullanır:

ioii xFλxx 1 (2.39)

xi civarında Taylor serisi kullanılarak xF ’in eğimi açılarsa

iT

iiii xFxxxFxF 11 diğer terimler (2.40)

ve

0 ixF (2.41)

için denklem çözülür ve yüksek dereceli terimler ihmal edilirse, Newton’un güncelleme kuralı

iiii xFxHxx

11 (2.42)

olarak elde edilir. Burada; ii xFxH 2 parametrelerin bulunulan değerlerinde başarım

indeksinin Hessian matrisidir.

n

NPNNP

n

PPP

n

n

xe

xe

xe

xe

xe

xe

xe

xe

xe

xe

xe

xe

F

...............

...............

...

...

2

1

1

1

2

1

1

1

21

2

21

1

21

11

2

11

1

11

221

22221

11221

...............

...

...

nnn

n

n

xF

xxF

xxF

xxF

xF

xxF

xxF

xxF

xF

H (2.43)

Hessian matrisini hesaplamak, birçok işlem gerektirdiği için zor ve karmaşıktır. Bu

nedenle yarı-Newton olarak adlandırılan algoritmanın farklı bir çeşidi kullanılır. Bu algoritma,

her bir k özyinelemede yaklaşık Hessian matrisini günceller. Hessian matrisini yaklaşık olarak

hesaplamak için en gözde yöntem, yaklaşık Hessian matrisinin tersini hesaplayan BGFS

(Broyden-Goldfarb-Flecher-Shano) yöntemidir.

kTk

Tkkkk

Tkk

kTk

Tkk

kTk

kkTk

kk rssrVVrs

rsss

rsrVr

VV 1111 1

(2.44)

1 kk GV , 1oV , 1 kkk XXs 1 kkk FFr (2.45)

Yarı-Newton algoritması genel olarak daha az adım sayısı ile yakınsamasına rağmen, her bir

adımda daha fazla hesaplama gerektirir ve eşlenik iniş yönteminden daha fazla depolama yapar.

Yaklaşık Hessian matrisinin boyutu Nx x Nx’dir. Fazla parametreli sistemler için eşlenik iniş

algoritmasını kullanmak daha uygundur. Daha az parametreli ağlar için, etkili bir eğitim

yöntemi olabilir.

Yukarıda verilen tüm yöntemler için bir durdurma kriteri gereklidir. Bu çalışmada

[73]’deki gibi adım sayısı, hedef başarım (0), gradyen matrisinin normu (1.0000e-006>) ve

23

eğitim süresi (sonsuz) kriterlerin tümü aynı anda kontrol edilerek algoritma sonlandırılmıştır.

2.3. Önerilen İki Aşamalı Formülasyon

2.3.1. Aşama-I: Küre Biçimli Sınıflayıcılar

1,1-y , x,,,...,, n11 LL yxyx eğitim örneklerinin L örneği için, karar yüzeyi

olarak kullanılan R yarıçaplı, nc merkezli bir küre

D=

,...,L i, R cx x in 1022

(2.46)

gibi tanımlanır. Kürenin içindeki veri etiketlerinin +1, dışındakilerin ise -1 olduğu kabul edilirse

1022 ii yR cx , (2.47)

1022 ii yR cx , (2.48)

olur, problemin sınıflama hatası da

22

Rcxyfxf ii (2.49)

ile verilir. Burada, f işlevi kullanılarak kürenin içinde olması gereken veri, dışında yerleşmişse

veya kürenin dışında olması gereken veri, içinde yerleşmişse amaç ölçütüne pozitif bir terim

eklenmesi sağlanır [26-28],

0 0

0

f

f

0. 0

0 1'

'

f

f (2.50)

Burada oluşturulan eniyileme probleminin, DVM’ye benzer şekilde sadece formülasyona

dayanımlılık kazandıran deneysel hatanın (sınıflama hatasının) değil, aynı zamanda yapısal

hatanın da enazlanması istendiği için, en küçük hacimli ayrıştırıcı kısıtı da amaç ölçütüne

eklenmiştir [7, 88, 101].

Sonuç olarak, sınıflama hatası enazlanarak x verilerini içeren en küçük hacimli

ayrıştırıcı küre problemi, (2.51-2.54) bağıntıları göz önüne alınarak oluşturulur,

2RRg , (2.51)

22

Rcxyfxf ii , (2.52)

24

2

1

22 ARRcxyfxF

L

i

ii

, (2.53)

2

1

22

, min ARRcxyf

L

i

ii

Rc

(2.54)

A>0, bir önceki bölümde belirtildiği gibi dayanımlılık (doğru sınıflama) ve hacim arasında

ödünleşim sağlayan penaltı parametresidir. Bu parametre ve önerilen yaklaşım sayesinde, hem

gürültü hem de aykırı veriler esnek bir şekilde dışlanarak gürbüzlük sağlanır.

2.3.1.1. Önerilen Küre Biçimli Sınıflayıcılar İçin Çözüm Yöntemi

(2.54)’de önerilen eniyileme problemi, Bölüm 2.2.1’de verilen eğim iniş

yöntemlerinden biri kullanılarak çözülebilir. Eğer en dik eğim iniş yöntemi alınırsa amaç ölçütü

F’nin, (2.55) ve (2.56)’daki gibi c ve R değişkenlerine göre negatif gradyenleri alınır.

L

i

iiii RcxyfcxycF

1

22 2 , (2.55)

ARRRcxyfyRF L

i

iii 2 21

22

, (2.56)

(2.57) ve (2.58)’deki gibi, özyineli olarak güncellenebilir,

cFkckc

1 , (2.57)

RFkRkR

1 . (2.58)

Burada; öğrenme oranını göstermektedir ve her iki güncellemede aynı değer kullanılır. c’nin

başlangıç değeri giriş verileri içerisinden rasgele seçilir ve R’nin başlangıç değeri ise 1 alınır.

Karar işlevi (2.59)’daki yüzeyle belirlenir

22 sgn cxRx . (2.59)

Burada; c ve R değerleri (2.57) ve (2.58) kullanılarak elde edilen sonuç değerleri

göstermektedir. Bu karar işlevi temeline dayanarak, yüzeyin içinde bulunan noktalar pozitif

diğerleri de negatif olarak öngörülür.

2.3.2. Aşama-II: Elipsoit Biçimli sınıflayıcılar

Bu aşamada, karar yüzeyi olarak, nxn ters kovaryans matrisli ve nc merkezli

25

bir elipsoit kullanılmıştır,

E= ,...,L i, cxcx x iin 101 . (2.60)

Birinci aşamaya benzer olarak, elipsoidin içindeki verilerin etiketlerinin +1, dışındakilerin -1

olduğu kabul edilirse,

101 iii ycxcx , (2.61)

101 iii ycxcx , (2.62)

olur. Sınıflama hatasını enazlayan ve aynı anda giriş örüntülerini içeren en küçük hacimli

elipsoidi arayan sınıflayıcı problemi

1g , 1 cxcxyfxf iii , (2.63)

11cxcxyfxF iii , (2.64)

Acxcxyf

L

i

iii

c1

,1min (2.65)

olarak oluşturulur.

2.3.2.2. Önerilen Elipsoit Biçimli Sınıflayıcılar İçin Çözüm Yöntemi

(2.65)’deki eniyileme problemi, Bölüm 2.2.1’de verilen eğim iniş yöntemlerinden birisi

kullanılarak çözülebilir. Bunun için öncelikle amaç ölçütü F’nin, c ve değişkenlerine göre

negatif gradyenleri alınır.

2

1

1

1T

L

i

iTiiTiii

A

cxcxyfcxcxyF

(2.66)

L

i

iTiiii cxcxyfcxycF

1

1 2 (2.67)

Birinci aşamadan elde edilen merkezler, elipsoidin merkezleri olarak alınır ve elde edilen

yarıçaplar kullanılarak 21 R ile ters kovaryans matrisinin diyagonal elamanları başlatılır. Eğer

en dik eğim iniş yöntemi kullanılmak istenirse, ters kovaryans matrisi ve c vektörü

cFkckc

1 , (2.68)

26

Fkk 1 , (2.69)

gibi özyinelemeli olarak güncellenebilir. Karar yüzeyi

cxcxx ii 1sgn (2.70)

ile belirlenir. Burada; c ve değerleri (2.68) ve (2.69) bağıntıları kullanılarak elde edilen sonuç

değerleri göstermektedir. Karar yüzeyinin içinde bulunan noktalar pozitif, diğerleri de negatif

olarak öngörülür.

2.3.3. Penaltı Parametresinin Seçimi

Penaltı parametresinin değeri, bu tezde önerilen eniyileme problemlerinin çözümü için

oldukça önemlidir. Penaltı parametresinin uygun değerinin elde edilmesi için, Bölüm 2.2’de

verilen testler denenebilir ve bu testlerin sonucunda edinilen deneyimler ışığında penaltı

parametresi aşağıdaki gibi seçilebilir:

Eniyileme problemi

IIAI . min . (2.71)

olarak tekrar sembolleştirilir. Burada; I, toplam hata terimini ve II, hacim terimini

göstermektedir.

LIIIA / birden büyük olursa, hacim terimi ortalama sınıflama hatasından daha

büyüktür. Eğer birden küçükse sınıflama hatası çok fazladır. 1/ LIIIA ise her iki terim de

eşit büyüklüktedir. Bu bölümdeki tüm uygulamalarda her iki terime de eşit önem vermek için,

1/ LIIIA alınarak,

IIILA /1 (2.72)

ile öz yinelemeli olarak hesaplanmıştır: A’nın başlangıç değeri olarak LA atanır. Her

özyinelemede A’nın 1/1 L değerinden küçük olup olmadığı belirlenir. Küçük olduğu durumda

A’nın bir önceki değeri alınır. 1L burada yüzeyin içinde kalması gereken veri sayısıdır.

Uygulamalarda 21 LL değeri alındığında iyi sonuç elde edilmiştir.

Bir seçenek olarak, tamamen aynı olmamakla birlikte gürbüz bulanık öbekleme

algoritmalarında yapıldığı gibi A büyük bir değerden başlatılarak adım sayısına göre üstel olarak

azaltılabilir [85]. Bu amaçla (2.72)

zhIIILA exp/1 (2.73)

olarak değiştirilir. Burada; z adım sayısı ve h azalma hızını belirleyen bir sabittir. Buna göre A

başlangıçta büyük bir değer seçilerek, penaltı terimine daha fazla önem verilmesi sağlanır. Daha

27

sonra, (2.73)’e göre 1/1 L değerine kadar azaltılarak diğer terime önem verilmesi sağlanır. A

hiçbir zaman sıfıra götürülmez, bunun nedeni sıfır olması durumunda hacim üzerinde herhangi

bir kısıt olamayacağıdır. Bu bölümdeki uygulamalarda, her bir adımda (2.72) ile hesaplanan A

değeri, yeni bir A değeri alınarak güncellenmiştir.

2.4. Uygulamalar

2.4.1.Veri Kümeleri

İki sınıflı sınıflama ile ilgili örneklerde, yüksek boyutlu ve veri sayısı farklı olan sekiz

veri kümesi kullanılmıştır. Kullanılan veri kümelerinin dördü California, Irvine Üniversitesi’nin

(UCI) makine öğrenme veritabanları arşivinden alınmıştır [72]. Diğerleri Fisher’in zambak

çiçeği veri kümesi [9], [75]’den Galaksi/Yıldız ayrıştırıcı veri kümesi ve yapay olarak

oluşturulan veri kümeleridir. Ayrıca çoklu sınıflama ile ilgili örneklerde UCI’den üç veri

kümesi kullanılmıştır. Bu veri kümeleri hakkında ayrıntılar aşağıda verilmiştir:

Wisconsin Göğüs Kanseri (WGK) veri kümesi: W. H. Wolberg tarafından Wisconsin

Üniversitesinde toplanan, UCI’deki göğüs kanseri verilerinden biridir. Hastanın göğsünden

alınan doku örneğinin, kötü huylu veya iyi huylu olup olmadığını belirleme problemleridir. 13

sayısal özellikli iki sınıf vardır. 41 kötü huylu ve 69 iyi huylu toplam 110 gözlem vardır.

BUPA Karaciğer Bozuklukları (BUPAKB) veri kümesi: Bu UCI veri kümesi, R. S.

Forsyth tarafından BUPA Tıp Araştırma Şirketinde toplanmıştır. Bir erkek hastanın, kan testleri

ve alkol tüketimine göre toplam 6 sayısal özelliğe dayanarak karaciğer bozukluğunun olup

olmadığını belirleme problemleridir. Karaciğer bozukluğunun şiddetine göre iki sınıf vardır.

Bunlar, 200’ü bir sınıftan ve 145’i diğer sınıftan olan, toplam 345 hastadır.

Cleveland Kalp Hastalıkları (CKH) veri kümesi: Bu UCI veri kümesi, R. Detrano

tarafından Amerika Birleşik Devletleri'ndeki Cleveland kalp merkezinden toplanmıştır. Hasta

üzerinde yapılan çeşitli tıbbi testlerin sonuçları verildiği zaman, kalp hastalığının varlığını veya

yokluğunu belirleme problemleridir. 7’si sayısal, 6’sı kategorik olmak üzere 13 özellikli iki sınıf

vardır. 83’ü kalp hastası ve 214’ü de hasta olmayan, toplam 297 gözlem vardır.

Galaksi/Yıldız Ayrıştırıcı (GYA) veri kümesi: Bu veri kümesi, Odewahn’ın [75]’deki

çalışmasından alınmıştır. Minnesota Üniversitesi’nde Otomatik Plaka Tarayıcı (OPT)

kullanılarak toplanmıştır. OPT tarafından fark edilen nesnelerin 14 görüntü parametresine

dayanarak, galaksi mi yoksa yıldız mı olduğunu tespit ederek onları ayrıştırma problemleridir.

28

Bu veri kümesinde 2110 galaksi ve 2082 yıldız bulunmaktadır.

İyonosfer veri kümesi: İyonosfer radar yansımaları verisidir. Bu radar verisi Goose

Bay, Labrador anten sistemi ile toplanmıştır. Sistem, toplam iletim gücü 6.4 KW olan 16 yüksek

frekanslı dizi antenden oluşmaktadır. Hedefler iyonosferdeki serbest elektronlardır. “İyi” radar

dönüşleri, iyonosferdeki elektronların varlığını, “Kötü” radar dönüşleri ise yokluğunu

göstermektedir. Alınan sinyaller; bağımsız değişkenleri, dönüş sinyali sıra numarası sayısı ve

dönüş süresi olan bir öz ilişki işlevi kullanılarak işlenmiştir. Goose Bay sisteminde, 17 dönüş

sinyali kullanılmıştır. Bu veri tabanındaki her bir örnek, dönüş sayısı başına değerleri karmaşık

sayılar ile verilen iki elektromanyetik sinyalle tanımlanmıştır. Bu nedenle iyonosfer veri kümesi

34 girişle verilmektedir. Toplam 351 örnekten oluşmaktadır. Bu örneklerin 225’i “iyi”, 126’sı

“kötü” olarak etiketlenmiştir.

Zambak çiçeği veri kümesi: Zambak çiçeği verisi ilk olarak, 1936’da Fisher tarafından

yayınlanmıştır [9]. Bu veri kümesi, her biri 50 örnekten oluşan 3 sınıf içerir. Her bir sınıf

zambak çiçeğinin farklı bir tipini göstermektedir. Zambak çiçeğinin farklı tiplerini ayrıştırmak

için 4 karakteristiğine bakmak yeterlidir. Bu karakteristikler; santimetre olarak verilen çanak

yaprağı uzunluğu, çanak yaprağı genişliği, taç yaprağı uzunluğu ve taç yaprağı genişliğidir.

Zambak çiçeğinin bir sınıfı diğerlerinden doğrusal olarak ayrıştırılabilir, diğerleri ise

ayrıştırılamaz.

Yapay Veri kümesi-1 (YV1): Bu veri kümesi, önerilen sınıflayıcıların başarımını

göstermek için ilk olarak [100]’de oluşturulmuştur. Birim dairenin içindeki ve dışındaki verileri

bulma problemidir. Birim daire içindeki veriler bir sınıftan, dışındakiler ise diğer sınıftan olmak

üzere, iki özelliği bulunan iki sınıf vardır. 141 pozitif olarak etiketlenen ve 353 negatif olarak

etiketlenen, toplam 494 örnek vardır.

Yapay Veri kümesi-2 (YV2): Bu veri kümesi, YV1 veri kümesinden sadece

x=[0.9 0;0.18 -0.3; 0.36 0.3; -0.18 0.15; -0.22 -0.24;1.1 0;1.11 0.96; 1.17 -0.915;-0.96 -1.1]

y=[1 1 1 1 1 -1 -1 -1 -1]';

verileri alınarak oluşturulmuştur. Öncekine benzer şekilde birim dairenin içindeki ve dışındaki

verileri bulma problemidir.

Ayrıca YV2 veri kümesinin küre olarak ayrıştırılmaması için sırasıyla, 1 etiketli {1.25,

0.75} ve {10, 10} verileri eklenerek yeni veri kümeleri oluşturulmuştur. Elde edilen veri

kümeleri uygulamalarda sırasıyla YV21 ve YV22 olarak isimlendirilmiştir.

Şarap veri kümesi: Bu veri kümesi, C.Blake tarafından Eczacılık ve Yiyecek Analizi ve Teknolojileri Enstitüsü'nde toplanmıştır. İtalya’nın özel bir alanında üretilen şarapların kimyasal analizinin sonuçları kullanılarak şarapların üç farklı tipini belirleme problemidir. Toplan 178 örneğin her biri için 13 kimyasal analiz yapılmıştır.

29

Cam veri kümesi: Bu veri kümesi, B. German tarafından USA Adli Bilim Servisi’nde

suçun işlendiği olay yerinde bulunan camların kanıt olarak kullanılması amacıyla toplam 214

örnek toplanmıştır. Camın oksit içeriğine bakarak (magnezyum, alüminyum, silikon, potasyum,

kalsiyum, baryum, demir, sodyum, ışığı kırma indeksi gibi) işlenmiş veya işlenmemiş bina

pencere camı, işlenmiş veya işlenmemiş araba camı, şişe camı, masa camı ve far camı olup

olmadığını belirleme problemidir.

Uydu görüntüleri veri kümesi: Bu veri kümesi Avusturya Uzaktan Algılama Merkezi

tarafından NASA’dan satın alınmıştır. 4 elektromanyetik izgel (spektral) bant ve komşuluktaki

9 piksel değerlendirilerek alanın kırmız toprak, gri toprak, nemli gri toprak, çok nemli gri

toprak, pamuk ürününe veya bitki örtüsüne sahip toprak olup olmadığını belirleme problemidir.

2.4.1.2. İki Sınıflı Sınıflayıcılar İçin Uygulamalar

Aşağıda verilen ilk iki örnekte, bu tezde önerilen küre ve elipsoit biçimli sınıflayıcıların

eğitim yöntemlerinin başarımları incelenmiştir. İlk örnekte, zambak çiçeği verisi ve oluşturulan

yapay veri kümeleri üzerinde, yöntemlerin eğitim başarımları ve eğitim süreleri önce

birbirleriyle ve daha sonrada RTİ çekirdekli ve küre çekirdekli DVM ile kıyaslanmıştır. İkinci

örnekte ise zambak çiçeği verisinin farklı boyutları ile üç sınıf için ayrı ayrı sınıflayıcılar

oluşturarak, hem eğitim hem de test başarımları DVM ile kıyaslanmıştır. Üçüncü örnekte ise

bilimsel yazında bilinen veriler kullanılarak; önerilen sınıflayıcılar ile hem DVM tabanlı hem de

diğer sınıflayıcılar, eğitim ve test kümesi üzerindeki başarımları ve eğitim süreleri açısından

kıyaslanmıştır.

2.4.2. Önerilen Sınıflayıcıların Farklı Yöntemlerle Eğitilerek Başarımının İncelenmesi

Bu uygulamada, zambak çiçeği verisinin 3. ve 4. karakteristiği alınarak, birinci ve ikinci

sınıflarının ayrı ayrı ayrıştırılması problemi düşünülmüştür ve tüm veriler eğitim için

kullanılmıştır. Ayrıca oluşturulan yapay veri kümeleri ile ikili sınıflama yapılmıştır.

Sınıflayıcıların her biri için ayrılması gereken, yani karar yüzeyinin içinde kalması gereken her

bir sınıf 1, diğerleri -1 olarak etiketlenmiştir. Sınıflayıcılar Genel Eğim İniş (GEİ), Uyarlanır

Öğrenme Oranlı Eğim İniş (UÖEİ), Momentum Terimli Uyarlanır Öğrenme Oranlı Eğim İniş

(MUÖEİ), Eşlenik Eğim İniş (EEİ), Ölçeklenmiş Eğim İniş (ÖEİ) ve Yarı Newton (YN)

yöntemleriyle eğitilmiştir. Sınıflayıcıların bu eğitim yöntemleri için, eğitim süresi ve doğruluğu

açısından başarımlarına bakılmıştır. Tüm eğitim algoritmalarında, c merkez değerleri eğitim

30

verileri içerisinden her kat için rasgele olarak ve R değerleri 1 alınarak başlatılmıştır.

Bu tezdeki tüm hesaplamalar için MATLAB kullanılmıştır [73]. Sonuçlar Intel Centrino

1.6 GHz, 756 MB RAM’e sahip diz üstü bilgisayar kullanılarak elde edilmiştir. Farklı eğitim

yöntemlerine ilişkin sonuçlar Tablo 2.1’de verilmiştir. Penaltı parametresi (2.72)’deki gibi

IIILA .1 ’e göre hesaplanmıştır. Tüm algoritmalar 400 adım için çalıştırılmış, ancak

Bölüm 2.2’de belirtilen sonlandırılma kriterleri sağlandığında özyineleme durdurulmuştur. Bu

nedenle Tablo 2.1’de adım sayıları ayrıca verilmiştir. Bu tablodaki bazı sonuçlarda sıfır adım

sayısı ile algoritmanın sonlandırıldığı görülmektedir. Bu sonuç algoritmanın sadece verilen

başlangıç değerleri için çözüm yaparak durdurulduğunu göstermektedir. Tabloda verilen

sonuçlara göre önerilen sınıflayıcılar, MUÖEİ yöntemiyle eğitildiklerinde, eğitim süresi ve

özellikle doğruluk açısından yeterince iyi sonuç verdikleri görülebilir. Bu nedenle, sadece bu

yöntemin, birinci ve ikinci aşamasına ilişkin eğitim özyineleme sonuçları ve elde edilen karar

yüzeyleri Şekil 2.6 ve Şekil 2.7’de verilmiştir.

31

Tablo 2.1 Farklı eğitim algoritmalarının kıyaslanması.

Veri

Kümesi GEİ

Öğrenme Oranı

Süre [s] Doğruluk [%] Adım Sayısı

UÖEİ


MUÖEİ


EEİ


ÖEİ


YN


Zambak Çiçeği 2.sınıf

Aşama-I

0.01 0.9820 97.333

400

- 0.9810 96.6667

400

0.9820 96.6667

400

0.4710 97.3333

4

0.6610 96.667

100

0.4610 96.6667

7 Zambak Çiçeği 2.sınıf

Aşama-II

0.001 0.6610 96.6667

200

1.2345 96.6667

400

1.0800 96.6667

400

0.4330 97.3333

80

0.3910 97.3333

80

0.2310 97.3333


Aşama-I

0.01 0.9510

100 100

0.96 100 400

1.0110

100 400

0.4810

100 6

0.38 100

2

0.53 100


Aşama-II

0.001 0.25 100

2

0.1900

100 3

0.1800

100 3

0.5430

100 100

0.4610

100 80

0.01 100

0 YV1

Aşama-I

0.0005 3.9060

100 400

3.8750

100 400

3.9960

100 400

0.4810

100 4

9.4240

100 400

2.4240

100 100

Aşama-II 0.001 0.3100

100 6

0.5674

100 25

0.4810

100 25

2.67 100 100

1.42 100 50

0.01 100

0 YV2

Aşama-I 0.01 0.82 100 30

0.6710

100 400

0.6710

100 400

0.34 100 400

0.4610

100 400

0.3210

100 400

Aşama-II 0.005 0.3010

100 400

0.2600

100 2

0.2600

100 2

0.28 100 50

0.38 100 50

0.01 100

0 YV21

Aşama-I 0.01

0.8420 80 400

0.6510

70 400

0.7820

80 400

0.4110

80 400

0.4800

80 400

0.3200

90 7

Aşama-II 0.005 0.9110

100 400

0.435 100 100

0.3810

100 100

0.48 100 50

0.4710

100 80

0.01 100

0 YV22

Aşama-I 0.01 0.78 50 400

0.5910

70 400

0.8710

70 100

0.4410

60 400

0.4910

60 400

0.4410

60 17

Aşama-II 1e-5 1.4320

80 400

0.9450

70 400

0.8976

80 100

0.4517

60 400

0.5673

60 400

0. 16 70 5

32

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2

-2

-1.5

-1

-0.5

0

0.5

1

1.5

2

0 50 100 150 200 250 300 350 40010-4

10-3

10-2

10-1

100

101

102

103

Epochs

Per

form

ance

(a) Zambak çiçeği veri kümesinin 3. ve 4. karakteristiği alınarak birinci sınıfın ayrıştırılması

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2

-1.5

-1

-0.5

0

0.5

1

1.5

2

0 50 100 150 200 250 300 350 40010-1

100

101

(b) Zambak çiçeği veri kümesinin 3. ve 4. karakteristiği alınarak ikinci sınıfın ayrıştırılması.

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2-1.5

-1

-0.5

0

0.5

1

1.5

0 50 100 150 200 250 300 350 400

0

100

200

300

400

500

600

700

800

900

1000

(c) YV1 veri kümesinin ayrıştırılması.

Taç yaprağı uzunluğu


Taç

yapr

ağı g

eniş

liği

Taç

yapr

ağı g

eniş

liği

Adım sayısı

Baş

arım

Adım sayısı

Adım sayısı

B

aşar

ım

B

aşar

ım

1. özellik

2. ö

zelli

k

33

-1 -0.5 0 0.5 1 1.5

-1.5

-1

-0.5

0

0.5

1

0 50 100 150 200 250 300 350 400

10-2

10-1

100

(d) YV2 veri kümesinin ayrıştırılması.

-1 -0.5 0 0.5 1 1.5

-1.5

-1

-0.5

0

0.5

1

1.5

0 50 100 150 200 250 300 350 40010-1

100

101

(e) YV21 veri kümesinin ayrıştırılması.

-4 -2 0 2 4 6 8 10 12

-2

0

2

4

6

8

10

12

14

0 50 100 150 200 250 300 350 400

100

101

102

103

(f) YV22 veri kümesinin ayrıştırılması. Şekil 2.6 Aşama-I’de önerilen sınıflayıcının MUÖEİ algoritması ile eğitim başarımı ve karar yüzeyleri.

Adım sayısı

Adım sayısı

Adım sayısı

Baş

arım

B

aşar

ım

Baş

arım

2. ö

zelli

k 2.

öze

llik

2. ö

zelli

k

1. özellik

1. özellik

1. özellik

34

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2

-1.5

-1

-0.5

0

0.5

1

1.5

2

0 0.5 1 1.5 2 2.5 30

10

20

30

40

50

60

70

80

90

100

Epochs

Per

form

ance

(a) Zambak çiçeği veri kümesinin 3. ve 4. karakteristiği alınarak birinci sınıfın ayrıştırılması.

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2

-1.5

-1

-0.5

0

0.5

1

1.5

2

0 50 100 150 200 250 300 350 400

10-1

100

101

102

Epochs

Per

form

ance

(b) Zambak çiçeği veri kümesinin 3. ve 4. karakteristiği alınarak ikinci sınıfın ayrıştırılması.

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2

-1.5

-1

-0.5

0

0.5

1

1.5

0 5 10 15 20 25

0

100

200

300

400

500

600

700

800

900

1000

Epochs

Per

form

ance

(c) YV1 veri kümesinin ayrıştırılması.



Taç

yapr

ağı g

eniş

liği

Taç

yapr

ağı g

eniş

liği

Adım sayısı

Adım sayısı

Adım sayısı

Baş

arım

B

aşar

ım

Baş

arım

2. ö

zelli

k

1. özellik

35

-1 -0.5 0 0.5 1 1.5

-1.5

-1

-0.5

0

0.5

1

0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 20

1

2

3

4

5

6

7

8

9

10

Epochs

Per

form

ance

(d) YV2 veri kümesinin ayrıştırılması.

-1 -0.5 0 0.5 1 1.5

-1.5

-1

-0.5

0

0.5

1

0 10 20 30 40 50 60 70 80 90 10010-3

10-2

10-1

100

101

Epochs

Perfo

rman

ce

(e) YV21 veri kümesinin ayrıştırılması.

-1 -0.5 0 0.5 1 1.5

-1.5

-1

-0.5

0

0.5

1

0 50 100 150 200 250 300 350 40010-3

10-2

10-1

100

101

Epochs

Perfo

rman

ce

(f) YV21 veri kümesinin ayrıştırılması.

Şekil 2.7 Aşama-II’de önerilen eniyileme probleminin MUÖEİ algoritması ile eğitim başarımı ve karar yüzeyleri.

Adım sayısı

Adım sayısı

Adım sayısı

Baş

arım

B

aşar

ım

Baş

arım

2. ö

zelli

k 2.

öze

llik

2. ö

zelli

k

1. özellik

1. özellik

1. özellik

36

Önerilen sınıflayıcının eğitim başarımı ve karar yüzeyleri elde edildikten sonra, [40]’daki MATLAB kütüphanesi kullanılarak RTİ çekirdekli DVM ve MATLAB’ın “quadprog” komutu kullanılarak karesel programlama ile çözümü yapılan küre biçimli çekirdeğe sahip DVM, eğitim başarımı ve süresi açısından kıyaslanmıştır. DVM’nin C parametresi [88]’de önerildiği gibi C=10L alınmıştır. σ parametresi ise [0.01:0.001:3] dizisi içerisinden en iyi eğitim başarımı ve büyük pay sağlayan değerlerden biri seçilmiştir. Elde edilen sonuçlar, Şekil 2.8 ve Tablo 2.2’de verilmiştir. Sonuçlardan veri sayısı arttıkça DVM’nin önerilen yönteme göre çok daha yavaş olduğu görülmektedir. Diğer taraftan YV22 veri kümesindeki gibi veriler, elipsoit biçiminde ayrıştırılamadığı durumda DVM’nin eğitim başarımının önerilen sınıflayıcılardan daha iyi olduğu görülmektedir. Tablo 2.2 Önerilen sınıflayıcıların eğitim başarımının küre biçimli ve RTİ çekirdekli DVM ile kıyaslanması.

Yöntem YV1 YV2 YV21 YV22 Zambak

Çiçeği 1. sınıf

Zambak Çiçeği 2. sınıf

DVM Süre [s]

Doğruluk [%] C σ

316.44

100 3530

1

0.16 100 90

0.125

0.14 100 90

0.125

0.4 100 90

0.125

2.73 100 1500 0.125

2.29

99.33 1500 0.125

Küre Çekirdekli DVM

Süre [s] Doğruluk [%]

σ

104 100 3530

0.23 100 90

0.2 100 90

0.2 80 90

1.73 100 1500

1.87 96.62 1500

Önerilen Sınıflayıcı (YN)

Süre [s] Doğruluk [%]

2.42 100

0.01 100

0.01 100

0.16 70

2.37 100

0.23 97.33

37

-2.5 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2-2

-1.5

-1

-0.5

0

0.5

1

1.5

2

Taç yapragi uzunlugu

Taç

yapr

agi g

enisl

igi

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2-2

-1.5

-1

-0.5

0

0.5

1

1.5

2


Taç

yapr

agi g

enisl

igi

(a) Zambak çiçeği veri kümesinin 3. ve 4. karakteristiği alınarak birinci ve ikinci sınıfın ayrıştırılması.

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2

-1.5

-1

-0.5

0

0.5

1

1.5

1. özellik

2. ö

zelli

k

-1.5 -1 -0.5 0 0.5 1 1.5-1.5

-1

-0.5

0

0.5

1

1.5

1. özellik

2. ö

zelli

k

(b) YV1 ve YV2 veri kümesinin ayrıştırılması.

-1.5 -1 -0.5 0 0.5 1 1.5 2

-1.5

-1

-0.5

0

0.5

1

1.5

1. özellik

2. ö

zelli

k

-4 -2 0 2 4 6 8 10

-2

0

2

4

6

8

10

1. özellik

2. ö

zelli

k

(c) YV21 ve YV21 veri kümesinin ayrıştırılması.

Şekil 2.8 RTİ çekirdekli DVM sınıflayıcının karar yüzeyleri.

1. özellik 1. özellik 1. özellik

1. özellik 1. özellik

Taç

yapr

ağı g

eniş

liği

Taç

yapr

ağı g

eniş

liği

2. ö

zelli

k

2. ö

zelli

k

2. ö

zelli

k

2. ö

zelli

k

Taç yaprağı uzunluğu Taç yaprağı uzunluğu

38

2.4.3. Zambak Çiçeği Veri Kümesi ile İki Sınıflı Sınıflama Problemi

Burada bir önceki örnekten farklı olarak, zambak çiçeği verisi üzerinde önerilen küre ve

elipsoit biçimli sınıflayıcıların test başarımı da incelenmiştir. Zambak çiçeği verisi 4

karakteristikli olduğu için, önce 3. ve 4. karakteristikler alınarak iki boyutlu giriş uzayında, daha

sonra dört karakteristiği de alınarak dört boyutlu giriş uzayında, üç ayrı küre ve elipsoit biçimli

sınıflayıcılar oluşturulmuştur.

Tüm veriler, sıfır ortalamalı standart sapması 1 olarak ölçeklenmiştir. Önce rasgele

karıştırılmış, daha sonra 10 eşit alt kümeye bölünerek 4’ü eğitim 6’sı test kümesi olarak

kullanılmıştır. Önerilen sınıflayıcılar, 350 adım için MUÖEİ yöntemi ile eğitilmiştir. Algoritma

10 defa çalıştırılarak ortalama eğitim süresi ile hem eğitim hem de test verileri için doğru

sınıflanmış noktaların toplam yüzdesi, ortalama doğruluk elde edilmiştir. Elde edilen sonuçlar,

karesel programlama ile eğitilen DVM ile kıyaslanmıştır [41]. DVM için RTİ çekirdek

kullanılmıştır. Çekirdek parametresi [0.01:0.001:3] dizisi içerisinden en iyi test başarımını veren

değerlerden biri olan σ=0.125 seçilmiştir. DVM’nin C parametresi ise [10:10:3000] dizisi

içerisinden en iyi test başarımını veren değerlerden biri olan 1000C alınmıştır. DVM’de 10

defa çalıştırılarak rasgele karıştırılmış veriler için ortalama eğitim ve test başarımları elde

edilmiştir. Tablo 2.3’de verilen tüm sonuçlardan görüldüğü gibi, önerilen sınıflayıcılar eğitim

süreleri ve test başarımları açısından DVM’ye göre üstündür.

Tablo 2.3 Önerilen sınıflayıcıların ve DVM’nin 10 katlı eğitim ve test doğrulukları ile eğitim sürelerinin kıyaslanması.

Zambak Çiçeği

DVM Aşama-I-

Aşama-II-

DVM Aşama-I-

Aşama-II-

DVM Aşama-I-

Aşama-II-

1. Sınıf 1. Sınıf 1. Sınıf 2. Sınıf 2. Sınıf 2. Sınıf 3. Sınıf 3. Sınıf 3. Sınıf n=4

Eğitim Doğ. [%]

Test Doğ. [%] Süre [s]

100 100 0.13

100 98.87 0.07

100 100 0.02

100 93.13 0.15

95.00 88.76 0.03

98.33 94.38 0.1

100 94.38 0.15

96.66 93.50 0.04

100 95.13 0.28

n=2 Eğitim

Doğ. [%] Test

Doğ. [%] Süre [s]

100 100 0.26

100 100 0.04

100 100 0.01

98.33 94.38 0.19

96.62 94.62 0.03

100 95.62 0.01

100 93.25 0.25

96.66 94.38 0.04

100 95.50 0.03

39

2.4.4. CKH, BUPAKB, İyonosfer, WGK ve GYA Veri Kümeleri ile Sınıflama Problemi

Bu örnekte, Bölüm 2.2.1’de verilen eğitim algoritmaları ile eğitilen küre ve elipsoit

biçimli sınıflayıcıların, bilimsel yazındaki farklı sınıflayıcılar ile kıyaslamasını yapmak için,

UCI makine öğrenme arşivinden CKH, BUPAKB, WGK ve iyonosfer veri kümeleri ile

[75]’den GYA veri kümesi ele alınmıştır. Kıyaslama için EK-3’de tanıtılan DVM tabanlı

sınıflayıcılardan kısıtsız, türevi alınabilir, dışbükey örtük Lagrangian işlevini Newton yöntemi

kullanarak çözen doğrusal, RTİ çekirdekli ve veri sayısı belirli bir Oranda Azaltılan (AO)

NLDVM [66, 67] ile DVM formülasyonundaki kısıtları eşitlik durumuna çevirerek, en yakın

sınır oluşturan düzlemler oluşturan doğrusal, RTİ çekirdekli ve veri sayısı azaltılmış YDVM

kullanılmıştır. Bunlar bilimsel yazında oldukça sık kullanıldıkları ve sınıflama uygulamalarında

denektaşı oldukları için tercih edilmiştir. Ayrıca DVM tabanlı olmayan sınıflayıcılardan,

elipsoit biçimli karar yüzeyleri sağlayan [39]’daki yöntem ve k-En yakın Komşuluk algoritması

(k-EK) [83] kıyaslama için kullanılmıştır. Bunun dışında, Bölüm 2.1’de önerilen Küre

Çekirdekli DVM (KÇDVM) de kıyaslama için ele alınmıştır. Veri kümelerine, [66, 67]’deki

gibi bir ölçekleme uygulanmıştır.

Ele alınan veriler önce rasgele karıştırılmış, daha sonra 10 eşit alt kümeye bölünerek 4’ü

eğitim 6’sı test kümesi olarak kullanılmıştır. [39]’daki sınıflayıcı hariç önerilen ve diğer

sınıflayıcıların, seçilen parametrelerle 10 defa çalıştırılmasıyla elde edilen sonuçlar, ortalama

eğitim süresi, ortalama adım sayısı ve hem eğitim hem de test verileri için doğru sınıflanma

yüzdeleri, ortalama doğruluk olarak iki tablo halinde verilmiştir. Tüm sınıflayıcılar için

algoritmanın her başlatılışında sınıflardaki veriler ve veri sayıları rasgele değiştirildiği için

[39]’daki sınıflayıcının çözüm yapamadığı durumlar ortaya çıkmıştır. Bu nedenle [39]’daki

sınıflayıcı da 10 defa çalıştırılmış ancak elde edilen en iyi sonuçları tabloda verilmiştir. Tablo

2.4’de CKH, BUPAKB ve iyonosfer veri kümeleri üzerinde farklı eğitim algoritmaları için

önerilen sınıflayıcıların başarımları verilmiştir. Önerilen sınıflayıcılar, 350 adım için farklı eğim

iniş algoritması ile eğitilmiştir. Tablodan görüldüğü gibi GEİ yöntemi, diğer yöntemlerden

eğitim süresi ve doğruluk açısından daha kötüdür. Buna karşılık MUÖEİ yöntemi, bilimsel

yazında hem hızlı hem de daha iyi sonuç verdiği bilinen EEİ yöntemleriyle benzer başarım

vermiştir. Bu nedenle, tezin geri kalanında verilen örneklerde aksi belirtilmedikçe, MUÖEİ

yöntemi tercih edilmiştir. Tablo 2.5’de CKH, BUPAKB, WGK, iyonosfer ve GYA veri

kümeleri üzerinde bu yöntem ile elde edilen sonuçlar, diğer yöntemlerin sonuçlarıyla

kıyaslanmıştır.

Önerilen küre ve elipsoit biçimli sınıflayıcılar, kısa eğitim süreleri ve küçük adım

sayılarıyla eğitilmiştir. Her veri kümesi için, Aşama-I’in MUÖEİ yöntemi ile 10 katın rasgele

40

birinden alınan eğitim sonuçları, Şekil 2.9’da verilmiştir. Aşama-II için ise eğitim sonuçları,

Şekil 2.10’da verilmiştir. Görüldüğü gibi elipsoit biçimli yüzeyler ile ulaşılan hata daha

düşüktür.

YDVM, NLDVM, AYDVM ve ANLDVM için [35, 36, 66, 67 ]’deki, DVM için

[41]’deki DVMlight için ise [86]’daki MATLAB kütüphanesi kullanılmıştır. [39]’da verilen

yöntemin sonuçlarını elde etmek için [92]’deki Sedumi eniyileme kütüphanesi kullanılmıştır. DVM ve DVMlight için RTİ çekirdek kullanılarak sonuçlar elde edilmiştir. DVMlight

ve DVM’nin C parametresi [1: 10: 5000] dizisi içerisinden, σ parametresi ise [0.01:0.01:3]

dizisi içerisinden en iyi test başarımı veren değer seçilmiştir. Sonuçlardan görüldüğü gibi

önerilen sınıflayıcı karar yüzeyleri sadece küre ve elipsoit biçimli olmasına rağmen, karmaşık

karar yüzeyli DVM tabanlı yöntemlerle test başarımları açısından diğer yöntemlerden açık bir

farkla üstündür. Süre açısından ise DVMlight, DVM ve [39]’daki yöntemden daha iyidir.

Bununla birlikte Mangasarian’ın yöntemleri diğerlerine göre daha hızlıdır.

Sınıflardaki örnek sayısı eşit olmayan veri kümeleri, DVM gibi sınıflayıcılarda düşük

doğruluk oranı ile sonuçlanabilir [36]. Bu çalışmada önerilen sınıflayıcılarda ise bu durum

sınıflama başarımını etkilemez. Çünkü doğrudan karar sınırının oluşturulması ile ilgileniliyor ve

yoğunluk temelli bir amaç ölçütü kullanılıyor. Ayrıca DVM’nin, hafıza probleminden dolayı

çözemediği GYA veri kümesi ele alınarak, eğim iniş temelli algoritmalar sayesinde önerilen

sınıflayıcıların çok girişli, büyük veri kümelerine uygulanabildiği gösterilmiştir.

41

Tablo 2.4 Önerilen sınıflayıcıların, farklı eğitim algoritmaları kullanılarak elde edilen 10 katlı eğitim ve test doğrulukları ile eğitim sürelerinin kıyaslanması.

Veri Kümesi

(veri sayısı × boyut) İyonosfer 351 × 34

BUPAKB 345 × 6

CKH 297 × 13

AŞAMA-I GEİ

Öğrenme Oranı Eğitim Doğruluğu [%]

Test Doğruluğu [%] Süre [s]

Adım Sayısı

0.007 94.28 89.04 0.74 350

0.007 64.84 61.67 0.34 350

0.007 82.39 74.05 0.42 350

MUÖEİ Eğitim Doğruluğu [%]


Adım Sayısı

98.57 91.42 0.61 350

64.49 62.13 0.35 350

83.03 75.66 0.40 350

EEİ Eğitim Doğruluğu [%]


Adım Sayısı

96.42 91.42 1.16

350/45

63.04 62.62 0.90

350/35

81.51 80.22 0.68

350/35 ÖEİ

Eğitim Doğruluğu [%] Test Doğruluğu [%]

Süre [s] Adım Sayısı

93.57 92.85 1.72 350

65.21 57.76 0.73 350

80.67 77.96 0.73 350

AŞAMA-II GEİ

Öğrenme Oranı Eğitim Doğruluğu [%]


Adım Sayısı

0.0005 98.57 91.20 1.77 350

10-6

67.39 63.10 0.94 350

7x10-6 90.75 75.70 0.99 350

MUÖEİ Eğitim Doğruluğu [%]


Adım Sayısı

98.87 95. 23 0.61

350/83

73.66 66.16 0.82 350

96.78 82.48 0.65

350/161 EEİ



98.57 93.33 0.78

350/12

73.08 66.01 0.82

350/30

93.17 79.18 0.65

350/14 ÖEİ



96.23 77.40 1.43 350

75.98 66.93 1.03 350

94.63 75.14 1.45 350

42

Tablo 2.5 Önerilen sınıflayıcıların diğer sınıflayıcılar ile 10 katlı eğitim ve test doğrulukları ile eğitim sürelerinin kıyaslanması.

Veri Kümesi

L × n (veri sayısı × boyut)

İyonosfer 351 × 34

BUPAKB 345 × 6

CKH 297 × 13

WGK 110 x 32

GYA 4192 x 14

Doğrusal Çekirdekli NLDVM


Süre [s]

94.42 85.71 0.01

71.44 65.48

0

88.15 83.66

0

77.50 64.76

0

93.11 93.59 0.03

RTİ Çekirdekli NLDVM (ao=1) Eğitim Doğruluğu [%]


95.78 96.09 0.99

80.72 81.74 0.32

73.69 71.01 0.34

67.95 66.92 0.03

hafıza yetersiz

RTİ Çekirdekli ANLDVM (ao=0.5)


Süre [s]

95 95.76 0.32

75.36 73.44 0.11

72.94 71.46 0.09

68.40 66.61 0.02

hafıza yetersiz

RTİ Çekirdekli

ANLDVM (ao=0.05) Eğitim Doğruluğu [%]


90.64 91.61 0.02

62.53 61.89

0

73.78 70.84

0

67.04 67.84

0

87.59 87.47 4.63

Doğrusal Çekirdekli YDVM


Süre [s]

89.71 88.85

0

69.05 71.94

0

86.47 86.04

0

77.50 75.53

0

92.93 92.54

0 RTİ Çekirdekli YDVM (ao=1)


Süre [s]

95.85 94.95 0.44

80.65 80.09 0.16

71.84 72.14 0.14

65.68 68.46 0.03

hafıza yetersiz

RTİ Çekirdekli

AYDVM (ao=0.5) Eğitim Doğruluğu [%]


94.85 94.52 0.17

71.37 73.59 0.05

72.77 71.63 0.05

69.09 65.53 0.01

hafıza yetersiz

RTİ Çekirdekli

AYDVM (ao=0.05) Eğitim Doğruluğu [%]


88.50 88.23 0.01

63.76 61.60 0.01

72.43 71.75

0

67.72 65.23

0

86.38 86.33 1.24

DVMlight Eğitim Doğruluğu [%]


σ, C

100

94.28 0.22

1, 1000

100

65.04 0.13

0.4, 1000

100

82.79 0.74

2, 1000

100

66.78 0.12

2.2, 1000

96.36 95.94 3.63

2, 1000

43

DVM Eğitim Doğruluğu [%]


σ, C

100

93.33 5.04

0.2, 1000

99.27 57.76 3.28

1.04, 1000

99.15 77.97 2.22

0.4, 1000

97.73 64.15 0.64

0.0125, 1000

hafıza yetersiz

Küre Çekirdekli



C

97.91 91.45 2.81

1

71.73 69.41 1.66

1

92.437 82.48 1.01

1

75.14 65.07 0.73

1

hafıza yetersiz

AŞAMA-I Eğitim Doğruluğu [%]


98.57 91.42 0.61

64.49 62.13 0.35

83.03 75.66 0.40

63.63

61.538 0.88

90.041 89.14 45.24

AŞAMA-II Eğitim Doğruluğu [%]


98.87 95. 23 0.61

73.66 66.16 1.02

96.78 82.48 0.60

68.18 64.61 1.05

93.38 93.67 44.31

k-EK k


3

82.76 0.011

13

61.55 0.006

5

80.50 0.004

7

63.53 0.003

7

94.78 0.601

[39] Eğitim Doğruluğu [%]


Formülasyon

100

88.57 21.32

KAOTE

69.56 57.76 0.95

EBAO

100

70.05 1.65

EBAO

82.50 63.38 8.66

KAOTE

-

44

0 50 100 150 200 250 300 350

101

102

103

Adim

Bas

arim

0 50 100 150 200 250 300 350

100

101

102

103

104

Adim

Bas

arim

a) BUPAKB b) CKH

0 50 100 150 200 250 300 350100

101

102

103

Adim

Bas

arim

c) İyonosfer

Şekil 2.9 Aşama-I’de önerilen eniyileme probleminin MUÖEİ algoritması ile eğitim başarımı.

0 50 100 150 200 250 300 350

100

101

102

Adim

Bas

arim

0 20 40 60 80 100 120 140 1600

1

2

3

4

5

6

7

8

9

10

Adim

Bas

arim

a) BUPAKB b) CKH

Adım sayısı

Adım sayısı

Adım sayısı

B

aşar

ım

Baş

arım

Baş

arım

Baş

arım

Baş

arım

Adım sayısı Adım sayısı

45

0 10 20 30 40 50 60 70 800

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

Adim

Bas

arim

c) İyonosfer

Şekil 2.10 Aşama-II’de önerilen eniyileme probleminin MUÖEİ algoritması ile eğitim başarımı.

2.5. Çok Sınıflı Sınıflama

EK-2’de anlatıldığı gibi, DVM’ler iki sınıflı sınıflama problemleri için geliştirilmiştir.

Halen DVM’ler için değişken sayısı, doğruluk ve eğitim süresi açılarından kabul edilebilir tek

bir çoklu sınıflama formülasyonu geliştirilmemiştir. Çok sınıflı sınıflama problemleri için

doğruluğu kabul edilebilir formülasyonlar, gerçekte problemi iki sınıflı sınıflama problemine

ayrıştırmayı içermektedir ve çok sınıflı problemlerde birden fazla sınıflayıcı aynı anda

kullanılmaktadır. Bu bölümde, bu tezde önerilen sınıflayıcılar, doğrudan çoklu sınıflama yapan

bir formülasyona genişletilmiştir.

2.5.1. Aşama-I: Küre Biçimli m-Sınıflı Sınıflayıcılar

m>2 sınıflama problemi için, karar yüzeyi olarak kullanılan mR yarıçaplı, nmc

merkezli küreler,

D=

,...,M m,...,L, i, Rcxx mm

in 110 22. (2.74)

gibi tanımlanırsa, kürenin içindeki verilerin etiketlerinin +1, dışındakilerin -1 olduğu kabul

edilerek

10 22 immmi yRcx (2.75)

Adım sayısı

Baş

arım

46

10 22 i

mmmi yRcx (2.76)

problemin sınıflama hatası,

22

mmii

m Rcxyfxf (2.77)

olarak elde edilir. Burada, f işlevi kullanılarak kürenin dışında (içinde) olması gereken veri

içinde (dışında) yerleşmişse amaç ölçütüne pozitif bir terim eklenmesi sağlanır,

Sonuç olarak, sınıflama hatasını enazlayan ve sınıfa ait verileri içeren en küçük hacimli

m-tane ayrıştırıcı küreden oluşan problem için amaç ölçütü aşağıdaki gibi elde edilir,

M

mmRRg

1

2 , (2.78)

M

m

L

imm

iim Rcxyfxf

1 1

22 , (2.79)

M

mm

M

m

L

imm

iim RARcxyfxF

1

2

1 1

22. , (2.80)

M

mm

M

m

L

imm

im

RcRARcxyf

i1

2

1 1

22

,. min (2.81)

Burada, A>0 dayanımlılık (doğru sınıflama) ve m. sınıfa ait dairenin hacmi arasında ödünleşimi

sağlayan penaltı parametresidir. A, Bölüm 2.3.3’dekine benzer şekilde

M

mm

M

m

L

imm

iim RRcxyfLA

1

2

1 1

22 1 (2.82)

bağıntısı uyarınca özyineli olarak hesaplanmasının benzetimlerde iyi sonuç verdiği

gözlenmiştir.

2.5.1.1. Önerilen Küre Biçimli m-Sınıflı Sınıflayıcılar İçin Çözüm Yöntemi

m-sınıflı problem için önerilen eniyileme formülü, eğim iniş yöntemi kullanılarak

çözülür. (2.80)’deki amaç ölçütü F’nin, (2.85) ve (2.86)’daki gibi cm ve Rm değişkenlerine göre

negatif gradyenleri alınır. Değişkenlerin değerleri, iki sınıflı sınıflamaya benzer şekilde

güncellenir,

L

imm

imm

iim

mRcxyfcxy

cF

i1

22 2 , (2.83)

m

L

immm

iim

im

mRARRcxyfy

RF .2 2

1

22

, (2.84)

47

m

mm cFkckc

1 , (2.85)

m

mm RFkRkR

1 . (2.86)

(2.87)’deki karar işlevinde, güncellenmiş merkez cm ve yarıçap Rm değerleri kullanılarak

verilerin ait olduğu sınıflar belirlenir.

22 sgn mm cxRx (2.87)

2.5.2. Aşama-II: Elipsoit Biçimli m-Sınıflı Sınıflayıcılar

Bu aşamada m>2 sınıflama problemi için, karar yüzeyi olarak nxnm ters

kovaryans matrisine sahip, nmc merkezli elipsoitler kullanılır,

E= ,...,M m,...,L, i, cxcxx mi

mmin 1101 . (2.88)

Birinci aşamaya benzer olarak, her elipsoidin içindeki verilerin etiketlerinin +1, dışındakilerin -

1 olduğu kabul edilerek,

101 imm

imm

i ycxcx , (2.89)

101 imm

imm

i ycxcx , (2.90)

problemin sınıflama hatası

M

m

L

im

imm

iim cxcxyfxf

1 1

1 . (2.91)

ve yapısal hatası

M

mmAg

1

(2.92)

olarak tanımlanırsa,

M

mm

M

m

L

im

imm

iim AcxcxyfxF

11 1

1 (2.93)

amaç ölçütü elde edilir.

Sonuç olarak, giriş örüntülerini içeren en küçük hacimli elipsoitleri ararken aynı anda

sınıflama hatasını da enazlayan sınıflama problemi

M

mm

M

m

L

im

imm

iimc

Acxcxyf11 1

,1min . (2.94)

gibi oluşturulur.

48

2.5.2.1. Önerilen Elipsoit Biçimli Sınıflayıcılar İçin Çözüm Yöntemi

(2.94)’deki eniyileme problemi, Bölüm 2.2.1’de verilen eğim iniş yöntemlerinden birisi

kullanılarak çözülebilir. Bunun için öncelikle (2.93)’teki amaç ölçütü F’nin, c ve

değişkenlerine göre negatif gradyenleri alınır,

,2

1

1

1

mT

m

L

im

imm

iim

Tmim

iim

m

A

cxcxyfcxcxyF

(2.95)

L

im

imm

iimm

iim

mcxcxyfcxy

cF

1

12 . (2.96)

Aşama-I’den elde edilen merkezler, elipsoitlerin merkezleri olarak alınır ve elde edilen

yarıçaplar ise 21 mR ile ters kovaryans matrislerin diyagonal elamanları olarak başlatılır. Merkez

değerleri ve ters kovaryans matrisleri

m

mm cFkckc

1 , (2.97)

m

mmFkk

1 . (2.98)

olarak güncellenir. Elde edilen cm ve m değerleri kullanılarak karar yüzeyi belirlenir.

2.6. Çok Sınıflı Sınıflama İçin Uygulamalar

Bu bölümde, görsel ve kıyaslama amaçlı iki uygulama yapılmıştır. İlk uygulamada üç

sınıflı Zambak çiçeği verisinin, 3. ve 4. karakteristiği alınarak iki boyutta çok sınıflı ayrıştırma

problemi düşünülmüştür. Daha sonra 1., 3. ve 4. karakteristikleri alınarak, 3 boyutlu 3 sınıflı

sınıflama problemi düşünülmüştür. Ayrıca [29]’dan 99 veriden oluşan iki boyutlu beşgen verisi

alınarak, 5 sınıflı sınıflama problemi ele alınmıştır. Tüm veriler eğitim için kullanılmıştır. Elde

edilen karar yüzeyleri ve önerilen yöntemin, MUÖEİ yöntemi ile eğitim başarımları 2.11-2.16

şekillerinde verilmiştir. Hem karar yüzeylerinden hem de eğitim sonuçlarından görüleceği gibi

oluşturulan çok sınıflı sınıflayıcı oldukça iyi bir şekilde çalışmaktadır.

İkinci uygulamada, birden fazla DVM’nin aynı anda kullanımını gerektiren çoklu

sınıflama yöntemleri olan bire karşı biri (BKB) ve bire karşı diğerleri (BKD) yöntemleri ile

kıyaslamak için UCI arşivinden, zambak çiçeği, şarap, cam ve uydu görüntüleri veri kümeleri

alınmıştır. Tüm veriler sıfır ortalamalı standart sapması 1 olan verilere ölçeklenmiştir. Uydu

görüntüleri veri kümesi hariç, diğer veri kümelerinin test verisi olmadığı için, veriler önce

49

rasgele karıştırılmış daha sonra 10 eşit alt kümeye bölünerek 4’ü eğitim 6’sı test kümesi olarak

kullanılmıştır. Uydu görüntüleri veri kümesinin ise 4435 verisi eğitim, 2000 verisi test için

kullanılmıştır. DVM’nin C parametresi [1 10 100 … 1012], σ parametresi ise [0.01: 0.01:10]

dizisi içerisinden en iyi test başarımı veren değer seçilmiştir. Burada, çoklu sınıflama için BKB

ve BKD sonuçları, [86]’daki ardışıl en küçük eniyileme algoritması kullanan MATLAB

eniyileme kütüphanesi ile elde edilmiştir. Önerilen sınıflayıcı, 350 adım için çalıştırılmış ve

sınıflanmayan veriler ise en yakın küre veya elipsoide ait sınıflara atanmıştır. Önerilen

sınıflayıcı ve parametreleri belirlenen DVM için, 10 defa çalıştırılarak elde edilen sonuçlar

ortalama eğitim süresi ve hem eğitim hem de test verileri için doğru sınıflanma yüzdeleri

ortalama doğruluk olarak Tablo 2.6’da verilmiştir. Buradan görüldüğü gibi, giriş uzayında

elipsoit biçimine yakın dağılımı olan veri kümelerinde, önerilen sınıflayıcılarda DVM

yöntemlerinden daha iyi sonuçlar elde edilmiştir. Üstelik önerilen yöntemin daha hızlı olduğu

açıkça ortaya çıkmıştır.

Tablo 2.6 Denektaşı veri kümeleri üzerinde BKB, BKD ve önerilen yöntemin kıyaslanması.

Veri Kümesi (n,L,m) Aşama-I Aşama-II BKB BKD

Zambak Çiçeği (4,150,3) Eğitim Doğruluğu [%]


97

96.40 0.115

99.66 97.45

0.2

100

94.38 0.001

C=103, σ=4

99.66 94.15 0.002

C=103, σ =1 Şarap (13,178,3)


Süre [s]

98.16 93.09

0.1

100

97.45 0.12

100

97.45 0.002

C=103, σ=2

100

96.98 0.002

C=103, σ=2 Cam (9, 214,7)


Süre [s]

65.00 55. 71 0.31

79.45 61.17 0.34

93.02 60.62 0.15

C=105,σ=2.5

98.95 58.18 0.09

C=105,σ=2.5 Uydu Görüntüleri

(36, 6435,6) Eğitim Doğruluğu [%]


87.18 79.57

3502.7

90.15 82.68

3345.9

83.06 77.65 3120

C=103, σ=1.5

88.12 81.76

231234 C=103, σ=2

50

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2

-2

-1.5

-1

-0.5

0

0.5

1

1.5

2

0 50 100 150 200 250 300 350 400100

101

102

103

Epochs

Per

form

ance

Şekil 2.11 Aşama-I’de önerilen çok sınıflı eniyileme probleminin eğitim başarımı ve karar yüzeyleri.

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2

-2

-1.5

-1

-0.5

0

0.5

1

1.5

2

0 50 100 150 200 250 300 350 400100

101

102

103

Epochs

Per

form

ance

Şekil 2.12 Aşama-II’de önerilen çok sınıflı eniyileme probleminin eğitim başarımı ve karar yüzeyleri.

0 10 20 30 40 50 60 70 80 90 100

100

101

102

103

104

Epochs

Per

form

ance


Adım Sayısı

Adım sayısı

Adım Sayısı

Baş

arım

B

aşar

ım

B

aşar

ım



Taç

yapr

ağı g

eniş

liği

Taç

yapr

ağı g

eniş

liği


Taç

yapr

ağı g

eniş

liği


51

0 100 200 300 400 500 600

100

101

Epochs

Per

form

ance


-1.5 -1 -0.5 0 0.5 1 1.5

-1.5

-1

-0.5

0

0.5

1

1.5

0 50 100 150 200 250 300 350 40010-3

10-2

10-1

100

101

102

103

Epochs

Per

form

ance


-1.5 -1 -0.5 0 0.5 1 1.5-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

0

1

2

3

4

5

6

7

8

9

10

One Epoch

Per

form

ance


Adım sayısı

Adım sayısı

Adım sayısı

Baş

arım

B

aşar

ım

B

aşar

ım

1. özellik

1. özellik

2. ö

zelli

k

2. ö

zelli

k Ta

ç ya

prağ

ı gen

işliğ

i

Taç yaprağı uzunluğu Çanak yaprağı uzunluğu

52

3. BULANIK KÜRE ve ELİPSOİT BİÇİMLİ SINIFLAYICILAR

3.1. Önerilen Bulanık Küre ve Elipsoit Biçimli Sınıflama Probleminin Tanıtımı

Bölüm 2’de önerilen küre ve elipsoit biçimli sınıflayıcılar, veri kümesini hemen hemen

kapsayan en küçük hacimli yapılar olduklarından, gürültü ve aykırı verileri dışlarlar ve onlardan

etkilenmezler. Ayrıca küre ve elipslerle de ayrıştırılamayan veri uygulamalarında, sınıflama ve

hacim arasındaki ödünleşimin en az sayıda veriyi göz ardı ederek düzgün ayrışım yüzeyleri

sağladığı görülmüştür. Bu anlamda gürbüz sınıflayıcılardır. Bu bölümde, Bölüm 2’deki

yapılarda oluşacak küçük değişikliklerle, gürültülü ve aykırı değerli problemlerde gürbüzlüğü

artırmak için farklı üyelik işlevlerinin kullanımı ile elde edilen sonuçlar verilmiştir.

Bulanık sınıflayıcıların, Bölüm 2’deki sınıflayıcılardan farkı; bulanık sınıflama

problemlerindeki her bir eğitim örneğinin karar yüzeyinin tanımlanmasına katkısının, örneğe ait

üyelik değeriyle belirlenmesidir. Her verinin üyelik değeri bir olduğu zaman Bölüm 2’de

tanımlanan sınıflayıcılar, bulanık sınıflayıcılarla tamamen aynı olur. Bulanık sınıflayıcılarda

önce, veriler bulanık üyelik işlevleri kullanılarak bulanıklaştırılır. Böylece, eğitim boyunca

eğitim örneklerinin bulanık doğası da hesaba katılır. Sonra, yüksek belirsizlikli örneklerin etkisi,

eğitim örneğine atanan üyelik değeriyle ağırlıklanarak sınıflama hatası azaltılır. Burada bir

önceki ile farklı olması açısından, bu sınıflayıcılar, bulanık küre biçimli ve bulanık elipsoit

biçimli sınıflayıcılar olarak adlandırılmıştır.

3.2. Aşama-I: Bulanık Küre Biçimli Sınıflayıcılar

Bulanık sınıflayıcılarda, L tane veri (3.1)’deki gibi hazırlanır,

,,,...,,,,,, 222111 LLL syxsyxsyx ,

ni Rx , (3.1)

1,1iy ,

Ss i .

Burada, 1 is eğitim noktaları için uygun üyelik işlevleri kullanılarak elde edilen bulanık

üyelik değerlerini [47, 48-50, 62, 97, 107], S ise bulanık üyelik değerlerinden oluşan bir kümeyi

göstermektedir. Üyelik değeri 1is olan veri, sınıflamada en çok dikkat edilecek veri iken,

53

üyelik değeri is olan veri ise eğitimdeki en önemsiz, hatalı sınıflandırılabilecek veri olarak

kabul edilir. Farklı üyelik işlevleri probleme uygun olarak seçilebilir.

Bölüm 2’de tanımlandığı gibi karar yüzeyi olarak R yarıçaplı, nc merkezli

bir küre alınırsa, problemin yeni deneysel hatası.

22

Rcxysfxf iii (3.2)

ile tanımlanır. Bu terim, bulanık BDVM’lerdeki gibi farklı ağırlıklı hata terimleri olarak

yorumlanabilir [62]. Yapısal hata olarak

2RRg (3.3)

alınırsa yeni amaç ölçütü

2

1

22 ARRcxysfxF

L

i

iii

(3.4)

olarak bulunur. Sonuç kısıtsız eniyileme problemi

2

1

22

, min ARRcxysf

L

i

iii

Rc

(3.5)

şeklinde elde edilir. Burada, A>0 ödünleşimi sağlayan penaltı parametresi

21

22

1R

Rcxysf

LA

L

i

iii

(3.6)

olarak hesaplanır.

3.2.1. Bulanık Küre Biçimli Sınıflayıcılar İçin Çözüm Yöntemi

Önerilen yöntemde, (3.5)’de verilen eniyileme problemi, en dik iniş algoritmaları

uygulanarak çözülmektedir. Bunun için öncelikle amaç ölçütü F’nin, c ve R değişkenlerine göre

negatif gradyenleri alınır,

L

i

iiiiii RcxysfcxyscF

1

22 2 , (3.7)

ARRRcxysfysRF L

i

iiiii 2 21

22

. (3.8)

Daha sonra seçilen algoritma gereğince özyineli olarak güncellenir. Örneğin en dik iniş

algoritması kullanılırsa özyineleme,

cFkckc

1 , (3.9)

54

RFkRkR

1 . (3.10)

ile yapılır. Özyineleme sonucunda elde edilen R ve c değerleri kullanıldığında,

22 sgn cxRx (3.11)

olarak karar işlevi elde edilir. Yüzey içinde bulunan noktalar karar işlevinin pozitif değer

verdiği, yüzeyin dışındaki noktalar ise negatif değer verdiği noktalardır.

3.3. Aşama-II: Bulanık Elipsoit Biçimli Sınıflayıcılar

Bu aşamada, Bölüm 2’de tanımlandığı gibi karar yüzeyi olarak nxn ters kovaryans

matrisine sahip, nc merkezli bir elipsoit biçimi kullanılırsa, problemin yeni deneysel hatası

1 cxcxysfxf iiii (3.12)

ve yapısal hatası

Ag (3.13)

olarak elde edilir. Amaç ölçütü ise

AcxcxysfxFL

i

iiii

1

1 (3.14)

ile verilir. Birinci aşamaya benzer olarak, aynı anda sınıflama hatasını ve giriş örüntülerini

içeren en küçük hacimli, elipsoit biçimli sınıflayıcı problemi

Acxcxysf

L

i

iiii

c1

,1 min (3.15)

gibi oluşturulur. Burada, A>0 ödünleşimi sağlayan penaltı parametresi

1

1 1 1

L

i

iiii cxcxysf

LA (3.16)

yardımıyla ardışık olarak hesaplanır.

3.3.1. Bulanık Elipsoit Biçimli Sınıflayıcılar İçin Çözüm Yöntemi

(3.15)’deki eniyileme probleminin eğim iniş algoritmalarıyla çözülebilmesi için,

öncelikle amaç ölçütü F’nin, c ve değişkenlerine göre negatif gradyenleri alınır.

55

21

1

TL

i

iTiiiTiiii AcxcxysfcxcxysF (3.17)

L

i

iTiiiiii cxcxysfcxyscF

1

1 2 (3.18)

Daha sonra en dik iniş algoritması örneği için, (3.19) ve (3.20)’deki gibi özyineli olarak

güncellenir

cFkckc

1 , (3.19)

FkRk 1 , (3.20)

Başlangıçta, birinci aşamadan elde edilen merkezler, elipsin merkezleri ve elde edilen

yarıçaplar ise 21 R ile ters kovaryans matrisinin diyagonal elamanları alınır.

(3.21) kullanılarak yüzeyin içinde bulunan noktalar pozitif, dışındakiler ise negatif

olarak etiketlenir

cxcxx ii 1sgn . (3.21)

3.4. m-Sınıflı Bulanık Küre ve Elipsoit Biçimli Sınıflayıcılar

3.4.1. Aşama-I: Küre Biçimli m-Sınıflı Bulanık Sınıflayıcılar

m>2 sınıflı sınıflama problemi için, karar yüzeyi olarak mR yarıçaplı ve nmc

merkezli küreler kullanılırsa, problemin deneysel hatası

22

mmii

mim Rcxysfxf (3.22)

ve yapısal hatası

M

mmRRg

1

2 (3.23)

olur. Amaç ölçütü

M

mm

M

m

L

imm

iim

im RARcxysfxF

1

2

1 1

22 (3.24)

olarak elde edilir.

Sınıflama hatasını enazlayarak verileri içeren en küçük hacimli m-tane ayrıştırıcı

küreden oluşan eniyileme problemi

56

M

mm

M

m

L

imm

iim

imRc

RARcxysf1

2

1 1

22

, min (3.25)

olarak oluşturulur. Burada, A>0 penaltı parametresi

M

mm

M

m

L

imm

iim

im

R

Rcxysf

LA

1

2

1 1

22

1 (3.26)

olarak hesaplanabilir veya yukarıda verilen formüllere benzer olarak özyineleme sayısına göre

üstel olarak azaltılabilir.

Önerilen yöntemde m-sınıflı problem için elde edilen eniyileme probleminin, eğim iniş

yöntemi kullanılarak çözülebilmesi için, öncelikle amaç ölçütü F’nin, cm ve Rm değişkenlerine

göre negatif gradyenleri alınır

L

imm

iimm

iim

im

mRcxyfcxys

cF

1

22 2 , (3.27)

m

L

immm

iim

im

im

mARRRcxyfys

RF 2 2

1

22

, (3.28)

daha sonra algoritmaya özgün formüller ile özyineli olarak güncellenir.

3.4.2. Aşama-II: Elipsoit Biçimli m-Sınıflı Bulanık Sınıflayıcılar

Bu aşamada m-sınıflı sınıflama problemi için, karar yüzeyi olarak ters kovaryans

matrisine sahip, nkc merkezli elipsler kullanılarak problemin sınıflama hatası

M

m

L

im

imm

iim

im cxcxysfxf

1 1

1 (3.29)

ve yapısal hatası

M

mmg

1

1 (3.30)

ile tanımlanır. Birinci aşamaya benzer olarak, aynı anda sınıflama hatasını ve giriş örüntülerini

içeren en küçük hacimli elipsoit biçimli yüzey ile sınıflama problemi için amaç ölçütü

M

mm

M

m

L

imimmi

mi

mi AcxcxysfxF

11 1

1 (3.31)

biçiminde oluşturulur.

57

M

mm

M

m

L

im

imm

iim

imc

Acxcxysf11 1

,1 min (3.32)

Eniyileme probleminin, eğim iniş algoritmalarıyla çözülebilmesi için, öncelikle amaç

ölçütü F’nin, c ve değişkenlerine göre negatif gradyenleri alınır,

,2

1

1

1

mT

m

L

im

imm

iim

Tm

im

iim

im

m

A

cxcxyfcxcxysF

(3.33)

L

im

imm

iim

imm

iim

im

mcxcxysfcxys

cF

1

1 2 (3.34)

daha sonra elde edilen gradyenler kullanılarak, parametreler özyineli olarak güncellenir.

3.5. Uygulamalar

Bu bölümde üç farklı örnek ele alınmıştır. İlk örnekte; sezgisel olarak, düşünülen

bulanık sınıflayıcıların sınıflama başarımlarına etkisini göstermek için yapay örnekler

kullanılmıştır. İkinci örnekte, denektaşı veri kümesi olan Fisher’in zambak çiçeği veri kümesi

ile önerilen bulanık sınıflayıcıların başarımları, Bölüm 2’de önerilen sınıflayıcılar ile

kıyaslanmıştır. Üçüncü örnekte ise doğal olarak gürültü içeren, gerçek yaşamdaki kanser veri

kümeleri ele alınmıştır.

3.5.1. Yapay Veri Kümesi ile Sınıflama Problemi

Bölüm 2.4’te tanıtılan, YV22 yapay veri kümesinde (10,10) verisi iki sınıftan da çok

uzak bulunmaktadır. Bölüm 2’de küre biçimli ve elipsoit biçimli sınıflayıcılarla elde edilen

sonuç karar yüzeylerinden görüldüğü gibi, bu veri noktası kapsanmaya çalışılmış veya bu

noktaya çok yaklaşılmıştır. Burada, üyelik işlevleri tanıtılarak, bu veri noktasının aykırı değer

olarak kabul edilmesi amaçlanmıştır. Bu örnekte YV22 veri kümesindeki aykırı veri olarak

kabul edilen (10,10) verisinin sınıflayıcının tasarımına etkisini azaltmak için, Şekil 3.1’de

gösterilen sınıf merkezi yöntemi temeline dayanan, (3.35)’de verilen üyelik işlevi tercih

edilmiştir [62].

içinyrxx

içinyrxxs

ii

iii

1 1

1 1

(3.35)

58

Burada, x , +1 sınıfının ortalamasını ve x , -1 sınıfının ortalamasını göstermektedir. +1

sınıfının yarıçapı

i

yxxxr

ii

max1,

(3.36)

ve -1 sınıfının yarıçapı

i

yxxxr

ii

max1,

(3.37)

ile hesaplanmıştır. δ>0, 0is durumundan kaçınmak için kullanılmıştır.

Şekil 3.1 Üyelik işlevlerinin elde edilmesi için merkez yönteminin geometrik gösterimi.

Burada δ=0.03 alınmıştır. Önerilen sınıflayıcılar, üç örnek için de momentum terimli

uyarlanır öğrenme oranlı eğim iniş algoritması (MUÖEİ) ile eğitilmiştir. Merkez c değerleri,

eğitim verileri içerisinden her kat için rasgele ve R yarıçap değerleri ise 1 ile başlatılmıştır. Hem

küre hem de elipsoit biçimli bulanık sınıflayıcılar için bu veri, karar yüzeyinin dışında

bırakılmıştır. Böylece istenilen amaca ulaşılmıştır. Şekil 3.2’de bulanık elipsoit biçimli

sınıflayıcının karar yüzeyi ve Şekil 3.3’de eğitim sonuçları verilmiştir.

r

maxr

minr

minr

maxr

-1 +1

59

-2 0 2 4 6 8 10-2

0

2

4

6

8

10

Şekil 3.2 YV22, yapay veri kümesi için bulanık elipsoit biçimli sınıflayıcıların sonuçları.

0 100 200 300 400 500 60010-1

100

101

Epochs

Per

form

ance

Şekil 3.3 MUÖEİ algoritması ile önerilen bulanık sınıflayıcının eğitim başarımının değişimi.

2. ö

zelli

k

1. özellik

B

aşar

ım

Adım sayısı

60


Bu örnekte, Zambak çiçeği verisinin önce 3. ve 4. karakteristikleri alınarak iki boyutlu

giriş uzayı ile daha sonra tüm dört karakteristiği alınarak dört boyutlu giriş uzayı ile ikili

sınıflama yapılmıştır. Burada, Keller ve Hunt’un bulanık algılayıcılar için önerdiği üyelik işlevi

kullanılmıştır [8]. Bu üyelik işlevi, bulanık DVM sınıflayıcılara da uygulanmıştır [17, 49]. 1.

sınıfa ait bir örnek verildiğinde, hem -1 hem de 1 sınıfı için üyelik işlevi

ee

edxdxdes

iii

expexp2expexp

5.0 111

ii ss 11 1 (3.38)

ile hesaplanmıştır. Burada, e, üyelik değerlerinin 0.5’e doğru azalma oranını belirleyen sabiti

ixd1 ve ixd 1 her bir verinin sırasıyla 1 ve -1 sınıflarının ortalaması arasındaki mesafeleri

ve d ise iki sınıfın ağırlık merkezi arasındaki mesafeyi göstermektedir.

-1 sınıfına ait üyelik değerleri verildiği zaman, ix ’nin üyelik işlevi, hem 1 hem de -1

sınıfı için aşağıdaki gibi verilmiştir.

ee

edxdxdes

iii

expexp2

expexp5.0 11

1

ii ss 11 1 (3.39)

Veri kümesi 10 eşit alt kümeye bölünerek 4’ü eğitim 6’sı test kümesi olarak

kullanılmıştır. Tanımlanan üyelik işlevi kullanılarak elde edilen sonuçlar, Tablo 3.1’de

verilmiştir. Tabloda Bölüm 2’de önerilen Genel Elipsoit biçimli Sınıflayıcılar (GES) ile,

bulanıklaştırılan elipsoit biçimli sınıflayıcılar ise BES ile gösterilmiştir.

Tablo 3.1’den görüldüğü gibi, önerilen bulanık ve genel elipsoit biçimli sınıflayıcılar

yakın başarım vermiştir. Bu da önerilen GES sınıflayıcıların, veriler bulanıklaştırılmadan bile

gürbüz olduğunu göstermektedir.

61

Tablo 3.1 Önerilen sınıflayıcıların 10 katlı eğitim ve test doğrulukları ile eğitim sürelerinin kıyaslanması.

Zambak Çiçeği 1.sınıf 2.sınıf 3.sınıf

BES GES BES GES BES GES n=4, e=0.5


Süre [s]

100 100 0.02

100 100 0.02

100

95.67 0.11

98.33 94.38 0.12

100

95.62 0.14

100

95.13 0.28

n=2, e=0.05 Eğitim Doğruluğu [%]


100 100 0.01

100 100 0.01

100

96.62 0.01

100

95.62 0.02

100

96.50 0.02

100

95.50 0.03

3.5.3. Kanser Veri Kümeleri ile Sınıflama Problemi

Bu uygulamada, DVM bilimsel yazınında oldukça fazla kullanılan kolon ve lösemi

kanseri veri kümeleri ele alınmıştır [12, 32]. Kolon veri kümesi, 40 tümör ve 22 normal kolon

dokusundan oluşmaktadır. Lösemi veri kümesi, lösemi kanserinin iki akut durumunun gen ifade

profilini içererek burada akut lymphoblastic lösemi (kısaca ALL) ve akut myeloblastic lösemi

(kısaca AML) ALL/AML veri kümesi olarak gösterilmiştir. Veri kümesinin ALL bölümü, B ve

T hücreli iki örnek tipinden oluşmaktadır. AML bölümü kemik iliği örnekleri ve ikincil kana

ayrılmaktadır. Burada ilk olarak, AML ve ALL örnekleri arasındaki ikili sınıflama problemi

daha sonra her bir elemanın ikiye ayrılmasından dolayı üç sınıflı sınıflama problemi (B-hücresi,

T-hücresi ve AML) oluşturulmuştur. Ele alınan veri kümelerinin karakteristiği Tablo 3.2’de

verilmiştir. Gen seçimi için MATLAB PLS kütüphanesi kullanılmıştır [32]. Hem kolon hem de

lösemi veri kümeleri için toplam 500 gen kullanılmıştır. Veri kümesi 10 eşit alt kümeye

bölünmüş ve 4’ü eğitim 6’sı test kümesi olarak kullanılmıştır.

Tablo 3.2 Deneylerde kullanılan veri kümesinin özeti

Veri Kümesi Örnek Ölçüsü Genler Sınıflar ALL-AML-3 72 7129 3 ALL-AML -2 72 7129 2

Kolon 62 2000 2

Uygun bulanık üyelik işlevi seçimi önemlidir. Bu nedenle uygulamalarda farklı üyelik

işlevleri ile ilgilenilmiştir. Burada üyelik işlev değerleri [50]’deki gibi tek bir değere atanmıştır.

Birinci sınıfa ait olan veriler, bulanıklaştırma derecesi daha yüksek olan 11 is üyelik değerine

atanırken, diğer sınıfına ait olan veriler 4.01 is üyelik değerine atanmıştır. Önerilen

62

sınıflayıcılar, 350 özyineleme ile momentum terimli uyarlanır öğrenme oranlı eğim iniş

algoritması ile eğitilmiştir. Girişlerin boyutu çok büyük olduğu için elipsin ters kovaryans

matrisinin pozitif tanımlılığı olmadığı adımlar oluşmuştur. Bu nedenle kötü şartlanma sayısına

bakılarak, katsayılarda düzeltme önerilmiştir. Klasik DVM için [86]’daki MATLAB eniyileme

kütüphanesi kullanılmıştır. Çoklu sınıflama için bire karşı bir yöntemi ile sonuçlar elde

edilmiştir. DVM parametrelerinin diğer uygulamalardaki gibi en iyi test başarımını veren

değerleri aranmıştır. Kolon veri kümesi için 1000C ve RTİ çekirdek parametresi 6.4, lösemi

veri kümesi için ise C=106 ve çekirdek parametresi 50 olarak seçilmiştir. Elde edilen sonuçlar

Tablo 3.3’te verilmiştir. Tabloda iki ve üç sınıflı veri kümesi sırasıyla ALL-AML-2 ve ALL-

AML-3 olarak belirtilmiştir. Görüldüğü gibi bulanık sınıflayıcılar küçük bir farkla, önerilen

elipsoit biçimli sınıflayıcıları geçmiştir ve DVM sınıflayıcılar ile yakın sonuçlar elde edilmiştir.

Tablo 3.3 Kanser veri kümeleri için önerilen sınıflayıcının ve DVM’nin doğruluklarının kıyaslanması.

Yöntem

Kolon ALL-AML-2 ALL-AML-3

Eğitim Doğruluğu

[%]

Test Doğruluğu

[%]

Eğitim Doğruluğu

[%]

Test Doğruluğu

[%]

Eğitim Doğruluğu

[%]

Test Doğruluğu

[%] DVM 100 80.27 100 82.88 100 97.61

GES 100 79.67 100 84.12 100 97.07

BES 100 80.23 100 85.02 100 97.57

63

4. RADYAL TABANLI İŞLEVLERİ KULLANARAK SINIFLAMA ve REGRESYON

KESTİRİMİ

4.1. Problem Tanıtımı

Önceki bölümlerde küre ve elipsoit biçimli sınıflayıcılar, boyutu ve veri sayısı farklı

olan birçok veri kümesinin sınıflanmasında başarılı bir şekilde kullanılmıştı. Ancak her veri,

küre veya elipsoit biçimli yüzeyler ile ayrıştırılamaz. Böyle bir durumda, “Hem penaltı yöntemi

kullanarak deneysel ve yapısal riski enazlayan, hem de karmaşık yüzeylerle ayrıştırma yapan

yeni bir formülasyon önerilebilir mi?” sorusu akla gelmektedir. Bu sorunun yanıtını bulmak için,

öncelikle karmaşık yüzeyi seçmek gerekir. DVM iyi bir başarım verdiğine göre, DVM’nin

kullandığı yüzeyleri kullanmak ilk bakışta mantıklı gelebilir. Ancak bu durumda da ortaya çıkan

problem, DVM’de yüksek boyutlu uzaya dönüşümün açıkça verilmeyip çekirdek yardımıyla

ifade edilmesidir. Açıkça verilmeyen φ dönüşümünün çekirdek yardımıyla elde edilmesi

olanaklıdır. Örneğin ikinci dereceden polinomsal çekirdek,

( ) ( )21 , iTi xxxxK += (4.1)

iki boyutlu giriş [ ] Txxx , 21= ve [ ] Tiii xxx , 21= için

( ) ( ) ( ) iiiiiii xxxxxxxxxxxxxxK 22112

2222121

21

21 2221, +++++= (4.2)

olarak ifade edilerek

( ) [ ]212221

21 2,2,,2,,1 xxxxxxx =ϕ (4.3)

6 boyutlu bir dönüşüm elde edilebilir [45].

RTİ çekirdek için

( ) ( ) ( )2222

2iiii

xγ γ xxγ xxxγxxγi eeex,xK −+−−−−−=== (4.4)

( ) ( ) ( ) ( )

++++= − ...

!32

!22

!121,

3222

iiixxi xxxxxxexxK

i γγγγγ (4.5)

( ) ( ) ( ) ( ) ( )

( ) ( ) ( )

++

++= −

...!3

2.!3

2

!22.

!22

!12.

!121.1,

33

33

22

22

x2i2

i

iixi

xx

xxxxexxK

γγ

γγγγγγ

(4.6)

64

( ) ( ) ( )iTi xxxxK ϕϕ=, (4.7)

olarak açılırsa,

( ) ( ) ( )T

x xxxex

= − ,...

!32,

!22,

!12,1 3

32

2 2 γγγϕ γ (4.8)

sonsuz boyutlu bir dönüşüm elde edilebilir. Bu durumda sonucu canlandırmak için basitçe,

Bölüm 2’de önerilen küre veya elipsoit biçimli sınıflayıcılara benzer olarak, formülasyonda

küre (veya elipsoit) yüzeyi yerine, sonsuz boyutlu (veya iyi bir başarım için oldukça büyük

boyutlu) bir yüzey yerleştirdiğimizi düşünürsek, hafıza yetmeyeceği için problemin

çözülemeyeceği açıkça görülür.

Bu problemin çözümü için, akla ikinci olarak, “RTİA’ların veya bilinen bir gizli

katmanlı YSA’ların yüzeyleri kullanılarak formülasyon oluşturulabilir mi? [111]

Oluşturulabilirse yapısal hata nasıl bulunur?” soruları gelmektedir. Küre veya elipsoit

sınıflayıcılarda, hacim enazlanarak bu yapılabiliyordu. “RTİA veya YSA’ların tanımladığı

yüzeyler için bu nasıl yapılabilir?” sorusunun bir yanıtı aşağıda verilmiştir.

Birinci durumda, ( ) ( ) n11 x,,,...,, ℜ∈LL yxyx girişleri için, sınıflama veya regresyon

problemlerinde r gizli birimli, tek gizli katmanlı RTİA’nın çözümünün,

( ) ( ) bxwxr

iii +=∑

=1

ϕl (4.9)

biçiminde olduğunu düşünelim. Burada, ( )xϕ (4.10)’da verilen gauss işlevini, nRc∈ işlevin

merkezlerini, ℜ∈σ işlevin genişliğini w gerçel ağırlık vektörünü ve b ise orijinden kayıklık

oranını göstermektedir.

( )

−−= 2

2

2exp

i

i

i

cxx

σϕ (4.10)

4.2. RTİ Dönüşümü Kullanarak Sınıflama

{ }1,1-y ,x ini ∈ℜ∈ olmak üzere ( ) ( )LL yxyx ,,...,, 11 eğitim örneği RTİ dönüşümü

kullanılarak sınıflanırsa, karar sınırı

D=

[ ] [ ]

===+

ℜ∈

−−−

=∑ ,...,Li,...,r j, bewx j

jiT

ji cxcx

r

jj

ni 1 ,1122

1

σ (4.11)

65

olarak alınır ve veri etiketleri (4.12) ve (4.13)’deki gibi belirlenebilir,

[ ] [ ]1,1

22

1

=≥+

−−−

=∑ i

cxcxr

jj ybew j

jiT

ji

σ , (4.12)

[ ] [ ]1,1

22

1

−=<+

−−−

=∑ i

cxcxr

jj ybew j

jiT

ji

σ . (4.13)

Bu durumda, problemin deneysel hatası Bölüm 2’de türetilen formülasyonlara benzer

olarak

( )[ ] [ ]

∑ ∑=

−−−

=

+

−=L

i

cxcxr

jj

i bewyfxf j

jiT

ji

1

2

1

2

1 σ (4.14)

ile hesaplanır. Burada, f kayıp işlevi (4.15)’deki gibi seçilir.

( )( ) 0 0

0

≤=

>=

ξξ

ξξξ

f

f

( )( ) 0. 0

0 1'

'

≤=

>=

ξξ

ξξ

f

f (4.15)

Problemin yapısal hatası

( ) 2

21 wwg = (4.16)

olarak alınırsa, amaç ölçütü

( )[ ] [ ]

2

1

2

1 21

2

wAbewyfxFL

i

cxcxr

jj

i j

jiT

ji

+

+

−=∑ ∑=

−−−

=

σ (4.17)

olarak elde edilir. Kısıtsız eniyileme problemi, (4.18)’deki gibi önerilir,

[ ] [ ]2

1

2

1, 2

1min2

wAbewyfL

i

cxcxr

jj

i

bwj

jiT

ji

+

+

−∑ ∑=

−−−

=

σ (4.18)

A>0.

Burada; A penaltı parametresi

[ ] [ ]

2

1

2

1

2

1

2w

bewyf

LA

L

i

cxcxr

jj

i j

jiT

ji

∑ ∑=

−−−

=

+

−

=

σ

(4.19)

66

veya

[ ] [ ]

( )hzw

bewyf

LA

L

i

cxcxr

jj

i j

jiT

ji

−

+

−

=

∑ ∑=

−−−

=

exp.

1

22

1

2

1

2σ

(4.20)

ile hesaplanabilir. Burada z adım sayısını, h ise azalma hızını göstermektedir.

4.2.1. RTİ Dönüşümü Kullanarak Sınıflama İçin Çözüm Yöntemi

(4.18)’de önerilen eniyileme problemi, eğim iniş algoritmalarından birisi kullanılarak

çözülmektedir. Bu algoritmalar ile çözüm yapabilmek için, önce amaç ölçütü F’nin, (4.21) -

(4.24)’deki gibi wj, cj, σj ve b değişkenlerine göre negatif gradyanları alınır. Eğer merkezler tüm

veriler alınırsa ve σ sabit bir değer kabul edilirse, sadece wj ve b değişkenlerine göre negatif

gradyanları alınarak çözüm yapılabilir. Ancak bu durumda eğitim süresi bir önceki duruma göre

fazla olur.

[ ] [ ] [ ] [ ]Aweybewyf

wF j

jiT

ji

j

jiT

ji cxcx

iL

i

cxcxL

jj

i

j−

+

−′=∂∂

−

−−−

=

−−−

=∑ ∑

22 2

1

2

1

1 σσ (4.21)

[ ] [ ] [ ] [ ] [ ]2

2

1

2

1

22

1j

jicxcx

iL

i

cxcxL

jj

i

j

cxeybewyf

cF j

jiT

ji

j

jiT

ji

σσσ −

+

−′=∂∂

−

−−−

=

−−−

=∑ ∑ (4.22)

[ ] [ ] [ ] [ ] [ ] [ ]3

2

1

2

1

22

1j

jiT

jicxcx

iL

i

cxcxL

jj

i

j

cxcxeybewyfF j

jiT

ji

j

jiT

ji

σσσσ −−

+

−′=∂∂

−

−−−

=

−−−

=∑ ∑

(4.23)

[ ] [ ]i

L

i

cxcxL

jj

i ybewyfbF j

jiT

ji

11

2

1

2

∑ ∑=

−−−

=

+

−′=∂∂

− σ (4.24)

67

Daha sonra kullanılan algoritma gereğince özyineli olarak güncellenir. Örneğin (4.25) ve (4.28),

en dik eğim iniş algoritmasında kullanılan (k+1). adımındaki güncelleme işlemlerini

göstermektedir

( ) ( ) ( )kwwj

jj jjwFkwkw =∂∂

−=+ η1 , (4.25)

( ) ( ) ( )kbbbFkbkb =∂∂

−=+ η1 , (4.26)

( ) ( ) ( )kccj

jj jjcFkckc =∂∂

−=+ η1 , (4.27)

( ) ( ) ( )kj

jj j

Fkk σσσησσ =∂

∂−=+1 . (4.28)

Sonuç olarak, (4.29)’da verilen sınıflayıcı yardımıyla sınıflanır

( )[ ] [ ]

+

+−= ∑ ∑=

−−−

=

L

i

cxcxr

jj bewx j

jiT

ji

1

2

1

2

1sgn σl . (4.29)

4.3. RTİ Dönüşümü Kullanarak Regresyon Kestirimi

Regresyon problemlerinde, nix ℜ∈ girişleri ve ℜ∈iy çıkışları göstermek üzere bir

( ) ( )LL yxyx ,,...,, 11 eğitim kümesi verildiğinde, veriler ( ) rn ℜ→ℜ:.ϕ ile yüksek boyutlu uzaya

dönüştürülür. Bu uzayda verilerin, Vapnik’in ε-duyarsız kayıp işlevine göre sapmalarını

sınırlayarak,

( )( )

( )

diger

0

−−

≤−=−

ε xy

εxy xy

l

ll (4.30)

(4.9) ilişkisi oluşturulur.

Regresyon problemi, Bölüm 2’deki gibi kısıtlı eniyileme problemi olarak düşünülüp,

deneysel hata

( )[ ] [ ]

∑ ∑=

−−−

=

−

+

−=L

i

cxcxr

jj

i bewyfxf j

jiT

ji

1

2

1

2

εσ (4.31)

ve yapısal hata

( ) 2

21 wwg = (4.32)

olarak alınırsa, kısıtsız eniyileme probleminin amaç ölçütü

diğerleri

68

( )[ ] [ ]

2

1

2

1 22

wAbewyfxFL

i

cxcxr

jj

i j

jiT

ji

+

−

+

−=∑ ∑=

−−−

=

εσ (4.33)

olarak elde edilir. Sonuç kısıtsız eniyileme problemi (4.34)’deki gibi önerilmiştir,

[ ] [ ]2

1

2

1, 2

min2

wAbewyfL

i

cxcxr

jj

i

bwj

jiT

ji

+

−

+

−∑ ∑=

−−−

=

εσ (4.34)

A>0

Burada; A ödünleşim parametresi

[ ] [ ]

2

1

2

1

2

2w

bewyf

LA

L

i

cxcxr

jj

i j

jiT

ji

∑ ∑=

−−−

=

−

+

−

=

εσ

(4.35)

veya

[ ] [ ]

( )hzw

εbewyf

LA

L

i

cxcxr

jj

i j

jiT

ji

−

−

+

−

=

∑ ∑=

−−−

=

exp22

1

2

1

2σ

(4.36)

uyarınca hesaplanır.

4.3.1. RTİ Dönüşümü Kullanarak Regresyon Kestirimi İçin Çözüm Yöntemi

(4.34)’de önerilen eniyileme probleminin, eğim iniş algortimaları kullanılarak

çözülebilmesi için öncelikle amaç ölçütü F’nin, (4.37) - (4.40)’daki gibi wj, cj, σj ve b

değişkenlerine göre negatif gradyanları alınır.

[ ] [ ] [ ] [ ]

[ ] [ ]wAe

bewybewyf

wF

j

jiT

ji

j

jiT

ji

j

jiT

ji

cxcx

L

i

cxcxr

jj

i

cxcxr

jj

i

j

.

. sgn

2

22

2

1

2

1

2

1

−

+

−

−

+

−′

=∂∂

−

−−−

=

−−−

=

−−−

=∑ ∑∑

σ

σσ ε (4.37)

69

[ ] [ ] [ ] [ ]

[ ] [ ] [ ]2

2

1

2

1

2

1

2

22

. sgn

j

Tj

icxcx

L

i

cxcxr

jj

i

cxcxr

jj

i

j

cxe

bewybewyf

cF

j

jiT

ji

j

jiT

ji

j

jiT

ji

σ

ε

σ

σσ

−

+

−

−

+

−′

=∂∂

−

−−−

=

−−−

=

−−−

=∑ ∑∑ (4.38)

[ ] [ ] [ ] [ ]

[ ] [ ] [ ] [ ]3

2

1

2

1

2

1

2

22

.sgn

j

jiT

jicxcx

L

i

cxcxr

jj

i

cxcxr

jj

i

j

cxcxe

bewybewyf

F

j

jiT

ji

j

jiT

ji

j

jiT

ji

σ

ε

σ

σ

σσ

−−

+

−

−

+

−′

=∂∂

−

−−−

=

−−−

=

−−−

=∑ ∑∑ (4.39)

[ ] [ ] [ ] [ ]

∑ ∑∑=

−−−

=

−−−

=

+

−

−

+

−′

=∂∂

−

L

i

cxcxr

jj

i

cxcxr

jj

i bewybewyf

bF

j

jiT

ji

j

jiT

ji

1

2

1

2

1

22

sgn σσ ε (4.40)

Daha sonra (4.41) - (4.44) bağıntılarındaki gibi özyineli olarak güncellenir.

( ) ( ) ( )kwwj

jj jjwFkwkw =∂∂

−=+ η1 (4.41)

( ) ( ) ( )kbbbFkbkb =∂∂

−=+ η1 (4.42)

( ) ( ) ( )kccj

jj jjcFkckc =∂∂

−=+ η1 . (4.43)

( ) ( ) ( )kjj j

Fkk σσσησσ =∂∂

−=+1 . (4.44)

70

4.4. Uygulamalar

4.4.1. WGK, CKH ve İyonosfer Veri Kümeleri ile Sınıflama Problemi

Bu uygulamada, RTİA yüzeyi kullanarak oluşturulan sınıflayıcıları; DVM

sınıflayıcılara göre, eğitim ve test başarımları ile süre açısından kıyaslamak için, UCI makine

öğrenme arşivinden: Cleveland kalp hastalıkları (CKH), Wisconsin göğüs kanseri (WGK) ve

İyonosfer verileri seçilmiştir. Veri kümeleri 10 eşit alt kümeye bölünmüş ve ayrılan 4 alt küme

eğitim kümesi, geriye kalan 6 alt küme test kümesi olarak kullanılmıştır.

Önerilen algoritma iki farklı şekilde çalıştırılarak sonuçlarına bakılmıştır. Birincisinde

K-ortalamalar öbekleme algoritması ile eğitim veri sayısı kadar merkez elde edilmiş ve eğitim

boyunca güncellenmemiştir. RTİ çekirdeğin σ parametresi ise [0.01:0.01:4] dizisi içerisinden

test kümesi üzerinde en iyi başarımı veren değer seçilmiş ve eğitim boyunca güncellenmemiştir.

İkincisinde ise merkez sayısı önceden belirlenerek K-ortalamalar öbekleme algoritması ile σ

parametresinin değeri ise 1/(2r)^(1/n)-2)/sqrt(2log(2)) [83] ile başlatılmış ve eğitim boyunca

güncellenmiştir. w değerleri ise iki biçimde de her kat için rasgele ve b değerleri ise 1 ile

başlatılmıştır. Algoritma farklı adım sayısı için momentum terimli ve uyarlanır öğrenme oranı

içeren eğim iniş yöntemiyle eğitilmiştir. Penaltı parametresi iyonosfer veri kümesi için

(4.35)’deki gibi, diğer veri kümeleri için ise (4.36)’daki gibi üstel olarak güncellenmiştir.

Azalma hızını belirten h sabiti 3 seçilmiştir.

Merkez ve değişinti parametrelerinin güncellenmediği durumda, program 10 defa

çalıştırılarak eğitim süresi ile eğitim ve test verileri için doğru sınıflanmış noktalarının toplam

yüzdesi, ortalama doğruluk olarak Tablo 4.1’de verilmiştir. Tüm parametrelerin güncellendiği

durumda da program 10 defa çalıştırılmış ancak değişinti değeri uygun bir değerle

başlatılmadığı için bazı çalıştırılmalarda çok uygun olmayan sonuçlar elde edilmiştir. Bu doğal

bir sonuç olduğu için tüm parametrelerin güncellendiği durumda sadece uygun sonuçların

toplam yüzdesi, ortalama doğruluk olarak tabloda verilmiştir. DVM’nin sonuçları ise Bölüm

2’den tabloya aktarılmıştır. Sonuçlardan görüldüğü gibi merkez ve değişinti parametre

değerlerinin başlangıçta uygun seçilerek daha sonra güncellenmediği durumda, önerilen

formülasyon hem hız hem de başarım olarak DVM’yi geçmiştir. Aynı durumda K-ortalamalar

öbekleme algoritması ile başlatılmayıp tüm veriler merkez olarak kullanılsa bile benzer sonuçlar

alınabilmesi dikkate değer bir noktadır. Diğer durumlarda ise, merkez ve değişinti

parametresinin değeri değişimi her adımda dönüşüm işlevinin hesaplanmasını da gerektiği için

eğitim süresi artmıştır. Diğer taraftan birim sayısı r azalmasına rağmen iyi sonuçlar elde

edilmiştir.

71

Tablo 4.1 RTİA yüzeyi kullanarak oluşturulan sınıflayıcıların ve DVM sınıflayıcıların denektaşı veri kümeleri üzerindeki başarımları.

Veri Kümesi

(1. ve 2. sınıftaki veri sayıları, n)

WGK (41,69,32)

CKH (83,214,13)

İyonosfer (126,225,34)

Önerilen RTİA Eğitim Doğruluğu [%] Test Doğruluğu [%]

Süre [s] σ r

Adım Sayısı

100

69.23 0.11 0.95 44

350

100

80.00 0.12 2.09 119 350

98.57 93.38 0.17

2 140 350


Süre [s] r

Adım Sayısı

100

67.69 2.33 44

350

64.36 62.53 2.28 15

550

100

77.57 13.04 119 350

84.87 82.48 2.55 15

550

97.42 93.80 37.73 140 350

94.28 93.90 7.01 15

550 DVM


Süre [s] σ C

97.73 64.15 0.64

0.0125 1000

99.15 77.97 2.22 0.4

1000

100

93.33 5.04 0.2

1000

4.4.2. İki Spiralli ve Dört Spiralli Veri Kümeleri ile Sınıflama Problemi

Bu uygulamada, elde edilen sonuçları görsel olarak göstermek için 2 boyutlu 1000

veriden oluşan dört spiralli veri kümesi ile 2 boyutlu 2000 veriden olaşan iki spiralli veri kümesi

kullanılmıştır. Veri kümesinin yarısı eğitim, diğeri ise test etmek için ayrılmıştır. Önerilen

algoritma, karesel programlama ile eğitilen DVM ve RTİA ağı ile kıyaslanmıştır.

DVM için [41]’deki MATLAB kütüphanesi kullanılmıştır. RTİ çekirdekli DVM’nin C

parametresinin en uygun değeri [1 10 100 1000 10000] dizisi içerisinden, σ parametresinin ise

[0.01:0.01:3] dizisi içerisinden en iyi test başarımı veren değer olarak belirlenmiştir. En iyi test

başarımını veren parametre değerleri içerisinden pay ve eğitim başarımlarına da bakılarak

uygun bir değer seçilmiştir. Önerilen algoritma ise önceki örnekteki gibi iki farklı şekilde

çalıştırılmıştır. RTİA benzetimleri için MATLAB’ta bir program oluşturulmuştur. Böylece

önerilen algoritma ile aynı başlangıç şartları kullanılarak eğitim süresi ve başarım sonuçlarının

uyumlu olmasını sağlanmıştır.

Program 10 defa çalıştırılarak eğitim süresi ile eğitim ve test verileri için doğru

sınıflanmış noktalarının toplam yüzdesi, ortalama doğruluk olarak Tablo 4.2’de verilmiştir.

72

Önerilen sınıflayıcının eğitim başarımı ve karar yüzeyleri, eğitim örneklerini içererek Şekil

4.1’de DVM’nin sonuçları ise destek vektörleri de belirterek Şekil 4.2’de verilmiştir. Görüldüğü

önerilen formülasyonun da karar yüzeyleri DVM’nin ki kadar düzgündür. Düzgünlükte değişinti

parametresinin etkin olduğu bilinen bir gerçektir. Eğer güncellenmez ise uygun değerinin

bulunması DVM’deki gibi önemli bir problem olur. Belirgin olarak küçük değerlerinde

karmaşık yüzeyler ile sonuçlanabilir. Başarım açısından ise önerilen formülasyon RTİA’yı

geçmiştir, DVM ile de benzer sonuçlar elde edilmiştir.

Tablo 4.2 RTİA yüzeyi kullanarak oluşturulan sınıflayıcıların, DVM sınıflayıcıların ve RTİA sınıflayıcıların denektaşı veri kümeleri üzerindeki başarımları.

İki Spiral (2x2000) Dört Spiral (2x1000)


Süre [s] σ

Adım sayısı

99.70 96.40 14.29 0.11 1000

98.20 94.40 3.25 0.2

1000 Önerilen RTİA


Süre [s] r

Adım sayısı

99.70 96.00 29.08 170 160

99.60 95.60 17.60

95 160

98.40 96.10 10.06

58 160

97.40 93.80 14.11 154 160

98.60 95.00 6.16 76

160

97.40 94.80 4.18 57

160 DVM


Süre [s] C σ

97.12 96.51 1803 1000 0.193

98.45 97.32

133.77 1000 0.333

RTİA Eğitim Doğruluğu [%] Test Doğruluğu [%]

Süre [s] r

Adım sayısı

93.90 91.00 30.07 170 160

91.01 90.45 16.78

95 160

91.80 91.50 9.56 58

160

95.80 90.80 14.12 154 160

93.40 90.20 6.92 76

160

94.60 91.40 4.87 57

160

73

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2-2

-1.5

-1

-0.5

0

0.5

1

1.5

2

1.özellik

2.özellik

0 20 40 60 80 100 120 140 16010-1

100

101

102

103

(a)

Baş

arım

Adım sayısı

74

-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

1.özellik

2.özellik

0 20 40 60 80 100 120 140 16010-2

10-1

100

101

102

(b)

Şekil 4.1 (a) Dört spiralli veri kümesi ve (b) iki spiralli veri kümesi için r=57 ve 58 ile RTİA yüzeyi kullanarak oluşturulan sınıflayıcıların karar yüzeyleri ve eğitim başarımı. Eğitim noktaları * (bir sınıf ) ve + (diğer sınıf) ile gösterilmiştir.

Adım sayısı

Baş

arım

75

-1.5 -1 -0.5 0 0.5 1 1.5-1.5

-1

-0.5

0

0.5

1

1.5

(a)

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2-2

-1.5

-1

-0.5

0

0.5

1

1.5

2

(b)

Şekil 4.2 (a) Dört spiralli veri kümesi ve (b) iki spiralli veri kümesi için genel DVM sınıflayıcıların karar yüzeyleri. Eğitim noktaları * (bir sınıf ) ve + (diğer sınıf) ile gösterilmiştir. Elde edilen destek vektörler ise daire içerisine alınmıştır.

1. özellik

1. özellik

2. ö

zelli

k 2.

öze

llik

76

4.4.3. Sinc İşlevi ile Regresyon Kestirimi

Bu uygulamada RTİA yüzeyi kullanarak, oluşturulan regresyon kestirimi

formülasyonunun başarımını incelemek için, genellikle bilimsel yazındaki öğrenme

algoritmalarının geçerliliğini test etmek için kullanılan

( ) ( ) iiii nxxy 1.0 sin += ππ , (4.45)

doğrusal olmayan gürültülü sinc işlevi ele alınmıştır. Burada, [ ]3 ,3~ −ix aralığında düzgün bir

dağılıma sahip skaler bir girişi, ℜ∈iy çıkış vektörünü, ( )1 ,0~ Nni sıfır ortalamalı ve birim

değişimli normal dağılıma sahip gürültü işaretini göstermektedir. Rasgele değişken ix , in ’den

bağımsızdır. Eğitmek amacıyla 101 veri ve test etmek amacıyla 600 veri kullanılmıştır.

ε=0.1 ve r=20 için algoritma 10 defa çalıştırılmıştır. Eğitim 350 adım için 0.52 işlemci

hesaplama süresinde sonuçlanmıştır. Şekil 4.3’de elde edilen uygun sonuçlardan bir tanesi

verilmiştir. Verilen şekiller için eğitim ve test hatası, Ortalanmış Hatanın Karelerinin Karekökü

(OHKK) olarak sırasıyla 0.038 ve 0.101 elde edilmiştir. Görüldüğü gibi gürültüler

öğrenilmeyerek oldukça iyi bir başarıma ulaşılmıştır.

77

-3 -2 -1 0 1 2 3-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

1.4

x

y

(a)

0 50 100 150 200 250 300 350100

101

102

(b)

Şekil 4.3 (a) r=20 ile RTİA yüzeyi kullanarak oluşturulan regresyon kestirimi formülasyonunun yaklaşım sonuçları: ε-duyarsız bölgesi (-.-), gürültülü eğitim verileriyle elde edilen eğri (-.) ve test verilerini kullanarak hesaplanan eğri kalın düz çizgi ile gösterilmiştir, (b) eğitim başarımı.

Baş

arım

Adım sayısı

78

5. ÇEKİRDEK İŞLEVLERİ KULLANARAK SINIFLAMA ve REGRESYON KESTİRİMİ

5.1. Doğrusal Olarak Ayrıştırma Yapan Sınıflayıcı İçin Önerilen Formülasyon

DVM’lerin, gerçek yaşam uygulamalarında bazı hesapsal problemleri bulunmaktadır.

Bunlardan en önemlisi, veri sayısı çok fazla olan problemlerde hafızanın büyümesinden dolayı

çözümde karesel programlamanın kullanılamamasıdır. Bu engeli aşmak için farklı

formülasyonlar ve çözüm algoritmaları geliştirilmesi için çalışılmaktadır [19, 51, 80, 88].

Bölüm 4’te karmaşık yüzeylerin elde edilmesinde kullanılan φ dönüşümü, bir çekirdek

ile tanımlanabilir. Bu bölümde, Bölüm 4’teki yöntem ve formülasyonlar çekirdek temel alınarak

yeniden türetilmiştir ve eğim iniş algoritması uygulanmıştır. Eğim temelli algoritmaların

bilimsel yazında çok girişli, büyük veri kümelerine başarılı bir şekilde uygulanarak dayanımlı

ve etkili olduğunun gösterilmesi [45], sınıflama ve regresyon kestirimi için bu algoritmalarla

eğitilen eniyileme problemleri önermenin iyi bir fikir olacağını güçlendirmiştir. DVM

sınıflayıcılarının çözümü için, eğim iniş yöntemlerinin uygulanması yeni değildir. Ancak

şimdiye kadar yapılan çalışmalar, ikincil programlama temeline dayanır [22, 34]. Yoğunluk

kestirimi problemleri için en küçük hacimli daire problemlerinin parametre hesaplanmasında ve

sınır tanımlamalarında; eğim iniş yöntemlerini kullanmayı başlatanlardan biri olan Chapelle

[14], bu tez çalışması ile eş zamanlı olarak ilk defa [15] çalışmasında birincil form kullanarak,

DVM sınıflayıcıların eğitimi için formülasyonlar önermiş ve çözümler elde etmiştir. [15]’den ve

bu tez sonuçlarının kısmen yayınlandığı [100]’den farklı olarak, seçimi zor ve değeri önemli

olan penaltı parametresi her özyinelemede güncellenmiştir. Böylece DVM’nin bir zorluğundan

kurtulmak amaçlanmıştır. Ayrıca ilk defa, regresyon kestirimi ve çok sınıflı sınıflama

problemleri için eğim iniş yöntemlerinin uygulanabileceği formülasyonlar geliştirilmiştir.

Bu bölümde, önce çok boyutlu uzayda doğrusal ayrıştırma formülasyonu çıkarılmıştır.

Daha sonra çekirdek kullanımına imkan veren temsilci teoreminden faydalanılarak, doğrusal

olmayan formülasyonlar türetilmiştir.

x n ve 1,1-y olmak üzere LL yxyx ,,...,, 11 eğitim örneklerinin L örneği

için, çok boyutlu düzlem biçimindeki karar yüzeyi

D= ,...,L i, bxwx iTn 10 (5.1)

ile verilirse, verilerin hangi sınıfa atandığı

11 iiT ybxw (5.2)

79

11 iiT ybxw (5.3)

kullanılarak bulunur. Bu durumda problemin sınıflama hatası, küre ve elipsoit biçimli sınıflayıcı

formülasyonunda önerilene benzer olarak, (5.4)’deki gibi hesaplanır

L

i

iTi bxwyfxf1

1)( . (5.4)

Burada; f ve onun türevi,

0 0

0

f

f

0. 0

0 1'

'

f

f (5.5)

olarak seçilir.

Yapısal hata, DVM formülasyonundan (5.6)’da ki gibi w enazlanarak elde edilir,

wwwwg T

21

21 2 , (5.6)

Kısıtlı eniyileme problemi düzenlileştirilmiş kısıtsız eniyileme problemine

wwAbxwyfxF TL

i

iTi

21

1

(5.7)

ile dönüştürülürse, amaç ölçütü hem formülasyona dayanımlılık kazandıran deneysel hatayı hem

de yapısal hatayı içerir. Sonuç olarak (5.7)’deki amaç ölçütü ile

wwAbxwyf TL

i

iTi

bw 21min

1,

(5.8)

A>0

eniyileme problemi olarak önerilir. Burada; A dayanımlılık (doğru sınıflama) ve hacim arasında

ödünleşim sağlayan penaltı parametresini göstermektedir. Bölüm 2’de önerildiği gibi

ww

bxwyf

LA T

L

i

iTi

1

12 (5.9)

her özyinelemede güncellenmektedir.

5.1.1. Önerilen Doğrusal Sınıflayıcı Formülasyonunun Çözüm Yöntemi

(5.8) ile verilen eniyileme problemi, önerilen yöntemde herhangi bir eğim iniş

algoritmasıyla çözülmektedir. Çözüm için öncelikle amaç ölçütü F’nin, (5.10) ve (5.11)’deki

gibi w ve b değişkenlerine göre negatif gradyenleri alınır

80

L

i

iTii bxwyfybF

1

1 , (5.10)

AwbxwyfxywF L

i

iTiii

1

1 , (5.11)

daha sonra kullanılacak eğitim algoritmasına uygun olarak özyineli olarak güncellenir. Örneğin

en dik iniş algoritması ile özyineleme işlemi (5.12) ve (5.13)’deki gibi yapılmaktadır,

wFkwkw

1 , (5.12)

bFkbkb

1 . (5.13)

Burada, öğrenme oranıdır. Bölüm 2’de belirtildiği gibi, eğer momentum terimli uyarlanır

öğrenme oranlı eğim iniş algoritması kullanılırsa veya uyarlanır öğrenme oranlı eğim iniş

kullanılırsa, bu parametrenin seçimi problemi ortadan kalkmış olur.

Özyineleme sonucunda elde edilen w ve b değerleri kullanılarak, karar işlevi

bxwx T sgn (5.14)

ile belirlenir.

5.2. Çekirdek Tabanlı Sınıflayıcılar İçin Önerilen Formülasyon

Giriş uzayında (5.15)’deki gibi doğrusal olmayan bir yüzey ile ayrıştırma yapılırsa,

D=

,...,r j, bxw xr

jj

Tn 101

. (5.15)

veriler (5.16) ve (5.17)’ye göre sınıflara ayrılır,

1y 1 bxwT , (5.16)

1y 1 bxwT . (5.17)

Burada; rjj x

1

giriş uzayından r boyutlu uzaya doğrusal olmayan dönüşümü, w

ayarlanabilir ağırlıkları ve b orijinden kayıklık oranını göstermektedir.

Önerilen formülasyon doğrusal olan durum için kolaylıkla uygulanabilir. Çünkü, küre

ve elipsoit biçimli sınıflayıcı formülasyonlarından farklı değildir. Ancak doğrusal olmayan

durumda çoğu zaman, x ayrıştırıcı yüzeyler bilinmeyip çekirdek işlevi şeklinde örtük olarak

verildiği için önerilen formülasyon, çekirdek kullanılarak uygulanabilir duruma temsilci teoremi

[37, 38, 90, 91, 102] ile getirilmesi gerekir.

81

Temsilci teoremi kullanılırsa, çekirdek yardımıyla ifade edilebilen karar işlevi (5.18)

biçiminde gösterilebilir [30, 82, 90, 91]

bx,xKvxL

i

ii

1

(5.18)

Burada; Lv ağırlık vektörünü ve K çekirdek matrisini göstermektedir.

Bu durumda, yeni eniyileme formülasyonu için deneysel hata

L

i

iTi bx,xKvyfxf1

1 (5.19)

ve yapısal hata

Kvvvg T (5.20)

ile verilirse, kısıtsız amaç ölçütü

KvvAbx,xKvyfF TL

i

iTi

21

1

(5.21)

olarak elde edilir. Burada; f (5.5)’de verilen kayıp işlevini göstermektedir.

Sonuç eniyileme problemi

KvvAbx,xKvyf TL

i

iTi

bv 211min

1,

(5.22)

A>0

ile verilir. Burada; A penaltı parametresi her bir özyineleme adımında

Kvv

bx,xKvyf

LA T

L

i

iTi

1

12 (5.23)

ile hesaplanmaktadır.

5.2.1. Çekirdek Tabanlı Sınıflayıcılar İçin Önerilen Formülasyonun Çözüm Yöntemi

(5.22)’de önerilen eniyileme problemi de, doğrusal formülasyona benzer olarak

herhangi eğim tabanlı algoritma ile çözülmektedir. Bunun için ilk olarak amaç ölçütü F’nin

(5.24) ve (5.25)’deki gibi w ve b değişkenlerine göre negatif gradyenleri alınır.

L

i

iTii bx,xKvyfybF

1

1 , (5.24)

AvKbx,xKvyfx,xKyvF L

i

iTiii

1

1 . (5.25)

82

Daha sonra v ve b değişkenleri, eğim algortimaları gereğince öz yineli olarak

güncellenir. En dik iniş için örnek bir güncelleme, (5.26) ve (5.27)’de verilmiştir,

vFkvkv

1 , (5.26)

bFkbkb

1 . (5.27)

Özyineleme sonucunda elde edilen v ve b değerleri ile (5.28)’deki karar işlevi

kullanılarak, verilerin ait olduğu sınıflar belirlenir:

L

i

ii bx,xKvx

1

sgn . (5.28)

5.3. m-Sınıflı Sınıflama İçin Önerilen Çekirdek Tabanlı Formülasyon

Bu bölümde ikili sınıflandırma için önerilen formülasyon, karar yüzeyi

1, miT

mim bxxKvy (5.29)

alınarak m-sınıflı sınıflama problemlerine genişletilmiştir.

m-sınıflı sınıflama için formülasyon, ikili sınıflamaya benzer olarak

M

mm

Tm

M

m

L

im

iTm

imbv

KvvAbxxKvyf11 1

, 2,1min (5.30)

A>0

ile formüle edilir. Ödünleşimi sağlayan penaltı parametresi

M

mm

Tm

M

m

L

im

iTm

im KvvbxxKvyf

LA

11 1

,12 (5.31)

veya

M

mm

Tm

M

m

L

im

iTm

im KvvbxxKvyfzh

LA

11 1

,1). exp(2 (5.32)

olarak hesaplanabilir. Burada; z adım sayısını, h ise azalma hızını belirleyen sabiti

göstermektedir.

DVM’ler ile sınıflama yapıldığı zaman, pozitif ve negatif örnekler arasındaki ayırma

payı içinde kalan eğitim örneklerinin sayısı enazlanır [13]. Bu, yapay değişkenlerin gösterge

işlevinin yerine kullanıldığı için sadece yaklaşık olarak doğrudur. YSA’lar ise geriye yayılım

algoritmaları ile öğrenme görevinin (sınıflama veya regresyon kestirimi) ne olduğuna bakmadan,

ikinci dereceden kayıp işlevini enazlarlar. Burada da eğim iniş yöntemlerine benzer şekilde

83

deneysel hatanın karesi alınarak, ikinci dereceden eğim iniş yöntemleri uygulanabilir. Hem

zaman hem de başarım açısından küçük farklılıkları olan çözümler elde edilebilir.

5.4. Regresyon Kestirimi İçin Önerilen Çekirdek Tabanlı Formülasyon

x giriş vektörü verilerek buna karşılık gelen, gürültü içeren gerçel y vektörü

hesaplanmak istenirse, (5.33)’de verilen doğrusal olmayan regresyon modeli kullanılabilir

bx,xKvxL

i

ii

1

. (5.33)

Burada; Lv ağırlık vektörünü ve K çekirdek matrisini göstermektedir.

Regresyon kestiriminde farklı kayıp işlevleri seçilebilir [22, 89], uygulamalarda (5.34)

ile verilen ε-duyarsız kayıp işlevi kullanılmıştır,

ε x y, x yxy,f ε 0max . (5.34)

ε-duyarsız kayıp işlevi için regresyon probleminin deneysel hatası

L

i

iL

jj

i bxxKvyfxf1 1

, (5.35)

ve yapısal hatası

vKvvg T 21

(5.36)

olarak bulunur. f kayıp işlevi (5.5)’deki gibi hesaplanır.

Kısıtsız eniyileme problemi için amaç ölçütü ve eniyileme problemi, sırasıyla (5.37) ve

(5.38) ile verilir.

KvvAbxxKvyfxF TL

i

iL

jj

i

2,

1 1

(5.37)

KvvAbxxKvyf TL

i

iL

jj

i

bv 2,min

1 1,

(5.38)

A>0

Burada; A ödünleşimi sağlayan penaltı sabitini göstermektedir. A, (5.39)’daki gibi özyineli

olarak hesaplanır:

Kvv

bxxKvyf

LA T

L

i

iL

jj

i

1 1

,2

(5.39)

84

5.4.1. Regresyon Kestirimi İçin Önerilen Çekirdek Tabanlı Formülasyonun Çözüm

Yöntemi

(5.38)’de önerilen eniyileme probleminin en dik iniş yöntemi kullanılarak çözülebilmesi

için önce, amaç ölçütü F’nin v ve b değişkenlerine göre negatif gradyenleri alınır.

iiiL

jj

iL

i

iL

jj

i

j

xxvKAxxKbxxKvybxxKvyf

vF

,.,,sgn ,11 1

(5.40)

bxxKvybxxKvyfbF i

L

jj

iL

i

iL

jj

i ,sgn ,11 1

(5.41)

Daha sonra, önerilen algoritmaya göre öz yineli olarak güncellenir. Örneğin en dik eğim

iniş algoritması için güncelleme (5.42-5.43) bağıntıları yapılır

kvvjjj jjvFkvkv

1 , (5.42)

kbbjb

Fkbkb

1 . (5.43)

Bu bölümde benzer formülasyonların tekrarından kaçınmak için, sadece doğrusal

olmayan regresyon kestirimi için formülasyonlar çıkartılmıştır. Doğrusal formülasyonun çok

daha kolay bir şekilde elde edilebileceği, sınıflama bölümünden açıkça görülmektedir. Basit

olarak çekirdek matrisi x vektörüyle yer değiştirir ve yapısal hata sadece ağırlıkların normundan

oluşan bir terimle gösterilir.

5.5. Uygulamalar

5.5.1. CKH, BUPAKB ve İyonosfer Veri Kümeleri ile Sınıflama Problemi

Bu uygulamada, önerilen DVM sınıflayıcının hızını ve başarımını farklı sınıflayıcılar ile

kıyaslamak için, UCI makine öğrenme arşivinden Cleveland kalp hastalıkları (CKH), İyonosfer

ve BUPA karaciğer bozuklukları (BUPAKB) veri kümeleri kullanılmıştır. Ele alınan veriler

85

önce rasgele karıştırılmış daha sonra 10 eşit alt kümeye bölünerek 4’ü eğitim 6’sı test kümesi

olarak kullanılmıştır.

Önerilen formülasyonda tüm veri kümeleri için RTİ, tanh ve polinomsal çekirdek

kullanılmıştır. RTİ çekirdeğin σ parametresi, [0.01: 0.01: 3] dizisi içerisinden, polinomsal

çekirdeğin derecesi [1:1:30] dizisi içerisinden ve tanh çekirdeğin parametresi ise [0.01: 0.01: 3]

dizisi içerisinden en iyi test başarımı veren değer seçilmiştir. En iyi sonucu veren değer birden

fazla olduğu zaman, her bir parametre için algoritma 10 defa çalıştırılmış hem ortalama eğitim

de hem de ortalama test de en iyi başarımı veren bir değer kullanılmıştır. Önerilen sınıflayıcı,

350 adım için momentum terimli ve uyarlanır öğrenme oranı içeren eğim iniş algoritması ile

eğitilmiştir. w değerleri algoritmanın her çalıştırılışında rasgele ve b değerleri ise 1 ile

başlatılmıştır. Algoritma 10 defa çalıştırılarak hem eğitim hem de test verileri için doğru

sınıflanmış noktaların toplam yüzdesi, ortalama doğruluk olarak Tablo 5.1’de ve 10 katın

birinden alınan eğitim başarımları da Şekil 5.1’de verilmiştir.

Elde edilen sonuçlar, karesel programlama ile eğitilen DVM’nin yanı sıra bilimsel

yazında özellikle zaman açısından en iyi sonuçları veren yöntemler olan NLDVM ve DVMlight

ile de kıyaslanmıştır. DVM ve DVMlight için RTİ çekirdek kullanılarak elde edilen sonuçlar

verilmiştir. DVMlight ve DVM’nin C parametresi [1: 10: 1000] dizisi içerisinden, σ parametresi

ise [0.01:0.01:3] dizisi içerisinden en iyi test başarımı veren değer seçilmiştir. Sonuçlardan

görüldüğü gibi RTİ çekirdek kullanılarak eğim iniş algoritması ile eğitilen önerilen sınıflayıcı

test başarımları açısından, diğer yöntemleri geçmiştir. Süre açısından ise DVMlight ve

DVM’den daha iyidir. Bununla birlikte NLDVM diğer yöntemlere göre daha hızlıdır.

86

Tablo 5.1 Önerilen çekirdek tabanlı sınıflayıcı ile NLDVM, DVMlight ve DVM’nin 10 katlı eğitim ve test doğrulukları ile eğitim sürelerinin kıyaslanması.

Veri Kümesi

L × n (veri sayısı × boyut)

İyonosfer 351 × 34

BUPAKB 345 × 6

CKH 297 × 13

RTİ Çekirdekli NLDVM (ao=1) Eğitim Doğruluğu [%]


95.78 96.09 0.99

80.72 81.74 0.32

73.69 71.01 0.34

DVMlight Eğitim Doğruluğu [%]


σ C

100

94.28 0.22

1 1000

100

65.04 0.13 0.4

1000

100

82.79 0.74

2 1000



σ C

100

93.33 5.04 0.2

1000

99.27 57.76 3.28 1.04 1000

99.15 77.97 2.22 0.4

1000 Önerilen

Formülasyon, RTİ çekirdek


Süre [s] σ

99.21 94.71 0.21 2.23

75.52 70.35 0.22 2.32

98.06 82.87 0.26 2.39

Önerilen Formülasyon, tanh çekirdek


Süre [s] σ

95.78 91.09

0.24 0.03

79.71 64.07 0.27 0.95

76.27 72.85 0.27 0.01

Önerilen Formülasyon,

polinomsal çekirdek Eğitim Doğruluğu [%]

Test Doğruluğu [%] Süre [s] Derece

97.85 94.28 0.27

2

71.84 68.84 0.21

1

92.41 78.31 0.28

1

87

0 50 100 150 200 250 300 350100

101

102

103

Adim

Bas

arim

0 50 100 150 200 250 300 350

100

101

102

103

104

Adim

Bas

arim

(a) (b)

0 50 100 150 200 250 300 350100

101

102

103

Adim

Bas

arim

(c)

Şekil 5.1 (a) İyonosfer, (b) BUPAKB ve (c) CKH veri kümeleri üzerinde, önerilen yöntemin 10 katlı eğitim başarımlarından rasgele alınan bir sonuç.


Burada; Zambak çiçeği verisinin 3. ve 4. karakteristikleri alınarak, tüm sınıflar için ayrı

ayrı sınıflayıcı tasarlanmıştır. Her bir sınıflayıcı için, karar yüzeyinin içinde kalması gereken

veriler 1 ile, diğerleri ise -1 ile etiketlenmiştir.

Veriler, önceki örnekte olduğu gibi önce rasgele karıştırılmış, daha sonra 10 eşit alt

kümeye bölünerek 4’ü eğitim 6’sı test kümesi olarak ayrılmıştır. Önerilen formülasyonda tüm

sınıflar için RTİ çekirdek kullanılmıştır. RTİ çekirdeğin σ parametresini seçmek için [0.01: 0.01:

3] dizisinin tüm değerleri için algoritma çalıştırılarak test başarımlarına bakılmıştır. En iyi test

başarımı veren değerler için algoritma 10 defa çalıştırılmış, hem eğitim hem de test de en iyi

başarımı veren bir değer bu uygulama için seçilmiştir. Önerilen algoritma bir önceki örnekteki

Adım sayısı

Adım sayısı Adım sayısı

Baş

arım

Baş

arım

Baş

arım

88

gibi 350 adım için 10 defa çalıştırılarak, hem eğitim hem de test verileri için doğru sınıflanmış

noktaların toplam yüzdesi, ortalama doğruluk olarak Tablo 5.2’de verilmiştir. Tabloda verilen

DVM sonuçları da Bölüm 2’den alınmıştır. Önerilen formülasyon kullanılarak elde edilen karar

yüzeyleri, eğitim ve test örneklerini içererek Şekil 5.2’de verilmiştir. Sonuçlardan görüldüğü

gibi önerilen sınıflayıcı test başarımları ve süre açısından DVM’yi geçmiştir.

Tablo 5.2 Zambak çiçeği veri kümesi üzerinde önerilen çekirdek tabanlı sınıflayıcı ile DVM’nin 10 katlı eğitim ve test doğrulukları ile eğitim sürelerinin kıyaslanması.

Zambak Çiçeği 1. Sınıf 2. Sınıf 3. Sınıf

Önerilen Formülasyon, RTİ çekirdek


Süre [s] σ

100 100 0.13 0.29

97.66 96.17 0.11 0.61

99.83 95.05 0.12 0.5

DVM


Süre [s] σ

100 100 0.26 0.125

98.33 94.38 0.19 0.125

100 93.25 0.25 0.125

89

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2-2

-1.5

-1

-0.5

0

0.5

1

1.5

2


Taç

yapr

agi g

enis

ligi

0 50 100 150 200 250 300 35010-1

100

101

102

103

Adim

Bas

arim

(a)

Baş

arım

B

aşar

ım

Adım sayısı


Taç

yapr

ağı g

eniş

liği

90

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2-1.5

-1

-0.5

0

0.5

1

1.5

2


Taç

yapr

agi g

enis

ligi

0 50 100 150 200 250 300 350100

101

102

103

Adim

Bas

arim

(b)

Adım sayısı

Baş

arım

Taç yaprağı uzunluğu Taç yaprağı uzunluğu

Taç

yapr

ağı g

eniş

liği

91

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2-2

-1.5

-1

-0.5

0

0.5

1

1.5

2


Taç

yapr

agi g

enis

ligi

0 50 100 150 200 250 300 350100

101

102

103

104

Adim

Bas

arim

(c) Şekil 5.2 Zambak çiçeği verisinin (a) 1.sınıfı, (b) 2. sınıfı ve (c) 3. sınıfı üzerinde önerilen çekirdek tabanlı sınıflayıcıların eğitim ve test başarımları – Verilen bir sınıfa ait eğitim noktaları (*) ve test noktaları (x) ile gösterilirken, diğer sınıfa ait eğitim noktaları (○) ve test noktaları ise □ ile gösterilmiştir.

Adım sayısı

Baş

arım


T

aç y

apra

ğı g

eniş

liği

92

6. YAPISAL ve DENEYSEL RİSKİ ENAZLAYAN BULANIK MODELLER

6.1. Bulanık Tabanlı Modeller

Bu bölümde, bilimsel yazında oldukça iyi bilinen Takagi-Sugeno bulanık tabanlı model

yapısında, sadece deneysel riski enazlayan öğrenme algoritmaları yerine, yapısal ve deneysel

riski aynı anda enazlayan bir öğrenme algoritmasının türetilmesi açıklanmıştır. Bu yapı ile,

birden fazla çıkışlı yapıya genişletilebilme kolaylığı getirilmiştir.

[21]’de, doğrudan DVM’lerin eğitimi sonucunda elde edilen ağırlık değerleri ve destek

vektörleri kullanılarak, yapısal riski enazlayan Takagi-Sugeno bulanık tabanlı model yapısı

oluşturulmuştur. [59]’da ise bulanık modeller için eniyileme problemi, yapısal hatayı da

enazlayacak şekilde DVM’lere benzer olarak oluşturulmuş ve ikincil biçiminde çözülerek

bulanık model parametreleri elde edilmiştir. Bu tezde ise, DVM’lerin istatiksel öğrenme

algoritması iki şekilde bulanık modellere uygulanmıştır. Birinci uygulamada, yapısı yani kural

sayısı ve kurallarının parametreleri bilinen bulanık modeller, genelleme yeteneğini artırmak,

gürültü ve aykırı verilere karşı gürbüz olmasını sağlamak için istatiksel öğrenme algoritması ile

eğitilmiştir. İkinci uygulamada, tüm eğitim verileri kullanılarak başlatılan bir bulanık model

yapısı, birinci uygulamadaki gibi eğitilmiştir. Fakat, her bir adımda, sadece deneysel hata

terimine katkısı bulunan noktalarla hesaplamalar yapılmış ve daha küçük olan bir yapı elde

edilmiştir. Böylece bulanık modellerdeki önceden kural sayısının belirlenmesi probleminden

kaçınılmıştır.

Temel olarak, bulanık tabanlı sistem Şekil 6.1’den görüldüğü gibi dört işlevsel bloktan

oluşmaktadır. Bunlar,

Bulanık eğer-ise kurallarından oluşan bulanık kural tabanı,

Kurallar üzerinden sonucu oluşturma işlemlerini uygulayan karar verme makinesi,

Girişleri dilsel değerlere ve üyelik derecelerine dönüştüren bulanıklaştırma arabirimi ve

Çıkarımın bulanık sonuçlarını keskin çıkışlara dönüştüren durulaştırma arabirimidir.

Bilimsel yazında yaygın olarak kullanılan üç farklı bulanık model vardır. Modeller

arasındaki fark, kural sonuçlarının farklı olmasından, kurallarının birleştirilme yönteminden ve

durulaştırma adımlarının da ona göre farklılık göstermesinden kaynaklanır [4, 8, 57, 83]. İki

girişli iki kurallı bir sistem için aşağıda kısa tanımları verilen üç bulanık model yapısı Şekil

6.2’de görülmektedir.

93

Şekil 6.1 Bulanık tabanlı modelin karar verme düzeni.

1. Tsukamato bulanık modelde, kuralların sonuç bölümü tekdüze (monotonik) üyelik

işlevleri ile gösterilir. Her bir kuralın çıkarılmış sonucu, kuralların gerçekleme dereceleri ile

tanımlanan bir keskin değerdir. Tüm çıkış ise, her bir kuralın keskin çıkışının ağırlıklı

ortalaması olarak hesaplanır [83]. Bu yöntemde kullanılan kurallar aşağıdaki gibi ifade edilir:

eğer x1, A1 ve x2, B1 ise; o halde Z = C1’dir.


2. Mamdani bulanık modelin, kuralların sonuç bölümü farklı üyelik işlevleri ile

gösterilebilir [83]. Tüm sistem çıkışı, nitelikli bulanık çıkışlara “maks” işlemi uygulanarak elde

edilir. Burada nitelikli bulanık çıkışla, gerçekleşme derecelerinin en küçüğüne göre her bir

kuralın çıkış üyelik işlev alanının elde edilmesi kastedilmiştir. Bununla birlikte Mamdani model

özel uygulamalarda, farklı durulaştırma yöntemleriyle de kullanılmıştır.

Bu yöntemde kullanılan kurallar aşağıdaki gibidir:



3. Takagi, Sugeno ve Kang tarafından düşünülen yöntemde, her bir kuralın çıkışı üyelik

işlevlerinin yerine, giriş değişkenlerinin doğrusal bir bileşimi ile sabit terimden oluşan

polinomsal bir denklem ile verilir. Tüm çıkış ise her bir kural çıkışının ağırlıklı ortalaması

alınarak hesaplanır [83]. Bu yöntemde kullanılan kurallar aşağıdaki gibidir:

eğer x1, A1 ve x2, B1 ise; o halde 012

211

111 wxwxwZ ’dir

eğer x1, A2 ve x2, B2 ise; o halde 022

221

122 wxwxwZ ’dir.

bulanıklaştırma arabirimi

bilgi merkezi

veritabanı kural tabanı

durulaştırma arabirimi

Karar verme birimi bulanık bulanık

giriş

keskin

çıkış

keskin

94

Şekil 6.2 Yaygın olarak kullanılan üç bulanık model yapısı [83].

6.2. Ele Alınan Bulanık Tabanlı Modelin Yapısı

Şekil 6.3’te 5 katmanlı yapısı görülen Takagi-Sugeno bulanık modelde, L veri sayısı

olmak üzere, giriş değişkenleri TLnxxxx ,...,, 2

211 ve hedef değişkeni TLyyyy ,...,, 21 alınıp,

orijine göre mesafeyi temsil eden terimi ifade edebilmek için 1 ilave edilmiş giriş vektörü

TTxX 1 olursa sırasıyla kural yapısı ve katmanlarında yapılan tüm işlemler aşağıdaki gibi

tanımlanır:

R1 : Eğer x1, 111, cx ve … xn, 1, nn cx ise, XwZ 11 ’dir,

R2 : Eğer x1, 211, cx ve … xn, 2, nn cx ise, XwZ 22 ’dir,

….. …..

….. …..

Rr : Eğer x1, rcx 11, ve … xn, rnn cx , ise, XwZ rr ’dir. (6.1)

Burada, r kuralların sayısını, n giriş değişkenlerinin boyutunu, jw sonuç parametrelerini ve

jii cx , nirj ,...,2,1,,...,2,1 girişlere ait bulanık kümeyi göstermektedir.

Kuralların “ise” bölümü

1. çeşit 2. çeşit 3. çeşit

Kuralların “eğer” bölümü

z=Alan merkezi

Çarpma (veya min)

Ağırlıklı ortalama

max

Ağırlıklı ortalama

012

211

111 wxwxwZ

21

2211 **

ZZ

Z

022

221

122 wxwxwZ

21

2211 **

ZZ

Z

95

Şekil 6.3 Ele alınan Takagi-Sugeno bulanık tabanlı model.

Katman 1: Bu katmanda her bir giriş değişkeni bir düğüme atanır ve bir sonraki katmana

dağıtılır.

Katman 2: Bu katmanda girişler üyelik işlevlerinden geçirilerek bulanıklaştırılır.

Uygulamalarda gaus üyelik işlevi

2

2

2exp,

j

jiij

ii

cxcx

nirj ,...,2,1,,...,2,1 (6.2)

olarak kullanılmıştır. Burada, jic üyelik işlevinin merkezini, j j. üyelik işlevinin değişinti

parametresini göstermektedir.

Katman 3: Bu katmanda, üyelik işlevleriyle elde edilen dönüşümlerin bulanık kesişimi

hesaplanır. Her bir düğüm için t-norm işlemi olarak cebirsel çarpım yapılırsa,

n

i j

jiin

ij

jii

j

cxcxx

12

2

12

2

21exp

2exp

, (6.3)

olur ve (6.4)’deki gibi ölçeklenir

r

jj

jj

x

xx

1

. (6.4)

x2

x3

xr

1x

2x

nx

x1 Z1

Z2

Z3

Zr

xZ

v1

v2

v3

vr

Kuralların “eğer” bölümü Kuralların “ise” bölümü

Giriş Katman 1 Katman 2 Katman 3 Katman 4 Katman 5 Çıkış

x1 111, cx

211, cx

122 ,cx

1, nn cx

2, nn cx

222 ,cx

x2

x3

xr

X

96

Katman 4: Ölçeklenmiş j ağırlığı, kuralların çıkışlarını gösteren jZ değişkeni ile çarpılır.

Her bir düğüm çıkışı

jjj Zv

1

1

r

jj

j

r

jj

x

Xwx (6.5)

olarak hesaplanır.

Katman 5: Oluşturulan bulanık modelin tüm çıkışı, ağırlıklı ortalama yöntemi kullanarak

durulaştırılır,

r

jjj ZxxZ

1

1

1

r

jj

r

jjj

x

Xwx. (6.6)

Burada, her bir kuralın sonuç parametreleri TTrTTw ... w ww

21 ve ölçeklenmiş

girişler TTrTT XxXxXxX ... 21 biçimine getirilirse, bulanık sistemin tüm

çıkışı kısaca wXXZ T olarak ifade edilebilir.

6.3. Regresyon Kestirimi İçin Bulanık Tabanlı Modellerde Önerilen Öğrenme Algoritması

Bu bölümde, (6.6)’da verilen bulanık yaklaşım modeli kullanılarak yeni bir öğrenme

algoritması türetilmiştir. Algoritma Bölüm 4’de verilen RTİA dönüşümü kullanılarak elde

edilen regresyon kestirimi problemine benzer olarak uygulanmıştır.

DVM’lerde kullanılan tüm kayıp işlevleri, önerilen bulanık sistemin öğrenme

algoritması için de kullanılabilir. Uygulamalarda, ε–duyarsız kayıp işlevi seçilerek eniyileme

problemi

2

1 1,, 2

min wAXwyfL

i

ij

r

jj

i

cw

(6.7)

A>0

97

olarak önerilir. Burada; A ödünleşim sabiti

2

1 12w

Xwyf

LA

L

i

ij

r

jj

i

(6.8)

ile hesaplanır.

Regresyon kestirimi formülasyonları, önceki bölümlerde verilen çok çıkışlı sınıflama

problemlerine benzer bir şekilde genişletilerek, kolaylıkla çok çıkışlı bulanık modeller elde

edilebilir.

M

mm

M

m

L

i

ij

r

jmj

imcw

wAXwyf1

2

1 1 1,, 2

min

(6.9)

Bu tezde, iki farklı bulanık tabanlı model oluşturulmuştur. Her iki yaklaşımda da Şekil

6.4’te verilen bir plan izlenmiştir. Birinci yaklaşım için önerilen işlemler aşağıdaki gibi

özetlenmiştir:

1.İşlem: Başlangıç kural sayısı, merkez ve değişinti parametreleri öbekleme algoritması

ile oluşturulur. Bulanık model çıkışı

WxZ (6.10)

ile gösterilerse, başlangıç bulanık tabanlı sistem yapısı için çıkış parametreleri

ZW TT 1

. (6.11)

olarak hesaplanır. Burada W parametre vektörü, genelleştirilmiş sağ ters işlemi kullanılarak elde

edilir.

Şekil 6.4 Önerilen bulanık tabanlı modelin öğrenme algoritması.

2. İşlem: Eğitim için, bilinen deneysel riski enazlayan öğrenme algortimaları yerine,

yapısal hatayı da içeren (6.7)’deki eniyileme problemi momentum terimli uyarlanır öğrenme

oranlı eğim iniş yöntemi kullanılarak çözülür. Bu amaçla önce (6.12-6.14)’deki gibi w, c ve σ

Başlangıç Bulanık

Tabanı

-Bulanıklaştırma-

Ağırlıklı

Ortalama

-Durulaştırma-

Eğitim Girişleri

Önerilen Öğrenme Algoritması ile

Eğitilen Bulanık Tabanlı Model

Çıkışlar

98

değişkenlerine göre negatif gradyenleri alınır. Daha sonra da algoritma gereğince özyineli

olarak güncellenir.

wAXXwyXwyf

wF

ij

L

i

ij

r

jj

iij

r

jj

i

j

.. sgn1 11

(6.12)

2

1

1 11

. sgn

ij

r

jjjji

ij

L

i

ij

r

jj

iij

r

jj

i

j

Xwwcx

XXwyXwyf

cF

(6.13)

3

1

2

1 11

.sgnij

ij

r

jjjji

ij

L

i

ij

r

jj

iij

r

jj

i

ij

Xwwcx

XXwyXwyf

F

(6.14)

İkinci yaklaşımda ise öbekleme algoritması kullanmadan küçük bir bulanık model yapısı

oluşturmak için yapılan işlemler, aşağıdaki gibi özetlenmiştir:

1. İşlem: Kural sayısı eğitim veri sayısı kabul edilir. Merkezlere eğitim verileri, sabit (tek)

değişinti parametresine ise rasgele bir değer atanarak bulanık tabanlı sistem yapısı başlatılır.

2. İşlem: Önerilen öğrenme algoritması çalıştırılır. Her adımdaki hesaplamalarda sadece

deneysel hata terimine, WXY T şartını sağlayarak pozitif bir terim ekleyen noktalar

kullanılır.

3. İşlem: Bir sonraki adımda WXY T şartını sağlayan yeni noktalar belirlenir.

Belirlenen noktalar, bir önceki adımdaki noktalar ile aynı ise öğrenme sonlandırılır, diğer

durumda belirlenen adım sayısı kadar aynı işlemler tekrar edilir. Belirlenen en son noktalar

kuralları oluşturmak için kullanılır. Böylece hem hesapsal yük azaltılmış olur hem de kuralları

az olan bir bulanık model elde edilir.

99

6.4. Uygulamalar

6.4.1. Sinc İşlevi ile Regresyon Kestirimi Problemi

Bu uygulamada, iiii nxxy 1.0 sin regresyon problemi ele alınmıştır.

Burada, 3 ,3~ Ux i aralığında düzgün bir dağılıma sahip giriş değerlerini, 1 ,0~ Nn i sıfır

ortalamalı ve birim değişimli normal dağılıma sahip gürültü işaretini ve iy hedef

değerlerini göstermektedir. Rasgele değişken ix , in ’den bağımsızdır.

Eğitmek amacıyla 101 veri, test etmek amacıyla 600 veri kullanılarak dört farklı test

yapılmış ve önerilen algoritmanın başarımı denenmiştir. İlk üç testte, Gaus üyelik işlevlerinin

parametreleri olan merkezler ve değişinti parametreleri, bulanık öbekleme [10] algoritması

kullanarak hesaplanmıştır. Bu üç test için 15 kural oluşturulmuştur. Birinci testte, sadece w

parametresi eğim iniş yöntemleriyle güncellenmiştir. Eğitimde merkez ve değişinti

parametrelerinin başlangıç değerleri kullanılmıştır. İkinci testte, bu parametreler de

güncellenmiştir. Üçüncü testte, bilimsel yazından bilinen bulanık tabanlı sistemlerdeki gibi A ve

ε parametrelerinin değeri sıfır alınarak w, c ve σ değerleri güncellenmiştir. Dördüncü testte, tüm

eğitim verileri Gaus üyelik işlevinin merkezleri olarak, değişinti parametresinin değeri de 0.7 ile

başlatılarak w, c ve σ değerleri güncellenmiştir. Eğitim sonlandırıldığında 9 kural elde edilmiştir.

Ortalama Karesel Hatanın Karekökü (OKHK) olarak elde edilen eğitim ve test başarımları,

Tablo 6.1’de verilmiştir. İkinci test ile elde edilen eğitim ve test sonuçları, Şekil 6.5’de ve 3. test

ile elde edilen eğitim ve test sonuçları Şekil 6.6’da verilmiştir. Tasarlanan bulanık modelin,

gürültü ve aykırı verilere karşı gürbüz olduğu ve bilinen bulanık modele göre daha düzgün bir

yaklaşım sağladığı Şekil 6.5’den görülmektedir. Buradan anlaşılacağı gibi bulanık öbekleme

algoritması kullanılarak başlatılan modelde iyi bir başarım için tüm parametreler eğitilirse,

eğitilmeyen duruma göre daha iyi sonuçlar alınabilir. Ayrıca tüm veriler kullanılarak başlatılan

bulanık modelde, her adımda sadece eğitime katkıda bulunan noktalar dikkate alınarak, hem

fazla hesaplamalardan kaçınılır hem de sonuç bulanık model yapısı kolaylıkla oluşturulur.

100

Tablo 6.1 Önerilen bulanık modelin sinc işlevi üzerinde eğitim ve test başarımı.

Önerilen Güncelleme Eğitim Hatası

OKHK

Test Hatası

OKHK

A değişken ve ε=0.06 iken sadece w’nin güncellenmesi 0.0501 0.0520

A değişken ve ε=0.06 iken w, c ve σ’nin güncellenmesi 0.0157 0.0158

A=0 ve ε=0 , w, c ve σ’nin güncellenmesi 0.0881 0.0624

Tüm eğitim verileri kuralları oluşturmak için kullanılırsa,

A değişken ve ε=0.06 iken w, c ve σ’nin güncellenmesi

0.0432 0.0441

-3 -2 -1 0 1 2 3

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

x

y

-3 -2 -1 0 1 2 3-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

x

y

(a) (b)

Şekil 6.5 Önerilen bulanık tabanlı sistem ile regresyon kestirimi, (a) eğitim sonuçları, eğitim verileri düz çizgi, ε-duyarsız bölge kesikli çizgi, hesaplanan eğri kalın düz çizgi ile gösterilmiştir (b) test sonuçları.

-3 -2 -1 0 1 2 3

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

x

y

-3 -2 -1 0 1 2 3-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

x

y

(a) (b)

Şekil 6.6 Bilinen bulanık tabanlı sistem ile regresyon kestirimi, (a) eğitim sonuçları, eğitim verileri düz çizgi, hesaplanan eğri kalın düz çizgi ile gösterilmiştir (b) test sonuçları.

101

6.4.2. Mackey-Glass Zaman Serisi ile Öngörüm Problemi

Bu uygulamada, (6.15) ile verilen kaotik denektaşı Mackey-Glass diferansiyel denklemi

ele alınmıştır.

txatx

tbxdt

tdx 1 10

(6.15)

Mackey-Glass diferansiyel denklemi a=-0.1, b=0.2 ve >17 iken, kaotik davranış

gösterir. Bu çalışmada =30 alınarak karşılaştırmalar yapılmıştır. (6.15)’in sayısal çözümünü

elde etmek için 4 adımlı Runge Kutta kullanılmıştır. Yöntemde başlangıç zamanı 0.1, başlangıç

şartı x(0)=0.9 alınmıştır. Bu parametreler önceki çalışmalar ile karşılaştırma yapabilmek için

seçilmiştir [21, 60, 105]. Öngörülmek istenen Mackey-Glass zaman serisi Şekil 6.7’de

görülmektedir. Öngörüm için serinin 1000 verisi kullanılmıştır.

0 100 200 300 400 500 600 700 800 900 10000.2

0.4

0.6

0.8

1

1.2

1.4

1.6

t

x(t)

Şekil 6.7 Kaotik Mackey-Glass zaman serisi.

Öngörüm işlemi, bir zaman serisinin önceki değerlerinden gelecek bilgileri doğrusal

olmayan bir işlev yardımıyla kestirmek olarak tanımlanabilir. x(t) zaman serisinin 1-tx

gibi değerinin öngörümü

1tx,....,1τtx,τtxp,1-tx

102

ile verilir. Burada; τ: zaman gecikmesini, p: doğrusal olmayan dönüşüm kabiliyetine sahip olan

modelin değiştirilebilir katsayılarını ve 1tx,....,τtx ise model girişlerini göstermektedir.

Bu örnekte; τ=9, =1 ile bir eğitim kümesi oluşturulmuştur. x=t+P noktasındaki değeri

öngörmek için x=t noktasına kadar olan bilinen değerler kullanılmıştır.

Öngörüm için serinin 200 noktası x(501)~x(700) eğitim verisi olarak ve serinin son 300

noktası x(701)~x(1000) test verisi olarak kullanılmıştır. Önerilen İstatiksel Öğrenme tabanlı

Bulanık Modeller (İÖBM) kullanılarak elde edilen kaotik serinin 1000 noktası gösterilmiştir.

ε=0.02 alınarak ve algoritma 350 adım için 10 defa çalıştırılarak elde edilen ortalama

test ve eğitim başarımları Tablo 6.2’de verilmiş ve bilimsel yazında önceki çalışmalar ile

kıyaslanmıştır. Bu tabloda öbekleme algoritması ile başlatılan birinci bulanık model 1. İÖBM

ve tüm veriler kullanılarak başlatılan ikinci bulanık model 2. İÖBM olarak gösterilmiştir.

Sonuçlardan görüldüğü gibi öngörüm başarımı tamamen kabul edilebilirdir. Burada oluşturulan

bulanık sistem eğitildiği için ve öbekleme algoritması ile başlatılma olanağı bulunduğu için

[21]’e göre daha az kural ve daha az hata elde edilmesi doğal bir sonuçtur. Şekil 6.8’de önerilen

birinci bulanık model ile elde edilen eğitim ve öngörüm sonuçları verilmiştir.

Tablo 6.2 Mackey-Glass zaman serisinin son 300 verisinin öngörümü problemi üzerinde, farklı yöntemlerin başarımlarının kıyaslanması.

ε Kural sayısı Eğitim Hatası

(OKHK)

Test Hatası

(OKHK)

[105] - 121 - 0.0800

[60] - 22 - 0.0800

[21] 0.0200 30 0.0134 0.0127

1. İÖBM 0.0200 10 0.0050 0.0070

2. İÖBM 0.0200 24 0.0087 0.0100

103

500 550 600 650 700 750 800 850 900 950 10000.4

0.5

0.6

0.7

0.8

0.9

1

1.1

1.2

1.3

1.4

t

x(t)

(a)

500 550 600 650 700 750 800 850 900 950 1000

-4

-2

0

2

4

x 10-3

t

Hat

a

(b)

Şekil 6.8 x(501)~x(1000) zaman serisinin benzetim sonuçları (a) ε=0.02 ve öbekleme algoritması kullanarak 10 kuralla oluşturulan bulanık modelin eğitim ve test başarımları, ε-duyarsız bölge (:), hesaplanan (-.) ve gerçek değerler düz çizgi ile gösterilmiştir. (b) eğitim ve öngörüm hataları.

104

7. SONUÇLAR

Bu tezde; giriş uzayında DVM’lere seçenek olarak sınıflayıcı ve regresör tasarımı

yapılmıştır. Burada ele alınan konular birçok açıdan incelenmesine rağmen, gelecek çalışmalar

için de birçok araştırma konusu ortaya çıkmıştır. Bu bölümde, tüm sonuçlar ve gelecek

araştırma konuları sunulmuştur.

Bölüm 2’de, giriş uzayında iki aşamalı sınıflayıcılar önerilmiştir. DVM gibi Lagrange

çarpanları yöntemini kullanarak öz nitelik uzayında sınıflama yapan yöntemlerin tersine,

önerilen yöntem ile penaltı parametresi kullanarak giriş uzayında sınıflama yapılmıştır. İlk

aşamada, karar yüzeyinin küre biçimli olduğu kabul edilerek, DVM’lerdeki gibi hem yapısal

hata hem de deneysel hata ilkesine dayanan doğrusal olmayan amaç ölçütü içeren bir eniyileme

problemi tanıtılmıştır. Önerilen formülasyon eğer problem küre biçimiyle ayrıştırılabiliyorsa,

formülasyon %100 doğrulukla çözülecek şekilde oluşturulmuştur. Ayrıştırılamıyorsa sınıflama

doğruluğunun azalmasına yani verilerin hatalı sınıflanmasına olanak vererek, önerilen eniyileme

probleminden beklenilen sonucun da en iyi olması sağlanmıştır. Çözüm için eğim iniş

algoritmaları kullanılmıştır. Parametrelerin (öğrenme oranı ve penaltı parametrelerinin)

başlatma problemi yoktur. Çünkü parametreler rasgele başlatılsa bile, her özyinelemede

güncellendikleri için, algoritma birkaç adımda yakınsayarak çözüme ulaşmıştır. İkinci aşamada

ise sınıflayıcıyı daha genel yapmak için karar yüzeyleri elipsoit biçimli olarak genişletilerek,

yeni bir eniyileme problemi önerilmiştir. Birinci aşamaya benzer şekilde çözüm, eğim iniş

yöntemleri ile yapılmıştır. Bunun için ilk aşamadan elde edilen merkez ve yarıçap değerleri,

ikinci aşamanın başlangıç değerleri olarak atanarak eğitimde başlatma ve güncellemede oluşan

güçlükler ortadan kaldırılmıştır. Son olarak, küre ve elipsoit biçimli karar yüzeyleri ile çok

sınıflı sınıflama problemleri için tek bir formülasyon önerilmiştir. Önerilen algoritmaların

katkısı; giriş uzayında çalışılarak veri yapısının değiştirilmemesi, küre ve elipsoit gibi kolay

yorumlanabilir karar yüzeyleri ile sınıflama yapılması, doğrudan karar yüzeyi ile ilgilenmeyi

sağlayan yoğunluk temelli amaç ölçütü sayesinde sınıflardaki veri sayısı farklı olan

problemlerde iyi sonuçlar vermesi ve çözümün DVM ve diğer yöntemler ile karşılaştırıldığında

kabul edilebilir derecede hızlı olması olarak özetlenebilir. Bu sınıflayıcılar ile ilgili yeni bir

araştırma konusu ise; veri sayısı fazla olan uygulamalarda eğitim süresini hızlandırmak için

kayıp işlevinin 1-normu yerine 2-normu kullanılması ve ikinci dereceden bilgiyi içeren çözüm

yöntemlerinin uygulanması olabilir.

Bölüm 3’te önerilen küre ve elipsoit biçimli sınıflayıcıların, gürültü ve aykırı verilere

karşı gürbüzlüğünü artırmak için her veriye farklı bir üyelik değeri atanarak, yeni bulanık küre

105

ve elipsoit biçimli sınıflayıcılar tanıtılmıştır. Burada her bir eğitim örneğinin karar yüzeyinin

tanımlanmasına katkısı, örneğe ait üyelik değeriyle belirlenmiştir. Böylece yüksek belirsizlikli

örneklerin etkisi, eğitim örneğe atanan üyelik değeriyle ağırlıklanarak azaltılmıştır. Bölüm 2’de

önerilen yöntem zaten gürbüz olduğu için, fazla çaba göstermeden gürültülü ve aykırı değerli

problemleri çözmek için en basit yöntemlerden birisi, farklı üyelik işlevleri kullanmaktır.

Bununla birlikte gelecek çalışmalar için, üyelik değerlerinin verilerinin olasılık dağılımı

temeline dayanarak elde edilmesi veya üyelik değerlerinin etkisinin formülasyona farklı bir

şekilde karıştırılması önerilebilir.

Bölüm 4’de, küre ve elipsoit biçimli karar sınırlarının dışında daha karmaşık karar

yüzeyleri elde ederek, sınıflama başarımını artırmak amacıyla RTİA’ların veya genel bir gizli

katmanlı YSA’ların yüzeylerini kullanarak, sınıflama ve regresyon kestirimi için yeni bir

formülasyon önerilmiştir. Bu bölümün katkısı, gizli katman uzayında gürbüz sınıflama ve

regresyon kestirimi için formülasyonlar önerilmesidir. Gelecekte birden fazla gizli katmanlı

ağların yüzeylerinin kullanımı yeni bir araştırma konusudur.

Bölüm 5’de, Bölüm 4’teki yöntem ve formülasyonlar çekirdek işlevi temel alınarak

yeniden türetilmiştir. Çözüm için eğim iniş yöntemleri önerilmiştir. Formülasyonlarda penaltı

parametresi uyarlanır seçilerek, gürültü ve aykırı verilere karşı daha az duyarlı olması

sağlanmıştır. Bu bölümün katkısı ise çekirdek işlevleri kullanılarak ilk defa oluşturulan hem

sınıflama hem de regresyon problemlerinin eğim iniş yöntemleri ile çok hızlı bir şekilde

çözülmesi, programının kullanıcı tarafından kolaylıkla yazılabilmesi, seçimi zor olan penaltı

parametresinin uyarlanabilir seçilmesi ve çoklu sınıflama için tek bir formülasyon önerilerek

daha az parametreyle çözümün kolaylıkla yapılabilmesidir. Gelecek çalışmalar için,

uygulamalarda karşılaşılan probleme bağlı olarak farklı kayıp işlevlerinin ve farklı normların

kullanımı, penaltı parametresinin farklı olarak uyarlanabilmesi araştırmaya değerdir.

Bölüm 6’da bulanık sistemlerin genelleme yeteneğini artırmak, gürültü ve aykırı

verilere karşı gürbüz olmasını sağlamak için DVM’nin istatiksel öğrenme algoritmasına benzer

bir öğrenme algoritması türetilmiştir. Bu bölümün katkısı, bilimsel yazında ilk defa istatiksel

öğrenme tabanlı bulanık modelin oluşturulması olarak özetlenebilir. Farklı kayıp işlevleri ve

farklı normların kullanılarak, yeni bulanık modellerin oluşturulması ve farklı öğrenme

algoritmaları kullanılarak hem başlangıç şartlarına duyarlılığın azaltılması hem de eğitimin

hızlandırılması gelecek araştırmalara konu olabilir.

E1-1

EK-1. İSTATİSTİKSEL ÖĞRENME KURAMI

E1.1. Örneklerden Öğrenme Kavramı

Öğrenme, basit olarak verilen gözlemlerden (eğitim örneklerinden) bir model (bilgi)

kurmayı ifade eder. Böyle bir modeli oluşturmak için verilen gözlemleri kullanarak, bilinmeyen

gözlemler için modelin genellenmesi gerekir.

İstatiksel öğrenme kuramında öğrenme, şu şekilde tanımlanmıştır: Elimizde

bilinmeyen zP olasılık dağılımından çıkarılan LL zzZ ,...,1 eğitim örnekleri varsa, test

örneklerini (yani, onlara ait olan etiketleri veya sistem çıkışlarını) tahmin eden wZ L , işlevler

kümesinden, en iyi *, LL wZ işlevini belirleyen en uygun parametre kümesi *

Lw ’ı bulmaktır.

Burada; ,Ww wZ L , işlevler kümesinin parametreleri ve W ise tüm parametre kümelerini

içerir.

Bu aşamada akla gelen ilk soru, en uygun işlevin ve parametre kümesinin nasıl ve hangi

ölçüte göre belirleneceğidir. İstatiksel öğrenme kuramında, en uygun işlev ve parametre kümesi

(E1.1) ile verilen risk işlevi enazlanarak elde edilir.

WwzdPwzfwR , . (E1.1)

Burada; wzf , kayıp işlevler kümesidir ve uygulama türüne göre farklı bir işlev ile gösterilir.

Aşağıda üç yaygın öğrenme problemi olan örüntü tanıma, regresyon ve yoğunluk kestirimi için

kayıp işlevleri tanımlanmıştır.

Örüntü Tanımada Kayıp işlevi

Bu durumda veri, n x,, yxz giriş ve çıkış veri çiftiyle verilir. Öğrenme sisteminin çıkışı,

y ve gösterge işlevler kümesi wx, , sadece sıfır ve bir değerini alır. Dolayısıyla çıkış ve işlev

kümesinin değeri birbirinden farklı ise sınıflandırma hatalı ve bir değerini alır, aksi durumda

sıfırdır. Öğrenme problemi, olasılık dağılımı yxP , bilinmediği ve sadece eğitim örnekleri

verildiği zaman sınıflandırma hata olasılığını enazlayan bir işlev bulmaya dönüşür. Bu nedenle;

uygun bir kayıp işlevi aşağıdaki gibi seçilebilir,

. ,y 1

,y 0,,

wx

wxwxyL

(E1.2)

E1-2

Regresyon Kestiriminde Kayıp işlevi

Bu durumda, y çıkış değerleri ve Wwn ,x olmak üzere wx, işlevler kümesinin

değerleri gerçel değerlerden oluşur. Dolayısıyla sınıflandırma hatası da gerçel değerler olur.

Örneğin, ,0 aralığında değerler alan uygun bir kayıp işlevi aşağıdaki gibi seçilebilir,

2,y,, wxwxfyf . (E1.3)

Yoğunluk Kestiriminde Kayıp işlevi

Yoğunluk kestirimi durumunda, Wwn ,x olmak üzere wxp , yoğunluklarının bir

kümesi hesaplanır. ),( aralığında değerler alan uygun bir kayıp işlevi aşağıdaki gibi

seçilebilir,

wxpwxpf ,log, . (E1.4)

E1.1.2. Deneysel Riskin Enazlanması

Klasik olarak, eğitim anında sadece mevcut eğitim kümesi üzerindeki hata enazlanır. En

uygun işlevi seçmek için bu ilke, deneysel riskin enazlanması (DRE) olarak tanımlanır. Eğer bu

ilke sadece eğitim verisi kullanarak anılırsa, risk işlevi

L

iidny wzf

LwR

1

,1 (E1.5)

ile yer değiştirir. Kısaca deneysel riski enazlayan Li wzf , ile en iyi kayıp işlevi *, wzf i

yaklaşılır.

Bu ilkenin gelecek test örnekleri üzerinde en az hataya götürdüğü varsayılır. Fakat bu

genellikle doğru değildir. Hesapsal öğrenmede en temel problemlerden birisi, deneysel ve

gerçek risk arasındaki ödünleşimin nasıl olacağıdır. Bu problemin çözümü farklı öğrenme

kuramları ve öğrenme algoritmaları ile farklı tarzlarda yapılabilir. Örneğin; düzenlileştirme

(cezalandırma), RTİA’larla öğrenme için; erken durdurma, geriye yayılımlı YSA’larla öğrenme

için; bayes, model seçiminde bayes tabanlı ağlar ile öğrenme için ve yapısal risk enazlanması,

DVM’lerle öğrenme için genelleme başarımını göz önüne alan yöntemler olarak gösterilebilir.

E1-3

E1.2. Öğrenmeye Felsefi Yaklaşım

Öğrenme kavramının esası, genelleme adımı ve bu adımın nasıl uygulanabileceğidir.

“Doğru bilgi (model) nasıl oluşturulur?” sorusunun yanıtı felsefede çok eski bir problemdir.

Büyük filozof Immanuel Kant 18. yüzyılda bu soruyu daha keskin bir biçimde ortaya koymuş,

“Doğru ve yanlış bilgi arasındaki fark nasıl görülür?” veya “Gözlemlerden genelleme adımı

doğru olarak ne zaman uygulanır?” sorularını sormuştur. Bu problem felsefede “sınır çizme”

problemi olarak bilinir. Filozof Karl Popper 1934’te bu problem için bir çözüm önermiştir.

Öneri, kuram veya modelin ancak ve ancak kuram veya model çürütülebilir ise bilimsel

olduğudur. Eğer hiçbir gözlem kuram veya modeli saptırmazsa, o zaman bu kuram bilimsel

kabul edilemez [33, 101].

Bu ilkeye bir örnek olarak, astronomiye karşı astrolojinin bilimsel bir disiplin olup

olmadığı ele alınabilir. Astronomi her biri çürütülebilir birçok sava açık modele sahiptir.

Astronomideki tüm bilimsel modeller, modellerin geçerliliğini koruması için kanıtlanabilecek

deney ve gözlemlere dayanır. Diğer yandan astroloji böyle savları içermez. Astrolojide bir

model veya savı belirleyen herhangi bir olası deney ve gözlem yoktur. Kuramın yanlış olduğunu

tanıtlama olanağı yoktur ve bundan dolayı bu tanımdaki astroloji bilimsel bir kuram değildir.

Aynı ilke istatistiksel öğrenme kuramında benzer bir analojiye sahiptir. Çürütülebilirlik,

öğrenme algoritmasında sınırlı öğrenme kapasitesine karşılık gelir. Sistem, ancak ve ancak

sınırlı öğrenme kapasitesine sahipse ve bundan dolayı hatalar yapma potansiyeline sahipse,

doğru olarak öğrenebilir. Vapnik’in önerdiği gibi, sistemin öğrenme kapasitesi Vapnik-

Chervonenkis (VC) boyutu ile nitelenir ve VC boyutunun sınırlı öğrenme kapasitesi için

sınırlanması gerekir.

İstatistiksel öğrenme kuramının amacı, öğrenme sisteminin en iyi öğrenme kapasitesinin

belirlenmesi için analitik olarak motive edilmiş otomatik bir prosedür belirlemektir. Bu

prosedür aşağıda verilen dört temel soru çözülerek oluşturulur:

(i) Tutarlılık: DRE ilkesi temeline dayanan öğrenme işleminin tutarlılığı için gerekli

şartlar nelerdir?

(ii) Yakınsama: Öğrenme işleminin yakınsama oranı ne kadar hızlıdır?

(iii) Genelleme: Öğrenme işleminin yakınsama oranı nasıl kontrol edilebilir?

(iv) Algoritma: Genelleme yeteneğini otomatik olarak kontrol eden bir öğrenme

algoritması nasıl kurulur?

Aşağıdaki bölümlerde bu sorular ile ilgili istatistiksel öğrenme kuramının sonuçları, temel

tanımlar da verilerek özetlenmiştir [101].

E1-4

E1.3. Temel Niceliklerin Tanımı

İkili sınıflandırma problemi için, etiketleri 1 ve -1 olan ve LL zzZ ,...,1 ile gösterilen

eğitim kümesindeki veriler, farklı şekillerde ayrılabilsin ve tüm olası ayırımlar sayısı LW ZN

olarak verilsin. Örnek olarak, L tane az sayıdaki nokta çok boyutlu düzlemler ile ayrıştırılmak

istenirse, tüm olası farklı şekillerde yani, LLW ZN 2 kadar farklı düzlem ile bu noktalar

ayrılabilecektir [101]. Bununla birlikte L nokta sayısı büyürken, LLW ZN 2 olacaktır [102].

Kuramın sonuçlarını açıklamak için, aşağıdaki nicelikler kısaca tanımlanmıştır.

Verilen veri üzerindeki işlevler kümesinin farklılığının (çeşitliliğinin) beklentisi olarak

bilinen VC-entropisi:

LWW ZNELH ln . (E1.6)

Burada; E, LZ olasılık dağılımı üzerindedir.

Büyüme (Growth) işlevi,

L

Z

W ZLGL

WN supln . (E1.7)

Bu nicelik dağılımdan bağımsızdır. Büyüme işlevi ve VC entropisi arasında (E1.8) ile verilen

bağlantı vardır,

LGLH WW . (E1.8)

E1.3.1. Öğrenme İşleminin Tutarlılığı

En uygun *Lw bulunduğu andaki kayıp işlevi *, LwzL , bu kayıp işlevi ile üretilen en

uygun deneysel riski *L

wRdny ve aynı kayıp işlevi için gerçek (bilinmeyen) risk *LwR ile

tanımlanırsa, Şekil E1.1’e bakarak ve (E1.9) ve (E1.10) bağıntılarını kullanarak, deneysel risk

ilkesi tabanlı öğrenme işlemi için tutarlılığı; zP olasılık dağılımı ile örneklerin sayısı sonsuza

giderken, gerçek risk ve deneysel riskin aynı limite yakınsaması olarak tanımlayabiliriz

*

W

* inf LwL

PL wRwRwR

, (E1.9)

*

W

* inf LwL

PLdny wRwRwR

. (E1.10)

1968’de Vapnik ve Chervonenkis LZ dağılımına bağlı olarak öğrenme işleminin

tutarlılığını kanıtlamıştır [101]. Bu çalışmaya göre, bir öğrenme işlemi eğer (E1.11)’deki şart

sağlanırsa tutarlıdır,

E1-5

0lim L

LHL

. (E1.11)

En son sonuç, gerçekte bilinmeyen LH w ’den dolayı eğitim örneklerinin dağılımına

bağlıdır. Bundan dolayı da pratikte çok kullanılabilir bir sonuç değildir. Bununla birlikte

1989’da Vapnik ve Chervonenkis, DRE’nin tek biçimli (uniform) yakınsamasının öğrenme

işleminin tutarlılığı için gerekli ve yeterli olduğunu ifade eden teoremlerini kanıtlamışlardır

[102],

0 ,0supP lim

dnyL

RR . (E1.12)

Bunun bir sonucu olarak DRE’nin yakınsaması için (E1.13)’deki gerekli ve yeterli şart

türetilmiştir,

0lim L

LGL

. (E1.13)

Şekil E1.1 Öğrenme işlemi eğer beklenilen risk LwR ve deneysel risk Ldny wR en küçük olası risk

wWw R inf ’e yakınsarsa tutarlıdır.

E1.3.2. Öğrenme İşleminin Yakınsama Hız Oranı

Eğer bir üstel oran seçersek, herhangi bir ve c>0 sabiti için (E1.14)’ün sağlanması

gerekir,

LcoL ewRwRP

2 . (E1.14)

Vapnik, aynı eşitliğin hızlı yakınsamada gerekli ve yeterli şart olarak tutarlık için

0lim L

LGL

(E1.15)

Bilinmeyen (gerçek) risk, R(wL)

Deneysel risk, Rdny (wL)

inf R(wL) w

L

E1-6

sağlanmasının zorunlu olduğunu kanıtlar [101].

Özetle, sadece en son şartı sağlayarak yaklaştırılan işlevler kümesi, daha fazla eğitim

örneği uygulandığı zaman, yeterince hızlı olarak riski enazlayan ve tutarlı olan öğrenme

işlemine götürecektir

E1.3.3. VC-boyutu

[101]’de büyüme işlevinin daima (E1.16)’daki biçimde olduğu gösterilmiştir.

hLh

L

LG w

ln1

veya2ln

(E1.16)

Burada; h, VC-boyutu olarak adlandırılır. Eğer h ise, bir önceki bölümde anlatılanlar

temelinde tutarlıdır ve öğrenme işleminin yakınsaması garanti edilir.

Şekil E1.2 Büyüme işlevi ya doğrusaldır yada logaritmik bir işlevle sınırlanır. Kesikli eğri gibi davranmaz.

Örnek işlevler kümesi ve VC-boyutları

n boyutlu uzay için doğrusal gösterge işlevlerin VC-boyutu “h=n+1” olur. Örneğin,

“ 2 ’de kaç nokta, etiketleri ne olursa olsun kusursuz bir şekilde ayrılabilir?” sorusunun cevabı;

3 nokta, 23 farklı şekilde birbirinden ayrılabilir, fakat 4 nokta ayrılamaz, örnek olarak XOR

doğrusal bir işlev ile ayrılamaz. 2 ’deki doğruların VC boyutu 3’tür.

VC-boyutu basit olarak serbest parametre sayısını hesaplamaktan ziyade, farklı bir

ölçüdür. Örneğin, aşağıdaki işlev için,

L h

L ln2

h (ln ( L/h ) +1)

GΛ(L)

0

E1-7

wxwwx , sin, (E1.17)

Burada; 1x , 0x ; 1x , 0x , L ne kadar büyük olursa

olsun .,...,1,10 Lix ii

L

i

iiyw1 2

1011 seçildiği zaman, her bir olası etiket için, ,,...,, 21 Lyyy

1,1iy , bir wx, vardır.

Dolayısıyla serbest parametre olarak bir w parametresi görünmesine rağmen, VC-

boyutu sonsuzdur. Bu örnek, yüksek frekanslı wxsin kullanarak uygun sayıda nokta için, (-

1,+1) ile sınırlanan herhangi bir işlevin uygun değerlerinin yaklaştırılabildiğini gösterir [101].

Diğer bir örnek olarak, YSA yazınındaki bilinen işlevler kümesinden biri olan radyal

tabanlı işlevi alalım. Bu işlevin parametre kümesinin tcw ,, olduğu düşünülürse, K radyal

taban işlevi

t

cxKtcxf

,,, (E1.18)

ile verilir. İşlevlerin bu kümesinin VC boyutu h=n+1 iken, (E1.18)’deki işlevler kümesinin

serbest parametreleri n+2’dir.

E1.3.4. Öğrenme İşleminin Genelleme Yeteneği

h VC-boyutu verildiği zaman, gelecek örnekler üzerinde beklenilen risk, (E1.19)’daki

gibi sınırlanır:

hLRR LdnyL (E1.19)

Genelleme başarımı, deneysel risk ve yaklaşım işlevlerinin karmaşıklığına bağlı VC-güven

olarak adlandırılan terim ile sınırlanır.

(E1.19)’un tam ifadesi, (E1.20)’deki gibidir. En az 1 olasılıkla:

Ldny

LdnyLwR

wRwR4

112

(E1.20)

burada

LhLh

4

ln12ln4

(E1.21)

E1-8

ile hesaplanır. Verilen işlevler kümesi üzerinde en iyi gerçekleşebilir riske mesafe

oLL wRwRw

hwL

1

olur, yada en az 21 olasılıkla

LwR

w LdnyL

ln411

2

(E1.22)

tam ifadesi elde edilir.

Yapılan çalışmalar bu sınırların oldukça geniş ve herhangi bir dağılım için geçerli

olduğunu belirtmesine rağmen, maalesef bu sınır bilinmeyen herhangi bir dağılım için analitik

olarak bilinen en küçük sınırdır.

E1.3.5. Yapısal Riskin Enazlanması

Genellemede verilen en son sınırı düzeltmek (yani daraltmak) için deneysel risk

azaltılabilir. Bunun dışında, belirli (sabitlenmiş) deneysel risk verildiği zaman, öğrenme

işleminin VC-boyutu da enazaltılabilir. Bu yöntem, yapısal riskin enazlanma (YRE) ilkesi

olarak bilinir. Bu ilke, belirli bir deneysel risk verildiğinde, en küçük VC-boyutu ile işlevler

kümesini seçerek işlevler kümesinin yapısını enazlamak olarak tanımlanır.

hL büyük ve küçük olduğu zaman, VC-güven küçük olur. Gerçek risk, deneysel

riskin değerine yakın olur. Bu durumda deneysel riskin küçük değeri beklenilen riskin küçük

değerini garanti eder. Bununla birlikte hL küçük ise, Ldny wR gerçek değerin en küçük

değerini garanti etmez. Bu durumda wR gerçek riskini kontrol etmek için, (E1.20)

eşitsizliğinin sağ tarafı her iki terim üzerinden eş zamanlı olarak enazlanır. Eşitsizliğinin sağ

tarafındaki ilk terim işlevler kümesinin özel bir işlevlerine bağlı iken, ikinci terim tüm işlevler

kümesinin VC boyutuna bağlıdır. (E1.20) risk sınırının sağ tarafını enazlamak için, VC

boyutunu kontrol edilebilir bir değişken yapmak gerekir.

YRE ilkesi, hem deneysel risk hem de VC güvene göre risk işlevini enazlamayı amaçlar.

W, wx,w işlevlerin iç içe alt kümesinden oluşan S İşlevler kümesi

kk WwwxS ,, ile tanımlanırsa,

...,...21 nSSS

Sk’nın her bir elemanı Şekil E1.3’te gösterildiği gibi ......21 nhhh sonlu boyutlu hk VC

boyutuna sahiptir.

E1-9

Şekil E1.3 VC boyutu ile düzenlenen işlevlere ilişkin Venn diyagramı.

Verilen Lxx ,...,1 noktalarının verilen kümesi için, YRE ilkesi en küçük riski garanti

etmek için kS alt kümesindeki deneysel riski enazaltarak işlevi seçer.

YRE ilkesi, yaklaşım işlevlerin karmaşıklığı ve verilen verinin yaklaşım kalitesi

arasında ödünleşimi tanımlar. Altküme indisi n artarken, deneysel riskin en küçüğü azalır,

bununla birlikte güvenden sorumlu terim artar. YRE ilkesi S* alt kümesini seçerken, Şekil

E1.4’te gösterildiği gibi her iki faktörü de göz önüne alır. Böylece deneysel riski azaltarak

gerçek risk üzerindeki en iyi sınır elde edilir.

Şekil E1.4 Risk üzerindeki sınır deneysel risk ve VC güvenin toplamıdır. VC güven artırılırken deneysel risk yapının sonlu elemanları ile azaltılır. Riskin en küçük sınırı yapının bazı uygun elemanları üzerinde sağlanır.

Deneysel risk

VC güven

Gerçek risk üzerindeki sınır

VC boyutu

Sını

fland

ırma

Hat

ası

hn h* h1

S1 S* Sn

Az Uyumluluk Aşırı Uyumluluk

hn>…>h2>h1 Sn S2 S1

E1-10

Bir öğrenme algoritması kurmak için, yaklaşım işlevler kümesinin h VC-boyutunu hesaplamak

ve onu değiştirebilmek gerekir. Bu, birçok işlev gurupları için mümkün değildir, fakat paylı

doğrusal işlevler için mümkündür. Bu özellik, DVM ile kullanılır.

E2-1

EK2. DESTEK VEKTÖR MAKİNELERİ

E2.1. DVM’lere Giriş

DVM’ler başlangıçta sınıflama problemleri için geliştirilmiş, daha sonra regresyon

kestirimi için sınıflamaya benzer olarak genişletilmiştir. Bundan dolayı, bu alt bölümde

genellikle sınıflama üzerinden bazı bilgiler verilmiştir, regresyon kestirimi için de temel aynıdır.

DVM’ler sınıflama yaparken; diğer öğrenme makinelerinin tersine hem yapısal hem de

deneysel riski enazaltarak, test örnekleri üzerinde de eğitim örneklerininkine yakın bir başarım

sağlar [EK-1]. Yapısal risk, yaklaşım işlevleri kümesinin VC-boyutu kontrol edilerek enazlanır.

Yaklaşım işlevleri ise, (E2.1)’deki ayrıştırıcı çok boyutlu düzlemler ile verilir,

bxwx T . (E2.1)

EK-1’de, n boyutlu uzayda düzlemler kümesinin VC boyutunun n+1 olduğu belirtilmişti. O

halde, Şekil E2.1’deki pay içermeyen düzlemin VC boyutu örneğin, n=1013 için oldukça

büyüktür. Ancak Şekil E2.1’deki pay içeren düzlemlerin VC boyutu, Vapnik’in bir üst sınırı

1,min 2

2

nRh (E2.2)

kullanılarak 310 ’e kadar azaltılabilir [101]. Burada; R verinin ait olduğu kürenin yarıçapı

ve çok boyutlu düzlemin payını göstermektedir. Bundan dolayı; çok boyutlu düzlemler

kümesinin payını ençoklayarak, VC-boyutu enazlanabilir. Özetle, DVM’lerde iyi bir genelleme

başarımı sağlamak için, belirli bir deneysel risk verildiği zaman, yarıçap pay oranı küçük olan,

en uygun çok boyutlu düzlem aranır.

Şekil E2.1 Her iki çok boyutlu düzlem, eğitim örneklerini doğru olarak ayırır. Fakat sağ taraftaki en iyi ayrıştırıcı düzlem geniş paya sahiptir. Bundan dolayı daha düşük riske sahiptir: ayrıca sezgisel olarak bu eğitim kümesi gürültüye daha az hassastır [47].

En büyük pay

E2-2

E2.2. En Uygun Ayrıştırıcı Çok Boyutlu Düzlem

E2.2.1. Doğrusal Olarak Ayrılabilen Durumlar

İki sınıflı sınıflamada, 1,1-y ,x n olmak üzere LL yxyx ,,...,, 11 eğitim

örneklerinin L örneği doğrusal olarak ayrılabiliyorsa, karar sınırı olarak (E2.1)’de verilen çok

boyutlu düzlem kullanılır. Çok boyutlu ayrıştırıcı düzlemin aşağıdaki kısıtları sağlaması gerekir

[102],

1 bxw iT için 1iy ise (E2.3)

1 bxw iT için 1iy ise, Li ,...,1 (E2.4)

veya bu eşitsizlikler için kapalı biçimde

1 bxwy iTi , Li ,...,1 (E2.5)

olarak gösterilir.

Oluşturulacak modelin genelleme hatasını azaltmak için Δ payını ençoklamak gerekir.

Bunun için öncelikle çok boyutlu düzleme olan uzaklık,

wx

y

(E2.6)

olarak tanımlanır [93, 102]. Eğer Δ payı kullanılarak ayrıştırıcı düzlemler oluşturuluyorsa, tüm

eğitim verileri için (E2.7) sağlanır,

,

w

xy

ii

Li ,...,1 . (E2.7)

Bundan dolayı, buradaki problem payını ençoklayan w’nin bulunmasıdır. Görüleceği gibi,

(E2.7)’nin çözümünden, sonsuz sayıda ayrıştırıcı düzleme ve dolayısıyla sonsuz sayıda w’ye

ulaşılabilir. En uygun, tek bir çözüm elde etmek için w ölçeklenir. (E2.8)’deki gibi ölçeklenmiş

çözümler göz önüne alınarak çözüm sayısı sınırlanır [102],

1 w . (E2.8)

Buna benzer çok boyutlu düzlemler doğal biçimli düzlemler olarak tanımlanır.

payını ençoklama, w ’nin azlanmasına eşittir. Bundan dolayı en uygun çok boyutlu

düzlem, (E2.5) kısıtlarını sağlayan ve (E2.9)’u enazlayan eniyileme problemi ile elde edilir,

2

21 w . (E2.9)

Burada, ½ katsayısı ve kare işlemi (E2.10)’daki hesaplamalarda uygunluk için kullanılır. Bu

E2-3

eniyileme problemini çözmek için Lagrange çarpanları yöntemi kullanılarak, (E2.9)’daki kısıtlı

eniyileme problemi, (E2.10)’daki kısıtsız eniyileme problemi olarak tekrar yazılır,

1x21,, i bwywwbwL Ti

iT . (E2.10)

Burada; 0i Lagrange çarpanlarını göstermektedir. Problemin çözümü için ,,bwL

işlevinin eğer noktasının bulunması gerekir. Bu amaçla, ,,bwL işlevi 0i ’a göre

ençoklanır ve w ve b’ye göre enazlanır.

Eğer noktasındaki çözüm *** ,, bw , Karush-Kuhn-Tucker (KKT) teoremi olarak

bilinen aşağıdaki şartları sağlamak zorundadır [6, 11]

0,, ***

wbwL , (E2.11)

0,, ***

bbwL . (E2.12)

(E2.11) ve (E2.12)’nin çözümü sonucunda; Lagrange çarpanları üzerinde (E2.13)’teki kısıt elde

edilir ve problem fazla değişkenli olmaktan çıkarak, w parametresi (E2.14)’deki gibi

sadece i yardımıyla ifade edilir.

L

i

ii y

0

* 0 , ,0* i Li ,...,1 . (E2.13)

,0

**

L

i

iii xyw Li 1,...,i ,0* . (E2.14)

(E2.5)’teki eşitsizliğin, karar sınırlarının üzerindeki noktalarda eşitlik haline geldiği açıktır.

Şimdi ise Kuhn-Tucker Teoremini de kullanarak, bu noktalarda herhangi bir *i ’nin sıfırdan

farklı olacağı sonucu çıkartılır,

01x i* bwy Tii , ,...,Li 1 . (E2.15)

Böylece, DVM’lere adını veren 0* i ’a karşılık gelen ve destek vektör olarak adlandırılan ix

değerleri hesaplanabilir. Eğer (E2.10)

L

ii

L

i

ii

L

i

Tii

T ybwywwbwL111

ix21,, (E2.16)

olarak tekrar yazılır ve sadece λi’nin bir işlevi olarak Lagrangian işlevini ifade etmek için

(E2.13) ve (E2.14)’deki şartlar yerine konulursa, eniyileme probleminin ikincil biçimi

L

ii

jTijij

L

jiiikincil xxyyL

11,21 (E2.17)

E2-4

kısıtları:

L

i

ii y

0

0 Li 1,...,i ,0 (E2.18)

olarak elde edilir.

(E2.17) ve (E2.18) ile verilen ikincil eniyileme problemi L ,...,1 parametrelerine göre

ençoklanarak çözülür. Sıfır olmayan Lagrange çarpanları elde edildiğinde, sonuç ayrıştırma

işlevi

bxxyxL

i

iTii

1

* (E2.19)

olarak bulunur.

İkincil eniyileme probleminin çözümü, hiçbir eşitsizlik kısıtı içermediği için

(E2.10)’daki birincil biçimin çözümünden daha kolaydır. Ayrıca diğer bir avantajı, (E2.18)’de

veri sadece iç çarpımın bir bölümü olarak ifade edilebildiği için, verinin iç çarpımının bilinmesi

yada hesaplanması halinde işlemlerde doğrudan veriyi kullanmak yerine iç çarpımdan oluşan

kapalı formun kullanılabilmesidir. Bu ilginç gerçek, çekirdek yöntemlerin kullanımını

getirmiştir. Böylece doğrusal DVM’ler ilave hesapsal bedel ödemeden doğrusal olmayan

duruma genişletilmiştir [22, 102].

E2.2.2. Doğrusal Olarak Ayrılamayan Durumlar

Veriler her zaman doğrusal olarak ayrılamayabilir. Hatta veri doğrusal olarak ayrılsa

bile, noktaların bazıları pay içerisinde bulunursa çoğu zaman daha geniş bir pay ve bundan

dolayı daha düşük bir yapısal risk elde edilebilir.

Şekil E2.2 Sol taraftaki doğrusal olarak ayrılabilir problemde, en iyi ayrıştırıcı çok boyutlu düzlem ||w|| enazlanarak elde edilir. Tek destek vektör en iyi ayrıştırıcı düzlemi tanımlamak için yeterlidir. Sağ taraftaki doğrusal olarak ayrılamayan durumda, en iyi ayrıştırıcı düzlem yapay değişkenler tanıtarak sağlanır [19].

pay w w

w w

pay

E2-5

Payın içerisinde düşen veya karar sınırının hatalı tarafında bulunan veri noktaları için

genelleme yapılırsa, (E2.5) kısıtlarını gevşetmek için Şekil E2.2’deki gibi L ,...,1 yapay

değişkenler tanımlanır:

iiTi -ξbxwy 1 , 0i (E2.20)

Bu durumda en büyük pay ile çok boyutlu düzlemi bulmak için, (E2.9)’a yapay

değişkenlerin toplamı eklenir

L

iiL

Cw1

2

21

(E2.21)

ve (E2.20)’deki kısıt üzerinden enazlanarak çözüme tekrar başlanır. Burada; C parametresi

öğrenme işlevlerinin karmaşıklığı ve izin verilen ayrıştırılamayan (veya pay içindeki) eğitim

örneklerinin oranı arasındaki ödünleşimi niteler

Bu eniyileme problemi ikincil forma dönüştürülürse, aşağıdaki Lagrangian işlevi

ençoklanarak çözülür,

L

ii

jTijij

L

jiiikincil xxyyL

11,21 (E2.22)

kısıtları: 01

L

ii

iy , ,0LC

i Li ,...,1 . (E2.23)

E2.3. Çekirdek Tabanlı DVM’ler

Şekil E2.3’te görüldüğü gibi veri, asıl uzayda doğrusal olarak ayrıştırılamaz ise, bir

çekirdek yardımıyla yüksek boyutlu uzaya örtük olarak taşınarak, o uzayda doğrusal olarak

ayrıştırılabilir [101]. Böylece yüksek boyutlu öz nitelik uzayındaki çok boyutlu ayrıştırıcı

düzlem, asıl uzayda doğrusal olmayan bir işleve karşılık gelir.

Çekirdekler kullanılarak elde edilen büyüklükler, doğrudan her bir eğitim verisinin

işlevi olarak verilmeyip, eğitim verisinin iç çarpımlarının işlevi olarak verilebilir. İç çarpım

çekirdekleri, ilk olarak 1964’te Aizerman tarafından çok güzel bir araç olarak bulunmuş, daha

sonra doğrusal olmayan DVM’lerin çözümünde tekrar keşfedilmiştir [102].

E2-6

Şekil E2.3 Giriş uzayının doğrusal sınıflamanın mümkün olduğu çok boyutlu uzaya dönüşümü [89].

Yüksek boyutlu uzaya dönüşüm için, ilk olarak x verisi H yüksek boyutlu uzaya

dönüştürülür,

Ηd , xx . (E2.24)

Burada; yüksek boyutlu uzay H bir Hilbert uzayıdır ve sonsuz boyutludur. Sonlu boyutlu

durumda, H bir Euclidean uzayı olarak düşünülür.

Çekirdek, genellikle K ile gösterilir ve

yxyxK T, (E2.25)

olarak tanımlanır. H Hilbert uzayında iç çarpım ile yx T niceliği hesaplanmak

istenirse, düşük boyutlu giriş uzayında çekirdek hesaplaması yeterlidir. Pratik olarak verinin

yüksek boyutlu uzaya dönüşüm işlevini belirlemek için, (E2.26)’daki gibi iç çarpım

çekirdeğinin hesaplamasından başlanır ve elde edilen çekirdekten yüksek boyutlu dönüşüm

işlevi çıkartılabilir. Örnek olarak üçüncü dereceden polinomsal çekirdek 3, yxyxK T ve

uzayın asıl boyutluluğu 2 alınırsa, 21 , xxx bu çekirdek örtük olarak dört boyutlu uzaya

dönüşür:

yx

yyyxyyxxxxxx

yxyxyxyxyxyx

yxyxK

T

T

321

222

21

31

321

222

21

31

32

3211

22

2222

21

21

31

31

3

,3,3,.,3,3,

33

,

(E2.26)

Bu dönüşümün ve H’nin tek olmadığına dikkat edilmesi gerekir. Diğer dönüşümler de

aynı şekilde geçerlidir, örneğin aynı çekirdek için

3

2311

222

21

32

31 2

1, 3, 3,2

1 xxxxxxxxx (E2.27)

dönüşümü seçilebilir.

x x

o

o

o

x

o o

o x

giriş uzayı öznitelik uzayı

φ

E2-7

Hafifçe farklı bir çekirdek 31, yxyxK T ve aynı iki boyutlu uzay için, örtük 16

boyutlu bir dönüşüm bulunabilir. Bununla birlikte, RTİ gibi bazı çekirdeklerden sonlu boyutlu

bir φ(x) dönüşümü bulmak mümkün değildir.

Çekirdekler üzerindeki tek şart Mercer şartlarıyla verilir [88, 102]. Bu şart ile

yxK , ’nin simetrik olması ve ancak ve ancak 0 için aşağıdaki şartların sağlanması

gerekir.

dxx 2 (E2.28)

0 , dydxyxyxK (E2.29)

Basit bir örnek olarak, simetrik çekirdek matrisi için x dönüşüm işlevi aşağıdaki

gibi oluşturulabilir,

.,...,1 ,: 1 nivqx nn

titt

i

Burada, tq ve nitit vv 1 sırasıyla K’nın öz değerlerini ve öz vektörünü göstermektedir.

jiij

n

tij

Ttjtit

jTi xxKKVVvvqxx ,1

Mercer şartı gereğince bir çekirdek matrisinin öz değerlerinin negatif olmaması gerekir. Eğer

negatif bir öz değer var ise,

sisi vVxvç

öz nitelik uzayındaki bir nokta

02 sssssssT qKvvvVVvvVVvççç

gibi negatif bir norma sahip olacaktır ki, buda geometrik olarak anlamsızdır.

Bununla birlikte, son zamanlarda çekirdeklerin pozitif tanımlı olup olmadığını

sorgulamadan yeni formülasyonlar ve çözüm önerileri de geliştirilmektedir [42, 61].

(E2.17)’deki Lagrangian formülasyonundaki iç çarpımlar, istenilen doğrusal olmayan

çekirdek ile yer değiştirerek

yxKyxT , , (E2.30)

yüksek boyutlu öz nitelik uzayında ayrılabilirlik durumu için, yeni ikincil Lagrangian

L

ii

jijij

L

jiiikincil xxKyyL

11,

,21 (E2.31)

kısıtları: 01

L

ii

iy , ,0i Li ,...,1 (E2.32)

olarak oluşturulur. Bu formülasyon esnek pay durumuna

E2-8

L

ii

jijij

L

jiiikincil xxKyyL

11,

,21 (E2.33)

kısıtları: 01

L

ii

iy , LLC

i 1,...,i ,0 (E2.34)

ile genellenir.

Örnek çekirdek seçimleri

Polinomsal sistemler için (E2.35)’deki çekirdek seçilebilir:

piTi xxxxK 1, , (E2.35)

Bu durumda elde edilen karar işlevi

vektörlerdestek

piTi

i bxxysignx

1 (E2.36)

formu ile verilir.

RTİA’lardaki, RTİ çekirdek

2ix-x - exp ixxK (E2.38)

kullanılırsa, (E2.37)’deki karar işlevi elde edilir,

vektörlerdestek

ii

i bxxKysignx

. (E2.37)

Burada, DVM ile elde edilen destek vektörlerin sayısı RTİA’larda gizli birimlerin sayısına

karşılık gelir. Bundan dolayı RTİA’ların otomatik kurum algoritması olarak gösterilir [102].

Benzer bir yaklaşım, iki katmanlı YSA’yı kurmak için de takip edilebilir. Örneğin,

Mercer şartını sağlayacak şekilde uygun v ve c1 değerleriyle ifade edilen sigmoidal çekirdek

seçilirse

1tanh, cxxvxxK iTi (E2.39)

ayrıştırıcı yüzey

vektörlerdestek

iTi

i bcxxvysignx

1tanh (E2.40)

olur. Burada, iyi bir genelleme başarımı için destek vektörlerin sayısı, ilk katman (gizli katman)

hücrelerinin sayısına eşit alınır. İlk katman hücrelerinin ağırlıkları destek vektörler (xi), ikinci

katman hücrelerinin ağırlıkları ise (yii ) alınır [102].

E2-9

E2.4. Çok Sınıflı DVM’ler

DVM’ler asıl olarak ikili sınıflama problemleri için tasarlanmıştır. Çok sınıflı örüntü

tanıma sistemleri, iki sınıflı DVM’leri birleştirerek elde edilebilir. Bilimsel yazında üç temel

yaklaşım vardır [22, 46, 65, 106]:

İlk yaklaşım, M sınıfların sayısı olmak üzere, Bire Karşı Diğer sınıflar (BKD)

yöntemidir [46]. Bu sınıflayıcıda her bir makine, bir sınıfa karşı diğer tüm sınıflar alınarak

eğitilir ve M tane iki sınıflı sınıflayıcı oluşturulur.

İkinci yaklaşım, çok sınıflı sınıflayıcıyı kurmak için Bire Karşı Bir (BKB) yöntemidir

[46]. Burada her makine, bir sınıfa karşı diğer tek bir sınıf alınarak eğitilir ve 21MM tane

sınıflayıcı oluşturulur. Test verisini sınıflamak için, oluşturulan tüm makineler arasında parça-

parça yarışma uygulanır, tenis turnuvasına benzer olarak en son kazanan, test veri sınıfını

belirler.

Son yaklaşım, M tane düzlem için aynı anda eniyileme problemini oluşturan M-sınıflı

DVM yöntemidir [106]. Bu yöntemde Myxyx LL ,...,1y,,,...,, i11 formunda L eğitim örneği

için birincil M sınıflı DVM problemi

L

i

M

ym

mi

M

mm

iLCw

11

2

21 (E2.41)

kısıtları: mim

iTmy

iTy bxwbxw ii 2 (E2.42)

imi \y,...,M m,...,l , iξ 110 . (E2.43)

olarak oluşturulur.

Bu eniyileme probleminin çözümü, ikili sınıflamaya benzer olarak ikincil formülasyon

elde edilerek yapılır. Karar işlevi ise,

M1,...,i , max arg iM i

T bxwxf (E2.44)

kullanılarak elde edilir.

Pratik olarak, bu yöntemin üstünlüğü büyük bir eniyileme problemi çözdüğü için

sınırlıdır. Bilinmeyen değişkenlerin sayısı sınıfların sayısı ile doğrusal olarak artar. Ayrıca

yöntem, birçok test veri arşivi üzerinde ilk iki yöntemden üstün değildir. Bu nedenle yöntemin

sadece başlıca akademik ve estetik değere sahip olduğu düşünülür.

E2-10

E2.5. Regresyon Kestirimi İçin DVM’ler

DVM’ler, sınıflayıcılara benzer şekilde regresyon problemlerini çözmek için adapte

edilmiştir. Kapasite, boyutluluğa duyarsız nicelik ile kontrol edilirken, doğrusal veya doğrusal

olmayan işlev sırasıyla asıl veya öz nitelik uzayında doğrusal öğrenme makinesi ile

öğrenilmiştir [41, 89].

DVM’lerde regresyon kestirimi için, giriş uzayında ( xxi ) veya öz nitelik

uzayında, w parametresine göre doğrusal olan bir işlev kullanılır,

xwwxr

iii

1

, (E2.45)

Burada; orijinden mesafeyi gösteren b parametresi düşürülmüştür, fakat sabit bir taban

işlevi olarak gösterilebilir. Regresyon problemi için, farklı kayıp işlevleri kullanılabilir [22, 41].

Böylece, farklı formülasyonlar ve faydalar elde edilebilir [34-37, 58, 97] Bu bölümde, en genel

DVM ile regresyon formülasyonu için, Şekil E2.4 ile verilen ε-duyarsız kayıp işlevi,

diger 0

, ,,,

wxywxywxyL

(E2.46)

tanımlanmıştır. Bu kayıp işlevi gürbüz regresyon için kullanılır. (E2.46) ile ε’a kadar sapmalar

cezalandırılmazken, diğer tüm sapmalar doğrusal bir cezaya uğratılır.

YRE ilkesini kullanarak, yaklaşım işlevler kümesinin yapısı enazlanırsa, her yapının

elemanları Sk (E2.47)’deki gibi tanımlanır:

r

ik

Tiik cwwxwS

1

: (E2.47)

Şekil E2.4 Doğrusal DVM için esnek payın ayarlanması [93].

Deneysel riski enazlayan w parametresi bulunmak istenirse, (E2.48)’deki işlev

tanımlanır,

x

-ε +ε

+ε

-ε 0 x x

x x x

x

x

x

x

x x

x

ζ

diğerleri

E2-11

L

i

r

iiidny xwyL

LwR

1 1,1 ,1

(E2.48)

ve YRE ilkesini gerçekleştiren kısıtları

kT cww (E2.49)

ile verilir. Bu problem, gerçekte ,...,L , iξ, ξ ii 1 yapay değişkenleri tanımlanarak

L

ii

L

ii

11

(E2.50)

kısıtları: i

r

iii

i xwy 1

(E2.51)

ii

r

iii yxw

1

(E2.52)

0i (E2.53)

0i (E2.54)

gibi deneysel riski enazlayan eniyileme problemine dönüştürülebilir. Eniyileme probleminin

hem yapısal hemde deneysel riskin enazlanması için, sonuç eniyileme formülasyonun amaç

ölçütü, ikinci dereceden programlama problemi olarak

wwLC T

L

ii

L

ii 2

1

11

(E2.55)

gibi formüle edilebilir. Burada, C kullanıcı tarafından belirlenen yeterince büyük bir sabiti

göstermektedir.

İkincil problemi elde etmek için aşağıdaki gibi Lagrangian kurularak Kuhn-Tucker

teoremi uygulanır. Özet olarak, ençoklanacak Lagrangian:

jijj

L

jiii

L

iii

iL

iiiikincil xxKyL ,

21

1,11

(E2.56)

biçiminde olup, kısıtları

L

ii

L

ii

11

(E2.57)

LC

i 0 (E2.58)

,0LC

i Li ,...,1 (E2.59)

olarak elde edilir.

E2-12

E2.6. Uygulama Noktaları

Tüm uygulamalarda, ikinci dereceden problemlerin çözümü tek bir en büyük veya en

küçük noktaya ulaşmayı garanti eder. Çözüm için ilk yol eğim iniş uygulamaktır [22]. Çözüme

rasgele 0 başlangıç değerinden başlanır ve en dik iniş yolu izlenerek bu vektör güncellenir.

Güncellemenin uzunluğu öğrenme oranı olarak alınır. Öğrenme oranının dikkatli olarak

seçilmesi gerekir. Eğer çok büyük seçilirse yakınsamayacak, fakat en büyük nokta civarında

salınım yapacaktır. Eğer çok küçük seçilirse, algoritmanın yakınsaması uzun sürecektir.

Christianini ve Shawe-Taylor, yakınsama için yeterli şartı sağladığını kanıtlayarak

iii xxK ,1

(E2.60)

gibi her eğitim örneği için farklı bir öğrenme oranı kullanmıştır [22].

Bu problemi çözmek için, standart Newton yöntemi, eşlenik-eğim yöntemi veya

birincil-ikincil iç nokta yöntemi gibi eniyileme yöntemleri de uygulanabilir [88, 108]. Bununla

birlikte eğitim örneklerinin sayısı arttığı zaman, birçok pratik problem ortaya çıkar. En çok

bilinenleri; eniyileme probleminin karmaşıklığı, eğitim örneklerinin sayısı ile karesel olarak

değişen çekirdek matrisinin ölçüsü ile büyümesidir. Çoğu kez, çok fazla sayıda eğitim örneği

için büyük bir çekirdek matrisin hesaplanması gerekir.

Bu problemin çözümü için, bilimsel yazında parçalama ve ayrıştırma gibi farklı

çalışmalar yapılmıştır [88].

Parçalama (gruplama, kümeleme): Çözüme eğitim örneklerinin keyfi bir alt kümesi ile

başlanır ve eniyileyici başlangıç destek vektörleri bulmak için bu küme üzerinde çalışır.

Bu başlangıç çözüm, ardıl olarak bu çözümü bozan eğitim örneklerini bulmak için

kullanılır. Daha sonraki örnekler ve o andaki destek vektörler, yeni bir alt kümeyi

oluşturur. Bu alt küme tekrar tekrar eniyileyiciyi çalıştırmak için kullanılır. Bu prosedür

bazı durdurma kriterleri elde edilinceye kadar devam eder.

Ayrıştırma: Önceki yöntem, alt küme ölçüsünün destek vektörlerin sayısından daha

geniş olmasını gerektirir. Bu yöntem, alt küme ölçüsünü sabitler ve bir anda problemin

küçük farklı alt kümeleri üzerinde eniyileyiciyi çalıştırır. Ardışıl en küçük eniyileme

(sequential minimal optimization), bu yöntem temeline dayanarak çıkartılan bir

algoritmadır.

E3.1

EK-3. DESTEK VEKTÖR MAKİNE ÇEŞİTLERİ

Bilimsel yazında DVM’lerin eğitim hızını azaltmak, hafıza kullanımını artırmak,

başarımını azaltmak gibi amaçlarla farklı DVM formülasyonları geliştirilmiştir. Bu tezde

karşılaştırma amacıyla Mangasarian ve diğerlerinin geliştirdikleri, Lagrangian Destek Vektör

Makine (LDVM) [69], Sonlu Newton Lagrangian Destek Vektör Makine (NLDVM) [34],

Düzgün Destek Vektör Makine (DDVM) [58], Sonlu Newton Destek Vektör Makine (NDVM)

[66], Yakınsal Newton Destek Vektör Makine (YDVM) [35, 36] ile Joachims’in geliştirdiği

DVMlight kullanılmıştır [51]. Bu nedenle, bu bölümde bu altı DVM formülasyonu kısaca

tanıtılmıştır.

LDVM, EK-2’de verilen genel doğrusal DVM formülasyonunun tekrar formüle

edilmesine dayanmaktadır. n boyutlu gerçel uzayda kısıtsız türevi alınabilir dışbükey işlev,

doğrusal olarak yakınsayan özyineli bir algoritma ile enazlanmaktadır [69].

NLDVM, çok geniş yüksek boyutlu giriş uzayı içeren problemler için doğrusal denklem

sistemi kullanarak çok hızlı bir şekilde çözüm yapan basit bir algoritmadır [34].

DDVM, tamamen keyfi bir çekirdek kullanarak sınıflama yapan DVM formülasyonuna

Newton yöntemini uygulamak için (başka bir değişle ikinci türevini alarak, Hessian matrisini

oluşturmak için) bir düzgünleştirme tekniğinin uygulandığı algoritmadır [58].

NDVM, veri madenciliği ve makine öğrenmenin temel sınıflandırma problemlerini

Newton yöntemi kullanarak sonlu özyinelemede, hızlı bir şekilde çözen bir algoritmadır [66].

YDVM, DVM formülasyonunda kısıtlar eşitlik durumuna çevrilerek, en yakın sınır

oluşturan düzlemler oluşturan bir algoritmadır [35, 36].

DVMlight, DVM formülasyonunun geniş veri içeren problemlere uygulanmasını

sağlamak için yeni düzeltmeler öneren bir algoritmadır.

E3.1. Mangasarian’ın Destek Vektör Makine Formülasyonları

Aşağıda, bu bölümde kullanılan semboller ve özdeşlik hakkında kısa bir özet yapılmıştır.

Tüm vektörler, matrisin devriği işlemi kullanılarak satır vektörüne dönüştürülmediği sürece

sütün vektörü ile gösterilmiştir. n-boyutlu gerçel uzayda, n ’de, bir vektör olmak üzere x+

negatif elemanları sıfıra eşitlenen bir vektörü, x* ise x+’nın gradyenini göstermektedir. Burada

0ix , ni ,...,1 için 1 ,0* ix , 0ix için 0* ix ve 0ix için 1* ix olmak üzere

E3.2

adım işlevini tanımlamaktadır. , doğal logaritmalar tabanını ve LxnB Lxn gerçel matrisi

göstermektedir. Böyle bir matris için, TB , B matrisin devriğidir ve iB , B’nın i. satırını ve jB ,

B’nın j. sütununu göstermektedir. 0 veya e, gerçel uzayda keyfi boyutlu sıfır veya birler

vektörünü ve I ise keyfi boyutlu birim matrisi göstermektedir. n ’de x ve iki vektör olmak üzere x dikliği göstermektedir, yani 0Tx ’dır.

Burada : tanımı göstermek için kullanılmıştır. x vektörünün ve Q matrisinin normu sırasıyla

x ve Q ile gösterilmiştir. Eğer F, n ’de tanımlanan gerçel bir işlev ise, xF , x’deki

gradyeni göstermektedir. Ayrıca formüllerde, (E3.1)’deki Sherman-Morrison-Woodbury (SMW)

özdeşliğinden faydalanılmıştır,

TTT HHH

vIHIvHH

vI 11

(E3.1)

Burada; v pozitif bir sayıyı ve H keyfi Lxk matrisini göstermektedir. Bu özdeşlik, büyük bir LxL

matrisinin tersini almak yerine, sadece küçük kxk matrisinin tersini alarak işlem kolaylığı

sağlamaktadır.

E3.1.1. Doğrusal Destek Vektör Makine Sınıflayıcılar

LDVM formülasyonu, doğrusal DVM ile ilişkili olduğu için, burada yazarların

sembolleri ve yeni düzenlemeleriyle tekrar tanımlanmıştır. Genel doğrusal çekirdekli DVM ile

sınıflama problemi

wwev TT

bw Ln 21 min

1,,

(E3.2)

kısıt 0 , eebBwD

karesel programlama ile verilmiştir. Burada; D: B+ veya B- ile temsil edilen Bi noktasının

sınıfına göre diyagonal elemanları 1 veya -1 olan LxL boyutlu diyagonal matrisi, v>0 sabiti: hata değişkeninin çarpanı olan ağırlık faktörünü, w, sınır oluşturan düzlemlere normal olan

ağırlık vektörünü ve b: noktaların orijine göre mesafesini göstermektedir [102]. (E3.2)’deki

ikinci terim, sınır oluşturan

1 bwxT (E3.3)

iki düzlem arasındaki mesafenin, 2-normunun karesinin iki katı olarak bilinen 22 w payı,

birinci terim ise sınıflama hatasını temsil etmektedir.

E3.3

Şekil E3.1 Esnek pay ile B+’dan B-’yi yaklaşık olarak ayıran düzlemler.

Şekil E3.1’den görüldüğü gibi, 1 bwxT düzlemi bazı hata olasılıkları ile B+ sınıfının

noktalarını ve 1 bwxT düzlemi ise B- sınıfının noktalarını ayırmaktadır. (E3.4)’deki

doğrusal ayrıştırıcı düzlem

bwxT (E3.4)

sınır oluşturan düzlemlerin ortasından geçmektedir. Eğer sınıflar doğrusal olarak ayrılmazlar ise,

negatif olmayan hata değişkeni ile belirlenen, bazı hatalar içererek yaklaşık olarak sınırlanır:

1 ,1 iiii DbwB için (E3.5)

1 ,1 iiii DbwB için

Sonuç olarak, genel karesel doğrusal DVM’nin (E3.2) ile verilen birincil probleminin,

ikincil formu yeni semboller ile

eDDBBTTL

2

1 min (E3.6)

kısıt veDeT 0 ,0 .

gibi elde edilir.

EK-2’den bilindiği gibi, birincil problemin (w,b) değişkenleri üsteki ikincil problemin

çözümünden elde edilebilir. Ancak; bu formülasyonla, bazı problemler ortaya çıkmıştır. Bunlar;

(E3.6)’daki amaç ölçütünde görünen DDBBT matrisi tipik olarak m>>n olduğu için, genelde

pozitif tanımlı olmaması, sınır kısıtlarına ilave olarak farklı hesaplama kütüphanelerinin

kullanımını gerektiren eşitlik kısıtının gelmesi, bir boyutlu eniyileme probleminin (E3.4)’deki

ayrıştırıcı yüzeyin b yerini belirlemek için çözülmesi gerekliliğidir.

Bu güçlükleri aşmak için, [69]’da genel DVM formülasyonuna basit fakat önemli

düzeltmeler önerilmiştir.’nin 1 normu, ≥0 kısıtını gereksiz yapan karesi alınmış 2 normu ile

değiştirilmiş, wwT ’ye b2 ilave edilmiş ve genel DVM’nin tersine düzlemlerin hem konumuna

(w), hem de yönüne (b), göre eniyilenerek pay ençoklanmıştır. Yeni DVM’nin birincil

formülasyonu

Ayrıştırıcı düzlem bwxT

1 bwxT

Pay= 22 w w

1 bwxT

E3.4

2

,, 21

2 min

1bwwv T

T

bw Ln

(E3.7)

kısıt eebBwD

ve ikincil formülasyonu

TTTT eDeeBBDvI

L

21 min

0 (E3.8)

olarak elde edilmiştir. Birincil problemin (w,b) değişkenleri ile ikincil problemin değişkenleri (λ)

arasındaki ilişki, ikincil problem çözülerek

DBw T , v , Deb T (E3.9)

elde edilmiştir.

İkincil amaç ölçütünde, görünen matris pozitif tanımlıdır, hiçbir eşitlik kısıtı yoktur ve λ

ikincil değişkeni üzerinde hiçbir üst sınır yoktur. Şimdiki tek kısıt ’nın negatif olmamasıdır.

Bu yararlar ile, basit, özyineli ve hiçbir eniyileme paketi gerektirmeyen Lagrangian DVM

formülasyonu ortaya çıkmıştır.

E3.1.2. LDVM, NLDVM, DDVM ve NDVM Sınıflayıcılar

E3.1.2.1. Lagrangian Destek Vektör Makine (LDVM) Sınıflayıcılar

[69]’da formülleri basitleştirmek için

e- BDH , THHvIQ (E3.10)

matrisleri tanımlanarak, ikincil problem

TT

ReQ

L

21:F min

0 (E3.11)

olarak elde edilmiştir. 1Q sadece bir kez algoritmanın başlangıcında hesaplanmış, LDVM

algoritması içinde (E3.1)’de tanımlanan SMW özdeşliği kullanılmıştır.

LDVM algoritması, Karush-Kuhn-Tucker’in gerekli ve yeterli eniyileme şartları

tabanına dayanmaktadır,

00 eQ . (E3.12)

Bağıntı (E3.12)’deki eniyileme şartı herhangi bir α için (E3.13)’deki eşdeğer forma sahiptir.

eQeQ (E3.13)

LDVM formülasyonunun çözümü, (E3.14)’teki çok basit özyineleme ile elde edilmiştir.

E3.5

,...,1,0 ,11 ieQeQ iii (E3.14)

(E3.13)’deki eniyileme şartı, (E3.11) ikincil problemi ile birleşen örtük Lagrangian için

de gerekli ve yeterli şarttır.

22 21

21 min, min eQeQueQL TT

LL

(E3.15)

Algoritma: LDVM sınıflayıcıların eğitim algoritması ve tümel yakınsaması

LDVM formülasyonunda, (E3.10) ile tanımlanan LxLQ matrisinin simetrik pozitif

tanımlı olduğu kabul edilmiştir. Rasgele L0 ile başlanarak,

v20 (E3.16)

kolaylıkla sağlanabilen şartı altında, tek çözümüne

QQQIQQ ii 111 . (E3.17)

doğrusal oranında yakınsanmıştır.

Orta sayıda veri içeren problemlerin, doğrusal olmayan çekirdek kullanılarak LDVM

formülasyonu

TT

ReDGGDK

vI

L

,

21 min

0 (E3.18)

eBG , DGGDKvIQ , (E3.19)

olarak verilmiştir. Burada veri sayısı az olduğu için, doğrusal durumun tersine SMW özdeşliğini

kullanmaya gerek yoktur.

E3.1.2.2. Sonlu Newton Lagrangian Destek Vektör Makine (NLDVM) Sınıflayıcılar

NLDVM; (E3.15)’deki kısıtsız enazlanma problemine, Newton yönteminin

uygulanmasından oluşmuştur. Newton yöntemini uygulamak için, öncelikle L(λ)’nın

(E3.20)’deki gibi birinci türevinin

eIQeQQIL

(E3.20)

daha sonra ikinci türevinin alınması gerekir. Bilindiği gibi, burada elde edilen L

gradyeninin türevi alınamaz ve dolayısıyla Hessian matrisi de oluşturulamaz. NLDVM’de ise

L ’nun genelleştirilmiş Hessian, (E3.21)’deki gibi LxL matris olarak elde edilmiştir [34].

E3.6

QIeIQdiagQQIL

.2 (E3.21)

Temel Newton adımı, L doğrusal denklemli sistemi çözmeden oluşmaktadır:

0 12 iiii LL (E3.22)

Newton özyinelemesi, (E3.23)’deki gibi basitleştirilmiştir,

0 1 iiii hh , (E3.23)

burada;

LQIh

1

: , (E3.24)

LQIh 2

1

:

. (E3.25)

olup, L2 ’nun pozitif tanımlı olması gerekir. Ayrıca; NLDVM’de nL doğrusal

problemler için, doğrusal sınıflayıcı oluşturmak istendiği her zaman, çok büyük olan

11 LxL matrisinin tersini almak yerine, (E3.1)’deki SMW özdeşliği kullanılarak

11 nxn boyutlu h ’nun tersi alınması gerekir.

Algoritma: NLDVM sınıflayıcılar için Newton algoritması

Rasgele L0 ile başlanarak, Q şartı altında tek çözüme doğrusal oranında

yakınsanmıştır.

(i) 01

iii hhh ,

(ii) ii

iiii

ii dhh 11 .

Burada; i armijo adım ölçüsünü göstermektedir.

iii

ii

ii dLdLL

Burada; 21,0 ve id , (E3.23) çözülerek elde edilen Newton yönünü göstermektedir.

iii hhd 1

(iii) i=i+1 al ve i’inci adıma git.

E3.1.2.3. Düzgün Destek Vektör Makine (DDVM) Sınıflayıcılar

DDVM formülasyonu için, (E3.7)’deki problemin çözümünde,

bewBDe (E3.26)

E3.7

alınarak, kısıtsız eniyileme problemi

222, 2

1 2

min bwwbewBDev T

bw (E3.27)

elde edilmiştir. Bu problem, herhangi bir kısıt olmadan güçlü olarak dışbükey enazlanma

problemi olduğu için tek bir çözüme sahiptir. Bununla birlikte; (E3.27)’deki amaç ölçütü; hızlı

çözüm için, Newton yönteminin kullanımını engelleyen iki defa türevi alınamayan bir işlev

içermektedir. DDVM’de bu problemden kurtulmak için, düzgünleştirme teknikleri

uygulanmıştır. Amaç ölçütündeki x+ terimi ile YSA’ların x 11 sigmoid işlevin integrali

olarak verilen ,xp

xxxp

1log1, , α>0 (E3.28)

yer değiştirilmiştir [58]. Burada; α düzgünleştirme parametresini göstermektedir.

Böylece, yeni DDVM formülasyonu

22

2, 21 ,

2:, min

1bwwbewBDepvbwQ T

bw n

(E3.29)

olarak elde edilmiştir. DDVM, sonsuza yaklaşan α ile (E3.27)’nin tamamen doğru bir

çözümünü vermektedir.

Düzgünleştirme yaklaşımı ve genel DVM formülasyonu arasındaki tek fark, karesel

programlama yerine doğrusal denklemlerden oluşan sistemin çözülmesi ve tümel olarak tek bir

saf çözüme yakınsanmasıdır.

Doğrusal olmayan çekirdekli DDVM için formülasyon

22

2, 21 ,,

2 min bebDBBKDepv TT

b

(E3.30)

olarak verilmiştir. DDVM’de, herhangi keyfi bir çekirdek kullanıldığında da oldukça doğrusal

olmayan ayrıştırıcı yüzeyler oluşturarak türevi alınabilirlik ve güçlü dışbükeylik özellikleri

korunur. Bir önceki sonuçların tümü sağlanır ve (E3.30)’u çözmek için doğrudan Newton adımı

uygulanabilir.

E3.1.2.4. Sonlu Newton Destek Vektör Makine (NDVM) Sınıflayıcılar

DDVM formülasyonu ile düzgünleştirilerek çözülen (E3.27)’deki problem, NDVM’de

doğrusal olmayan çekirdekli kısıtsız DVM problemi [66].

22

, 21 ,

2 min

1bbeDBBKDev TT

b n

(E3.31)

olarak düşülüp, tek bir çözümü olan aşağıdaki parça parça karesel güçlü dışbükey problem

E3.8

zzhCzv T

z p 21

2:zF min 2

(E3.32)

olarak önerilmiştir. Burada; LxpC , Lh ve v sabitlenmiş parametreyi göstermektedir.

(E3.32)’deki eniyileme problemini, Newton algoritması ile çözmek için gradyen

vektörü ve Hessian matrisini elde edilmesi gerekir. NDVM’de F’nin gradyeni:

zhCzCvzF T (E3.33)

olarak hesaplanmıştır. Burada verilen gradyen, K sabiti ile tümel olarak Lipschitz sürekliliğidir:

pzszsKzFsF , , , (E3.34)

1. CCvK T (E3.35)

F’nin Hessianı her yerde mevcut değildir. Bununla birlikte; zF Lipschitzian olduğu

için, genelleştirilmiş Hessian her yerde vardır.

[66]’te zF ’nin genelleştirilmiş Hessianı

IChCzdiagCvzF *2 (E3.36)

ile hesaplanmıştır.

Algoritma: NDVM sınıflayıcılar için adımsız Newton algoritması

Rasgele pz 0 ile başlanarak

21

1..

CCv

kK

T

, 1.. CCv T (E3.37)

şartı altında, tümel enaz z çözümüne

zzCCvzz iTi ..1 (E3.38)

doğrusal oranında yakınsanmıştır.

(i) ii zfzf 12i1i zz

(ii) 01 izf ise dur.

(iii) i=i+1. al ve i’inci adıma git.

NDVM’nin çözümünde; zF eğer (E3.37)’deki şartı sağlamaz ise tümel enazda sonlanmayı

sağlamak için Armijo adımı eklenerek çözüm yapılmıştır [66].

E3.1.2.5. Yakınsal Destek Vektör Makine (YDVM) Sınıflayıcılar

YDVM’de (E3.7)’deki DVM formülasyonu

E3.9

2

,, 21

2 min

1bwwv T

T

bw Ln

(E3.39)

kısıt eebBwD

olarak değiştirilmiştir. Bu değişim çok basit olmasına rağmen, problemi önemli olarak

farklılaştırmıştır. Çünkü. 1 bxwT ; artık sınır oluşturan düzlemleri değil, her bir sınıfın

öbeklendiği ve 2bwwT terimiyle mümkün olduğu kadar uzağa itilen noktalar civarındaki,

en yakın düzlemleri ifade etmektedir. Bu problemde DBw T alınarak, YDVM formülasyonu

22

,, 21

2 min

1bv T

b Ln

(E3.40)

kısıt eebDAAD T

olarak elde edilmiştir. Doğrusal olmayan çekirdek kullanıldığında TBB doğrusal çekirdeği

TBBK , ile yer değiştirilerek,

22

,, 21

2 min

1bv T

b Ln

(E3.41)

kısıt eebDBBKD T ,

Lagrangian

eebKDDb

vvbL T

22

21

2,,, (E3.42)

olarak oluşturulmuştur.

Lagrangian’ın vb ,,, değişkenlerine göre türevi alınarak, KKT eniyileme

şartları

0 DDK T ,

0 Deb T , (E3.43)

0v ,

eebKDD ,

bulunmuş ve bu şartlar kullanılarak (E3.43)

DDK T , Deb T ,v

eGGvIeDeeKKD

vI TTT

11

(E3.44)

eKDG .

elde edilmiştir.

E3.10

Sonuç doğrusal olmayan ayrıştırıcı yüzey

0, ,

, ,,

DeBAKBxK

DeDBBKDDBxKbDBxK

TTTTT

TTTTTTT

(E3.45)

ile hesaplanmıştır.

Mangasarian ve diğerleri, veri kümesinin küçük bir bölümünü kullanarak, bilinen kare

çekirdek matris yerine ince dikdörtgensel bir çekirdek matris oluşturmuşlardır. Bu çekirdek;

yukarıda tanıtılan DVM formülasyonlarında uygulanmıştır. Böylece, hesapsal zaman kadar

hafıza kullanımının da tam çekirdek kullanan genel DVM’lerden daha az olması sağlanmıştır

[67].

E3.2. Joachims’in Destek Vektör Makine Formülasyonu

EK-2’de sınıflama için verilen genel karesel DVM formülasyonu

min

L

ii

jijij

L

jiiikincil xxKyyL

11,

,21 (E3.46)

kısıt 01

L

ii

iy , (E3.47)

,...,L i, LCλi 1 0 . (E3.48)

DVMlight’de [51] jiji xxKyyQ , alınarak,

min QL TT

211 (E3.49)

kısıt 0yT (E3.50)

LC 0 (E3.51)

şeklinde düzenlenmiştir. Daha önceden de bahsedildiği gibi bu eniyileme probleminin ölçüsü

eğitim örneklerinin sayısına bağlıdır. Q matrisinin ölçüsü 2L olduğu için, örneğin 10000 veya

daha fazla eğitim örneği için, Q matrisini hafızada tutmak imkansızdır. Bir seçenek, Q matrisini

hafızada tutmak yerine, her ihtiyaç duyulduğunda tekrar hesaplamaktır. Fakat bu da eğer Q

matrisi çok sık kullanılırsa aşırı hesaplama gerektirir.

DVMlight’de çok fazla veri içeren problemler ile ilgilenmek için (E3.49)’daki

eniyileme problemi, bir ayrıştırma yöntemi kullanılarak çalışma kümesi olarak adlandırılan aktif

ve aktif olmayan bölümlere ayrılmıştır. Bu ayrıştırma ile çok uzun bir eğitim süresine ihtiyaç

E3.11

duyulmuş ancak eğitim örneklerinin sayısı ve destek vektörlerin sayısı ile doğrusal hafıza

kullanımı sağlanmıştır.

(E3.46) ile verilen eniyileme probleminde, Q Hessianı pozitif yarı tanımlı ve tüm

kısıtları doğrusal olduğu için dışbükey eniyileme problemidir. Bu problemin uygunluğu için

gerekli ve yeterli şartlar olarak aşağıdaki Kuhn-Tucker şartları verilmiştir,

0 uploeq yg , (E3.52)

0 iloi , ni ..1 (E3.53)

0 LCiupi , ni ..1 (E3.54)

0lo , (E3.55)

0up , (E3.56)

0yT , (E3.57)

LC 0 . (E3.58)

Burada; eq : (E3.50)’deki eşitlik kısıtı için Lagrange çarpanını, up : (E3.51)’deki üst sınır için

Lagrange çarpanını ve g : kısmi türevler vektörünü göstermektedir. (E3.49) ile verilen

eniyileme problemi için

Qg 1 (E3.59)

olarak tanımlanmıştır

Uygunluk şartları sağlanmadığı durumda, algoritma (E3.49) ile verilen eniyileme

problemini ayrıştırarak ortaya çıkan daha küçük problemleri çözmüştür. Bu eniyileme

probleminde değişkenler, serbest (B1) ve sabit değişkenler (N) olarak iki kategoriye

bölünmüştür.

Algoritma: DVMlight algoritması

Uygunluk şartları bozulurken,

B1 çalışma kümesi için q değişkenleri seçilir. Kalan L-q değişkeni bulunduğu değerde

sabit tutulur.

Problem ayrıştırılır ve elde edilen yeni karesel problemi çözülür: B1 değişkenler

üzerinden L(λ) eniyilenir.

Uygun λ bulunur ve sonlandırılır.

Algoritmada, λ, y ve Q , B1 ve N’e göre aşağıdaki gibi düzenlenmiştir,

N

B

1 N

B

yy

y 1 NNNB

NBBB

QQQQ

Q1

111 . (E3.60)

Q simetrik olduğu için,

E3.12

min 121

211 11111

TNNNN

TNBB

TBNNB

TB QQQL (E3.61)

kısıt 011 NTNB

TB yy (E3.62)

LC 0 (E3.63)

olarak yazılmıştır. Burada; NNNTN Q

21 ve 1T

N sabit terimleri çözümü değiştirmediği için

atılarak, oldukça küçük, pozitif tanımlı karesel programlama problemi elde edilmiştir.

Çalışma kümesi seçildikten sonra, L ’nın enazını bulmak için, elemanları sıfır

olmayan q en dik iniş yönü elde edilmiştir. Bu elemanlara karşılık gelen değişkenler bulunulan

adımda çalışma kümesi olarak adlandırılmıştır.

Böylece eniyileme problemi

min dgdVTt (E3.64)

kısıt 0dyT (E3.65)

0id 0: ii için (E3.66)

0id LCi i : için (E3.67)

11 d (E3.68)

qdd ii 0: (E3.69)

olarak değişmiştir. Burada ilk üç kısıt ile problemin çözülebilir olması, dördüncü kısıt ile

problemin ölçeklenmesi, beşinci ve son kısıt ile problemin seyrekliği sağlanmıştır.

(E3.64)’deki eniyileme probleminin çözümü için çok basit bir yol takip edilmiştir. Önce t

ii

i gy tanımlanarak, i azalan düzende sıralanmıştır. Daha sonra bu listenin üstünden,

LCti 0 veya i

i yd ’nin (E3.66) ve (E3.67)’yi sağlaması için q/2 eleman ve altından

LCti 0 veya i

i yd ’nin (E3.66) ve (E3.67)’yi sağlaması için q/2 eleman seçilerek, q

değişkenden oluşan çalışma kümesi oluşturulmuştur.

DVMlight ayrıca, DVM’nin eğitimini hızlandırmak için bilimsel yazına iki farklı teknik

tanıtmıştır. Birincisi, eğer nokta destek vektör değilse veya o nokta uygunluk şartlarını

sağlamıyorsa, hemen eğitim kümesinden uzaklaştırılmasıdır (shrinking). Diğeri ise Q Hessianı

elde etmek için q satır kullanmak, çekirdek hesaplamalarında ağır bir yük getirdiği için, bir

gizleme (cache) tekniği ile gerekli çekirdek hesaplanmalarının sayısının azaltılmasıdır.

DVMlight, başlangıçta birincil-ikincil iç-nokta yöntemleri kullanılarak çözülmüştür,

problem şimdi birçok farklı çözücü ile çözülmektedir.

106

KAYNAKLAR

1. Astorino, A. and Gaudioso, M., 2003, Spherical separation and kernel transformations for

classification problems, Technical Report, RT-ICAR-CS-03-16.

2. Astorino, A. and Gaudioso, M., 2005, Ellipsoidal separation for classification problems,

Optimizations Methods and Software, 20, 12-20.

3. Ayat, N. E., Cheriet, M., Remaki, L., Suen, C. Y., 2001, KMOD- A new support vector

machine kernel with moderate decreasing for pattern recognition, Proceedings of the 6th

Int. Conference on Document Analysis and Recognition, 434-438.

4. Babuska, R., 1998, Fuzzy Modelling and Control. Kluwer Acedemic Publisher, United

states of America.

5. Barnes, R., 1982, An algorithm for separating patterns by ellipsoids, IBM Journal Of

Research and Development, 26, 6, 759-764.

6. Bertsekas, D. P., 1999, Nonlinear Programming. Athena Scientific, Belmont, MA, second

edition.

7. Ben-Hur, A., Horn, D., Siegelmann, H. and Vapnik, V., 2001, Support vector clustering,

Journal of Machine Learning Research, 2, 125-137.

8. Bezdek, J. C. and Pal, S. K. editors, 1992, Fuzzy Models for Pattern Recognition. IEEE

Press, New York.

9. Bezdek, J. C., Keller, J. M., Krishnapuram, R., Kuncheva, L. I. and Pal, N. R., 1999, Will

the the real Iris data please stand up?, IEEE Trans. on Fuzzy Systems, 7, 3, 368-369.

10. Bontempi, G. and Birattari, M., 1999, Toolbox neuro-fuzzy identification and data

analysis for use with Matlab, Iridia, Universite Libre de Bruxelles,

http://iridia.ulb.ac.be.

11. Boyd, S. and Vandenberghe, L., 2004, Convex Optimization. Cambridge University Press.

12. Brown, M. P. S., Grundy, W. N., Lin, D., Cristianini, N., Sugnet, C. W. and Furey, T. S.,

2000, Knowledge-based analysis of microarray gene expression data by using support

vector machines, Proceedings of the National Academy of Science, 97, 262-267.

13. Burges, C. J., 1998, A tutorial on support vector machines for pattern recognition, Data

Mining and Knowledge Discovery, 2, 2, 121-167.

14. Chapelle, O., Vapnik, V., Bousquet, O. and Mukherjee, S., 2002, Choosing multiple

parameters for support vector machines, Machine Learning, 46, 1-3, 131-159.

15. Chapelle, O., 2006, Training a support vector machine in the primal, submitted to Journal

107

of Machine Learning Research.

16. Chen, Z. and Haykin, S., 2002, On different facts of regularization theory, Neural

Computation, 14, 12, 2791-2846.

17. Chen, J. H. and Chen, C. S., 2002, Fuzzy kernel perceptron, IEEE Trans. on Neural

Networks, 13, 6, 1364-1373.

18. Chen, Y. and Wang, J. Z., 2003, Support vector learning for fuzzy rule-based

classification systems, IEEE Trans. on Fuzzy Systems, 11, 6, 716-728.

19. Cherkassky, V. and Mulier, F., 1997, Learning from Data: Concepts, Theory and

Methods. John Wiley & Sons, New York.

20. Chiang, J. and Hao, P., 2003, A new kernel-based fuzzy clustering approach: support

vector clustering with cell growing, IEEE Trans. on Fuzzy Systems, 11, 4, 518-527.

21. Chiang, J. and Hao, P., 2004, Support Vector learning mechanism for fuzzy rule-based

modeling: A new approach, IEEE Trans. on Fuzzy Systems, 12, 1, 1-12.

22. Christianini, N. and Taylor, J., 2000, An Introduction to Support Vector Machines and

Other Kernel Methods. Cambridge University Press, Cambridge.

23. Cichochi, A. and Unbehauen, R., 1992, Neural Networks for Optimization and Signal

Processing. John Wiley & Sons, New York.

24. Collobert, R. and Bengio, S., 2004, Link between perceptrons, MLPs and SVMs,

Technical Report 04-06, IDIAP.

25. Cortes, C. and Vapnik, V. N., 1995, Support vector networks, Machine Learning 20, 3,

273-297.

26. Doğan, H. and Güzeliş¸ C., 2004, Robust spherical clustering as a mixed integer

optimization problem and its gradient solution, Proceedings of the IEEE Conference on

Signal Processing and Communication Applications, Kuşadası, Turkey, 739- 742.

27. Doğan, H., 2004, Gradient networks design for clustering in novel optimization

frameworks, PhD. Thesis, Dokuz Eylül University.

28. Doğan, H. and Güzeliş, C., 2006, Robust and fuzzy spherical clustering by a penalty

parameter approach, IEEE Trans. on Circuits and Systems II, 53, 8, 637-641.

29. Duda, R. O., Hart, P. E. and Stork, D. G., 2001, Pattern Classification and Scene Analysis.

John Wiley & Sons, New York.

30. Evgeniou, T., Pontil, M. and Poggio, T., 2000, Regularization networks and support

vector machines, Advances in Computational Mathematics 13, 1, 1-50.

31. Fletcher, R., 1989, Practical Methods of Optimization. John Wiley & Sons, New York.

32. Fort, G., 2005, Matlab PLS logistic toolbox-Inference in logistic regression models,

http://www.tsi.enst.fr/%7Egfort/GLM/Programs.html.

108

33. Fukunaga, K., 1990, Introduction to Statistical Pattern Recognition. Academic Press, San

Diego.

34. Fung, G. and Mangasarian, O. L., 2002, Finite newton method for lagrangian support

vector machine classification, Technical Report 02-01, Data Mining Institute, Computer

Sciences Department, University of Wisconsin, Madison, Wisconsin.

35. Fung, G. and Mangasarian, O. L., 2001, Proximal support vector machine classifiers, In:

D. Lee, et al. (Eds.), Proceedings of the KDD-2001: Knowledge Discovery and Data

Mining, San Francisco, California, Association for Computing Machinery, New York, 77-

86.

36. Fung, G. and Mangasarian, O. L., 2004, Multi-category proximal support vector machine

classifiers, Neurocomputing, 61, 401-411.

37. Girosi, F., Jones, M. and Poggio, T., 1993, Priors, stabilizers and basis functions: From

regularization to radial, tensor and additive splines, A.I. Memo No. 1430, MIT, 1993.

38. Girosi, F., 1997, An equivalence between sparse approximation and support vector

machines, A.I. Memo No. 1606, MIT.

39. Glineur, F., 1998, Pattern separation via ellipsoids and conic programming, Mémoire de

D.E.A., Faculté Polytechnique de Mons, Mons, Belgium.

40. Gunn, S. R., 1998, Matlab support vector machine toolbox, University of Southampton,

Image Speech and Intelligent Systems Research Group, UK,

http://www.isis.ecs.soton.ac.uk/isystems/kernel/.

41. Gunn, S. R., 1998, Support vector machines for classification and regression, Technical

Report ISIS-1-98, Department of Electronics and Computer Science, University of

Southampton.

42. Haasdonk, B., 2003, Feature space interpretation of SVMs with non positive definite

kernels, Internal Report 1/03.

43. Hansen, P. C., 1998, Rank deficient and discrete ill-posed problems: numerical aspects of

linear inversion, SIAM, Philadephia, PA.

44. Hansen, P. C., 1994, Regularization Tools: A Matlab package for analysis and solution of

discrete ill-posed problems, Numerical Algorithms, 6, 1-35.

45. Haykin, S., 1999, Neural Networks: A Comprehensive Foundation. Prentice Hall, second

edition, New Jersey.

46. Hsu, C. W. and Lin, C. J., 2002, A comparison of methods for multi-class support vector

machines, IEEE Trans.on Neural Networks, 13, 2, 415-425.

47. Huang, H. and Liu, Y.-H., 2002, Fuzzy support vector machines for pattern recognition

and data mining, International Journal of Fuzzy Systems, 4, 3, 826-835.

109

48. Inoue, T. and Abe, S., 2001, Fuzzy support vector machines for pattern classification,

Proceedings of the International Joint Conference on Neural Networks (July 15-19),

Washington DC, 1449-1454.

49. Jayadeva, Khemchandani, R. and Chandra, S., 2004, Fast and robust learning through

fuzzy linear proximal support vector machines, Journal of Neurocomputing, 61, 401-411.

50. Jayadeva, Khemchandani, R. and Chandra, S., 2005, Fuzzy linear proximal support vector

machines for multi-category data classification, Journal of Neurocomputing, 67, 426- 435.

51. Joachims, T., 1999, Making large-scale support vector machine learning practical, In

Schölkopf, B., Burges, C. and Smola, A. editors, Advances in Kernel Methods - Support

Vector Learning, MIT Press, 169-184.

52. Kharechko, A. and Shawe Toylor, J., 2004, Text categorization via ellipsoid separation,

Learning Methods for Text Understanding and Mining Workshop (26-29 January),

Grenoble, France.

53. Kim, J., Suga, Y. and Won, S., 2006, A New approach to fuzzy modeling of nonlinear

dynamic systems with noise: relevance vector learning mechanism, IEEE Trans. on Fuzzy

Systems, 14, 2, 222-231.

54. Konno, H., Gotoh, J., Uryasev, S. and Yuki, A., 2002, Failure discrimination by

semidefinite programming. Financial Engineering, Supply Chain and E-commerce, edited

by P. Pardalos and V. Tsitsiringos, Kluwer Academic Publisher.

55. Kosko, B. 1996, Fuzzy engineering. Prentice Hall, New Jersey.

56. Kruss, M., 2002, Nonlinear multivariate analysis with geodesic kernels, Berlin Technical

University, Thesis.

57. Kuncheva, L. I., 2000, Fuzzy Classifier Design. Physica-Verlag, New York.

58. Lee, Y.-J. and Mangasarian, O.L., 2001, SSVM: A smooth support vector machine,

Computational Optimization and Applications, 20, 5-22.

59. Leski, J. M., 2005, TSK-Fuzzy modeling based on ε-Insensitive learning, IEEE Trans. on

Fuzzy Systems, 13, 2, 181-193.

60. Lin, C.-J. and Lin, C.-T., 1997, An ART-based fuzzy adaptive learning control network,

IEEE Trans. on Fuzzy Systems, 5, 477-496.

61. Lin, H. T. and Lin, C. J., 2003, A study on sigmoid kernels for SVM and the training of

non-PSD kernels by SMO-type methods, Technical report, Department of Computer

Science and Information Engineering, National Taiwan University.

62. Lin, C. F. and Wang, S. D., 2002, Fuzzy support vector machines, IEEE Trans. on Neural

Networks 13, 2, 464-471.

63. Lin, C.-T., Yeh, C.-M., Liang, S.-F., Chung, J.-F. and Kumar, N., 2006, Support-vector-

110

based fuzzy neural network for pattern classification, IEEE Trans. on Fuzzy Systems, 14,

1, 31-40.

64. Lyhyaoui, A., Martinez, M., Mora, I., Vaquez, M., Sancho, J. L. and Figueiras-Vidal, A.

R., 1999, Sample selection via clustering to construct support vector-like classifiers, IEEE

Trans. on Neural Networks, 10, 1474-1481

65. Mayoraz, E. and Alpaydin, E., 1999, Support vector machines for multi-class

Classification, IWANN’99 (June), Alicante, Spain, 833-842.

66. Mangasarian, O. L., 2002, A finite Newton method for classification problems,

Optimization Methods and Software, 17, 913-929.

67. Mangasarian, O. L. and Lee, Y.-J. 2000, Reduced support vector machines, Technical

Report 00-07, Data Mining Institute, Computer Sciences Department, University of

Wisconsin, Madison, Wisconsin.

68. Mangasarian, O. L. and Musicant, D. R., 2000, Active support vector machine

classification, Technical Report 00-04, Data Mining Institute, Computer Sciences

Department, University of Wisconsin, Madison, Wisconsin.

69. Mangasarian, O. L. and Musicant, D. R., 2001, Lagrangian support vector machines,

Journal of Machine Learning Research, 1, 161-177.

70. Mao, K. Z. and Huang, G., 2005, Neuron selection for RBF neural network classifier

based on data structure preserving criterion, IEEE Trans. on Neural Networks, 16, 6,

1531-1540.

71. Mill, J. and Inoue, A., 2003, An application of fuzzy support vectors, Proceedings of the

22nd North American Fuzzy Information Processing Society (July 24-26), Chicago,

Illinois, 302-306.

72. Murphy, P. M. and Aha, D. W., 1992, UCI repository of machine learning databases,

www.ics.uci.edu/~mlearn/METAepository.html.

73. MATLAB. User’s Guide. The MathWorks, Inc., Natick, MA 01760, 1994-2001.

http://www.mathworks.com.

74. Marchand, M., Shawe-Taylor, J., 2002, The set covering machine, Journal of Machine

Learning Research, 3, 723-746.

75. Odewahn, S., Stockwell, E., Pennington, R. L., Humphreys, R. M. and Zumach, W. A.,

1992, Automated star/galaxy discrimination with neural networks, Astronomical Journal,

103, 1, 318-331.

76. Platt, J. C., Cristianini, N. and Shawe-Taylor, J., 2000, Large margin DAG’s for

multiclass classification, Advances in Neural Information Processing Systems, MA: MIT

Press, Cambridge, 12, 547-553.

111

77. Poggio, T., Torre, V. and Koch, C., 1985, Computational vision and regularization theory,

Nature, 317, 314-319.

78. Poggio, T. and Girosi, F., 1990, Networks for approximation and learning, Proceedings of

the IEEE, 78, 10, 1481-1497.

79. Potra, F. A. and Liu, X., 2004, Pattern separation and prediction via linear and

semidefinite programming with application to cancer research, Technical Report

(January), UMBC.

80. Ratsch, G., Mika, S., Schölkopf, B. and Muller, K.-R., 2003, Constructing boosting

algorithms from SVMs: an application to one-class classification, IEEE Trans. on Pattern

Analysis and Machine Intelligence, 24, 9, 1184-1199.

81. Reilly, D. L., Cooper, L. N. and Elbaum, C., 1982, A neural model for category learning,

Biological Cybernetics, 45, 35-41.

82. Rifkin, R. M, 2002, Everything old is new again: a fresh look at historical approaches in

machine learning, PhD. Thesis, Massachusetts Institute of Technology.

83. Roger, J., Sun, C.-T. and Mizutani, E., 1994, Neuro-fuzzy and Soft Computing. Prentice

Hall,

84. Rosen, J. B., 1965, Pattern separation by convex programming, Journal of Mathematical

Analysis and Applications, 10, 123-134.

85. Sahbi, H. and Boujemaa, N., 2005, Validity of fuzzy clustering using entropy

regularization, Proceedings of the IEEE International Conference on Fuzzy Systems (May

22-25), Reno, USA, 177- 182

86. Schlesinger, M. I. and Hlavac, V., 2002, Ten Lectures on the Statistical and Structural

Pattern Recognition. Kluwer Academic Publishers.

87. Schölkopf, B., Williamson, R., Smola, A. and Platt, J., 2000, Support vector method for

novelty detection, Advances in Neural Information Processing Systems, 12, 582-588.

88. Schölkopf, B. and Smola, A. J., 2002, Learning With Kernels: Support Vector Machines,

Regularization and Beyond. The MIT Press, Cambridge.

89. Smola, A. and Schölkopf, B., 1998, A tutorial on support vector regression, Technical

Report NC2-TR-1998-030, ESPRIT Working Group in Neural and Computational

Learning II (October).

90. Smola, A., Schölkopf, B. and Müller, K.-R., 1998, The connection between regularization

operators and support vector kernels, Neural Networks, 11, 4, 637-649.

91. Smola, A. and Schölkopf, B., 1998, From regularization operators to support vector

kernels, Advances in Neural Information Processing Systems, San Mateo, CA, 10, 343-

349.

112

92. Sturm, J. F., 1999, Using Sedumi 1.02, A Matlab toolbox for optimization over symmetric

cones. Optimization Methods and Software, Special issue on Interior Point Methods (CD

supplement with software), 11-12, 625-653.

93. Suykens, J., Gestel, T. V., Brabenter, J. D., Moor, B. D. and Vandewalle, J., 2002, Least

Squares Support Vector Machines. World Scientific, New Jersey.

94. Sun, P., 2004, Computation of minimum volume covering ellipsoids, Operations Research

52, 5, 690-706.

95. Tax, D., 2001, One class classification, Ph.D Thesis, Technische Universität Delft.

96. Tax, D. and Duin, R., 1999, Support vector domain description, Pattern Recognition

Letters, 20, 1191-1199.

97. Tsujinishi, D. and Abe, S., 2003, Fuzzy least squares support vector machines,

Proceedings of the International Joint Conference on Neural Networks (July 20-24),

Portland, Oregon, 1599-1604.

98. Uçar, A., Demir, Y. and Güzeliş, C., 2003, Support vector machines as zero order and

first order adaptive fuzzy inference systems and their applications on system

identification, 10th International Fuzzy Systems Association World Congress-IFSA'03

(29 June 2-July), Istanbul Turkey, 421-424.

99. Uçar, A., Demir, Y. and Güzeliş, C., 2003, Fuzzy model identification using support

vector clustering method, Springer Verlag, Lecture Notes in Computer Science, 2714,

225-233.

100. Uçar, A., Demir, Y. and Güzeliş, C., 2006, A New formulation for classification by

ellipsoids, Springer-Verlag Berlin Heidelberg 2006, TAINN 2005, LNAI 3949, 100-106.

101. Vapnik, V. N., 1995, The Nature of Statistical Learning Theory. Springer-Verlag, New

York.

102. Vapnik, V. N., 1998, Statistical Learning Theory. John Wiley & Sons, New York.

103. Wahba, G., 1987, Three topics in ill-posed inverse problems, M. Engl and G. Groetsch,

editors, Inverse and Ill-Posed Problems, Academic Press, Inc., 37-50.

104. Wang, J., Neskovic, P. and Cooper, L. N., 2005, Pattern classification via single spheres,

Lecture Notes in Artificial Intelligence, 3735, 241-252.

105. Wang, L. X. and Mendel, J. M., 1992, Fuzzy basis functions, universal approximation,

and orthogonal least squares learning, IEEE Trans. on Neural Networks, 3, 807-814.

106. Weston, J. and Watkins, C., 1999, Support vector machines for multi-class pattern

recognition, Proceedings of the Seventh European Symposium on Artificial Neural

Networks (April 21–23), Bruges.

107. Wu, K. and Yap, K.-H., 2006, Content-based image retrieval a pseudo-label support

113

vector machine framework, IEEE Computational Intelligence Magazine (May), 1, 10-16.

108. Yıldırım, E. A., 2001, An interior-point perspective on sensitivity analysis in linear

programming and semidefinite programming, Ph.D. Thesis, Cornell University.

109. Yee, P. and Haykin, S., 1999, A dynamic regularized radial basis function network for

nonlinear nonstationary time series prediction, IEEE Trans. on Signal Processing, 47, 9,

2503-2521.

110. Zhang, B., 2001, Is the maximal margin hyperplane special in a feature space? Technical

Report, HP Laboratories Palo Alto.

111. Zhang, L., Zhou, W. and Jiao, L., 2004, Hidden space support vector machines, IEEE

Trans. on Neural Networks, 15, 6, 1424-1434.

ÖZGEÇMİŞ

Adı Soyadı: Ayşegül UÇAR

Doğum Tarihi: 25 Mayıs 1977

Öğrenim Durumu:

Derece Bölüm/ Üniversite Yıl

Lisans Elektrik-Elektronik Mühendisliği Bölümü, Fırat Üniversitesi

1994-1998

Yüksek Lisans Elektrik-Elektronik Mühendisliği Bölümü, Devreler ve Sistemler Anabilim Dalı, Fırat Üniversitesi

1998-2000

Doktora Elektrik-Elektronik Mühendisliği Bölümü, Devreler ve Sistemler Anabilim Dalı, Fırat Üniversitesi

2000-2006

Yüksek Lisans Tez Başlığı ve Tez Danışmanı:

Fuzzy-Nöral ve Yapay Sinir Ağları ile Lineer Olmayan Sistemlerin Modellenmesi ve Kontrolü,

Doç. Dr. Yakup Demir

Görevler:

Görev Unvanı Görev Yeri Yıl

Arş.Gör. Fırat Üniversitesi, Mühendislik Fakültesi, Elektrik-Elektronik Mühendisliği Bölümü

Kasım 2000-…

Documents

DESTEK VEKTÖR MAKİNE TABANLI BULANIK SİSTEMLER, YENİ … · DESTEK VEKTÖR MAKİNE TABANLI BULANIK SİSTEMLER, YENİ BİR GÜRBÜZ SINIFLAYICI VE REGRESÖR TASARIMI Ayşegül