Semi-Supervised Learning

İÇERİK

1.Supervised Learning

2.Unsupervised Learning

3.Semi-Supervised Learning

4.Semi-Supervised Learning Algorithms

Supervised Learning

Supervised Learning: etiketli verilerden

öğrenmedir. Yapay öğrenmede yoğun olarak

kullanılır.

Ör: Spam mailleri önemli mesajlardan ayıran

bir email sınıflayıcısını ele alalım:

Supervised Learning

M adet örnek alarak spam olanları ve olmayanları

etiketleyelim.

Supervised Learning

M örnek kümesi Destek Vektör Makineleri, Karar

Ağaçları gibi yöntemlerle eğitilir.

Elde edilen eğitim kümesi yeni emaillerin

ayıklanmasında kullanılır.

Kullanım Alanları

Ses Tanıma

Sürücüsüz Araç Sistemleri

Doküman Sınıflama

Yüz Tanıma, Görüntü Tanıma

UnSupervised Learning

Etiketli veri elde etmek pahalıdır ve her zaman

verileri etiketlemek mümkün olamayabilir.

Bunun yanında,

Etiketsiz veriler çok daha ucuzdur.

UnSupervised Learning

Görev: Konuşma analizi

Telefon Görüşme Kayıtları

1 saatlik veriyi tanımlayabilmek için 400 saatlik

fonetik seviyede veri setine ihtiyaç duyulur

film f ih_n uh_gl_n m

be all bcl b iy iy_tr ao_tr ao l_dl

Etiketli küçük veri setleri ve etiketsiz büyük veri setleri

ile öğrenmedir.

Semi-Supervised Learning Algoritmaları:

Self Training

Generative Models

S3VMs (Transductive SVM)

Graph-Based Algorithms

Multiview Algorithms

Semi-Supervised Learning

Self-Training Algorithm

Algoritma

»»𝑋𝑢 : Etiketsiz veri »»(𝑋1, 𝑌1): etiketli veri »» 𝑓: öğrenici

1. 𝑋1, 𝑌1 veri setinden 𝑓 ‘yi eğit

2. 𝑥 ∈ 𝑋𝑢 tahmin et

3. 𝑥, 𝑓 𝑥 etiketli verilere ekle

4. Tekrar et

Self-Training Algorithm

Çeşitli uygulama şekilleri:

Yüksek güven düzeyine sahip olanları 𝑥, 𝑓 𝑥 ekle

Etiketlenen tüm verileri 𝑥, 𝑓 𝑥 ekle

Belli ağırlık ölçütüne göre ekle

Self-Training Algorithm

Örnek: Görüntü Tanıma

Resim 10x10 ‘luk küçük parçalara bölünür

Self-Training Algorithm

Her parça normalize edilir

200 görselden oluşan bir sözlük tanımlanır

Renk yoğunluğuna göre

etiketleme yapılır

Self-Training Algorithm

1:0 2:1 3:2 4:2 5:0 6:0 7:0 8:3 9:0 10:3 11:3 12:0 13:0 14:0 15:0 16:3 17:1

18:0 19:0 20:1 21:0 22:0 23:0 24:0 25:6 26:0 27:6 28:0 29:0 30:0 31:1 32:0 33:0 34:0

35:0 36:0 37:0 38:0 39:0 40:0 41:0 42:1 43:0 44:2 45:0 46:0 47:0 48:0 49:3 50:0 51:3

52:0 53:0 54:0 55:1 56:1 57:1 58:1 59:0 60:3 61:1 62:0 63:3 64:0 65:0 66:0 67:0 68:0

69:0 70:0 71:1 72:0 73:2 74:0 75:0 76:0 77:0 78:0 79:0 80:0 81:0 82:0 83:0 84:3 85:1

86:1 87:1 88:2 89:0 90:0 91:0 92:0 93:2 94:0 95:1 96:0 97:1 98:0 99:0 100:0 101:1

102:0 103:0 104:0 105:1 106:0 107:0 108:0 109:0 110:3 111:1 112:0 113:3 114:0 115:0

116:0 117:0 118:3 119:0 120:0 121:1 122:0 123:0 124:0 125:0 126:0 127:3 128:3

129:3 130:4 131:4 132:0 133:0 134:2 135:0 136:0 137:0 138:0 139:0 140:0 141:1

142:0 143:6 144:0 145:2 146:0 147:3 148:0 149:0 150:0 151:0 152:0 153:0 154:1

155:0 156:0 157:3 158:12 159:4 160:0 161:1 162:7 163:0 164:3 165:0 166:0 167:0

168:0 169:1 170:3 171:2 172:0 173:1 174:0 175:0 176:2 177:0 178:0 179:1 180:0

181:1 182:2 183:0 184:0 185:2 186:0 187:0 188:0 189:0 190:0 191:0 192:0 193:1

194:2 195:4 196:0 197:0 198:0 199:0 200:0

Self-Training Algorithm

1.Adım:

İki etiketli resmi Naive Bayes ile eğit

Self-Training Algorithm

2.Adım:

Etiketsiz veri setinden tahminde bulun

Self-Training Algorithm

3.Adım:

Yüksek benzerlikteki resimleri etiketli kümeye ekle

Self-Training Algorithm

4.Adım:

Tanımlayıcıyı yeniden eğit ve devam et

Self-Training Avantaj-Dezavantaj

Avantajları:

• En basit semi-supervised learning yöntemidir

• Var olan sınıflandırıcılara uygulanabilir

• Doğal dil işleme gibi alanlarda etkin olarak

kullanılabilir

Dezavantajları:

• Güçlü bir eğitim kümesi oluşana kadar hata

yapılabilir

Generative Models

Model parametreleri: 𝜃 = 𝑤1, 𝑤2, 𝜇1, 𝜇2, Σ1, Σ2

Ortak olasılık fonksiyonu:

𝑝 𝑥, 𝑦 𝜃 = 𝑝 𝑦 𝜃 𝑝 𝑥 𝑦, 𝜃

= 𝑤𝑦𝒩(𝑥; 𝜇𝑦 , Σ𝑦)

Bayes kuralı:

Sınıflandırma 𝑝 𝑦 𝑥, 𝜃 =𝑝 𝑥, 𝑦 𝜃

Σ𝑦′𝑝 𝑥, 𝑦 𝜃

Generative Models

Etiketli veriler 𝑋1, 𝑌1 :

Her bir sınıfın Gauss dağılımına

sahip olduğu göz önüne

alındığında, sınır neresi

olmalıdır?

Generative Models

En uygun model ve sınırları:

Generative Models

Etiketsiz veriler eklendiğinde:

Generative Models

Etiketsiz verilerle birlikte,

en uygun model ve sınırları:

Generative Models

Sınıf sınırları farklı çünkü farklı miktarda veri içeriyorlar

𝑝 𝑋1, 𝑌1 𝜃 𝑝 𝑋1, 𝑌1, 𝑋𝑢 𝜃

Transductive Support Vector Machines

Semi-Supervised SVMs = Transductive SVMs

(TSVMs)

Etiketli ve etiketsiz verilerin maksimum sınırı aranır

Transductive Support Vector Machines

TSVM adımları:

• 𝑋𝑢 ‘daki tüm mümkün etiketlenebilecek verileri al

• Her birine standart SVM uygula

• En geniş çerçeveli SVM ‘i seç

Transductive Support Vector Machines

TSVM

+

+

_

_

etiketli veriler

+

+

_

_

+

+

_

_

SVM

Transductive Support Vector Machines

TSVM

+

+

_

_

etiketli veriler

+

+

_

_

+

+

_

_

SVM

Transductive Support Vector Machines

TSVM

+

+

_

_

etiketli veriler

+

+

_

_

+

+

_

_

SVM

Transductive Support Vector Machines

TSVM

+

+

_

_

etiketli veriler

+

+

_

_

+

+

_

_

SVM

Transductive Support Vector Machines

TSVM

+

+

_

_

etiketli veriler

+

+

_

_

+

+

_

_

TSVMSVM

Transductive Support Vector Machines

Avantajları:

• SVM uygulanan her durumda uygulanabilir

• Matematiksel sistemi kolay anlaşılabilirdir

Dezavantajları:

• Optimizasyonu zordur

• Yanlış çözümde hapsolabilir

Graph-Based Methods

Çok sayıda etiketli veri varsa En Yakın Komşuluk Algoritması

kullanılabilir

Çok sayıda etiketsiz veri varsa

bunlar çözüm için bir araç

olarak kullanılabilir

Graph-Based Methods

Elyazısı tanımlamada:

Graph-Based Methods

Metin Sınıflandırma örneği

Astronomi ve Seyahat sınıf

Benzerlik örtüşen kelimelerle

ölçülür

Graph-Based Methods

Etiketli verilerin tek başına yetersiz kaldığı durumlarda,

Örtüşen kelime yok!

Graph-Based Methods

Etiketsiz veriler kullanıldığında:

Etiketler benzer etiketsiz kelimelerle eşleşir.

Graph-Based Methods

• Nodes: 𝑋𝑙 ∪ 𝑋𝑢

• Edges: özelliklerden hesaplanmış benzerlik ağırlıkları

• K-en yakın komşuluk grafiği, ağırlıklandırılmamış (0,1)

• Mesafeye göre ağırlıklandırma

𝑤 = exp −𝑥𝑖−𝑥𝑗

2

𝜎2ile hesaplanır.

• İstenilen: tüm düğümlerde örtüşen benzerlikler

Graph-Based Methods Algorithms

Kullanılan Algoritmalar

• Mincut

• Harmonic

• Local and Global Consistency

• Manifold Regularization

Co-Training

Her bir örnek ya da örneği açıklayan özellik iki alt kümeye

bölünebilir.

Bunların her biri hedef fonksiyonu öğrenmek için yeterlidir.

İki sınıflandırıcı aynı verileri kullanarak öğrenebilir

Ör: web sayfası sınıflandırması için link ve sayfa içeriği

Multiview Algorithms

Co-Training Algoritması

Giriş: İşaretli veri seti L

İşaretsiz veri seti U

Döngü:

L yi kullanarak h1 i eğit (ör: link sınıflandırıcı)

L yi kullanrak h2 yi eğit (ör: sayfa sınıflandırıcı)

h1 ile U da p tane pozitif, n tane negatif veri etiketle

h2 ile U da p tane pozitif, n tane negatif veri etiketle

Etiketlenen en güvenli verileri L ye ekle

Co-Training Deneysel Sonuçlar

12 etiketli web sayfası (L)

1000 etiketsiz web sayfası (U)

Ortalama hata: etiketli veriler ile öğrenmede %11.1

Ortalama hata: Co-training ile öğrenmede %5.0

Sayfa bazlı

sınıflandırma

Link bazlı

sınıflandırma

Birleşik

sınıflandırma

Supervised

Learning

12.9 12.4 11.1

Co-training 6.2 11.6 5.0

Kaynaklar

Olivier Chapelle, Alexander Zien, Bernhard Sch¨olkopf (Eds.). (2006) Semi-

supervised learning. MIT Press.

Xiaojin Zhu (2005). Semi-supervised learning literature survey. TR-1530. University

of Wisconsin-Madison Department of Computer Science.

Matthias Seeger (2001). Learning with labeled and unlabeled data.Technical

Report. University of Edinburgh.