Algorytmy immunologiczne

Algorytmy immunologiczne

Dr inż. Michał Beretap. 144 / 10, Instytut Informatyki

[email protected]@torus.uck.pk.edu.pl

www.michalbereta.pl

mailto:[email protected]

mailto:[email protected]

http://www.michalbereta.pl/

Zapobieganie przedwczesnej zbieżności

• Przedwczesna zbieżność ma miejsce, kiedy algorytm ewolucyjny traci zdolność przeszukiwania przestrzeni rozwiązań przed osiągnięciem optimum globalnego.

• Nie można mu zapobiec całkowicie, gdyż wynika on z nacisku selektywnego

Zapobieganie przedwczesnej zbieżności

Zapobieganie przedwczesnej zbieżności• Połączenie algorytmu ewolucyjnego i metod

optymalizacji lokalnej• Uwzględniania czasu życia osobników• Deformacje funkcji przystosowania• Uzależnienie nacisku selektywnego nie tylko od

funkcji przystosowania lecz również od jego genotypu• Metody generacji populacji początkowej• Związek odporności AE od liczności populacji

Połączenie algorytmu ewolucyjnego i metod optymalizacji lokalnej

Zakładamy, że istnieje algorytm przeszukiwania lokalnego, który każdemu chromosomowi znajdującemu się w obszarze przyciągania danego optimum lokalnego przyporządkowuje to optimum lokalne.

Przykład: Algorytm opt-2 w problemie komiwojażera

uruchamiany dla każdego chromosomu.


Korzyści:

AE szybko lokalizuje obiecujące obszary w przestrzeni poszukiwań, jednak znalezienie dokładnej wartości optimum (dostrajanie) jest żmudnym i długotrwałym procesem.


Sposoby łączenie AE i metod lokalnych• Przeszukiwanie lokalne jako dodatkowy

operator genetyczny• Przeszukiwanie lokalne jako jeden z

elementów odwzorowania genotypu w fenotyp


Przeszukiwanie lokalne jako dodatkowy operator genetyczny

• Osobnik X jest zastępowany przez osobnika Y uzyskanego w wyniku optymalizacji lokalnej

• Można wykonać jedynie kilka kroków optymalizacji lokalnej

• Może to prowadzić do przyspieszenia ewolucjiPrzykład:Korzystanie z gradientu funkcji


WadaWykorzystanie optymalizacji lokalnej jest

źródłem dodatkowego nacisku selektywnego, które może wprowadzić tendencję do preferowania maksimów lokalnych.

Należy dbać wtedy o zachowanie różnorodności osobników w populacji.


Przeszukiwanie lokalne jako jeden z elementów odwzorowania genotypu w fenotyp

• Wykorzystywane podczas obliczania funkcji przystosowania osobnika

• Oryginalny chromosom X (jego fenotyp) stanowi punkt startowy dla metody lokalnej. Uzyskiwany jest osobnik Y oraz jego ocena.

• Dysponujemy dwoma osobnikami i dwiema wartościami funkcji oceny.


Dysponujemy dwoma osobnikami i dwiema wartościami funkcji oceny. Można je wykorzystać na kilka sposobów.

1. Wartości Y oraz F(Y) są zapamiętywane, lecz nie są wprowadzane do populacji bazowej (mogą być wykorzystane podczas oceny osobników lub w kryterium zatrzymania)




2. Wartość F(Y) jest traktowana jako wartość przystosowania osobnika X (efekt Baldwina)




2. Wartość F(Y) jest traktowana jako wartość przystosowania osobnika X (efekt Baldwina)

3. Osobnik Y zastępuje osobnika X, wykorzystywana jest funkcja oceny F(Y) (ewolucja lamarkowska)


Baldwin (amerykański ewolucjonista) doszedł do wniosku, że genotyp osobnika określa jego predyspozycje, które w wyniku

• doświadczeń,• oddziaływań środowiska• uczenia się prowadzą do modyfikacji fenotypu i zwiększania funkcji

przystosowania.Przyczyną występowania wspólnych cech nie jest

dziedziczenie cech nabytych lecz jedynie predyspozycji.


Efekt Baldwina • Jest to przypisanie osobnikowi wartości funkcji

przystosowania , która jest wynikiem działania metody optymalizacji lokalnej, modelującej proces adaptacji fenotypowych cech osobnika do warunków środowiska

• Metoda lokalna działa na fenotypie • Z punktu widzenia osobników funkcja przystosowania

przybiera postać wielu płaskowyżów, z których każdy pokrywa się z obszarem przyciągania maksimum (minimum) lokalnego


Efekt Baldwina


Lamarkizm• Hipoteza rozwoju gatunków polegająca na

dziedziczeniu cech nabytych w trakcie życia osobniczego.

• Współczesny ewolucjonizm odrzuca ten pogląd z powodu braku dowodów na istnienie mechanizmów modyfikacji genotypów na podstawie adaptacji całego organizmu

• Można jednak wykorzystać tę ideę do tworzenia AE


Ewolucja lamarkowska• W AE polega na tym, że znaleziony w wyniku

optymalizacji lokalnej nowy osobnik Y zastępuje osobnika oryginalnego X.

• W wyniku tego cała populacja jest ściągana do optimów lokalnych i następuje zmniejszenie różnorodności populacji – algorytm ma bardzo eksploatacyjny charakter.


Ewolucja lamarkowskaZastępowanie powoduje niebezpieczeństwo zaniku różnorodności populacji


Ewolucja lamarkowskaZastępowanie powoduje niebezpieczeństwo zaniku różnorodności populacji

Takie same lub bardzo podobne osobniki.


Ewolucja lamarkowska - wady• Mało odporna na pułapki ewolucyjne – potrzebne

makromutacje by uciec z minimów lokalnych• Mechanizm ten może utrudniać powstawanie

osobników tzw. „ogniw pośrednich” – zazwyczaj gorszych niż chromosomy bliskie lokalnych optimów.

• Wymaga dodatkowych mechanizmów zwiększających różnorodność populacji

Uwzględniania czasu życia osobników

Sukcesja elitarna gwarantuje przeżycie najlepszego osobnika

• Zaleta – szybsza zbieżność algorytmu• Wada – mała odporność na pułapki

ewolucyjne oraz zaburzenia procesu samoczynnej adaptacji (np. parametrów mutacji)


Możliwe rozwiązanie• Wprowadzenie maksymalnego czasu życia osobnika

– Ze starej populacji bazowej usuń wszystkie osobniki, których czas życia przekroczył limit

– Wyłoń elitę z pozostałych osobnikówTaki schemat wprowadzono w strategiach ewolucyjnych (μ, κ, λ)μ – rozmiar populacji bazowejκ – maksymalny czas życia λ – rozmiar populacji potomnej

Rozmiar populacji jest stały.


Możliwe rozwiązanie 2• Uzależnić czas życia osobnika od wartości jego

przystosowania oraz przystosowania innych osobników w populacji w poprzednich k pokoleniach

• Zmienny rozmiar populacji• Należy określić postać funkcji fl(X) przydzielającej długość

życia osobnikom w momencie ich powstawania• Reprodukcja zachodzi z jednakowym prawdopodobieństwem

dla każdego• Im lepszy osobnik tym więcej potomstwa wyda, gdyż dłużej

żyje


)()(minmax

minmaxmin XF

FFlllXfl

Funkcja liniowa

lmax – maksymalny czas życialmin – mininalny czas życialav = (lmin + lmax)/2 – średni czas życia Fmin, Fmax, Fav – minimalna, maksymalna i średnia wartość funkcji przystosowania w pewnym oknie czasowym


)(,min)(min

minminmax XF

FFllllXf

av

avl

Funkcja proporcjonalna



avav

avav

avav

av

l

FXFforXFFFlll

FXFforXFFFlll

Xf)()(

)()()(

max

max

min

minmin

Funkcja biliniowa



Liczba nowych potomków w każdej iteracji• Stała wartość λ – bardziej stabilny algorytm –

skończona maksymalny rozmiar populacji λ*(lmax+1)

• Stała proporcja λ/μ – rozmiar populacji może rosnąć w nieskończoność


• Eksperymenty pokazują, że właściwości tego algorytmu w niewielkim stopniu zależą od liczności początkowej populacji bazowej.

• Oznacza to, że można uniknąć kłopotliwego dobierania optymalnej liczności populacji bazowej.

Optymalizacja wielomodalna

• Funkcja przystosowania nie zawsze uwzględnia wszystkie elementy mające wpływ na jakość rozwiązania

• Wynikać to może z pewnych niemierzalnych cech (np. estetyka rozwiązania) bądź koniecznych uproszczeń zastosowanych w modelu

• Oznacza to, że w zbiorze rozwiązań globalnych zadania mogą występować lepsze i gorsze

• Może się okazać, że ostatecznie wybrane zostanie jedno z rozwiązań lokalnie optymalnych


• Mając to na uwadze, czasami warto prowadzić poszukiwania wielu rozwiązań optymalnych oraz suboptymalnych

• Optymalizacja wielomodalna ma na celu znalezienie jak największej liczby jak najlepszych, różnych maksimów funkcji przystosowania.


• Podstawowym wymogiem w ewolucyjnej optymalizacji wielomodalnej jest utrzymywanie różnorodności populacji

• Przeszkodą w osiągnięciu tego celu jest globalny zasięg działania selekcji

• W czasie selekcji konkurują ze sobą wszystkie osobniki, w wyniku czego pod koniec ewolucji w populacji dominują potomkowie najlepszego z nich


Rozwiązanie problemu• Dodanie czynnika losowego, niezależnego od

stanu populacji• Zmniejszenie zasięgu selekcji – ograniczenie

konkurencji do osobników podobnych do siebie w przestrzeni genotypów. Mowa jest wtedy o kształtowaniu się nisz


Dodanie czynnika losowego, niezależnego od stanu populacji• Wprowadzanie osobników losowych (tzw. technika

losowych imigrantów)• Część populacji potomnej powstaje w wyniku operacji

genetycznych na aktualnej populacji, część jest losowo wygenerowanymi nowymi osobnikami

• Ułatwia uniknięcia optimów lokalnych ale prowadzi do wolniejszej zbieżności

• Można to traktować jako operator genetyczny podobny do mutacji


Dodanie czynnika losowego, niezależnego od stanu populacji

• Okresowa odnowa algorytmu (algorytm ewolucyjny z odnową lub algorytm z destrukcyjnym restartem)

• Polega na wykonaniu ciągu powiązanych ze sobą AE• Pierwszy algorytm zaczyna od całkowicie losowej populacji

początkowej• Kolejne uruchomienia są inicjowane na podstawie

rozwiązań otrzymanych z poprzedniego uruchomienia algorytmu poprzez wykorzystanie mutacji o dużym zasięgu


Dodanie czynnika losowego, niezależnego od stanu populacji

• Losowe zaburzenia funkcji przystosowania• Polega na dodaniu szumu do funkcji przystosowania,

tak że jej wartość staje się zmienną losową• Najczęściej wykorzystywany jest rozkład normalny o

zerowej wartości średniej i wariancji stałej bądź zmniejszanej wraz z kolejnymi generacjami

• Metoda dobrze radzi sobie z „płytkimi” pułapkami ewolucyjnymi


Wyłanianie nisz1. Wyróżnianie podpopulacji na podstawie

odległości genotypów, podział jest odnawiany co jakiś czas

2. Koewolucja – równoległa ewolucja wielu autonomicznych populacji z częściową wymianą materiału genetycznego

3. Lokalna deformacja funkcji przystosowania

Osłabienie konkurencyjności w ramach selekcji

Metoda podziału przystosowania (ang. fitness sharing)• Polega na obniżeniu wartości funkcji przystosowania

osobnika w stopniu proporcjonalnym do liczby osobników w jego otoczeniu

• Wymagane jest określenie postaci funkcji podziału fs • Na nową wartość oceny wpływa ocena wszystkich

osobników w populacji

Fitness sharing

Zmodyfikowana funkcja przystosowania

Gdzie |X-Y| jest metryką w przestrzeni genotypówFunkcja fs(d) powinna spełniać warunki:

tPYs YXfXFXF

|)(|)()('

1)(0 df s 1)0( sf 0)(lim

df sd

Fitness sharing

Oddziaływanie funkcji podziału na funkcję przystosowania polega na obniżaniu jej w miejscach, w których gęstość liczby osobników jest duża.

Fitness sharing

Populację osobników Y, dla których fs(|X-Y|)>0 nazywa się niszą.

Algorytm wykorzystujący tę technikę nazywamy algorytmem niszowym (ang. niching evolutionary algorithm)

Fitness sharing

Przykład dla funkcji

gdzie σshare - rozmiar otoczenia wokół danego rozwiązaniaα – parametr skalujący

otherwise

difddf share

shares

0

1)(

Fitness sharing

Fitness sharing

σshare = 3.0 α = 0.5

Fitness sharing

Może się zdarzyć, że chromosomy znajdujące się blisko globalnego maksimum będą miały tak obniżoną wartość funkcji przystosowania, że będą miały problemy z przekazaniem swoich genów.

Może wtedy dojść do „migotania” populacji czyli oscylacji między obszarami przyciągania różnych maksimów.

Fitness sharing

Migotania można się pozbyć ustalając mianownik związany z podziałem jako różny dla każdego osobnika.

Z dwóch osobników identycznych większą ocenę otrzyma osobnik, który jako pierwszy był brany pod uwagę.

1

1|)(|

)()(' i

j jis

ii

YXfXFXF

Metody grupowania w AE

AE można zmodyfikować w taki sposób, by przed wykonaniem reprodukcji populację bazową Pt podzielić na v rozłącznych populacji Pt

c

c= 1..vDla każdej z grup wykonuje się osobno selekcję i

operacje genetyczne.Podpopulacje mogą się zmieniać z generacji na

generację.

Metody grupowania w AE

Grupowanie polega na wyodrębnieniu takich grup, by osobnik w obrębię każdej grupy był maksymalnie do siebie podobne i maksymalnie się różniły od osobników w innych grupach.

AlgorytmyC-means (k-średnich)Fuzzy C-meansitp.

Preselekcja

• Metoda podobna do metod bazujących na grupowaniu

• Polega na modyfikowaniu sukcesji, podczas której uwzględnia się, oprócz wartości funkcji przystosowania, również relację między genotypami osobników.

Preselekcja

Schemat: • Po utworzeniu nowego osobnika zwyczajnym

sposobem (selekcja + operatory genetyczne) z populacji bazowej usuwany jest jeden osobnik

• Po zakończenie cyklu reprodukcji i operatorów genetycznych populacja potomna i resztki populacji bazowej tworzą nową populację bazową

Preselekcja

Dwa sposoby wyboru osobników do wymiany• Jeden z osobników rodzicielskich (np. o najmniejszej

wartości funkcji przystosowania jeśli jest gorszy od potomka)

• Osobnik z populacji, który jest najbardziej podobny do potomka (ścisk) (niezależnie od jego oceny)

• Schemat ze ściskiem: w celu przyspieszenia obliczeń można wybrać pewien podzbiór osobników populacji bazowej (o liczności k – współczynnik ścisku), spośród których wybrany zostanie osobnik do odrzucenia.

Deformacje funkcji przystosowania w otoczeniu maksimum lokalnego

Begink=0while( not koniec alg. nadrzędnego)BeginXk = wynik ewolucji z funkcją Fk(X)Fk+1(X) = deformacja(Fk(X), Xk)k = k + 1End

End


Modyfikacja f. przystosowania zależy od maksimum znalezionego w ostatnim uruchomieniu AE.


Deformacja

gdzie σi(Pk) to standardowe odchylenie wartości genu Xi osobników w populacji bazowej w ostatniej generacji algorytmu o numerze k.

n

i ki

iikkk P

XXXFXFXF1

2

1 )(exp)()()(



σi(Pk) * 1


σi(Pk) * 2


σi(Pk) * 3


σi(Pk) * 4


Deformacja: (algorytm sekwencyjnego niszowania):

gdzie α jest parametrem odpowiadającym za stromość funkcji

deformującej, r określa zasięg deformacji

),()()(1 kkk XXGXFXF

1,||min),(

rXXXXG k

k


Deformacja: (algorytm sekwencyjnego niszowania):

• Kluczowe znaczenie ma zasięg deformacji.• Zbyt małe r może powodować powstawanie

dodatkowych maksimów funkcji przystosowania

• Zbyt duże r może prowadzić do zaniku części optimów

Inicjalizacja populacji bazowej

• Mało badań teoretycznych i eksperymentów• Wynika to z przekonania o skuteczności

algorytmu bez względu na początkową populację

• W praktyce początkowa populacja może mieć wpływ na szybkość zbieżności algorytmu


• W celu zapewnienia algorytmowi jak najlepszych warunków początkowych należy dbać o jak największe zróżnicowanie populacji początkowej (najczęściej z wykorzystanie rozkładu równomiernego)

• Z drugiej strony, jeśli wiemy coś o zadaniu i potrafimy wskazać obiecujące obszary przestrzeni poszukiwań to warto tam wykonać nierównomierny posiew (gęstsze próbkowanie w obiecujących regionach)


Znaczenie generatora liczb pseudolosowych• Równomierne rozłożenie w przestrzeni ma

bardzo duże znaczenie w fazie inicjalizacji populacji początkowej

• Należy używać generatorów liczb pseudolosowych o małej dyskrepancji


DyskrepancjaRozważmy ciąg k punktów X1, X2, .. , Xk w n-wymiarowej kostce jednostkowej [0, 1]n Każdy punkt ma przypisaną wagę wi (najczęściej

wi=1/k)Dowolna kostka [0, t) = [0, t1) x [0, t2) x … x [0, tn)

ma objętość równą t1*t2*…*tn


Dyskrepancja

t2

t11

1

Inicjalizacja populacji bazowejDyskrepancjaObjętość tę można przybliżać przez stosunek ważonej liczby

punktów zawartych w tej kostce do ważonej liczby k wszystkich punktów.

Błąd przybliżenia

k

jj

k

jjtjn

iijjnk

w

XwtwXt

1

1),0[

1,

)(}){},{,(

funkcja charakterystyczna zbioru

),0[1),0[0

),0[ tXiftXif

j

jt


Dyskrepancja

t2

t11

1

Inicjalizacja populacji bazowejDyskrepancjaAproksymacja dowolnej kostki będzie tym lepsza im bardziej

równomiernie będą rozmieszczone punkty.Jako miarę równomierności rozkładu punktów można przyjąć błąd

takiej aproksymacji (dyskrepancja zbioru punktów)

}){},{,(sup}){},({ ,]1,0[

, jjnkt

jjnk wXtwXn

Znaczenie liczności populacji bazowej

Powinna być mała gdyż• Mała liczność zapewnia elastyczność AE• Mało liczne populacje wykazują silniejsze

tendencje do opuszczania obszaru przyciągania maksimum lokalnego funkcji przystosowania

• Duże populacje mają tendencję do „osiadania” w optimach lokalnych


Powinna być duża gdyż• Lepsze wyniki można otrzymać przetwarzając

populację o dużej liczbie osobników – wynika to z twierdzenia o schematach, którego wyniki otrzymuje się przy założeniu nieskończonej populacji bazowej


Inny pogląd mówi, że wraz ze wzrostem liczebności populacji, wzrasta jego odporność na optima lokalne, lecz wzrost ten ma charakter nasycający się i po przekroczeniu pewnej wielkości nie ma już zysku.

Wadą z kolei jest potrzeba wykonywania kosztownych obliczeń funkcji przystosowania dla dużej liczby osobników.


Odporność algorytmu zależy od• Możliwości opuszczenia przez populację obszaru

przyciągania optimum lokalnego (łatwiejsze gdy populacja jest mniej liczna, gdyż nie ma tak wielu konkurentów dla zmutowanych osobników stanowiących ogniwa przejściowe)

• Możliwości wygenerowania punktu w populacji początkowej, który znajduje się w obszarze przyciągania optimum globalnego (łatwiejsze dla większej liczby osobników)

Równoległość w algorytmach ewolucyjnych

Algorytmy ewolucyjne są technikami szczególnie nadającymi się do zrównoleglania, gdyż naraz przetwarzanych jest wiele niezależnych osobników.

Równoległość można rozważać na etapie• Implementacji (selekcja nadal scentralizowana)• Koncepcji (decentralizacja selekcji – algorytmy

koewolucyjne)

Równoległość w algorytmach ewolucyjnych

Implementacje równoległe• Zrównoleglenie na poziomie obliczania funkcji

przystosowania pojedynczego osobnika• Zrównoleglenie obliczania przystosowania

populacji• Zrównoleglenie reprodukcji i operacji

genetycznych

Algorytmy koewolucyjne

Zasada koewolucjiGlobalne oddziaływania selekcji i krzyżowania

stają się lokalne• Algorytm wyspowy (podpopulacyjny)• Algorytm komórkowy (masowo równoległy,

dyfuzyjny)


Algorytm wyspowy (podpopulacyjny)• Składa się z wielu populacji, które ewoluują

niezależnie od siebie, wymieniając co jakiś czas informacje np. część osobników (emigranci)

• W każdej grupie może obowiązywać inna funkcja przystosowania (często wynikać to może z próby dekompozycji zadania)


Algorytm komórkowy (masowo równoległy)• Uznawany za skuteczną technikę optymalizacji

wielomodalnej• W populacji obowiązuje pewna arbitralnie

wybrana topologia nie związana z topologią przestrzeni genotypów

• Dla każdego osobnika X jest zdefiniowane sąsiedztwo Nr(X) gdzie r to to promień sąsiedztwa


Algorytm komórkowy (masowo równoległy)• Każdy osobnik podlega ewolucji niezależnie, tzn. wchodzi

w interakcję (selekcja, krzyżowanie, mutacja) tylko z osobnikami ze swego sąsiedztwa

• Powstaje osobnik Y, z którym konkuruje X (może zostać zastąpiony lub nie)

• Nazwa dyfuzyjny odzwierciedla sposób rozprzestrzeniania się nowych, dobrych rozwiązań

• Im więcej osobników w sąsiedztwie tym większy zasięg selekcji


Algorytm komórkowy (masowo równoległy)Przykład topologii

Populacja 36 osobników.

Wyróżniony osobnik i jego sąsiedztwo.

Ta przestrzeń nie ma nic wspólnego z przestrzenią rozwiązań, która może być np. 20-to wymiarowa.

KONIEC

Documents

Algorytmy immunologiczne