85

SINTESA EKSPRESI WAJAHDENGAN MENGGUNAKAN

RADIAL BASIS FUNCTION NETWORK

Wiwik Anggraeni, Handayani TjandrasaProgram Studi Sistem Informasi, Fakultas Teknologi Informasi, Institut Teknologi Sepuluh NopemberKampus ITS, Jl. Raya ITS, Sukolilo – Surabaya 60111, Tel. + 62 31 5939214, Fax. + 62 31 5913804

Email: wiwik@its-sby.edu, handatj@rad.net.id

ABSTRAKPada penelitian yang sebelumnya [4] telah dilakukan penelitian tentang letak-letak (koordinat) facial

characteristic points (FCP) yang digunakan sebagai dasar untuk mengenali ekspresi-ekspresi wajah manusia.Diantaranya ada enam ekspresi wajah, yaitu gembira, sedih, marah, takut, terkejut, dan jijik yang digunakandalam penelitian tersebut.

Dengan adanya dasar tersebut, maka dalam penelitian ini penulis berusaha mensintesa ekspresi wajah yangdikategorikan menjadikan enam ekspresi dengan menggunakan facial characteristic points tersebut. Prinsipdasar dari mensintesa ekspresi wajah adalah mencari pemindahan spasial relatif facial characteristic pointspada setiap ekspresi.

Permasalahan utamanya adalah bagaimana menghasilkan wajah dengan ekspresi tertentu dari sebuah citrainput wajah tanpa ekspresi. Dengan menggunakan 30 pasang perpindahan titik FCP, dilakukan trainingterhadap Radial Basis Function Network (RBFN) 6 x n x 60 (6 input yang merupakan kadar dari keenamekspresi, n hidden unit, dan 60 output yang merupakan 30 pasang perpindahan FCP, dimana n adalahvariabel). RBFN yang telah ditraining dapat menghasilkan perpindahan FCP sesudai dengan ekspresi yangdiinputkan. Informasi pemindahan FCP ini kemudian dimasukkan ke dalam algoritma Image Warping bersama-sama dengan citra input wajah tanpa ekspresi untuk menghasilkan citra wajah berekspresi tertentu.

Kata kunci : Facial Characteristic Points, Radial Basis Function Network, Sintesa Ekspresi Wajah

1. PENDAHULUAN1.1. LATAR BELAKANG MASALAH

Dalam perkembangan teknologi yang semakincanggih ternyata simulasi ekspresi wajahmempunyai peranan yang sangat besar, antara lain:1. Komunikasi: Sintesa Ekspresi Wajah dapat

digunakan untuk mengurangi bandwidthtransmisi dengan pengkodean ekspresi wajahsaat mentransmisikan wajah pada aplikasitelekonferensi dan video-phone.

2. Pembuatan film: Banyak film-film yangmenggunakan animasi wajah, sepertiTerminator2 dan Robocop2.

3. Riset Medis: Sintesa Ekspresi Wajah dapatmemperluas wawasan tentang kontribusiinformasi visual gerakan wajah dalamhubungannya dengan speech perceptionsehingga analisa proses percepsi pendengarandapat lebih sistematis.

4. Bantuan Pengajaran dan Berbicara: Mengajaricacat pendengaran untuk membaca gerak bibiratau membuat yang bisu dapat berbicaradimudahkan dengan sistem Sintesa EkspresiWajah. Dengan membuat proses belajar sepertipermainan, perhatian murid dapat lebih terpusatsehingga dapat belajar lebih banyak.

1.2. RUMUSAN PERMASALAHANDalam penelitian ini akan disimulasikan

ekspresi wajah normal tanpa ekspresi menjadi wajahyang berekspresi tertentu dengan bantuan komputer.Permasalahn yang terjadi adalah bagaimana caramendapatkan FCp yang ada di dalam wajah,kemudian bagaimana cara kerja RBFN dalammempelajari dan menghasilkan pemindahan FCPuntuk ekspresi tertentu, dan bagaimana cara kerjaimage warping untuk memetakan citra wajah tanpaekspresi menjadi wajah dengan ekspresi tertentusesuai yang diinginkan.

1.3. BATASAN MASALAHBatasan masalah yang diberikan adalah sebagai

berikut:1. Input, berupa citra gray-scale 256 level,

512x512 pixel dengan persyaratan: Wajah frontal tanpa kacamata Tidak ada rotasi pada aksis vertikal. Wajah berada di tengah citra dengan lebar

wajah kurang lebih setengah lebar citra Iluminasi yang baik / tidak buram Daerah wajah yang penting, seperti alis dan

mata, tidak tertutup.2. Ekspresi wajah yang dikategorikan dalam enam

kelompok dasar, yaitu: Gembira, Sedih, Marah,Takut, Kaget, dan Jijik.

Volume 2, Nomor 2, Juli 2003 : 85 – 90

86

3. Input untuk training adalah citra wajah tanpaekspresi dan citra wajah berekspresi tertentu,keduanya dengan persyaratan yang sama dengancitra input untuk sintesa.

2. BLOK DIAGRAM PROSESPada penelitian kali ini, secara garis besar

proses sintesa diawali dengan proses utama yangterdiri dari bagian sampling, bagian training, danbagian testing.

Proses utama dibagi menjadi 3 bagian utamayaitu:1. Sampling

Kegiatannya adalah mengumpulkan data FCPdisplacement dari foto yang diinputkan.Input : wajah tanpa ekspresi dan wajah denganekspresi tertentuOutput : FCP displacement

2. TrainingKegiatan yang dilakukan adalah melatih radialbasis function network untuk mengenali FCPdisplacement berbagai ekspresi

Input : FCP displacementOutput : Miu dan weight

3. TestingDidalam bagian testing pengetahuan yangdimiliki radial basis function network akandigunakan untuk mensintesa ekspresi wajahsesuai dengan ekspresi yang diinginkan.Input : Miu dan Weight serta wajah tanpaekspresiOutput : wajah dengan ekspresi tertentu

Blok diagram dari proses utama dapatdilihat pada gambar berikut :

Gambar 1. Blok diagram proses utama

Blok diagram dari modul sampling digambarkansebagai berikut :

Gambar 2. Blok diagram modul sampling

Sedangkan untuk modul training, blokdiagramnya digambarkan sebgai berikut :

Gambar 3. Blok diagram modul training

Anggraeni, Sintesa Ekspresi Wajah Menggunakan Radial Basis Function Network

87

Di dalam bagian training, foto-foto yangdigunakan untuk training adalah foto berbagaiekspresi yang diambil dari database JAFFE(Japanese Female Facial Expression). Databasetersebut memiliki 213 citra dari 7 ekspresi wajah (6ekspresi wajah dasar + 1 netral) yang diambil darimodel 10 wanita Jepang. Bersama dengan databasetersebut terdapat file yang berisi data rate semantikdari eksperimen psikologi menggunakan citra-citratersebut, karena setiap ekspresi tidak pernah murnidari satu emosi, tapi selalu merupakan gabungan dariberbagai emosi. Ukuran kadar ekspresi yangdigunakan berskala 5 (1-rendah dan 5-tinggi).Contoh foto-foto dari database JAFFE dengan kadarekspresinya dapat dilihat pada gambar berikut :

Gambar 4. Contoh citra pada database JAFFE

Arsitektur Radial Basis Function yangdigunakan dalam penelitian ini dapat dilihat padagambar dibawah. Jumlah Input adalah enam unityang merupakan inputan kadar dari enam ekspresiwajah. Outputnya terdiri dari 60 unit yangmerupakan 30 pasang FCP displacement. Danhidden unitnya adalah variabel yang nilaimaksimalnya adalah 100.

Gambar 5. Arsitektur radial basis function

Fungsi Interpolasinya adalah:

G(.) adalah fungsi aktivasi Gauss:

(1.2)

Perbaikan Weight:

[j,k]=[j,k]+alpha*(Output[k]SampleOutput[k])*g[j] (1.3)

Inputnya berupa vektor yang terdiri dari 6elemen. Sample-sample ini dikelompokkan denganalgoritma ing kMeans menjadi sejumlah (tergantungjumlah hidden unit) dengan pusat Miu. Setiapcluster selain memiliki pusat cluster juga memilikilebar yaitu rata-rata jarak sample dari pusat , Tho

Untuk setiap unit hidden dihitung nilaiGaussnya Nilai Gauss akan diteruskan ke unit outputdengan rumus interpolasi. Kemudian hasilnya akandibandingkan dengan nilai sample output. Perbaikannilai Weight akan dilakukan dengan rumus di atasyang mana perbaikan akan terus dilakukan selamabelum kesalahan lebih kecil daripada nilai toleransierror atau perbaikan sudah dilakukan sebanyaklooping maksimal.

Bagian yang berikutnya adalah bagian testing.Berdasarkan pengetahuan tentang Miu dan weightyang telah diperoleh pada bagian training,berikutnya dapat diperoleh facial characteristicpoints displacement yang kemuadian akanditransformasikan dan diwarping menjadi citrawajah dengan ekspresi tertentu berdasrkan citrawajah tanpa ekspresi yang diinputkan.

Pada proses warping, metode yang digunakanadalah Triangle Image Warping , dengan inputkoordinat FCP hasil RBFN yang telah ditransformasidan koordinat FCP dari wajah tanpa ekspresi.Sedangkan outputnya adalah wajah hasil sintesadengan ekspresi tertentu. Berikut ini adalah gambarsegitiga- segitiga yang dibentuk dari hubungan titik-titik FCP yang digunakan untuk keperluan imagewarping. Setiap segitiga diberi nomor agar dapat

G(||d-1||)

G(||d-1||)G(||d-1||)

d o

w

c

jjjkik dgwdF

1

||)(||)(

22

)(exp||)(||

j

ddg

Volume 2, Nomor 2, Juli 2003 : 85 – 90

88

diketahui segitiga asal dari setiap titik pada citratujuan.

Gambar 6. Nomor segitiga warping

3. HASIL TESTINGBerikut ini adalah contoh hasil dari proses yang

telah dijelaskan sebelumnya.

Gambar 7.1 Gambar 7.2

Gambar 7.3 Gambar 7.4

Gambar 7.6 Gambar 7.5

Berikut penjelasan dari masing-masing gambarpada gambar 7.Gambar 7.1 : Gambar wajah tanpa ekspresi /

normal – inputanGambar 7.2 : Hasil proses bileveling yang

dilakukan pada bagian samplingGambar 7.3 : Hasil ekstraksi fitur wjah yang

dilakukan dengan cara templatemathcing. Proses ini dilakukanpula pada bagian sampling

Gambar 7.4 : Hasil ekstraksi facialcharacteristic points

Gambar 7.5 : Hasil proses segitiga warping.Dari gambar dapat dilihat bahwasegitiga yang terbentuk hanyaberada dalam kotak wajah saja.

Gambar 7.6 : Hasil terakhir dari image warpingatau contoh inputan dari ekspresicampuran

4. PERBANDINGAN ANTARA HASILTESTING DENGAN GAMBAR ASLISetelah uji coba perangkat lunak dilakukan,

proses berikutnya adalah membandingkan hasilantara hasil uji coba / testing dengan gambaraslinya. Hal ini dilakukan untuk menguji seberapajauh terjadi penyimpangan dari ekspresi yangdihasilkan. Tolok ukur yang digunakan adalah errorhasil training set dan Mean Square Error (MSE). Ujicoba juga dilakukan pada jumlah sampel dan jumlahneuron yang berbeda. Berikut adalah hasilperbandingannya.

4.1. ERROR TRAINING SETYang dimaksud error disini adalah error yang

terjadi antara output hasil setiap proses trainingdengan image yang digunakn sebagai supervisedtraining. Nilai error yang terjadi dapat dilihat padagambar 8 berikut :

Anggraeni, Sintesa Ekspresi Wajah Menggunakan Radial Basis Function Network

89

0

1

2

3

4

5

6

7

1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 150

300

450

600

750

900

1050

1200

Iterasi ke

Nila

i Err

or

Gambar 8.1Grafik error untuk sampel 24 wajah hidden layer 25

0

1

2

3

4

5

6

1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 100

167

Iterasi ke

Nila

i Err

or

Gambar 8.2Grafik error untuk sampel 24 wajah hidden layer 50

0

1

2

3

4

5

6

7

1 6 11 16 21 26 31 36 41 46 100

350

600

850

1100

1350

1600

1850

2100

2350

2600

2850

3100

3350

3600

3850

4100

4350

4600

4850

5100

5350

5600

5850

6100

6350

Iterasi ke

Nila

i Err

or

Gambar 8.3Grafik error untuk sampel 160 wajah

hidden layer 25

0

1

2

3

4

5

6

1 6 11 16 21 26 31 36 41 46 100

350

600

850

1100

1350

1600

1850

2100

2350

2600

2850

3100

3350

3600

3850

4100

4350

4600

4850

5100

5350

Iterasi ke

Nila

i Err

or

Gambar 8.4Grafik error untuk sampel 160 wajah

hidden layer 50

Dari hasil diatas dapat diketahui bahwasemakin banyak jumlah sampel yang digunakan makatraining errornya semakin besar. Hal ini disebabkankarena error adalah jumlah kumulatif dari semuayang ada, sehingga apabila jumlahnya semakin besarmaka errornya semakin besar pula. Selain itupencapaian konvergensinya juga lama.

4.2. MSEMSE adalah merupakan tolak ukur dari tingkat

keberhasilan hasil sintesa. Hasil uji cobanya dapatdilihat pada tabel dibawah. Dalam hal ini pada inputnormal tanpa ekspresi dilakukan sintesa denganmemberi input kadar untuk gembira 4.39, sedih 1.35,marah 1.16, takut 1.26, terkejut 2.29, dan jijik 1.23.Dengan menggunakan training set dengan jumlahsampel masing-masing didapatkan nilai MSE sepertipada tabel 1 berikut :

Tabel 1. Nilai MSE uji coba 1No Jumlah Sampel Input

(Wajah)MSE

1 24 0.004992 160 0.00025

Kemudian pada input yang sama dilakukansintesa dengan memberi input kadar untuk gembira1.42, sedih 4.0, marah 2.39, takut 3.03, terkejut 1.55,dan jijik 3.26. Dengan menggunakan training setdengan jumlah sampel masing-masing didapatkannilai MSE MSE seperti pada tabel 2 berikut :

Tabel 2. Nilai MSE uji coba 2No Jumlah Sampel Input

(Wajah)MSE

1 24 0.001332 160 0.00018

Dari hasil uji coba di atas kelihatan bahwa untukjumlah wajah sample yang berbeda ternyatamenghasilkan MSE yang berbeda pula. Untuktraining set yang mempunyai jumlah sample lebihbanyak ternyata menghasilkan MSE yang lebih kecilbila dibanding training set yang mempunyai jumlahsample lebih sedikit. Hal ini disebabkan karenadengan semakin besar jumlah sample kemungkinandisplacement FCP nya akan semakin banyaksehingga pada waktu kadar input dimasukkankemungkinan mencari displacement FCP dengankadar yang hampir sama dengan input semakinbertambah.

5. KESIMPULANDari penelitian ini dapat diambil kesimpulan

bahwa :

Volume 2, Nomor 2, Juli 2003 : 85 – 90

90

1. Konvergensi error pada saat training ditentukanoleh banyaknya sampel wajah yang digunakanpada saat training

2. MSE suatu ekspresi hasil sintesa akan lebihkecil jika jumlah sampel yang digunakan padasaat training semakin besar

3. Semakin banyak dan bervariasi sampel yangdigunakan untuk training, semakin baikkemampuan RBFN untuk mensintesa berbagaimacam ekspresi wajah

4. Lamanya proses perbaikan cluster tergantungdari jumlah cluster dan jumlah sampel yangdigunakan dalam proses k-means clustering.

5. Lebar cluster akan semakin berkurang apabilajumlah cluster dan jumlah sampel yangdigunakan dalam proses k-means clusteringlebih banyak.

6. DAFTAR PUSTAKA1. Jain, L.C., U. Halici, I. Hayashi, S.B. Lee, dan

S. Tsutsui. “Intelligent Biometric Techniques inFingerprint and Face Recognation.” USA: CRCPress. 1999.

2. Michael J. Lyons, Shigeru Akamatsu, MiyukiKamachi dan Jiro Gyoba. “Coding FacialExpressions with Gabor Wavelets”. Japan:Third IEEE International Conference onAutomatic Face and Gesture Recognition, IEEEComputer Society. 1998.

3. Nalwan, Agustinus. “Seri PemrogramanAplikasi: Movie and Special Effects”. Jakarta:Elex Media Komputindo. 2000.

4. Neural Networks.http://scitec.uwichill.edu.bb/cmp/p21h. Oktober2001.

5. NeuroComputing.http://www.brainstorm.co.uk/NCTT/tech/tb.htm. Oktober 2001.

6. Ong Hee Seng. “Recent Advances in RadialBasis Functions Network”.http://www.comp.nus.edu.sg/~inns/OngHeeSeng/rbfNetwork.htm. Oktober 2001.

7. Radial Basis Functions (RBFs). http://www-ra.informatik.uni-tuebingen.de/SNNS/UserManual/node182.html.Oktober 2001.