View
223
Download
0
Embed Size (px)
Citation preview
4th-Year Project Proposals2004 – 2005
Machine Learning & Image Machine Learning & Image AnalysisAnalysis
מערכות לומדות וניתוח תמונהמערכות לומדות וניתוח תמונה
Dr. Boaz Lerner
2
~ 1970
~ 1980
~ 1980
~ 1990
~ 1990
~ 2000
~ 2000
Machine Learning Techniques Machine Learning Techniques EvolutionEvolution
• Linear discriminator • K-nearest-neighbours• Naive Bayesain classifier• Hidden Markov models• Rule-based, decision trees• Neural networks• Probabilistic graphical models • Bayesian learning & inference • Support vector machines
1936
1950
1965
1966
~ 1970
mid 80’s
1988
1990’s
1992
Academy Industry
3
Machine Learning – Machine Learning – MotivationMotivation
• No need in a model
• Utilizes the data to build the model
• Utilizes the data to tune the model (learning)
• Allows integration of acquired knowledge into a priori knowledge
• Applicable also for on-line learning
4
Machine Learning –Machine Learning –Why LearningWhy Learning??
• Flexibility
• Adaptivity
• Combination of prior knowledge with data
• Generalisation
5
Generalization (1)Generalization (1)• Illustration - polynomial curve fitting
M
j
jj xwxy
0
)(
M=1 M=3 M=10
6
Generalization (2)Generalization (2)• polynomial curve fitting (2)
N
n
nnRMS twxyN
E1
2*);(1
7
Image Analysis & Machine Image Analysis & Machine Learning SystemLearning System
ClassificationFeature
Extraction
Pre-Processing
SegmentationFeature
DescriptionFeature
Selection
Post-Classification
signal(image)
---Machine Learning
8
Feature DescriptionFeature Description
9
Feature Selection (1)Feature Selection (1)
• using probability density functions (PDFs)
10
Feature Selection (2)Feature Selection (2)
• using scatter plots
11
Feature Selection (3)– the Feature Selection (3)– the ResultResult
12
Feature Extraction – Feature Extraction – 2D Example 2D Example
13
Experimental Comparison Experimental Comparison of Feature Extractorsof Feature Extractors
projection
maps
14
Statistical ClassificationStatistical Classification
• Aim: minimizing the probability of misclassification
15
Decision Boundaries (1)Decision Boundaries (1)
16
Decision Boundaries (2)Decision Boundaries (2)
17
Decision Boundaries (3)Decision Boundaries (3)
18
An Example FISH ImageAn Example FISH Image
19
Image Analysis & Machine Learning Applied to
Cytogenetics
classificationfeature
extraction
preprocessing
segmentationfeature
descriptionfeature
selection
postclassification
3D imagereconstruction
20
Classification-Oriented Feature Classification-Oriented Feature SelectionSelection
בחירת מאפיינים מכוונת סווגבחירת מאפיינים מכוונת סווג • " " עצמים ייצוג לשם ביותר טובים ה המאפיינים בחירת
, . תמיד לא אולם ומדויק קומפקטי סווג מאפשרתאת יש זה אופטימלי מאפיינים סט על המבוסס לסווג
המסווג וקריטריוני היות המינימלית הסיווג שגיאת . בפרויקט מאפיינים לבחירת השיטה של מאלה שונים
מאפיינים בחירת קריטריוני בין הקשר את נחקור . מודל לבנות גם נרצה אופטימלי סווג וקריטריוני
כזו קריטריונים משפחת כל יתרונות המנצל מסווג . על ייבדק המודל אופטימליים ביצועים השגת לשם
ובחירת סווג למודלי ויושווה אמיתית מבעיה דטה. מתקדמים מאפיינים
• : קוד pattern recognition, feature selection, machineמלותlearning, classification
21
22
Support Vector Machine for Image Support Vector Machine for Image Classification Classification
וקטורים מסווג בעזרת תמונה וקטורים סווג מסווג בעזרת תמונה סווג תומכיםתומכים
לומדת • מערכת הנו תומכים וקטורים מסוגמוצקים תאורטיים יסודות עם ביותר מתוחכמת
. אחרות לומדות למערכות בהשוואה רבה והצלחה , . בפרט היום עד שימושים מיעוט למסווג אולם
. בפרויקט תמונה בסווג היום עד נבחן לא המסווגעצמים לסווג אותו ונתאים המסווג את נממש
בתמונה.• : קוד ,machine learning, image classificationמילות
support vector machine
23
Which is the Best Decision Which is the Best Decision Boundary?Boundary?
-- -
-
-
++++
++
-- -
-
-
++++
++
-- -
-
-
++++
++ w.x+b= 0
w.x+b= 1
w.x+b= -11||w||
1||w||
w
b||w||
24
Projecting Non-Separable Projecting Non-Separable 1D Data onto a 2D Space 1D Data onto a 2D Space
---
+
+
++
++
x2
x--- ++ ++++ x
x {x,x2}
25
Accuracy ComparisonAccuracy ComparisonClassifierError Rate (%)
Binary Gaussian SVM12.8
7-Nearest-Neighbor13.2
Neural Network 13.6
Bayesian Neural Network 11.8
Naïve Bayesian Classifier 17.0
Linear Classifier 15.9
26
Probabilistic Classification by ARTMAP Probabilistic Classification by ARTMAP Neural NetworkNeural Network
ARTMAPARTMAP סיווג הסתברותי על ידי רשת ה – סיווג הסתברותי על ידי רשת ה – •- ה המוח ARTMAPרשת מבוססת נוירונלית רשת היא
של מהירה למידה יכולת בעלת שהיא האנושי " דוגמאות " של שיכחה ללא חדשות דוגמאות
" , ." לא" הרשת י ע עצמים סיווג תוצאות אולם ישנותהמקשה דבר טבעי באופן הסתברותי לפירוש ניתנות
לומדות מערכות של לאלה הרשת ביצועי השוואת עלרשת. את להרחיב הנה הפרויקט מטרת אחרות
למחלקה ARTMAPה- שייכות להציג שתוכל כך . הסתברותית בצורה
• : קוד machine learning, neural networks, ARTMAPמילות
27
On-Line Training using On-Line Training using ARTMAPARTMAP
28
Learning Bayesian NetworksLearning Bayesian Networksרשתות בייסיאניות לומדותרשתות בייסיאניות לומדות
הסתברות • פונקצית לייצוג יעיל מודל הנה בייסיאנית רשת . משני מורכב המודל אקראיים משתנים סט של משותפת . : מותנות הסתברויות וסט הרשת מבנה עיקריים מרכיבים , של קיום כאשר מכוון גרף באמצעות מיוצג הרשת מבנה
) שני ) של תלות מייצג משתנים צמתים שני בין קשר . את מכמת המותנות ההסתברויות סט בגרף המשתנים
. באלגוריתמים לפיכך יעסוק הפרויקט הקשרים חוזקביותר המתאימים ההסתברויות וסט המבנה למציאת
בעיה המייצגות בדוגמאות שימוש תוך נתונה בעיה לפתרון. בתמונה. עצמים בסיווג ייושמו הלימוד ושיטות המודל זו
• : קוד Bayesian networks, classification, machine learningמילות
29
BN Structure LearningBN Structure Learning
30
BN Parameter LearningBN Parameter Learning
31
Automatic Dot Counting in Automatic Dot Counting in FISH Image AnalysisFISH Image Analysis
אוטומטית כתמים אוטומטית ספירת כתמים ספירתתמונ ניתוח תמונ במערכת ניתוח ה ה במערכתציטוגנטיתציטוגנטית כתמים בתמונה ציטוגנטית מייצגים כרומוזומים שאת •
מספרם באוכלוסית תאים נרצה לשערך לשם אבחון תסמונות הנובעות מעודף או חוסר בכרומוזום. בפרויקט
תבנה מערכת בתוכנה לניתוח תמונות כאלה וספירה אוטומטית של הכתמים. המערכת תתבסס על חתכים
דו-מימדיים של גרעיני תא תלת-מימדיים ושיטות לימוד מכונה מתקדמות לשם שערוך מדויק של מספר הכתמים
במדגם.machine learning, neural networks, FISHמילות קוד: •
32
Another Example of FISH Another Example of FISH ImageImage
33
FISH Image Signals FISH Image Signals
Cell Nucleus
Red-Real
Green-Real
Focused
Unfocused
Red-Artifact
Green-Artifact
34
Machine Learning-based FISH Machine Learning-based FISH Image Analysis for Disease DetectionImage Analysis for Disease Detection
גילוי מחלות בעזרת ניתוח תמונה גילוי מחלות בעזרת ניתוח תמונה ציטוגנטית מבוסס לימוד מכונהציטוגנטית מבוסס לימוד מכונה
תבניות • לניתוח במעבדה התפתחו האחרונות בשניםמתוך גנטיות תסמונות לזיהוי שיטות לומדות ומכונות
. למחלות אלה שיטות להרחיב נרצה ציטוגנטיות תמונותבכרומוזום מזערי חסר כמו אוטומטי לאבחון יותר קשות
. מורכבות לפיכך תהיינה שתפותחנה השיטות סרטן אונושאים יקיפו והן פותחו שכבר מאלה יותר ומדויקות
.classificationוסיווג( )segmentationבהקטעת ) תמונה( • : קוד pattern recognition, neural networks, Bayesianמילות
networks, image classification cancer, machine learning
35
What About Cancer?What About Cancer?R2
R1D
S
36
Further ReadingFurther Reading
http://www.ee.bgu.ac.il/~boaz
http://www.ee.bgu.ac.il/~paml