als Möglichkeit, einer Maschine das Lesen beizubringen ...isg.cs.uni-magdeburg.de/sim/vilab/2008/presentations/11_knn_abachmann.pdf · Künstliche Neuronale Netze als Möglichkeit,

Künstliche Neuronale Netze

als Möglichkeit, einer Maschine das Lesen beizubringen

Anja Bachmann18.12.2008

Gliederung

1. Motivation2. Grundlagen

2.1 Biologischer Hintergrund2.2 Künstliche neuronale Netze

3. Anwendung3.1 Schrifterkennung

4. Wie eine Maschine das Lesen lernt4.1 netTrainer4.2 wxOCR

5. Fazit6. Quellen

Vortrag KNN | 18.12.2008 | Anja Bachmann 1

1. Motivation


• Probleme, menschliche Prozesse maschinell umzusetzen

• Frage, ob Maschinen denken können wie Menschen• Rechner können schon viel, aber nicht ohne Weiteres

komplexe Lernprozesse (u. a. Lesen) → hier setzen künstliche neuronale Netze (KNN) an

• Einsatzgebiet von KNN ist u.a. die Schrifterkennung• Studentenprogramme, die mittels KNN Texte verarbeiten

2. Grundlagen

• bisher Einscannen, um Bilder auf PC zu transferieren oder Abtippen

• KNN als Möglichkeit, sie einlesen zu lassen


2.1 Biologischer Hintergrund 1/2

• Grundlage der KNN sind die neuronalen Netze• menschliches Gehirn ist solch ein Netz aus Millionen

kleiner Nervenzellen (Neuronen) winzige Berechnungseinheiten oder elementare Mini-Prozessoren



• Biologischer Aufbau: Neuron besteht aus Zelle, Dendriten, Axonen und Synapsen

• Festgelegte Fließrichtung des Signals

2.1 Biologischer Hintergrund 1/2

2.2 Künstliche neuronale Netze 1/3

• KNN = i.A. ein massiv paralleler Verbund von Neuronen zu Netzwerken

• KNN = mögliches System, an Probleme heranzugehen, welche zu ihrer Lösung eine Anpassung bestimmter Faktoren benötigen

• drei Phasen: Aufbauphase (Topologie), der Trainingsphase (das Lernen) und der Arbeitsphase (Propagation)

• KNN = ein Graph mit Knoten und (gewichteten) Kanten




• Parallelen zum biologischen Neuron →Topologie eines KNN

• Dendriten = Eingabe, Zelle = Verarbeitung, Axon = Ausgang

• Informationsverarbeitung in einem KNN verläuft mathematisch



• Knoten x1 bis xn senden Signal zum Knoten xj

• Übergangungsfunktion Σsummiert die Eingangswerte w1j bis wnj auf.

• Aktivierungsfunktion φ (z.B. stückweise linear, sigmoid) ermittelt Aktivierungswert

• Schwellwert θj → wenn überschritten, dann sendet Neuron Signale, sonst nicht

• Signale auf Richtigkeit prüfen

3. Anwendung von KNN

• Anwendung in: – Medizin (Modellierung und Simulation biologischer neuronaler

Netze)– Informatik und Maschinenbau (Prozesssteuerung,

Robotersteuerung, Sprach- oder Schrifterkennung)– Wirtschaft (Risikomanagement)– Mathematik (Funktionsapproximation)

• früher eher Forschung, heutzutage auch privat (auf Desktoprechnern bzw. KNN-Software)


3.1 Texterkennung

• OCR (optical character recognition) Zeichenerkennung• ICR (intelligent character recognition) Kontext noch

mit betrachtet• IWR (intelligent word recognition) Weiterentwicklung

von OCR/ICR teilweise Fließhandschrift• Anwendung in der Wirtschaft: Absender anhand des

Firmenlogos erkennen, Formalitätsgrad bestimmten• privat: Texte vom Computer einlesen lassen, Captchas

entschlüsseln


4. Wie eine Maschine das Lesen lernt

• nicht gänzlich ohne menschliche Hilfe möglich →Eingabe- und dazugehörige Ausgabemuster erzeugen

• Training durch:– Entwicklung neuer Verbindungen– Löschen bestehender Verbindungen– Anpassen der Schwellwerte der Neuronen– Hinzufügen oder Löschen von Neuronen– Veränderung der Aktivierungsfunktion der Neuronen oder der

Lernrate des Netzes– Modifikation der Gewichte der Neuronen

• Anwendung in vielen Programmen


4.1 netTrainer

• Qualität des Trainings entscheidend für die korrekte Arbeitsweise eines Netzes

• je öfter das Netz mit einem Symbol konfrontiert wird, desto besser erkennt es dieses auch → „überwachtes Lernen“ → Vergleich von Ist-und Sollwerten

• gut trainiertes KNN soll auch für ähnliche, verzerrte, verrauschte oder unvollständige Inputs den richtigen Soll-Output liefern


4.2 wxOCR 1/2

• Urbild in das Programm einlesen• Symbols von verschiedenen Punkten aus analysieren• Netz vergleicht diese Ergebnisse dann mit seinen eigenen

Erfahrungen


4.2 wxOCR 2/2

• das Programm wxOCR beim korrekten und fehlerhaften Einlesen

• wenn fehlerhaft, dann erneutes Training


5. Fazit 1/2

• großes Einsatzgebiet• Texterkennung → Alltag erleichtern, Einsparungen in

Firmen, Gehirnprozesse simulieren• Nachteile: Wissenserwerb nur durch Lernen möglich

(langsam, abhängig von Trainingsdaten und Netz- und Lernparametern)

• viele ungeklärte Rätsel und alltägliche Probleme → Hilfe durch Einsatz von KNN

• z.B. Verbesserung von Sicherheitsmaßnahmen vor allem in der Banken-Branche


5. Fazit 2/2

Durch KNN [...] „erhalten wir das Tor zu bisher ungeahnter Rechnerleistung [...]. In Zukunft wird die

Datenverarbeitung auf anderem Niveau stattfinden.“(User Jokin in einem Forum)


• KNN werden uns noch oft begegnen und neue Anwendungsmöglichkeiten (von Maschinen) schaffen

6. Quellen

• Links:[1] http://www.linux-related.de/index.html?/knn_ki/knn_einf.htm[2] http://www.linux-related.de/index.html?/src/wxgraphics_main.htm[3] www.dkfz-heidelberg.de/tbi/people/koenig/teaching/Lifescience/14_10_02

/Neur_Netze_Kai_141002.ppt[4] http://www.sandro.de/downloads/seminararbeit_ki.pdf[5] http://de.wikipedia.org/wiki/Texterkennung[6] http://de.wikipedia.org/wiki/Künstliches_neuronales_Netz[7] http://www-home.fh-konstanz.de/~bittel/nnfl/NeuroNetze_1.pdf[8] http://www.lpgforum.de/stammtisch/3486-die-zukunft-des-auto.html

• Bücher:[9] „Künstliche neuronale Netze – Grundprinzipien, Hintergründe, Anwendungen“, PatrickHamilton. VDE-Verlag GmbH Berlin und Offenbach, Berlin, 1993.


Vielen Dankfür eure

Aufmerksamkeit!

Fragen?

Documents

als Möglichkeit, einer Maschine das Lesen beizubringen ...isg.cs.uni-magdeburg.de/sim/vilab/2008/presentations/11_knn_abachmann.pdf · Künstliche Neuronale Netze als Möglichkeit,