Seit Jahrzehnten fasziniert das Gebiet der Künstlichen Intelligenz (KI). Durch neue Lernverfahren (z.B. Deep Learning) auf großen Datenbeständen konnte in den letzten Jahren insbesondere die Sprach- und Bilderkennung essentiell verbessert werden. Wie können Unternehmensanwendungen von den Errungenschaften Gebrauch machen? Neue Cloud Services von Oracle, Google, Microsoft, Amazon und IBM abstrahieren die Komplexität darunterliegender Algorithmen und machen maschinelle Lernverfahren für Entwickler intelligenter Assistenzsysteme einfach zugänglich. Auf Basis ausreichend großer Trainingsdaten können Muster erkannt, Handlungsempfehlungen abgeleitet oder autonome Entscheidungen getroffen werden.
2. Founded in 07/2012, Team of Enablers
Located in Paderborn, Germany
Focused on IT Consulting, Architecture Training, Web
Development, UX / Innovation & Design Sprint
Workshops
Current Tech: Docker, Angular, React, JET, Alexa SDK,
Cloud
Industries: Banking, Automotive, Public Sector,2
ENPIT – ENABLE
PRAGMATIC IT
3. AGENDA
Big Data, Künstliche Intelligenz (KI) &
Maschinelles Lernen (ML) verstehen
ML / Deep Learning im Selbstversuch mit Tensorflow
Tools / Plattformen
& Anwendung im Unternehmenskontext
Fazit
23.11.2017, DOAG, Nürnberg 3
4. WAS IST BIG DATA?
Datenmengen, die zu groß, komplex, schnelllebig, schwach strukturiert
sind, um sie mit herkömmlichen Methoden auszuwerten!
https://de.wikipedia.org/wiki/Big_Data23.11.2017, DOAG, Nürnberg 4
5. WAS IST KÜNSTLICHE INTELLIGENZ
(KI)?
Menschenähnliche Intelligenz, die in der Lage sind Aufgaben zu
lösen.
Verschiedene Formen der KI:
Schwache bzw. spezifische KI
Starke bzw. Allgemeine KI
Ab wann gilt eine Maschine als intelligent?
Turing-Test: Ein Mensch kann nach längerer Konversation (z.B.
über einen Chat) nicht eindeutig feststellen, ob mit einem
Menschen oder einem Bot kommuniziert wurde.
23.11.2017, DOAG, Nürnberg 5
6. WIE GEWINNT MAN ERKENNTNISSE AUS
DATEN?
Data Mining - Suche nach
Mustern / Zusammenhängen
Aussagen ...
Vom Grundsatz durch
Mathematik und Algorithmen
Lineare Algebra
Wahrscheinlichkeitstheorie
Graphentheorie
...
23.11.2017, DOAG, Nürnberg 6
8. VOM PROGRAMM ZUM LERNEN
Klassisches
Programm
Eingabedaten
Logik / Regeln
Ergebnis
Maschinelles
Lernen
Eingabedaten
Ergebnis
Logik / Regeln
Quelle: Deep Learning with Python Version 4
823.11.2017, DOAG, Nürnberg
9. ÜBERWACHTES LERNEN
Daten
“Lerne”
Gewichte, Faktoren,
Layer, anpassen etc.
Maschine
Learning
Modell
9
Feature Extraktion & Labeling
(Vorbereitung Trainingsdaten)
Kreis
Rechteck
Dreieck
(143, 54, 23..)
(25, 200, 42..)
(203, 34, 135..)
Rechteck
Ergebnis
(Klassifikation)
Neue
Daten
(24, 74, 234..)
Feature Extraktion Gelerntes Modell
anwenden
23.11.2017, DOAG, Nürnberg
10. ÜBERWACHTES ML AN EINEM EINFACHEN
BEISPIEL
PROBLEMSTELLUNG
Baujahr Fläche Stadt Verkaufspreis
2013 90 qm München (20) 260.000 EUR
2014 60 qm Frankfurt (10) 180.000 EUR
2015 70 qm Paderborn (7) 160.000 EUR
Inspired by: https://medium.com/@ageitgey
Baujahr Fläche Stadt Verkaufspreis
2013 90 qm Paderborn (7) ?? EUR
Referenzdaten
Das sind unsere
Trainingsdaten!
Preis Vorhersage
Wie hoch sollte der
Verkaufspreis sein?
1023.11.2017, DOAG, Nürnberg
11. ML AN EINEM EINFACHEN BEISPIEL
LÖSUNGSIDEE
func schaetzeVerkaufspreis(baujahr, flaeche, stadt) {
return baujahr * w1 + flaeche * w2 + stadt * w3 +b;
}
Baujahr Fläche Stadt Verkaufspreis Schätzung
2013 90 qm München (20) 260.000 EUR 240.000
2014 60 qm Frankfurt (10) 180.000 EUR 190.000
2015 70 qm Paderborn (7) 160.000 EUR 200.000
Abweichung (loss)
20.000
10.000
40.000
Summe
70.000
Der Lernprozess besteht darin, iterativ
optimale Werte für w1 / w2 / w3 / b zu ermitteln,
um die Abweichung zu minimieren.
Starte mit zufälligen Werten für w1, w2, w3, b
1123.11.2017, DOAG, Nürnberg
12. LERNEN HEISST OPTIMIEREN
Eingabe: Baujahr, Fläche, Stadt
Starte mit zufälligen Werten für w1, w2, w3, b
FOR 1..100 (z.B.)
Berechne Abweichung auf Basis einer geeigneten Funktion
(Gradientenverfahren)
Passe Werte für w1, w2, w3, b an
Ergebnis: Optimale Werte für w1, w2, w3, b
1223.11.2017, DOAG, Nürnberg
14. KOMPLEXERE ANFORDERUNGEN LASSEN
SICH DURCH EIN KÜNSTLICH
NEURONALES NETZ ABBILDEN
Bau-
jahr
Flä-
che
Stadt
= Schätzung 2
w1,1
w2
w3,3
+b2
= Schätzung 3
= Schätzung 1w1,2
= Verkaufspreis
w1
w2
w3
+b
...
+b1
+b3
Tiefe eines Netzes
14
15. UNÜBERWACHTES LERNEN
Daten
“Lerne”
Gewichte, Faktoren,
Layer, anpassen etc.
Maschine
Learning
Modell
15
Feature Extraktion
(143, 54, 23..)
(25, 200, 42..)
(203, 34, 135..)
Ergebnis
(Clustering)
Neue
Daten
(24, 74, 234..)
Feature Extraktion Gelerntes Modell
anwenden
23.11.2017, DOAG, Nürnberg
16. WAS IST MACHINELLES LERNEN (ML)?
Ermittlung von Regeln bzw. Funktionen aus Beispieldaten
Ein ML-System wird in der Regel trainiert und nicht explizit
programmiert
Verschiedene Arten
Machinellen Lernens
23.11.2017, DOAG, Nürnberg 16
Maschine Learning
Supervised Unsupervised Reinforcement
Klassifikation
Regression
Clustering Reaktion auf
Umgebung
17. EINORDNUNG VON KI, ML UND
DEEPLEARNING
Künstliche Intelligenz
Machine Learning
Deep Learning
1723.11.2017, DOAG, Nürnberg
18. AGENDA
Big Data, Künstliche Intelligenz (KI) &
Maschinelles Lernen (ML) verstehen
ML / Deep Learning im Selbstversuch mit Tensorflow
Plattformen / Tools
& Anwendung im Unternehmenskontext
Fazit
23.11.2017, DOAG, Nürnberg 18
19. MOTIVATION / CHALLENGE
Welche Bauprojekte
lassen sich mit den
vorliegenden
Steinen realisieren?
Welche Steine
fehlen noch?
19
20. LÖSUNGSIDEE
Lego-Steine fotographisch erfassen, erkennen und klassifizieren
Stein Anzahl
1x2 2
2x2 1
2x3 1
2x4 0
...
...
Bilderkennung
Wie bringen wir dem
System bei, Objekte zu
differenzieren?
20
21. GRUNDSÄTZLICHES VORGEHEN
Trainingsdaten
gewinnen und vorbereiten
Lernen – d.h. das mathematische
Model trainieren (Gewichte ermitteln)
Anwenden – Das erlernte Model
auf neue Daten anwenden
Vorbereitung
Lernphase
Vorhersage
21
23. DEEP LEARNING FLOW
Z.B. 80%
Klassifizierte
Eingabedaten
Trainingsdaten
Validierungsdaten
“Lerne”
20%
Validiere
Parameter anpassen
etc.
Maschine
Learning
Modell
Ergebnis!
23
24. HEUTIGE LEARNING-MODELLE KÖNNEN
SEHR UMFANGREICH SEIN
Klassifizierung (Softmax)
Wir trainieren nur den
letzten Layer!Wir trainieren nur den
letzten Layer!
Hier könnte auch
aufgesetzt werden.
24
26. ZUM LERNEN BRAUCHT ES FEEDBACK
...
Vorhersage Korrektes Ergebnis
loss
function
optimizer
Eingabe
Loss Score
Weights Weights
Aktualisiere
Weights
(Fehler Backpropagation)
...
26
27. LERN-METRIKEN JE
TRAININGSITERATION
Training Accuracy: Wie viel Prozent der Trainingsdaten korrekt
klassifiziert.
Validation Accuracy: „Wie viel Prozent der Validierungsdaten
korrekt klassifiziert“
Cross Entropy / Loss: Auskunft über den Traingsfortschritt: Trend
sollte in „so klein wie möglich“ gehen.
2723.11.2017, DOAG, Nürnberg
32. TEST (MIT NEUEN BILDERN)
Mit 73 % W‘keit
Mit 62,5 % W‘keit
32
33. TEST (MIT NEUEN BILDERN)
Mit 61 % W‘keit
Mit 65 % W‘keit
Am Beispiel von 4 trainierten Kategorien wurden neue Bilder von
Legosteinen jeweils korrekt klassifiziert
Um die W’keit zu erhöhen, bedarf es mehr Trainingsdaten
33
34. TEST (MIT BILDERN, FÜR DIE KEIN
TRAINING DURCHGEFÜHRT WURDE)
Alle W‘Keiten unter
50 %
Alle W‘Keiten unter
50 %
Alle W‘Keiten unter
50 %
34
35. AGENDA
Big Data, Künstliche Intelligenz (KI) &
Maschinelles Lernen (ML) verstehen
ML / Deep Learning im Selbstversuch mit Tensorflow
Tools / Plattformen &
Anwendung im Unternehmenskontext
Fazit
23.11.2017, DOAG, Nürnberg 35
37. AI / ML ÖKOSYSTEM
AI Services
37
AI / ML Plattformen
ML Frameworks
/ Toolkits
ML Infrastruktur CPU
GPU / TPU
Tensorflow
SparkML
Theano CNTK Keras
Amazon IBM MS Oracle
Storage IaaS...
Image
Recog.
Text
Recog.
Intell.
Bots ...
G
Caffe
...
Scikit
38. ANWENDUNGSBEISPIELE – HEUTE SCHON
STANDARD!
SPAM-Erkennung
Gesichtserkennung und Bildklassifikation (Facebook, Google,
Apple...)
Spracherkennung, Übersetzung
Objekterkennung für autonomes Fahren (Verkehrsschilder,
Hindernisse, Fahrspuren, etc.)
Eingabevorschlag für Wörter
...
3823.11.2017, DOAG, Nürnberg
41. ANWENDUNGSPOTENTIAL IM
UNTERNEHMENSKONTEXT
Dokumentenanalyse (z.B. Verträge) und Klassifizierung
Healthcare: Erkennung von Krankheitsbildern
Erkennen von Verhaltensmuster im Support / Telefon (genervter Kunde etc.)
Finance: Prüfung Kreditwürdigkeit, Investment-Strategien
Ecommerce: Optimierung Conversion-Rate
Smart City: Intelligente Verkehrssteuerung
Produktion: Erkennung von Ereignismustern
Konstruktion von Produkten – Neue Designs erfinden
41
44. AUF DIE DATENQUALITÄT KOMMT ES
AN
4423.11.2017, DOAG, Nürnberg
Maschine
LearningGarbage in Garbage out
Bildquelle: Wikimedia Commons
45. UMGANG MIT ÄNDERUNGEN
Wie geht man mit Änderungen um, die das gelernte Modell ganz
plötzlich falsch erscheinen lassen?
4523.11.2017, DOAG, Nürnberg
§ gestern
§ heute
§ gestern
46. FAZIT
Maschinelles Lernen lässt Big Data erstrahlen
Wer viele Daten hat, ist klar im Vorteil! (Facebook, Google, Apple
(Siri) ...)
Auf Basis „vortrainierter“ Modelle schnelle Trainingserfolge
möglich!
GPUs oder spezielle Prozessoren, z.B. TPUs (Tensor Processing
Units) sind für effizientes Lernen erforderlich
Maschinelles Lernen ist per Cloud-Service einfach nutzbar -
Google, AWS, Azure, Oracle (demnächst)
46
47. VIELEN DANK
FÜR EURE
AUFMERKSAMKEIT!
FRAGEN?
Andreas Koop
IT-Architekt, Berater, Enabler
Twitter/
Medium@andreaskoop
Email andreas.koop@enpit.de
Blogs enpit.de/blog
medium.com/enpit-developer-blog
Code: https://github.com/enpit/tensorflow-for-lego
47
48. WIR SUCHEN DICH (M/W)
Ewelina Korbal
Per E-Mail an
bewerbung@enpit.de
enpit.de/karriere
IT-Architekten
UX-Designer
Product Owner
Full-Stack Developer
Frontend Developer
23.11.2017, DOAG, Nürnberg 48
Notas do Editor
Instead, focus on problems where a human could solve the problem, but where it would be great if a computer could solve it much more quickly.