Big Data – Hands On für Data Analytics

In diesem Hands On Workshop steht die Lösungsfindung und ihre Umsetzung im Vordergrund. Anhand praktischer Aufgabenstellungen diskutieren die Teilnehmer Möglichkeiten ihrer Bearbeitung und sammeln Erfahrungen in der Umsetzung. Die erzielten Ergebnisse und gewonnenen Erfahrungen werden verallgemeinert.

Hadoop-Sandbox
In dem ersten Modul wird die Hadoop-Sandbox vorgestellt und gemeinsam evaluiert.

Überblick Hadoop Distributed File System (HDFS)
Das Kernstück von Hadoop ist ein leistungsstarkes, robustes und extrem skalierbares Dateisystem. In diesem Abschnitt werden die wichtigsten Elemente für den Datenaustausch mit HDFS evaluiert.

Überblick Sqoop
Sqoop ist ein Werkzeug, um Daten für Hadoop aus einer relationalen Quelle zu entladen oder aus hadoop in ein RDBMS zu laden. In diesem Abschnitt erhalten die Teilnehmer einen Überblick zu sqoop.

Import in und Export aus HDFS von Daten unter Verwendung von Sqoop
In diesem Abschnitt evaluieren die Teilnehmer den Import sowie den Export von Daten aus der Shell sowie den Einsatz von Sqoop für den Datenaustausch mit einer relationalen Datenbank.

Überblick MapReduce
Die Java-basierte Klassenbibliothek für MapReduce ist der Maschinenraum von Hadoop. In diesem Abschnitt erhalten die Teilnehmer einen Überblick über das von Google eingeführte Programmier-modell für nebenläufige Berechnungen.

Transformation von Logdateien unter Anwendung von MapReduce
In diesem Abschnitt evaluieren die Teilnehmer die Anwendung von MapReduce, um Logdateien aufzubereiten.

Überblick Pig
Pig ist ein Mechanismus, um stapelorientierte Datenfluss-Operationen in Hadoop auszuführen. In diesem Abschnitt erhalten die Teilnehmer eine Übersicht.

Filtern und Sortieren von Logdaten unter Anwendung von Pig
In diesem Abschnitt evaluieren die Teilnehmer die Anwendung von Pig, um beispielsweise den bot-Traffic aus den Logdateien zu entfernen und die Daten chronologisch zu sortieren.

Überblick Hive
Mit Hive steht eine Schnittstelle zur Verfügung, die den Zugang zu strukturierten Daten in Hadoop mit einer SQL-ähnlichen Syntax erlaubt. In diesem Abschnitt erhalten die Teilnehmer einen Überblick zu hive.

Anwendung von Hive und anderen Tools für verschiedene Fragestellungen
In diesem Abschnitt evaluieren die Teilnehmer verschiedene praktische Fragestellungen wie beispielsweise die Verknüpfung mit externen Tabellen oder das Zusammensetzen von Strings.

Überblick Verknüpfung von Daten in Hadoop
Häufig besteht die Anforderung, eine Analyse über unterschiedliche Datenquellen durchzuführen. In diesem Abschnitt lernen die Teilnehmer verschiedene Möglichkeiten kennen, wie man das in Hadoop realisieren kann.

Anwendung von MapReduce, Pig und Hive zur Verknüpfung von Daten
Basierend auf den Ausführungen des vorhergehenden Abschnittes evaluieren die Teilnehmer, wie man verschiedene Datensets in Hadoop miteinander verknüpft.

Anwendung von MapReduce, Pig und Hive zur Analyse von Daten
In diesem Abschnitt setzen die Teilnehmer die Werkzeuge von Hadoop ein, um verschiedene praktische Fragestellungen zu beantworten.

Überblick Test und Optimierung der Lösung in Hadoop
Es wird ein Überblick zum Testen und Optimieren in Hadoop gegeben und welche Werkzeuge dafür zur Verfügung stehen.

Testen und Optimieren der Lösung in Hadoop
In diesem Abschnitt sammeln die Teilnehmer erste Erfahrungen im Testen und Optimieren der erstellten Lösungen.

Zusammenfassung und Verallgemeinerung
Zum Abschluss werden die Ergebnisse zusammengefasst und die durchgeführten Übungen auf ihre Praxistauglichkeit untersucht sowie ein Vorgehensmodell für die Datenanalyse mit Hadoop abgeleitet.

(IT-)Architekten, (IT-)Entwickler

Praktische Erfahrung in der IT-Informationsverarbeitung erforderlich. Grundkenntnisse zu Hadoop sowie in der Anwendung von Programmiersprachen werden vorausgesetzt.