Apache Spark і Scala для Дата інжинірингу 2.0
Підготовка вітрин даних.
Створення real-time додатків. Scala API
Король світу великих даних
Apache Spark став стандартом для розподіленої обробки великих даних
Apache Spark - найпопулярніший інструмент світу Big Data. Він дозволяє обробляти великі обсяги даних в розподіленому режимі, створювати вітрини даних і real-time додатки, що дозволяють на льоту перераховувати і готувати свіжі матриці ознак для моделей машинного навчання. Наш інтенсивний курс містить заняття з викладачами-практиками та практичні роботи, які допоможуть вам оволодіти новими інструментами.
чого ви навчитеся
у нашій програмі є три складових
Scala API
Все найкраще і свіже в Apache Spark є в скаловском API. Програма починається з вступного заняття з цієї мови. Ви навчитеся створювати проекти та працювати в IntelliJ IDEA.
Вітрини даних
Читання і запис Parquet/ORC, робота з ElasticSearch, Cassandra, PostgreSQL через JDBC-коннектор, з Data Frames іdatasets API для створення вітрин даних.
Real-time
Запуск агрегацій і джойнів на потокових даних, output modes, watermarks, windows. Створення користувацького джерела даних і синка з використанням Datasource v1 API.
що входить до програми
11 занять
На заняттях будуть детально розглянута робота з Dataframes API і Spark Structured Streaming.
5 інструментів
Крім самого Apache Spark ви ще попрацюєте з Kafka, Elasticsearch, Cassandra, PostgreSQL, HDFS для формування вітрин даних для подальшого аналізу.
5 лаб
Щотижня вам потрібно буде вирішувати лабораторну роботу. Кілька лаб об'єднані в єдиний пайплайн від отримання даних з Kafka до підготовки та оновлення розширеної матриці ознак
https://privatelink.de/?https://newprolab.com/ru/spark-de