Придбаний [Слёрм] Data-инженер (Николай Марков, Ася Гайламазян)

[Gadzhi]

​

На курсе вы:

• Научитесь строить дата-пайплайны и выстраивать эффективную работу дата-архитектуры
• Разберетесь в инструментах для управления данными
• Выполните реальный проект на собственных данных под руководством опытных экспертов

Какие инструменты освоите?
Python, AirFlow, Bash, NiFi, Hadoop, Kafka, Spark, Neo4j, PostgreSQL, MongoDBl, ClickHouse

ПРОГРАММА КУРСА

1. Введение.
2. Python и терминал для задач Data Engineering.

- Установочная сессия.

1. Распределенные файловые системы. Hadoop. Map-Reduce.
2. Spark for Data Engineering.

- Встреча по темам 2-4.

1. Реляционные базы данных.
2. NOSQL базы данных и введение в методологии построения хранилищ.
3. Процессинг и перекладывание (перекладка) данных.
4. Оркестраторы данных. AirFlow.

- Встреча по темам 5-8.

1. Шины данных. Kafka. Принципы построения систем потоковой аналитики.
2. ETL-инструменты. NiFi.
3. Архитектура хранилищ данных.
4. Аналитика. Жизненный цикл данных и оценка data quality.

- Встреча по темам 9-12.

1. Работа с собственным проектом в финальном модуле.
2. Заключение

https://slurm.io/data-engineer