Придбаний Spark Developer [2022] [OTUS] [Е. Матешук, М. Юрченков, Р. Сабитов, В. Монастырев, А. Козырь, В. Заигрин, М. Мигутин, В. Опольский]

[Gadzhi]

• .

Spark Developer [2022]
OTUS
Егор Матешук, Михаил Юрченков, Руслан Сабитов, Виталий Монастырев, Артемий Козырь, Вадим Заигрин, Максим Мигутин, Вадим Опольский

Углубленный курс по самым мощным инструментам обработки больших данных.

Для кого этот курс:
Курс рассчитан на Data инженеров, желающих глубже изучить Spark, а попутно также Hadoop и Hive.

На курсе вы изучите следующие основные темы:

1. Hadoop (основные компоненты, дистрибутивы вендоров)
2. Архитектура HDFS
3. Архитектура YARN
4. Форматы данных
5. Spark
6. Spark Streaming и Flink
7. Hive
8. Оркестрация, Мониторинг и CI/CD

и т.д.

Научитесь применять все это на практике и закрепите с помощью интересных и сложных домашних заданий и выпускного проекта.

После прохождения курса вы сможете:

1. Использовать Hadoop для обработки данных
2. Взаимодействовать с его компонентами через консольные клиенты и API
3. Работать со слабоструктурированными данными в Hive
4. Писать и оптимизировать приложения на Spark
5. Писать тесты для Spark-приложений
6. Использовать Spark для обработки табличных, потоковых, гео-данных и даже графов
7. Настраивать CI и мониторинг Spark-приложений

Спойлер: Информация

Модуль 1 - Scala

Тема 1. Основы Scala
Тема 2. Сборка проектов на Scala
Тема 3. Сборка проектов на Scala. Практика
​

Модуль 2 - Hadoop

Тема 4. Hadoop
Тема 5. HDFS
Тема 6. YARN
Тема 7. Форматы данных
Тема 8. Q&A​

Модуль 3 - Spark

Тема 9. Архитектура приложения Spark
Тема 10. RDD/Dataframe/Dataset
Тема 11. Методы оптимизации приложений Spark
Тема 12. Написание коннекторов для Spark
Тема 13. Тестирование приложений Spark
Тема 14. Spark ML​

Модуль 4 - Streaming

Тема 15. Kafka
Тема 16. Spark Streaming
Тема 17. Structured Streaming
Тема 18. Flink - часть 1
Тема 19. Flink - часть 2
Тема 20. Q&A​

Модуль 5 - Apache Hive

Тема 21. Обзор Hive
Тема 22. HiveQL​

Модуль 6 - Обслуживающие системы

Тема 23. Оркестрация процессов обработки данных
Тема 24. Мониторинг и логирование для Spark-приложений
Тема 25. CI/CD для Spark и Hive
Тема 26. Q&A​

Модуль 7 - Проектная работа

Тема 27. Выбор темы и организация проектной работы
Тема 28. Консультация по проектам и домашним заданиям
Тема 29. Защита проектных работ​

https://otus.ru/lessons/spark/?int_source=courses_catalog&int_term=data-science