Придбаний DataOps Engineer [2022] [OTUS] [Е. Матешук, Р. Богатов, А. Чащина, Д. Абдуллина, А. Токачев]

[Gadzhi]

• .

DataOps Engineer [2022]
OTUS
Егор Матешук, Роман Богатов, Александра Чащина, Дарья Абдуллина, Артем Токачев

DataOps Engineer - это профессия будущего, на которую уже есть огромный спрос и нехватка специалистов.

Кроме стандартных тем (Hadoop, MLOps, оркестрация) мы рассмотрим полный набор инструментов и практик Data Governance (управления данными) - metadata management, data quality, data integration, data discovery, data linage, BI.

Этот курс подходит вам, если вы:

1. Уже умеете работать с данными, но хотите развить знания в инфраструктуре, на которой они работают;
2. Либо умеете работать с инфраструктурой, но хотите получить специфические знания именно в области работы с данными.

Что разберем на курсе:

1. Вопросы администрирования Hadoop-кластеров (включая вопросы безопасности!;
2. Особенности деплоя ETL-процессов, Spark-джоб, приложений обработки данных в реальном времени;
3. Архитектуру нескольких MPP-баз (Vertica, Greenplum, ClickHouse, ...);
4. Сервисы и практики Data Governance (BI, data catalog, data linage, CDC, data injestion, data quality, notebooks);
5. Практики MLOps (деплой моделей, мониторинг экспериментов, оркестрация).

Спойлер: Информация

Модуль 1 - Введение

Тема 1. Вводное занятие
Тема 2. Архитектуры систем обработки данных (1 часть)
Тема 3. Архитектуры систем обработки данных (2 часть)
​

Модуль 2 - Необходимые инструменты

Тема 4. Облака и on-premise
Тема 5. Terraform
Тема 6. Ansible
Тема 7. Docker
Тема 8. Q&A​

Модуль 3 - ETL

Тема 9. Data Storage
Тема 10. Дизайн ETL
Тема 11. Оркестрация
Тема 12. Фреймворки для обработки данных
Тема 13. CI, мониторинг и логирование для фреймворков обработки данных​

Модуль 4 - Хранилища и платформы

Тема 14. Архитектура аналитических БД
Тема 15. SQL-движки Hive, Presto, Impala
Тема 16. Vertica
Тема 17. GreenPlum
Тема 18. ClickHouse
Тема 19. Q&A​

Модуль 5 - Hadoop

Тема 20. Hadoop
Тема 21. Развертывание Hadoop
Тема 22. Мониторинг Hadoop
Тема 23. Безопасность Hadoop​

Модуль 6 - Практики Data Governance

Тема 24. Практики Data Governance
Тема 25. Управление метаданными
Тема 26. Контроль качества данных
Тема 27. Управление мастер-данными и НСИ
Тема 28. Организация песочницы​

Модуль 7 - MLOps

Тема 29. Практики MLOps
Тема 30. Инфраструктура для исследований
Тема 31. Контроль качества моделей
Тема 32. Версионирование данных
Тема 33. Варианты деплоя моделей - REST
Тема 34. Варианты деплоя моделей - Spark​

Модуль 8 - Проектный модуль

Тема 35. Выбор темы и организация проектной работы
Тема 36. Консультация по проектам и домашним заданиям
Тема 37. Защита проектных работ
Тема 38. Подведение итогов курса​

Примечание: на момент создания темы актуальная цена не известа.

https://otus.ru/lessons/dataops/?int_source=courses_catalog&int_term=data-science