Ви навчитеся працювати з розподіленими файловими системами, познайомитеся з екосистемою Hadoop, розберетеся з оптимізацією MapReduce обчислень і роботою з Hive.
Частина 1.
HDFS, Map Reduce, Hive
У цьому модулі ви вивчите:
▶ вступна частина: знайомство (завдання, оцінки, дедлайни), подробиці курсу;
▶ розподілені файлові системи (GFS, HDFS). Їх складові, переваги, недоліки і сфера застосування;
▶ читання та запис у HDFS. HDFS APIs: Web, shell.
▶ Hadoop Streaming;
▶ елементи Hadoop-завдання (Mapper, reducer, combiner, partitioner, comparator).
▶ додатки з декількома Hadoop-завданнями;
▶ Тюнінг Hadoop-job (Налаштування партиціонування, складні Ключі, uber jobs);
▶ завдання з декількома входами. Joins в Hadoop.
▶ Архітектура Hive, види таблиць, формати зберігання даних;
▶ трансляція Hive-запитів в MapReduce-завдання;
▶ серіалізація та десеріалізація;
▶ Тюнінг Join ів в Hive;
▶ партиціонування, бакетування, семплювання;
▶ User defined functions, Hive Streaming.
Частина 1.
HDFS, Map Reduce, Hive
У цьому модулі ви вивчите:
▶ вступна частина: знайомство (завдання, оцінки, дедлайни), подробиці курсу;
▶ розподілені файлові системи (GFS, HDFS). Їх складові, переваги, недоліки і сфера застосування;
▶ читання та запис у HDFS. HDFS APIs: Web, shell.
▶ Hadoop Streaming;
▶ елементи Hadoop-завдання (Mapper, reducer, combiner, partitioner, comparator).
▶ додатки з декількома Hadoop-завданнями;
▶ Тюнінг Hadoop-job (Налаштування партиціонування, складні Ключі, uber jobs);
▶ завдання з декількома входами. Joins в Hadoop.
▶ Архітектура Hive, види таблиць, формати зберігання даних;
▶ трансляція Hive-запитів в MapReduce-завдання;
▶ серіалізація та десеріалізація;
▶ Тюнінг Join ів в Hive;
▶ партиціонування, бакетування, семплювання;
▶ User defined functions, Hive Streaming.
https://privatelink.de/?https://bigdatateam.org/ru/big-data-course#price