Ви навчитеся працювати з потоковою обробкою даних, познайомитеся з Kafka і Spark Structured Streaming, освоїте NoSQL поверх великих даних, подружите Spark з Cassandra.
Детальніше про кожен модуль і корисні навички, які ви освоїте в модулі, ми розповіли нижче.
У цьому модулі ви вивчите:
▶ підходи до realtime-обробці;
▶ гарантії обробки, перехід від однієї гарантії до іншої, архітектури "Лямбда" і "Каппа";
▶ Spark Streaming vs. Spark RDD, Spark Structured Streaming vs. Spark DataFrames, DStream;
▶ Архітектура Kafka, Kafka Streams, реплікація в Kafka. Відмінність Kafka від класичних черг;
▶ семантики доставки повідомлень, стиснення даних в Kafka, синхронна і асинхронна реплікація.
▶ відмінності key-Value сховищ від реляційних БД;
▶ компактифікація та її види, CQLSH;
▶ Архітектура Cassandra;
▶ забезпечення надійності і високодоступності в key-Value сховищах;
▶ інтеграція Spark з Cassandra.
▶ як боротися з Data Skew за допомогою MapReduce підходів в різних фреймворках;
▶ trade-off між CPU і Io-bound додатками, підходи до стиснення в Big Data, гарячі і холодні дані;
▶ формати даних в Big Data: ORC vs Parquet, Avro,...
Детальніше про кожен модуль і корисні навички, які ви освоїте в модулі, ми розповіли нижче.
У цьому модулі ви вивчите:
▶ підходи до realtime-обробці;
▶ гарантії обробки, перехід від однієї гарантії до іншої, архітектури "Лямбда" і "Каппа";
▶ Spark Streaming vs. Spark RDD, Spark Structured Streaming vs. Spark DataFrames, DStream;
▶ Архітектура Kafka, Kafka Streams, реплікація в Kafka. Відмінність Kafka від класичних черг;
▶ семантики доставки повідомлень, стиснення даних в Kafka, синхронна і асинхронна реплікація.
▶ відмінності key-Value сховищ від реляційних БД;
▶ компактифікація та її види, CQLSH;
▶ Архітектура Cassandra;
▶ забезпечення надійності і високодоступності в key-Value сховищах;
▶ інтеграція Spark з Cassandra.
▶ як боротися з Data Skew за допомогою MapReduce підходів в різних фреймворках;
▶ trade-off між CPU і Io-bound додатками, підходи до стиснення в Big Data, гарячі і холодні дані;
▶ формати даних в Big Data: ORC vs Parquet, Avro,...