Придбаний Основы работы с большими данными Data Science [2019] [Специалист] [Данил Динцис] [Повтор]

[Gadzhi]

Основы работы с большими данными Data Science [2019] [Специалист] [Данил Динцис] [Повтор]

Предлагаем Вам погрузиться в Data Science, чтобы познакомиться с Big Data! На нашем курсе Вы соприкоснетесь с самой популярной в IT концепцией.

Наш курс «Основы работы с большими данными: Data Science Orientation» позволит Вам «подружиться» с Big Data (большими данными).

В курсе рассматриваются вопросы

• источники информации: структурированные и неструктурированные;
• основные характеристики больших данных и способы их анализа;
• элементы классификации данных и машинного обучения;
• основы статистического анализа, построение регрессионных зависимостей;
• визуализация «больших данных»;
• обзор классов задач, решаемых инструментами машинного обучения и ИИ: распознавание образов, звуков, текста, прогностика, анализ соцсетей;
• обзор математических инструментов решения: нейронные сети, графы, нечеткие и К-значные логики;
• обзор прикладных инструментов: AWS, Azure AI, machine learning c демонстрацией применения;
• специальности в области «больших данных» и формирование команд: аналитики данных, «ученые по данным», программисты по «большим данным», менеджеры по «большим данным» (CDO).
• методы реорганизации работы компании при применении анализа «больших данных».

Предлагаемый курс позволит управляющему персоналу, менеджерам, разработчикам, другим сотрудникам, вовлеченным в аналитическую деятельность своей компании, ознакомиться с современными инструментами сбора, подготовки, обработки и анализа больших объемов разнородных данных.

По итогам курса Вы будете уверенно ориентироваться в мире «больших данных», машинного обучения и сможете организовывать команды для работы с «большими данными» и определите направление своего профессионального развития в этой области.

Содержание
Модуль 1. Область применения больших данных. Типовые задачи.

• Цели курса
• Определение основных понятий
• История науки о данных
• Выгоды от работы с большими данными
• Типовые задачи: прогноз продаж, производства, спроса. Анализ поведения. Распознавание образов. Экспертные системы.

Модуль 2. Сбор и подготовка исходных данных. Методика CRISP-DM

• С чего начать. Межотраслевая стандартная методика работы с данными CRISP-DM
• Описательное и ассоциативное исследование исходных данных
• Сегментирование и очистка данных (slice and dice). Примеры инструментов Excel
• Визуализация данных в Excel. Как использовать сводные таблицы и диаграммы
• Практическая работа. Сегментировать и очистить тестовый набор данных.

Модуль 3. Основы математической статистики. ANOVA. Надстройка Excel «Пакет анализа»

• Описательная статистика
• Среднее, наиболее вероятное, медиана
• Дисперсия, стандартное отклонение, стандартная ошибка
• Виды распределений
• Пакет анализа данных Excel
• Обзор других прикладных средств работы с данными (R, Python, Octave, MathLab, специализированные БД).
• Практическая работа. Определить статистические характеристики выборки данных.

Модуль 4. Задача прогноза продаж. Понятие машинного обучения. Корреляция. Регрессионный анализ

• Постановка задачи оценки взаимосвязи между различными факторами и построение прогноза
• Корреляция. Коэффициент Пирсона
• Критерий Стьюдента (T-анализ)
• Основы машинного обучения
• Регрессионный анализ
• Критерий Фишера
• Построение и анализ трендов в Excel
• Практическая работа. Определить наличие корреляции и регрессионную зависимость между двумя выборками данных. Построить тренд.

Модуль 5. Задачи классификации и распознавания образов, видео, речи, текста. Понятие нейронных сетей. Примеры применения.

• Задача сегментации дискретных данных на примере задач распознавания (графика, речь, текст)
• Нейронные сети как инструмент решения задач классификации
• Демонстрация на примерах Azure, AWS
• Задачи классификации данных в социальных сетях и поиска оптимального решения (маршрута)
• Графы как инструмент решения задач на социальных графах и прогнозирования поведения
• Дерево решений
• Разбиение на выборки (обучающую, тестовую, проверочную)
• Анализ ошибок обучения. Базис и отклонения. Ручная корректировка
• Практическая работа: провести классификацию набора данных и его разбиение на сегменты.

Модуль 6. Задача исследования социальных сетей. Задача прогнозирования поведения пользователя. Социальные и направленные графы. Деревья решений. Примеры применения

• Задача классификации данных в социальных сетях
• Графы как инструмент решения задач на социальных графах и прогнозирования поведения
• Разбиение на выборки (обучающую, тестовую, проверочную)
• Анализ ошибок обучения. Базис и отклонения. Ручная корректировка

Модуль 7. Продвинутые инструменты: глубокое машинное обучение, искусственный интеллект, нечеткие множества

• Понятие Deep Machine Learning
• Многофакторный бизнес анализ на примере нечетких логик

Модуль 8. Профориентация по специальностям в Data Science. Выводы и рекомендации по построению и организации работы команды

• Роли специалистов по DS: аналитик данных, ученый по данным, программист, цифровой директор
• Требования к компетенциям и взаимодействию сотрудников в области аналитики данных
• Состав и требования к проектной команде для DS
• Подготовка компании к применению «бигдата»

https://www.specialist.ru/course/ds0