Основы работы с большими данными (Data Science) [2022]
Специалист
Федор Самородов
Предлагаем Вам погрузиться в Data Science, чтобы познакомиться с Big Data! На нашем курсе Вы соприкоснетесь с самой популярной в IT концепцией.
Цель курса - ознакомиться с современными подходами к анализу «больших данных». Полученные знания и навыки позволят слушателям повысить эффективность принятия решений за счет грамотного сбора, структурирования и применения современных техник анализа больших объемов данных: Data – Information – Knowledge – Wisdom: от данных - к мудрости в принятии решений!
Компании, которые игнорируют Big Data, отстают от конкурентов и теряют прибыль. Тем временем компании, работающие с большими данными, показывают высокие результаты в клиентском сервисе, операционной эффективности и риск-менеджменте.
Компаний, внедряющих Big Data, становится все больше. Растет спрос на специалистов, которые могут комплексно работать с большими массивами данных: анализировать, обрабатывать и визуализировать их. Аналитик больших данных, решая бизнес-задачи, развивается одновременно в IT и бизнесе.
Наш курс «Основы работы с большими данными: Data Science Orientation» позволит Вам «подружиться» с Big Data (большими данными).
Предлагаемый курс позволит управляющему персоналу, менеджерам, разработчикам, другим сотрудникам, вовлеченным в аналитическую деятельность своей компании, ознакомиться с современными инструментами сбора, подготовки, обработки и анализа больших объемов разнородных данных.
По итогам курса Вы будете уверенно ориентироваться в мире «больших данных», машинного обучения и сможете организовывать команды для работы с «большими данными» и определите направление своего профессионального развития в этой области.
В курсе рассматриваются вопросы:
- Источники информации: структурированные и неструктурированные;
- Основные характеристики больших данных и способы их анализа;
- Элементы классификации данных и машинного обучения;
- Основы статистического анализа, построение регрессионных зависимостей;
- Визуализация «больших данных»;
- Обзор классов задач, решаемых инструментами машинного обучения и ИИ: распознавание образов, звуков, текста, прогностика, анализ соцсетей;
- Обзор математических инструментов решения: нейронные сети, графы, нечеткие и К-значные логики;
- Обзор прикладных инструментов: AWS, Azure AI, machine learning c демонстрацией применения;
- Специальности в области «больших данных» и формирование команд: аналитики данных, «ученые по данным», программисты по «большим данным», менеджеры по «большим данным» (CDO).
- Методы реорганизации работы компании при применении анализа «больших данных».
- Определять источники сбора информации и формировать требования к ним;
- Применять стандартный CRISP-DM процесс для Вашей организации;
- Подбирать команду для работы с большими данными (Big Data);
- Выбирать инструментарий для практической работы;
- Применять специализированные инструменты Excel – «Пакет анализа данных» и «Тренды»;
- Применять «дерево решений»;
- Определять подходящие инструменты и методы для решения основных классов задач машинного обучения и взаимодействовать с разработчиками;
- Использовать методы классификации данных для машинного обучения;
- Подбирать выборки разработки, тестовую и обучающую для достижения наилучших результатов анализа информации;
- Организовывать реорганизацию работы компании для применения управления на основе больших данных.
- Понимать концепцию больших данных (Big Data);
- Знать типовые задачи, для решения которых применяется машинное обучение: анализ трендов, социальных сетей; распознавание графических, видео- и аудио-образов, текста; прогностика действий (на примере покупок);
- Владеть базовыми математическими понятиями;
- Понимать основные методы обработки и анализа данных: регрессия, нейронные сети; графы, К-значные логики;
- Знать основные современные инструменты анализа данных;
- Понимать принципы организации и структуру команд по работе с бигдата.
Модуль 1 - Область применения больших данных. Типовые задачи
- Цели курса
- Определение основных понятий
- История науки о данных
- Выгоды от работы с большими данными
- Типовые задачи: прогноз продаж, производства, спроса. Анализ поведения. Распознавание образов. Экспертные системы.
- С чего начать. Межотраслевая стандартная методика работы с данными CRISP-DM
- Описательное и ассоциативное исследование исходных данных
- Сегментирование и очистка данных (slice and dice). Примеры инструментов Excel
- Визуализация данных в Excel. Как использовать сводные таблицы и диаграммы
- Практическая работа. Сегментировать и очистить тестовый набор данных.
- Описательная статистика
- Среднее, наиболее вероятное, медиана
- Дисперсия, стандартное отклонение, стандартная ошибка
- Виды распределений
- Пакет анализа данных Excel
- Обзор других прикладных средств работы с данными (R, Python, Octave, MathLab, специализированные БД).
- Практическая работа. Определить статистические характеристики выборки данных.
- Постановка задачи оценки взаимосвязи между различными факторами и построение прогноза
- Корреляция. Коэффициент Пирсона
- Критерий Стьюдента (T-анализ)
- Основы машинного обучения
- Регрессионный анализ
- Критерий Фишера
- Построение и анализ трендов в Excel
- Практическая работа. Определить наличие корреляции и регрессионную зависимость между двумя выборками данных. Построить тренд.
- Задача сегментации дискретных данных на примере задач распознавания (графика, речь, текст)
- Нейронные сети как инструмент решения задач классификации
- Демонстрация на примерах Azure, AWS
- Задачи классификации данных в социальных сетях и поиска оптимального решения (маршрута)
- Графы как инструмент решения задач на социальных графах и прогнозирования поведения
- Дерево решений
- Разбиение на выборки (обучающую, тестовую, проверочную)
- Анализ ошибок обучения. Базис и отклонения. Ручная корректировка
- Практическая работа: провести классификацию набора данных и его разбиение на сегменты.
- Задача классификации данных в социальных сетях
- Графы как инструмент решения задач на социальных графах и прогнозирования поведения
- Разбиение на выборки (обучающую, тестовую, проверочную)
- Анализ ошибок обучения. Базис и отклонения. Ручная корректировка
- Понятие Deep Machine Learning
- Многофакторный бизнес анализ на примере нечетких логик
- Роли специалистов по DS: аналитик данных, ученый по данным, программист, цифровой директор
- Требования к компетенциям и взаимодействию сотрудников в области аналитики данных
- Состав и требования к проектной команде для DS
- Подготовка компании к применению «бигдата»
Продажник