Придбаний Python для работы с данными [2020] [Нетология] [О. Булыгин, К. Башевой, К. Гусев, Ю. Иванова]

[Gadzhi]

Python для работы с данными [2020] [Нетология] [О. Булыгин, К. Башевой, К. Гусев, Ю. Иванова]

Задачи по работе с данными востребованы во всех областях:от банковской сферы и ИТ до тяжелой промышленности и сельского хозяйства.

Python — простой и универсальный инструмент для решения любых аналитических задач.

1. Автоматизируйте свою рутинную работу с помощью Python

1. Обрабатывайте большие объемы информации без администрирования и баз данных
2. Освойте ключевой инструмент в мире аналитики и машинного обучения

Возможности после обучения
1. Больше автономности

Перестанете зависеть от разработчиков в работе с данными и научитесь понимать программистов.​

2. Автоматизация рутинных задач

С Python вы почувствуете вкус к оптимизации процессов и освободите время для новых задач.​

3. Широкий доступ к данным

Умение быстро парсить сайты — бесценно. Вы начнете видеть и получать данные там, где раньше не замечали их​

4. Легкий переход в data science

Python для аналитики — отличная база и возможность начать карьеру в data science.​

5. Готовить данные для алгоритмов

Умение использовать готовые решения для придания смысла сырой информации.​

6. Поиск новых инсайтов

Нахождение новых взаимосвязей в данных и их интерпретация для улучшения показателей бизнеса.​

Достигнутые результаты и ключевые навыки после обучения
Достигнутые результаты

1. Работа с реальными дата-сетами

1. Работа с логами и рекомендательными системами
2. Получение минимального портфолио для старта в профессии

Ключевые навыки

1. Работа с сырыми данными и их подготовка для анализа

1. Работа с аналитическими библиотеками numpy, scipy и pandas
2. Визуализация данных с помощью библиотек seaborn, plotly, matplotlib
3. Статистический анализ данных
4. Применение математических моделей
5. Выбор и создание фич
6. Применение основных алгоритмов для обработки данных
7. Парсинг данных с сайтов и внешних источников
8. Автоматизация процессов получения данных для отчетов

Содержание Модуль 1 - Основы Python для работы с данными
Вы научитесь пользоваться базовыми инструментами Python. Для студентов без опыта в программировании модуль предполагает интенсивную самостоятельную работу. По ходу занятия преподаватель даст много полезных дополнительных библиотек и методов, которые ускорят работу с кодом, оставив больше времени на аналитические задачи.

1. Вводные видео-уроки по установке, синтаксису и функциям Python

1. Основы Python и Git
2. Базовые типы данных и циклы
3. Функции и классы
4. Продвинутые типы данных: массивы, множества, словари

Навыки, которые вы получите

1. Научитесь работать в Jupyter-ноутбуке

1. Освоите чтение файлов и запись данных в файлы
2. Сможете делать первичную проверку данных на корректность и обработку ошибок
3. Научитесь работать с датами с библиотекой DateTime
4. Освоите работу с JSON-форматом
5. Научитесь импортировать данные в Excel
6. Познакомитесь с библиотекой DateTime

Содержание Модуль 2 - Знакомство с основными библиотеками для анализа данных
Вы научитесь работать с главными аналитическими библиотеками, а визуализации помогут быстро находить зависимости и корреляции. Одно из больших преимуществ языка Python — это большое и сильное сообщество, которое ежедневно пополняет язык простыми готовыми решениями.

1. numpy и scipy

1. pandas
2. Визуализация данных: seaborn, plotly, matplotlib
3. Получение данных с внешних сайтов и API
4. Data mining и парсинг

Навыки, которые вы получите

1. Сможете подготовить визуальные отчёты

1. Освоите эксплоративный анализ данных
2. Научитесь работать с матрицами и векторами в Python
3. Научитесь работать с pandas в таблицах
4. Освоите работу с элементами массива разных размерностей в numpy
5. Автоматизация получения данных из внешних источников
6. Автоматизация парсинга с сайтов

Содержание Модуль 3 - Статистика в Python
В этом модуле вы познакомитесь со статистикой: именно она помогает закопаться глубже в данные, чтобы найти интересные связи и эффективно генерировать гипотезы. Вас ждут не только среднее, медиана и квартили, но и одномерный и многомерный анализ, коллинеарность. Вы научитесь рассчитывать необходимую выборку и доверительный интервал для стат. значимости теста и проектировать дизайн A/B-тестов.

1. Основы описательной статистики, виды распределений в Python

1. Центральная предельная теорема и статистический анализ данных в Python
2. Основные статистические тесты и проверка гипотез
3. Кейс-стади. Статистические показатели в Python

Навыки, которые вы получите

1. Поймёте основы описательной статистики

1. Научитесь проводить основные статистические тесты (z-test, f-test, chi-2 test)
2. Освоите проектирование экспериментов
3. Научитесь проводить анализ A/B-тестов
4. Научитесь интерпретировать исходные данные для нахождения зависимостей
5. Применение математических моделей

Содержание Модуль 4 - Feature engineering и предобработка данных
Вы изучите инструменты выбора и оценки фичей, научитесь оптимизировать их количество. Новые знания помогут плотнее общаться с разработкой в продукте и быстро вычленять ошибки в их логике. Также вы приобщитесь к главной библиотеке data scientists — sklearn для feature selection.

1. Проверка и очистка данных с помощью pandas и numpy

1. Проведение анализа и рекурсивного feature selection и на базе моделей
2. Методы оценки значимости и отбора признаков и их использование
3. «Проклятие размерности», основные алгоритмы и принципы их работы
4. Использование алгоритмов sklearn

Навыки, которые вы получите

1. Освоите описание основных проблем данных

1. Научитесь проверке данных на полноту, целостность, валидность, наличие шумов, ошибок и пропусков
2. Сможете очистить данные с помощью numpy и pandas
3. Разберётесь с сокращением размерности данных алгоритмами PCA, LDA, NMF с помощью sklearn
4. Научитесь выбору и оценке фич

Содержание Модуль 5 - Лабораторные работы
Кроме домашних заданий, в которых вы отрабатываете отдельные навыки, в курсе будет две проверочные точки. Они помогут вам оценить свои силы в комплексных задачах.

1. С помощью статистики изучите данные небольшого датасета на 200+ автомобилей по 26 параметрам, с помощью визуализаций выведете закономерности и протестируете несколько статистических гипотез.
2. Вместе с преподавателем подготовите датасет на 1500 строк к анализу, оцените и выберете из 80 признаков нужные и спрогнозируете стоимостную категорию дома.​

Содержание Модуль 6 - Диплом
В рамках дипломного проекта вы будете работать с датасетом на медицинскую тематику. Вы не только самостоятельно подготовите данные для анализа в Python, но и напишете алгоритм, который предсказывает вероятность болезни у пациента по разным признакам.

Дипломная работа выполняется самостоятельно под руководством экспертов курса и позволяет закрепить весь спектр знаний и навыков, полученных на программе.

https://netology.ru/programs/python-for-analytics#/lessons