Парсинг і аналіз даних на Python: від азів до автоматизації.
Навчимося працювати з pandas, імпортувати і Майні дані з мережі, будувати графіки і картограми, створювати звіти.
мова: Російська
Автор: Центр digital-професій ITtensive
лекцій: 48
Тривалість: 8 годин
чому ви навчитеся
Робота з даними за допомогою pandas і numpy
Отримання наборів даних з безлічі джерел
Перетворення даних і передбачення послідовностей
Робота з HTTP, JSON, API, soap
Парсинг і скріпінг HTML сайтів
Візуалізація даних: тренди і залежності
Гео-дані м фонові картограми
Генерація PDF звітів
HTML документи і шаблонізація
Відправка email і автоматизація роботи
Опис
Центр digital-професій ITtensive пропонує персоналізовані програми з індивідуальними наставниками для освоєння актуальних професій майбутнього: аналітик даних на Python і програміст великих даних.
курс складається з 4 великих частин.
Програма
1. Аналіз даних
Ви вивчите роботу з імпортом, об'єднанням, перетворенням, фільтрацією даних на pandas, а також навчитеся передбачати тренди.
Ви зможете самостійно завантажувати дані у форматі CSV, TSV, Excel, витягувати з них значення, знаходити взаємозв'язки між різними наборами даних, перетворювати і усікати набори даних. У висновку ви освоїте математичний апарат лінійної регресії для пошуку лінійного зв'язку між даними і ефективно застосуєте його для передбачення значень в майбутньому.
2. Парсинг даних
Ви вивчите отримання даних в Python, використовуючи бібліотеку requests API і формати JSON і XML (включаючи SOAP).
Навчіться працювати з неструктурованими даними в HTML, збирати їх і перетворювати в фрейми даних.
Навчіться збирати дані цілком з сайту в кілька потоків: створимо мультипроцесного робота-павука.
На завершення встановіть SQLite і завантажте всі зібрані дані в базу, а також навчитеся вибирати з бази даних безпосередньо в фрейми даних.
3. Візуалізація даних
Ви вивчите анатомію matplotlib і типи візуалізації різних даних: лінії, області, стовпці, кругові діаграми.
Навчіться візуалізувати залежності між даними та лінійну регресію за допомогою seaborn: побудуйте скринькові та парні діаграми, діаграми розподілу.
Вивчіть візуалізацію тимчасових (хронологічних) даних: ряди, ковзаючі середні, відхилення і "японські свічки".
На завершення розберете роботу з гео-даними і побудова фонових картограм по декількох наборах даних, використовуючи geopandas.
4. Генерація звітів та автоматизація У цьому курсі ви навчитеся створювати і перетворювати PDF документи, генерувати їх з HTML коду, використовуючи шаблонізатор, відправляти звіти по e-mail і автоматизувати роботу.
В курсі використовуються бібліотеки reportlab, pypdf2, pdfkit, jinja2, smtplib, email, binascii, io, а також бінарний файл wkhtmltopdf. Вирішуємо завдання по створенню PDF документа через полотно, розбору PDF документа, об'єднанню PDF документів, створенню HTML і PDF документів з HTML, шаблонізації HTML через jinja2, перетворенню бінарних даних в base64-кодування. У висновку розберемо відправку e-mail, включаючи HTML-листи і вкладені PDF звіти.
для кого цей курс:
Початківці розробники Python з інтересом до аналізу даних
Веб-програмісти, які вивчають Python для отримання та розбору даних
Менеджери, які планують використовувати Python для автоматизації роботи
зміст складчини (файли і папки)
01 numpy і pandas
001 робота з numpy.mp4 [24M 905k 187]
002 фрейми даних. mp4 [44m 219k 187]
003 отримання даних з Excel.mp4 [36m 927k 983]
02 індекси та об'єднання фреймів
004 індекси даних. mp4 [50m 675k 560]
005 Мультиндексы.mp4 [77m 706k 421]
006 Об'єднання фреймів. mp4 [30m 290k 248]
03 фільтрація та зміна даних
007 Фільтрація даних. mp4 [68m 945k 191]
008 зміна фреймів.mp4 [59m 394k 177]
009 Лямбда-функції. mp4 [77m 499k 475]
04 лінійна регресія
010 групування даних.mp4 [67m 38K 550]
011 очищення та фільтрація груп. mp4 [78m 881k 499]
012 лінійна регресія. mp4 [78m 487k 221]
05 імпорт даних
013 HTTP запити_ JSON і API.mp4 [30M 127k 915]
014 http запити з параметрами. mp4 [48m 827k 652]
015 робота з SOAP. mp4 [45m 240k 606]
06 Парсинг даних
016 отримання даних з HTML.mp4 [107M 711k 694]
017 отримання табличних даних. mp4 [65m 148k 643]
018 Парсинг даних. mp4 [46m 715k 800]
07 веб-скріпінг
019 обхід сайту по сторінках. mp4 [105M 389k 178]
020 Мультипроцессность.mp4 [81m 345k 246]
021 етика парсинга. mp4 [57m 555k 251]
08 робота з SQL
022 встановлення SQLite та створення бази.mp4 [25m 969k 420]
023 створення таблиць і завантаження даних. mp4 [57m 516k 922]
024 Збереження результатів. mp4 [85M 669k 728]
09 основи Matplotlib
025 Анатомія Matplotlib. mp4 [58m 25k 451]
026 базові типи візуалізації. mp4 [115m 772k 728]
027 Просунута візуалізація. mp4 [69m 626k 486]
10 Візуалізація залежностей
028 Скринькові діаграми. mp4 [48m 329k 676]
029 графіки регресії. mp4 [71m 747k 429]
030 кореляційні діаграми. mp4 [47m 763k 920]
11 часові ряди
031 серії даних.mp4 [36m 624k 423]
032 ковзаючі середні і відхилення. mp4 [48m 976k 445]
033 свічкові графіки. mp4 [36m 582k 491]
12 Гео-дані та картограми
034 використання карт.mp4 [31m 96k 100]
035 картограма з підписами. mp4 [53m 304k 89]
036 Фонова картограма. mp4 [66m 279k 483]
13 робота з PDF
037 базовий PDF документ. mp4 [36m 53k 883]
038 додавання інформації в PDF.mp4 [37m 492k 820]
039 перетворення PDF. mp4 [57m 995k 750]
14 базові звіти
040 Структура HTML документа.mp4 [28m 681k 612]
041 оформлення звіту в HTML.MP4 [25M 748k 893]
042 сторінки та колонтитули. mp4 [47m 621k 635]
15 генерація звітів
043 HTML Шаблони з jinja.mp4 [45m 898k 24]
044 цикли та умови в шаблонах.mp4 [48m 512K 434]
045 висновок таблиць і зображень. mp4 [67m 244k 492]
16 відправка email та інтеграція
046 робота з поштою. mp4 [21M 444k 662]
047 відправка вкладень. mp4 [39m 368k 2]
048 Запуск за розкладом в Windows.mp4 [25m 281k 977]
Об'єм: 2.43 ГБ
Ви вивчите отримання даних в Python, використовуючи бібліотеку requests API і формати JSON і XML (включаючи SOAP).
Навчіться працювати з неструктурованими даними в HTML, збирати їх і перетворювати в фрейми даних.
Навчіться збирати дані цілком з сайту в кілька потоків: створимо мультипроцесного робота-павука.
На завершення встановіть SQLite і завантажте всі зібрані дані в базу, а також навчитеся вибирати з бази даних безпосередньо в фрейми даних.
3. Візуалізація даних
Ви вивчите анатомію matplotlib і типи візуалізації різних даних: лінії, області, стовпці, кругові діаграми.
Навчіться візуалізувати залежності між даними та лінійну регресію за допомогою seaborn: побудуйте скринькові та парні діаграми, діаграми розподілу.
Вивчіть візуалізацію тимчасових (хронологічних) даних: ряди, ковзаючі середні, відхилення і "японські свічки".
На завершення розберете роботу з гео-даними і побудова фонових картограм по декількох наборах даних, використовуючи geopandas.
4. Генерація звітів та автоматизація У цьому курсі ви навчитеся створювати і перетворювати PDF документи, генерувати їх з HTML коду, використовуючи шаблонізатор, відправляти звіти по e-mail і автоматизувати роботу.
В курсі використовуються бібліотеки reportlab, pypdf2, pdfkit, jinja2, smtplib, email, binascii, io, а також бінарний файл wkhtmltopdf. Вирішуємо завдання по створенню PDF документа через полотно, розбору PDF документа, об'єднанню PDF документів, створенню HTML і PDF документів з HTML, шаблонізації HTML через jinja2, перетворенню бінарних даних в base64-кодування. У висновку розберемо відправку e-mail, включаючи HTML-листи і вкладені PDF звіти.
для кого цей курс:
Початківці розробники Python з інтересом до аналізу даних
Веб-програмісти, які вивчають Python для отримання та розбору даних
Менеджери, які планують використовувати Python для автоматизації роботи
зміст складчини (файли і папки)
01 numpy і pandas
001 робота з numpy.mp4 [24M 905k 187]
002 фрейми даних. mp4 [44m 219k 187]
003 отримання даних з Excel.mp4 [36m 927k 983]
02 індекси та об'єднання фреймів
004 індекси даних. mp4 [50m 675k 560]
005 Мультиндексы.mp4 [77m 706k 421]
006 Об'єднання фреймів. mp4 [30m 290k 248]
03 фільтрація та зміна даних
007 Фільтрація даних. mp4 [68m 945k 191]
008 зміна фреймів.mp4 [59m 394k 177]
009 Лямбда-функції. mp4 [77m 499k 475]
04 лінійна регресія
010 групування даних.mp4 [67m 38K 550]
011 очищення та фільтрація груп. mp4 [78m 881k 499]
012 лінійна регресія. mp4 [78m 487k 221]
05 імпорт даних
013 HTTP запити_ JSON і API.mp4 [30M 127k 915]
014 http запити з параметрами. mp4 [48m 827k 652]
015 робота з SOAP. mp4 [45m 240k 606]
06 Парсинг даних
016 отримання даних з HTML.mp4 [107M 711k 694]
017 отримання табличних даних. mp4 [65m 148k 643]
018 Парсинг даних. mp4 [46m 715k 800]
07 веб-скріпінг
019 обхід сайту по сторінках. mp4 [105M 389k 178]
020 Мультипроцессность.mp4 [81m 345k 246]
021 етика парсинга. mp4 [57m 555k 251]
08 робота з SQL
022 встановлення SQLite та створення бази.mp4 [25m 969k 420]
023 створення таблиць і завантаження даних. mp4 [57m 516k 922]
024 Збереження результатів. mp4 [85M 669k 728]
09 основи Matplotlib
025 Анатомія Matplotlib. mp4 [58m 25k 451]
026 базові типи візуалізації. mp4 [115m 772k 728]
027 Просунута візуалізація. mp4 [69m 626k 486]
10 Візуалізація залежностей
028 Скринькові діаграми. mp4 [48m 329k 676]
029 графіки регресії. mp4 [71m 747k 429]
030 кореляційні діаграми. mp4 [47m 763k 920]
11 часові ряди
031 серії даних.mp4 [36m 624k 423]
032 ковзаючі середні і відхилення. mp4 [48m 976k 445]
033 свічкові графіки. mp4 [36m 582k 491]
12 Гео-дані та картограми
034 використання карт.mp4 [31m 96k 100]
035 картограма з підписами. mp4 [53m 304k 89]
036 Фонова картограма. mp4 [66m 279k 483]
13 робота з PDF
037 базовий PDF документ. mp4 [36m 53k 883]
038 додавання інформації в PDF.mp4 [37m 492k 820]
039 перетворення PDF. mp4 [57m 995k 750]
14 базові звіти
040 Структура HTML документа.mp4 [28m 681k 612]
041 оформлення звіту в HTML.MP4 [25M 748k 893]
042 сторінки та колонтитули. mp4 [47m 621k 635]
15 генерація звітів
043 HTML Шаблони з jinja.mp4 [45m 898k 24]
044 цикли та умови в шаблонах.mp4 [48m 512K 434]
045 висновок таблиць і зображень. mp4 [67m 244k 492]
16 відправка email та інтеграція
046 робота з поштою. mp4 [21M 444k 662]
047 відправка вкладень. mp4 [39m 368k 2]
048 Запуск за розкладом в Windows.mp4 [25m 281k 977]
Об'єм: 2.43 ГБ
https://privatelink.de/?https://www.udemy.com/course/ittensive-python-advanced/