Збір даних з сайтів з використанням різних бібліотек і фреймворків.
опис
Цей курс призначений для тих, хто хоче навчитися автоматизованому збору інформації з різних сайтів, тобто парсингу. Для проходження курсу потрібні базові знання пітона.
На лекціях будуть розглянуті основні підходи до збору даних з використанням таких бібліотек, як requests, beautifulsoup4 і splash, а також фреймворків Scrapy і Selenium.
У цьому курсі розглядаються основні базові підходи до збору даних, а також порушується питання етичного парсингу. За підсумками курсу студенти матимуть базове уявлення про те, як парсити різні сайти, використовуючи Python.
Цей курс буде не дуже цікавий тим, хто вже має базове уявлення про те, що таке парсинг і як створювати скрипти для автоматизованого збору даних.
Після проходження курсу студенти знатимуть:
- Як знайти та встановити необхідні бібліотеки для парсингу даних.
- Що таке етичний парсинг , як не порушити права і закон при парсингу даних.
- Для чого потрібен файл robots.txt.
- яким чином отримувати HTML сайту для вилучення необхідної інформації.
- Як користуватися xpath для вказівки точного розташування елементів на сторінці.
- як переходити по сторінках на багатосторінковому сайті.
- Як створювати проект і запускати "павуків" Scrapy.
- Як парсити всю інформацію про кожен товар на сайті.
- Як здійснювати перехід на сторінку кожного товару.
- яким чином парсити сайти, що використовують JavaScript при завантаженні.
- як авторизуватися на сайті, використовуючи фреймворк Selenium.
- Як парсити сайти з нескінченною прокруткою, імітуючи дії користувача на сторінці.
https://privatelink.de/?https://www.udemy.com/course/scrapy-splash-selenium-requests-bs4/