Скрапінг вакансій з відкритих джерел за заданими параметрами.
Збереження, розсилка та відображення цих вакансій.
чого ви навчитеся
Навчіться аналізувати сайти для їх подальшого скрапінгу, а також створювати прості додатки на Django
що входить в курс?
21,5 години відео
матеріали курсу
70 лекцій-21:41: 59
- вступ-13: 25
Вступ-02: 10
Інструменти та бібліотеки, які будуть використовуватися в проекті - 05:07
Віртуальне оточення. Що це таке і навіщо воно потрібне-06: 08
– скрапінг даних з сайтів-03: 26: 30
Збір даних з сайтів ( скрапинг). Дві різні категорії сайтів для скрапінгу-13: 00
Скрапінг даних за допомогою requests і beautifulsoup-11: 28
Аналіз сторінки сайту work.ua . Як і які дані можна отримати-09: 58
Збір даних по одній вакансії-21:46
Аналіз пагінації для отримання посилань на інші сторінки з вакансіями-30: 30
Отримання даних з усіх сторінок з вакансіями за обраною категорією-18: 24
Аналіз сайту djinni.co -24: 40
Збір даних з другої сторінки сайту djinni.co -11: 27
Скрапінг сторінки сайту dou.ua -21: 02
Скрапінг сторінки сайту rabota.ua -24: 21
Скрапінг даних з другої сторінки з вакансіями на rabota.ua -19: 54
– Django - 07:56:43
Установка Django - 22:31
Як Django працює зсередини. Підключаємо html-сторінку-15: 17
Створення першої моделі в Django-20: 33
Створення моделі для збереження даних по вакансіях-24:55
Створення моделі для спеціальностей. Що таке shell? - 19:35
Створення функції по інтеграції функції скрапінгу і збереженню даних в БД-21: 53
Продовження по функції для збереження даних в БД-17: 46
Фіналізуємо функцію по збереженню даних-06: 03
Додавання інших функцій по скрапінгу. Обробка винятків-19: 17
Розширення функціоналу. Додавання можливості пошуку за іншими параметрами-20:06
Автоматизація отримання вхідних даних для скрапінгу-23:09
Bootstrap. Трохи інформації про цей фреймворк-20: 12
Шаблонні теги в Django-block і extends-23: 36
Відображення даних з БД на сторінці-14:24
Додавання логіки до функції відображення даних-08: 56
Форма. Створення форми з вибором міста \ спеціальності для сортування відображення-31: 55
Створення нового додатка для передплатників-25:25
Форма реєстрації та додавання нового користувача-34: 30
Функція додавання нового користувача-23:00
Форма авторизації Користувача-21: 54
Функція входу і форма для редагування даних користувача-21:11
Функція редагування даних Користувача-24:34
Створення адрес та сторінок для входу та редагування-16:01
– PostgreSQL - 02:53:44
Установка PostgreSQL - 11:06
Міграції, новий суперюзер, завантаження даних в нову БД-06: 06
psycopg2 модуль по роботі з БД PostgreSQL. Скрипт по роботі БД-26: 28
Скрипт по роботі з БД. Словник з містами та спеціальностями-13:38
Скрипт по роботі з БД. Словник із веб - сайтами та урлами для скрапінгу-21:35
Скрипт по роботі з БД. Отримання даних по результату роботи скрапінгу сайтів-21: 34
Скрипт по роботі з БД. Запис даних в БД. Видалення старих записів з БД-26: 54
Робота з моделями поза Django-проектом-23: 22
Фіналізуємо скрипт по роботі з моделями поза Django-проектом-23:01
– відправлення листів-47: 10
Відправка листів передплатникам-26:59
Фіналізуємо функцію по відправці листів передплатникам-18:24
Верифікація e-mail адреси для сервісу MailGun-01: 47
- покращення зовнішнього вигляду та функціоналу-01: 36: 03
Створення стартової сторінки-адреса, функція, шаблон-19:26
Невеликі зміни для кращого відображення сторінки-18:42
Форма зворотного зв'язку-27: 18
Відправлення листів Адміну по відсутнім урлам для пар місто-спеціальність-30: 37
– Heroku - 01:54:47
Подготавка файлу з настройками-15:19
Встановлення необхідних бібліотек-20:14
Деплой проекту-22: 39
Створення необхідних змінних середовища-24:49
Запуск проекту-19: 55
Виконання функцій за розкладом-08: 00
Створення проекту за допомогою CLI - 03: 51
– покращуємо функціонал сервісу-02: 52: 10
Редагування зовнішнього вигляду сторінок сайту-19:56
Перехід з Django 1.11 на Django 2. Що потрібно зробити? - 25:32
Логування помилок. Створення моделі-22:05
Логування помилок. Зміни в логіці роботи функцій-34:19
Логування помилок. Відправка листів адміністратору-19:53
Логування помилок. Відправка листів адміністратору, Доповнення-05: 30
Сторінки помилок 400.html, 404.html, 500.html - 08:21
Доповнення та зміни - 33:42
Рішення з багаторазовою відправкою листів-02: 52
– фінал-01: 27
Фінал-01: 27
вимоги
Базові знання Python та html
опис
Django-безкоштовний і вільно розповсюджуваний фреймворк для веб-додатків, написаний на Python. Кожен раз при розробці веб-сайтів потрібні схожі компоненти: спосіб аутентифікувати користувачів (вхід, вихід, реєстрація), панель управління сайтом, форми, інструменти для завантаження файлів і т.д. і щоб це все не повторювати, був створений django. Django чудово працює в поєднанні з будь-якими бібліотеками, інструментами та сценаріями, написаними на Python.
крок за кроком, ви пройдете весь процес з побудови сервісу, який збирає вакансії з сайтів з пошуку роботи і розсилає їх своїм передплатникам. Ви дізнаєтеся, яким чином скрапити дані з сайтів , як їх зберігати в БД, як створити веб-додаток на основі Django і багато іншого. А після того, як додаток вже буде готове, ви дізнаєтеся, як його можна розмістити в Інтернеті так, щоб воно було доступно для всіх.
основна цільова аудиторія курсу - студенти, які бажають отримати знання з скрапінгу даних і по Django, а також розробники, які вже знають Python і хочуть побільше дізнатися про веб - розробку і скрапінгу.
Деякі теми курсу:
Для початківців розробників на Python, кому цікаво як парсити сайти і зберігати дані скрапінгу в Django
про викладача
Oleg Novikov
Python\Django Developer
Драстуйте! Мене звуть Новіков Олег. Займаюся тим, що пишу додатки на Python\ \ Django і викладаю курс з основ програмування на Python в офлайн. Коли то, я сам навчався програмуванню і все що з ним могло бути пов'язано, а тепер я готовий поділитися отриманими знаннями з вами. І це дуже здорово, коли ти ділишся тим, що знаєш сам! Я не знаю все, та й це неможливо, тому постійно вивчаю якісь нові технології. І моя вам порада-робіть те ж саме! Читайте, вивчайте, пишіть код! Чим більше ви застосовуєте отримані знання на практиці, тим краще вони засвоюються!
Якщо у вас виникатимуть питання - пишіть, я обов'язково відповім на них!
Установка Django - 22:31
Як Django працює зсередини. Підключаємо html-сторінку-15: 17
Створення першої моделі в Django-20: 33
Створення моделі для збереження даних по вакансіях-24:55
Створення моделі для спеціальностей. Що таке shell? - 19:35
Створення функції по інтеграції функції скрапінгу і збереженню даних в БД-21: 53
Продовження по функції для збереження даних в БД-17: 46
Фіналізуємо функцію по збереженню даних-06: 03
Додавання інших функцій по скрапінгу. Обробка винятків-19: 17
Розширення функціоналу. Додавання можливості пошуку за іншими параметрами-20:06
Автоматизація отримання вхідних даних для скрапінгу-23:09
Bootstrap. Трохи інформації про цей фреймворк-20: 12
Шаблонні теги в Django-block і extends-23: 36
Відображення даних з БД на сторінці-14:24
Додавання логіки до функції відображення даних-08: 56
Форма. Створення форми з вибором міста \ спеціальності для сортування відображення-31: 55
Створення нового додатка для передплатників-25:25
Форма реєстрації та додавання нового користувача-34: 30
Функція додавання нового користувача-23:00
Форма авторизації Користувача-21: 54
Функція входу і форма для редагування даних користувача-21:11
Функція редагування даних Користувача-24:34
Створення адрес та сторінок для входу та редагування-16:01
– PostgreSQL - 02:53:44
Установка PostgreSQL - 11:06
Міграції, новий суперюзер, завантаження даних в нову БД-06: 06
psycopg2 модуль по роботі з БД PostgreSQL. Скрипт по роботі БД-26: 28
Скрипт по роботі з БД. Словник з містами та спеціальностями-13:38
Скрипт по роботі з БД. Словник із веб - сайтами та урлами для скрапінгу-21:35
Скрипт по роботі з БД. Отримання даних по результату роботи скрапінгу сайтів-21: 34
Скрипт по роботі з БД. Запис даних в БД. Видалення старих записів з БД-26: 54
Робота з моделями поза Django-проектом-23: 22
Фіналізуємо скрипт по роботі з моделями поза Django-проектом-23:01
– відправлення листів-47: 10
Відправка листів передплатникам-26:59
Фіналізуємо функцію по відправці листів передплатникам-18:24
Верифікація e-mail адреси для сервісу MailGun-01: 47
- покращення зовнішнього вигляду та функціоналу-01: 36: 03
Створення стартової сторінки-адреса, функція, шаблон-19:26
Невеликі зміни для кращого відображення сторінки-18:42
Форма зворотного зв'язку-27: 18
Відправлення листів Адміну по відсутнім урлам для пар місто-спеціальність-30: 37
– Heroku - 01:54:47
Подготавка файлу з настройками-15:19
Встановлення необхідних бібліотек-20:14
Деплой проекту-22: 39
Створення необхідних змінних середовища-24:49
Запуск проекту-19: 55
Виконання функцій за розкладом-08: 00
Створення проекту за допомогою CLI - 03: 51
– покращуємо функціонал сервісу-02: 52: 10
Редагування зовнішнього вигляду сторінок сайту-19:56
Перехід з Django 1.11 на Django 2. Що потрібно зробити? - 25:32
Логування помилок. Створення моделі-22:05
Логування помилок. Зміни в логіці роботи функцій-34:19
Логування помилок. Відправка листів адміністратору-19:53
Логування помилок. Відправка листів адміністратору, Доповнення-05: 30
Сторінки помилок 400.html, 404.html, 500.html - 08:21
Доповнення та зміни - 33:42
Рішення з багаторазовою відправкою листів-02: 52
– фінал-01: 27
Фінал-01: 27
вимоги
Базові знання Python та html
опис
Django-безкоштовний і вільно розповсюджуваний фреймворк для веб-додатків, написаний на Python. Кожен раз при розробці веб-сайтів потрібні схожі компоненти: спосіб аутентифікувати користувачів (вхід, вихід, реєстрація), панель управління сайтом, форми, інструменти для завантаження файлів і т.д. і щоб це все не повторювати, був створений django. Django чудово працює в поєднанні з будь-якими бібліотеками, інструментами та сценаріями, написаними на Python.
крок за кроком, ви пройдете весь процес з побудови сервісу, який збирає вакансії з сайтів з пошуку роботи і розсилає їх своїм передплатникам. Ви дізнаєтеся, яким чином скрапити дані з сайтів , як їх зберігати в БД, як створити веб-додаток на основі Django і багато іншого. А після того, як додаток вже буде готове, ви дізнаєтеся, як його можна розмістити в Інтернеті так, щоб воно було доступно для всіх.
основна цільова аудиторія курсу - студенти, які бажають отримати знання з скрапінгу даних і по Django, а також розробники, які вже знають Python і хочуть побільше дізнатися про веб - розробку і скрапінгу.
Деякі теми курсу:
- Virtualenv-навіщо потрібно і як його використовувати
- Парсинг сайтів з використанням бібліотек requests і Beautifulsoup
- База даних PostgreSQL і робота з нею використовуючи модуль psycopg2
- Створення Програми на основі Django
- Оформлення сайту за допомогою Bootstrap 4
- Деплой додатки на сервіс Heroku
- і багато іншого!
Для початківців розробників на Python, кому цікаво як парсити сайти і зберігати дані скрапінгу в Django
про викладача
Oleg Novikov
Python\Django Developer
Драстуйте! Мене звуть Новіков Олег. Займаюся тим, що пишу додатки на Python\ \ Django і викладаю курс з основ програмування на Python в офлайн. Коли то, я сам навчався програмуванню і все що з ним могло бути пов'язано, а тепер я готовий поділитися отриманими знаннями з вами. І це дуже здорово, коли ти ділишся тим, що знаєш сам! Я не знаю все, та й це неможливо, тому постійно вивчаю якісь нові технології. І моя вам порада-робіть те ж саме! Читайте, вивчайте, пишіть код! Чим більше ви застосовуєте отримані знання на практиці, тим краще вони засвоюються!
Якщо у вас виникатимуть питання - пишіть, я обов'язково відповім на них!
https://privatelink.de/?https://www.udemy.com/