що Ви отримаєте
Відеозаписи всіх доповідей
Трансляція всіх доповідей. Мітапи і воркшопи не транслюються!
- карта застосування Python для високонавантажених завдань
- система розвитку навичок пітоніста від євангеліста Moscowpython Іллі Лебедєва
- Кар'єрний roadmap пітоніста
- Інтерактивна карта застосування Python до різних частин інфраструктури
- Топ-10 вразливостей в Python від компанії Positive Technologies
- DevOps, контейнери та розгортання
- Бази даних і ORM
- AI/ML і візуалізація даних
- Тестування та автоматизація
- Мова Python, його еволюція та використання
- Мережа, бекенд і web-розробка
Відеозаписи всіх доповідей
Трансляція всіх доповідей. Мітапи і воркшопи не транслюються!
1. AI/ML і візуалізація даних (всього - 10)
Towards Knowledge as Code AI/ML і візуалізація даних
Анатолій Щербаков
Recall Masters
Пише на Python близько десяти років, займається корпоративними системами і любить красу в коді. Мріє про Semantic Web.
Здається, більшість причетних до програмування людей прийшло в професію для того, щоб писати код, а ось писати до цього коду документацію ця більшість терпіти не може. Я належу до цього безлічі людей: написання документації-це нудна, нудна, втомлива і зазвичай ручна робота, слабо полегшується автоматичними інструментами.
У доповіді я запропоную кілька положень і принципів, яким, як мені здається, повинна слідувати ідеальна система документування коду, а також винесу на суд колег деякі рішення описаних проблем.
Чому вам потрібен JupyterHub: для команди, студентів та домогосподарки
Петро Єрмаков
DataGym/Lamoda
Jupyter і JupyterHub-популярний інструмент для роботи з даними.
Я розповім, чому я його люблю і чому ненавиджу, секрети і досвід.
Вас чекають особливості та лайфхаки Налаштування JupyterHub для великої Data Science-команди. Як правильно організувати роботу на загальних серверах. Навіть якщо команда складається з однієї людини, ви винесете нові хитрощі.
Але що, якщо ви не один? Як ужитися на одній машині 20 студентам, які вивчають ML, або R & D-команді з 15? Готові рецепти, рекомендації та зібрані граблі.
Автоматизуємо саморефлексію ботами і дашбордами
Ігор Мосягін
Klarna
Тяга до збирання метрик про себе привела мене до спроб автоматизації цього процесу. Зламавши багато копій про нереалістичні очікування, я через кілька років прийшов до деякого балансу між замороченностью процесу і його автоматизацією і побудував свою систему моніторингу власного стану. Система складається з точок збору, дашбордів та аналізу, а також механізму алертів коли метрики показують щось аномальне. Я розповім про особистий досвід вибудовування подібної системи і поділюся власними знахідками корисними для тих, хто хоче щось подібне побудувати собі.
В кінці доповіді я дам кілька посилань на розроблені мною бібілотеки, які допомагають це заавтоматізіровавать.
Від 0 до 1, Рython для Data Scientist
Вікторія Тюфякова
Магніт, SkillFactory
Яп Python є одним з ключових навичок в сфері Data Science, але як полегшити собі шлях на початку розвитку в новій сфері/професії і не вчити все і відразу?
Data Science включає кілька спеціалізацій, кожна з яких використовує Python в своїй роботі, а так само всередині однієї спеціальності, наприклад Data scientist, для вирішення різних завдань використовуються різні бібліотеки Яп Python. C чого ж все-таки почати, щоб якомога швидше увійти в професію Data Scientist? Про це я і буду говорити в своїй доповіді.
Робота з МЛ-сервісами під навантаженням
Олег Бугримов
Авіто
У нас в Авіто створені десятки сервісів, в яких використовується моделі машинного навчання. Моделі зустрічаються великі і маленькі. Сумарне навантаження на сервіси близько 1млн RPM.
У цій доповіді я розповім, як ми використовуємо інфраструктуру для зручної експлуатації МЛ-моделей і продемонструю розроблену нами бібліотеку, для запуску МЛ-моделей в продакшні і під навантаженням.
Jupyter-розширення. Як зробити життя простіше і яскравіше AI/ML і візуалізація даних
Олександр Артеменко
Яндекс Go
Працювати з Jupyter приємно саме по собі, але розширення можуть зробити життя ще простіше. Наприклад, вони можуть додавати Корисні магічні команди або Python-функції, рендерити об'єкти в зрозумілому і читається вигляді, запитувати і зберігати дані.
Розширення особливо корисні, коли їх використовує вся команда. У них можна загорнути часто використовувану логіку.
З цієї доповіді ти дізнаєшся:
Станіслав Ангелюк
ABBYY
Ми розробляємо open source-бібліотеку для машинного навчання NeoML. Ядро нашої бібліотеки написано на с++. Але для розширення області застосування і спрощення використання ми зробили для неї Python-інтерфейс. Про те, як можна зробити інтеграцію с++ в Python, при цьому отримати зручний і функціональний інтерфейс, а також не втратити в продуктивності, я розповім у своїй доповіді. Вас чекає огляд доступних засобів інтеграції с++ - коду в Python: ctypes, CFFI, Cython, CPython API. На прикладі нашого проекту обговоримо їх плюси і мінуси і виберемо відповідне. Обговоримо проблеми, що виникають при реалізації інтеграції: багатопоточність і GIL, алокація пам'яті, володіння об'єктами, реалізація складної ієрархії класів, серіалізація, продуктивність і т.д. познайомимося ближче з можливостями бібліотеки pybind11. Розглянемо засоби, пропоновані в ній для вирішення позначених проблем. І в підсумку оцінимо вийшла за допомогою неї результат!
Розробка свого сховища моделей машинного навчання і чому нам не підійшли стандартні рішення AI/ML і візуалізація даних
Юрій Букаткін
Програмний Регіон
У багатьох компаніях Python не є основною мовою програмування. З появою машинного навчання на проекті виникає проблема, як впровадити моделі, написані на Python, з використанням Tensorflow, Keras та інших бібліотек з backend, написаним, наприклад, на Golang?
У доповіді розповім:
Василь Шампоров
Intel Corporation
Intel зацікавлений в тому, щоб" залізо", куплене його клієнтами, повністю розкривало свій потенціал; зрозуміло, це стосується і DL-додатків. Переважна кількість DL-моделей проводиться за допомогою фреймворків, заснованих на Python — PyTorch, TensorFlow) - такі моделі можуть бути безпосередньо виконані за допомогою інструменту Intel OpenVINO на процесорах Intel з повним використанням апаратних оптимізацій і прискорень.
Однак, ще більшого прискорення на залозі Intel можливо домогтися за рахунок переходу від обчислень в числах з плаваючою точкою до цілочисельних, або за рахунок відкидання "незначущих" параметрів моделі. Подібний перехід зазвичай пов'язаний з деякою втратою якості передбачення моделі. Для того щоб зменшити втрати, використовується метод симуляції цілочисельних обчислень з дотренуванням, застосовуваний поверх методів "обрізки" моделей. Ми розглянемо Python-пакет NNCF (Neural Network Compression Framework), який дозволяє проводити подібного роду оптимізації, не виходячи з вихідного фреймворку, з подальшим експортом оптимізованої моделі і інференсом її c допомогою інструменту OpenVINO.
Про хороші практики побудови інфраструктури ML-моделей AI/ML і візуалізація даних
Дмитро Анікін
Лабораторія Касперського
Я розповім про шлях нашої моделі від простого артефакту до самостійного сервісу. Розповім, які практики ми впровадили і як вони нам допомогли. CI/CD, моніторинг, алертінг на конкретному прикладі. Опишу весь шлях деплоя моделі від гіпотези до продакшна.
Основна думка: слухачі зможуть побачити на конкретному прикладі практики MLOps і їх корисність.
2. Тестування та автоматизація (всього - 2)
Тести, які ми заслужили...
Артем Малишев
Self-Employed
Вже десятиліттями наявність автоматизованого тестування в проекті вважається ознакою професіоналізму команди. Практики continuous integration врятували незліченну кількість людино-годин по всьому світу. Однак ми рідко замислюємося, яку ціну доводиться платити розробнику за можливість безстрашно рефакторити проект. У кожної медалі є дві сторони.
У доповіді я розберу найчастіші проблеми, які Розробник зустрічає при написанні і підтримці тестів у великому проекті. Розглянемо практики, прийняті в співтоваристві. Проаналізуємо фундаментальні причини появи всіх цих складнощів. Я поділюся своїми особистими результатами боротьби з даними фундаментальними проблемами.
Towards Knowledge as Code AI/ML і візуалізація даних
Анатолій Щербаков
Recall Masters
Пише на Python близько десяти років, займається корпоративними системами і любить красу в коді. Мріє про Semantic Web.
Здається, більшість причетних до програмування людей прийшло в професію для того, щоб писати код, а ось писати до цього коду документацію ця більшість терпіти не може. Я належу до цього безлічі людей: написання документації-це нудна, нудна, втомлива і зазвичай ручна робота, слабо полегшується автоматичними інструментами.
У доповіді я запропоную кілька положень і принципів, яким, як мені здається, повинна слідувати ідеальна система документування коду, а також винесу на суд колег деякі рішення описаних проблем.
Чому вам потрібен JupyterHub: для команди, студентів та домогосподарки
Петро Єрмаков
DataGym/Lamoda
Jupyter і JupyterHub-популярний інструмент для роботи з даними.
Я розповім, чому я його люблю і чому ненавиджу, секрети і досвід.
Вас чекають особливості та лайфхаки Налаштування JupyterHub для великої Data Science-команди. Як правильно організувати роботу на загальних серверах. Навіть якщо команда складається з однієї людини, ви винесете нові хитрощі.
Але що, якщо ви не один? Як ужитися на одній машині 20 студентам, які вивчають ML, або R & D-команді з 15? Готові рецепти, рекомендації та зібрані граблі.
Автоматизуємо саморефлексію ботами і дашбордами
Ігор Мосягін
Klarna
Тяга до збирання метрик про себе привела мене до спроб автоматизації цього процесу. Зламавши багато копій про нереалістичні очікування, я через кілька років прийшов до деякого балансу між замороченностью процесу і його автоматизацією і побудував свою систему моніторингу власного стану. Система складається з точок збору, дашбордів та аналізу, а також механізму алертів коли метрики показують щось аномальне. Я розповім про особистий досвід вибудовування подібної системи і поділюся власними знахідками корисними для тих, хто хоче щось подібне побудувати собі.
В кінці доповіді я дам кілька посилань на розроблені мною бібілотеки, які допомагають це заавтоматізіровавать.
Від 0 до 1, Рython для Data Scientist
Вікторія Тюфякова
Магніт, SkillFactory
Яп Python є одним з ключових навичок в сфері Data Science, але як полегшити собі шлях на початку розвитку в новій сфері/професії і не вчити все і відразу?
Data Science включає кілька спеціалізацій, кожна з яких використовує Python в своїй роботі, а так само всередині однієї спеціальності, наприклад Data scientist, для вирішення різних завдань використовуються різні бібліотеки Яп Python. C чого ж все-таки почати, щоб якомога швидше увійти в професію Data Scientist? Про це я і буду говорити в своїй доповіді.
Робота з МЛ-сервісами під навантаженням
Олег Бугримов
Авіто
У нас в Авіто створені десятки сервісів, в яких використовується моделі машинного навчання. Моделі зустрічаються великі і маленькі. Сумарне навантаження на сервіси близько 1млн RPM.
У цій доповіді я розповім, як ми використовуємо інфраструктуру для зручної експлуатації МЛ-моделей і продемонструю розроблену нами бібліотеку, для запуску МЛ-моделей в продакшні і під навантаженням.
Jupyter-розширення. Як зробити життя простіше і яскравіше AI/ML і візуалізація даних
Олександр Артеменко
Яндекс Go
Працювати з Jupyter приємно саме по собі, але розширення можуть зробити життя ще простіше. Наприклад, вони можуть додавати Корисні магічні команди або Python-функції, рендерити об'єкти в зрозумілому і читається вигляді, запитувати і зберігати дані.
Розширення особливо корисні, коли їх використовує вся команда. У них можна загорнути часто використовувану логіку.
З цієї доповіді ти дізнаєшся:
- як влаштовано найпростіше розширення;
- як додавати нові % magic-команди;
- робити відображення об'єктів в Jupyter більш красивим і інформативним;
- показувати інтерактивні форми і реагувати на дії користувача;
- робити своє "ядро" з встановленим набором розширень.
Станіслав Ангелюк
ABBYY
Ми розробляємо open source-бібліотеку для машинного навчання NeoML. Ядро нашої бібліотеки написано на с++. Але для розширення області застосування і спрощення використання ми зробили для неї Python-інтерфейс. Про те, як можна зробити інтеграцію с++ в Python, при цьому отримати зручний і функціональний інтерфейс, а також не втратити в продуктивності, я розповім у своїй доповіді. Вас чекає огляд доступних засобів інтеграції с++ - коду в Python: ctypes, CFFI, Cython, CPython API. На прикладі нашого проекту обговоримо їх плюси і мінуси і виберемо відповідне. Обговоримо проблеми, що виникають при реалізації інтеграції: багатопоточність і GIL, алокація пам'яті, володіння об'єктами, реалізація складної ієрархії класів, серіалізація, продуктивність і т.д. познайомимося ближче з можливостями бібліотеки pybind11. Розглянемо засоби, пропоновані в ній для вирішення позначених проблем. І в підсумку оцінимо вийшла за допомогою неї результат!
Розробка свого сховища моделей машинного навчання і чому нам не підійшли стандартні рішення AI/ML і візуалізація даних
Юрій Букаткін
Програмний Регіон
У багатьох компаніях Python не є основною мовою програмування. З появою машинного навчання на проекті виникає проблема, як впровадити моделі, написані на Python, з використанням Tensorflow, Keras та інших бібліотек з backend, написаним, наприклад, на Golang?
У доповіді розповім:
- як ми дружили Python-моделі ML C backend, написаному на Golang;
- чому нам не підійшли стандартні засоби tensorflow і ml-flow;
- як ми прийшли до написання свого рішення;
- покажу докладний шлях моделі від jupyter playbook до procduction;
- які додаткові можливості в сервісі ми реалізували;
- що виграли, а де набили шишки.
Василь Шампоров
Intel Corporation
Intel зацікавлений в тому, щоб" залізо", куплене його клієнтами, повністю розкривало свій потенціал; зрозуміло, це стосується і DL-додатків. Переважна кількість DL-моделей проводиться за допомогою фреймворків, заснованих на Python — PyTorch, TensorFlow) - такі моделі можуть бути безпосередньо виконані за допомогою інструменту Intel OpenVINO на процесорах Intel з повним використанням апаратних оптимізацій і прискорень.
Однак, ще більшого прискорення на залозі Intel можливо домогтися за рахунок переходу від обчислень в числах з плаваючою точкою до цілочисельних, або за рахунок відкидання "незначущих" параметрів моделі. Подібний перехід зазвичай пов'язаний з деякою втратою якості передбачення моделі. Для того щоб зменшити втрати, використовується метод симуляції цілочисельних обчислень з дотренуванням, застосовуваний поверх методів "обрізки" моделей. Ми розглянемо Python-пакет NNCF (Neural Network Compression Framework), який дозволяє проводити подібного роду оптимізації, не виходячи з вихідного фреймворку, з подальшим експортом оптимізованої моделі і інференсом її c допомогою інструменту OpenVINO.
Про хороші практики побудови інфраструктури ML-моделей AI/ML і візуалізація даних
Дмитро Анікін
Лабораторія Касперського
Я розповім про шлях нашої моделі від простого артефакту до самостійного сервісу. Розповім, які практики ми впровадили і як вони нам допомогли. CI/CD, моніторинг, алертінг на конкретному прикладі. Опишу весь шлях деплоя моделі від гіпотези до продакшна.
Основна думка: слухачі зможуть побачити на конкретному прикладі практики MLOps і їх корисність.
2. Тестування та автоматизація (всього - 2)
Тести, які ми заслужили...
Артем Малишев
Self-Employed
Вже десятиліттями наявність автоматизованого тестування в проекті вважається ознакою професіоналізму команди. Практики continuous integration врятували незліченну кількість людино-годин по всьому світу. Однак ми рідко замислюємося, яку ціну доводиться платити розробнику за можливість безстрашно рефакторити проект. У кожної медалі є дві сторони.
У доповіді я розберу найчастіші проблеми, які Розробник зустрічає при написанні і підтримці тестів у великому проекті. Розглянемо практики, прийняті в співтоваристві. Проаналізуємо фундаментальні причини появи всіх цих складнощів. Я поділюся своїми особистими результатами боротьби з даними фундаментальними проблемами.
https://privatelink.de/?https://conf.python.ru/moscow/2021