[Udemy] Машинное обучение с Python + Big Data - (Курс 8 из 17)
Phyrshtadskaya4k, ты можешь записаться в эту складчину и получить инфопродукт сразу после оплаты, никого не дожидаясь.
---
Формат: Видео
Продолжительность: ~ 02:27
Перевод: Красный Кут
Тип перевода: Транскрибация с русским переводом
Всего: 28 видео лекции длительность: 2 часа 27 минут
КУРС ПЕРЕВЕДЕН ПОЛНОСТЬЮ И БУДЕТ ДОСТУПЕН В БИБЛИОТЕКЕ ДЛЯ ВСЕХ ОПЛАТИВШИХ ВЗНОС С 15 06 2018
Решил сделать перевод всех курсов Lazy Programmer Inc. о искусственном интеллекте, машинном обучении,- взяв за основу материалы из этой .
Вы также можете изучить на русском языке следующие курсы этого автора:
Deep Learning Prerequisites: Linear Regression in Python
Deep Learning Prerequisites: Logistic Regression in Python
Data Science: Deep Learning in Python
Easy Natural Language Processing (NLP) in Python
Data Science: Practical Deep Learning in Theano + TensorFlow
Data Analytics: SQL for newbs, beginners and marketers
Deep Learning: Convolutional Neural Networks in Python
Cluster Analysis and Unsupervised Machine Learning in Python
Глубокое обучение без учителя на языке Python
Машинное обучение без учителя: скрытые марковские модели на языке Python
Глубокое обучение: рекуррентные нейронные сети на языке Python
Обработка естественного языка с помощью глубокого обучения на языке Python
ЧЕМУ Я НАУЧУСЬ?
Спойлер
- понимать алгоритмы методом k-средних;
- понимать мягкие, или нечёткие, алгоритмы кластеризации методом k-средних;
- применять библиотеку иерархической кластеризации Scipy к данным;
- понимать разцу метрик расстояния при кластеризации;
- понимать модель гауссового смешивания для использования оценки плотности;
- объяснять, когда GMM эквивалентно кластеризации методом k-средних;
- понимать, как GMM компенсирует некоторые метода k-средних;
- понимать и перечислять недостатки кластеризации методом k-средних;
- реализовывать мягкую кластеризацию методом k-средних в коде;
- алгоритмически объяснять, как работает иерархическая агломеративная кластеризация;
- понимать, как читать дендрограммы;
- понимать различия между единичной, полной и Ward-связью;
- писать GMM в коде;
- объяснить алгоритм максимизации ожиданий;
- понимать проблему единичной ковариации и как её исправить.
ТРЕБОВАНИЯ
Спойлер
-знать, как писать код в Python и Numpy;
-установить Numpy и Scipy.
ВАЖНЫЕ ПРЕДПОСЫЛКИ / НЕОБХОДИМЫЕ ЗНАНИЯ
ОПИСАНИЕ
Спойлер
Кластерный анализ является основой в сфере машинного обучения без учителя и обработки данных.
Он крайне полезен для сбора данных и обработки больших массивов данных, поскольку автоматически находит взаимосвязи в данных, не нуждаясь, в отличие от машинного обучения с учителем, в каких-либо метках.
В реальном мире вы можете представить себе ситуацию, когда робот или искусственный интеллект не всегда может получить доступ к оптимальному решению, а может, и самого правильного оптимательного решения не существует. Нам же хотелось бы, чтобы робот мог самостоятельно исследовать мир и изучать его, находя в нём взаимосвязи.
Задумывались ли вы когда-нибудь, как мы получаем данные, которые используем в алгоритмах машинного обучения с учителем? У нас всегда есть хороший CSV-файл или таблица со значениями X и соответствующих им Y. Если вы сами никогда не участвовали в сборе данных, то, возможно, вы не думали о том, что кто-то должен был ещё собрать эти данные! А ведь те Y должны откуда-то браться, а сбор их вручную занимает очень много времени.
А иногда у вас нет доступа к нужной информации или её получение оказывается слишком дорогостоящим.
Но всё же хочется иметь представление о структуре данных. Если вы занимаетесь анализом данных, автоматическое распознавание взаимосвязей в данных будет для вас бесценным.
И именно тут машинное обучение без учителя вступает в игру.
В этом курсе мы вначале обсудим кластеризацию. При кластеризации вместо обучения с помощью меток мы будем пытаться создавать собственные метки. Сделать это нам поможет группировка данных, выглядящих одинаково. Мы обсудим два метода кластеризации: кластеризацию методом k-средних и иерархическую кластеризацию.
Далее, поскольку в машинном обучении мы обычно обсуждаем распределение вероятностей, мы рассмотрим модели гауссового и ядерного смешивания, где выясним, как «узнать» распределение вероятностей набора данных.
Интересный факт – при некоторых определённых условиях модели гауссового смешивания и кластеризации методом k-средних в точности совпадают! Мы покажем, как это происходит.
Все обсуждаемые в этом курсе алгоритмы являются основными в машинном обучении и обработке данных. Поэтому если вы хотите знать, как автоматически находить взаимосвязи между данными без того, чтобы искать их и размечать вручную, - этот курс для вас.
Все материалы, необходимые для этого курса, находятся в СВОБОДНОМ ДОСТУПЕ. Вы можете скачать и установить Python, Numpy и Scipy с помощью ряда простых команд в операционной системе Windows, Linux или Mac.
Этот курс посвящён тому, «как создавать и понимать», а не просто «как пользоваться». Любой может после прочтения соответствующей документации научиться пользоваться интерфейсом за 15 минут. Речь идёт не о «запоминании фактов», а о «наблюдении за собой» посредством эксперимента. Курс научит вас визуализировать происходящее внутри модели. Если вы хотите большего, чем просто поверхностного знакомства с моделями машинного обучения, этот курс для вас.
УЧЕБНЫЙ ПЛАН
Спойлер
1. Введение в обучение без учителя
Скрытое содержимое.
Phyrshtadskaya4k, ты можешь записаться в эту складчину и получить инфопродукт сразу после оплаты, никого не дожидаясь.
---
Cluster Analysis and Unsupervised Machine Learning in Python
Автор: Lazy Programmer Inc.
Формат: Видео
Продолжительность: ~ 02:27
Перевод: Красный Кут
Тип перевода: Транскрибация с русским переводом
Всего: 28 видео лекции длительность: 2 часа 27 минут
КУРС ПЕРЕВЕДЕН ПОЛНОСТЬЮ И БУДЕТ ДОСТУПЕН В БИБЛИОТЕКЕ ДЛЯ ВСЕХ ОПЛАТИВШИХ ВЗНОС С 15 06 2018
Решил сделать перевод всех курсов Lazy Programmer Inc. о искусственном интеллекте, машинном обучении,- взяв за основу материалы из этой .
Вы также можете изучить на русском языке следующие курсы этого автора:
Deep Learning Prerequisites: Linear Regression in Python
Deep Learning Prerequisites: Logistic Regression in Python
Data Science: Deep Learning in Python
Easy Natural Language Processing (NLP) in Python
Data Science: Practical Deep Learning in Theano + TensorFlow
Data Analytics: SQL for newbs, beginners and marketers
Deep Learning: Convolutional Neural Networks in Python
Cluster Analysis and Unsupervised Machine Learning in Python
Глубокое обучение без учителя на языке Python
Машинное обучение без учителя: скрытые марковские модели на языке Python
Глубокое обучение: рекуррентные нейронные сети на языке Python
Обработка естественного языка с помощью глубокого обучения на языке Python
ЧЕМУ Я НАУЧУСЬ?
Спойлер
- понимать алгоритмы методом k-средних;
- понимать мягкие, или нечёткие, алгоритмы кластеризации методом k-средних;
- применять библиотеку иерархической кластеризации Scipy к данным;
- понимать разцу метрик расстояния при кластеризации;
- понимать модель гауссового смешивания для использования оценки плотности;
- объяснять, когда GMM эквивалентно кластеризации методом k-средних;
- понимать, как GMM компенсирует некоторые метода k-средних;
- понимать и перечислять недостатки кластеризации методом k-средних;
- реализовывать мягкую кластеризацию методом k-средних в коде;
- алгоритмически объяснять, как работает иерархическая агломеративная кластеризация;
- понимать, как читать дендрограммы;
- понимать различия между единичной, полной и Ward-связью;
- писать GMM в коде;
- объяснить алгоритм максимизации ожиданий;
- понимать проблему единичной ковариации и как её исправить.
ТРЕБОВАНИЯ
Спойлер
-знать, как писать код в Python и Numpy;
-установить Numpy и Scipy.
ВАЖНЫЕ ПРЕДПОСЫЛКИ / НЕОБХОДИМЫЕ ЗНАНИЯ
- дифференциальное счисление;
- линейная алгебра;
- теория вероятности;
- кодирование на языке Python: условный оператор, циклы, списки, множества;
ОПИСАНИЕ
Спойлер
Кластерный анализ является основой в сфере машинного обучения без учителя и обработки данных.
Он крайне полезен для сбора данных и обработки больших массивов данных, поскольку автоматически находит взаимосвязи в данных, не нуждаясь, в отличие от машинного обучения с учителем, в каких-либо метках.
В реальном мире вы можете представить себе ситуацию, когда робот или искусственный интеллект не всегда может получить доступ к оптимальному решению, а может, и самого правильного оптимательного решения не существует. Нам же хотелось бы, чтобы робот мог самостоятельно исследовать мир и изучать его, находя в нём взаимосвязи.
Задумывались ли вы когда-нибудь, как мы получаем данные, которые используем в алгоритмах машинного обучения с учителем? У нас всегда есть хороший CSV-файл или таблица со значениями X и соответствующих им Y. Если вы сами никогда не участвовали в сборе данных, то, возможно, вы не думали о том, что кто-то должен был ещё собрать эти данные! А ведь те Y должны откуда-то браться, а сбор их вручную занимает очень много времени.
А иногда у вас нет доступа к нужной информации или её получение оказывается слишком дорогостоящим.
Но всё же хочется иметь представление о структуре данных. Если вы занимаетесь анализом данных, автоматическое распознавание взаимосвязей в данных будет для вас бесценным.
И именно тут машинное обучение без учителя вступает в игру.
В этом курсе мы вначале обсудим кластеризацию. При кластеризации вместо обучения с помощью меток мы будем пытаться создавать собственные метки. Сделать это нам поможет группировка данных, выглядящих одинаково. Мы обсудим два метода кластеризации: кластеризацию методом k-средних и иерархическую кластеризацию.
Далее, поскольку в машинном обучении мы обычно обсуждаем распределение вероятностей, мы рассмотрим модели гауссового и ядерного смешивания, где выясним, как «узнать» распределение вероятностей набора данных.
Интересный факт – при некоторых определённых условиях модели гауссового смешивания и кластеризации методом k-средних в точности совпадают! Мы покажем, как это происходит.
Все обсуждаемые в этом курсе алгоритмы являются основными в машинном обучении и обработке данных. Поэтому если вы хотите знать, как автоматически находить взаимосвязи между данными без того, чтобы искать их и размечать вручную, - этот курс для вас.
Все материалы, необходимые для этого курса, находятся в СВОБОДНОМ ДОСТУПЕ. Вы можете скачать и установить Python, Numpy и Scipy с помощью ряда простых команд в операционной системе Windows, Linux или Mac.
Этот курс посвящён тому, «как создавать и понимать», а не просто «как пользоваться». Любой может после прочтения соответствующей документации научиться пользоваться интерфейсом за 15 минут. Речь идёт не о «запоминании фактов», а о «наблюдении за собой» посредством эксперимента. Курс научит вас визуализировать происходящее внутри модели. Если вы хотите большего, чем просто поверхностного знакомства с моделями машинного обучения, этот курс для вас.
УЧЕБНЫЙ ПЛАН
Спойлер
1. Введение в обучение без учителя
- Введение и план курса
- Для чего нужно обучение без учителя?
- Для чего нужна кластеризация?
- Как достичь успеха в этом курсе
- Служебная визуализация алгоритма кластеризации методом k-средних;
- Мягкий метод k-средних
- Целевая функция метода k-средних
- Мягкий метод k-средних в коде на языке Python
- Визуализация каждого этапа метода k-средних
- Случаи, когда метод k-средних даёт сбой
- Недостатки кластеризации методом k-средних
- Как оценивать кластеризацию (чистота, индекс Дэвиса-Боулдина)
- Использование метода k-средних на реальных данных: база данных MNIST
- Способ найти величину k
- Приложения метода k-средних: нахождение кластеров взаимосвязанных слов
- Визуальный обзор агломеративной иерархической кластеризации
- Варианты агломеративной кластеризации
- Использование иерархической кластеризации на языке Python и интерпретация дендрограмм
- Описание модели гауссового смешивания и как обучить GMM
- Сравнение методов GMM и k-среднего
- Написание модели гауссового смешивания в коде языка Python
- Практическое применение GMM и единичной ковариации
- Ядерное сглаживание
- Максимизация ожидания
- Алгоритмы обучения без учителя, которые вы изучите в дальнейшем
- Как установить Numpy, Scipy, Matplotlib, Pandas, Ipython и TensorFlow
- Как самостоятельно писать код. Часть 1
- Как самостоятельно писать код. Часть 2
Скрытое содержимое.