Обучение анализу данных на Python | Level Up
Курс Аналитик данных на Python
свернуть
Описание курса
Курс Аналитик данных на Python является условно продолжением курсов Основы программирования на Python. Уровень 1 и Основы программирования на Python. Уровень 2, с той позиции, что рассчитан на участников, владеющих навыками программирования на Python, включает задачи и примеры на анализ больших данных и является основой для изучения машинной аналитики.
Данный курс по анализу данных на python не подходит для обучения Python с нуля.
В последние годы язык программирования Python становится более востребованным и популярным по нескольким причинам:
- множество уже готовых удобных библиотек и фреймворков делает этот язык №1 в сфере обработки данных для научных вычислений
- Python для анализа данных используется многими большими компаниями такими, как , Yandex, Google, Facebook, Uber и другими
- простота синтаксиса и освоения позволяют новичкам быстро научиться программировать и решать достаточно сложные задачи
Требования к участникам курса:
- Начальные знания Python (см. курс Python. Уровень 1)
- Умение пользоваться системами контроля версий (Github | Gitlab | Bitbucket и т.п.)
- Знание английского для понимания базовых слов (A2-B1). Или желание быстро расширить словарный запас (по желанию предоставляется “словарик” начинающего разработчика).
свернуть
Программа
Занятие 1. Анализ табличных данных стандартными средствами Python
- Стандартные типы коллекций (списки, словари и т.д.) и приемы эффективной работы с ними
- Чтение и запись csv и tsv файлов
- Обработка Excel файлов с помощью OpenPyXL.
- Практика: анализ источника данных "Климат городов России"
- ДЗ: решение задач биоинформатики (4 шт).
Занятие 2. Использование SQL для анализа и манипулирования данными
- Определение СУБД. Немного теории (нормальные формы)
- Операторы SQL.
- Python Database API Specification - для работы с любой СУБД
- Примеры работы со встраиваемой СУБД SQLite
- Практика: создание реляционных таблиц из источника данных "Климат городов России" и выполнение аналитических запросов
Занятие 3. NumPy как средство обработки данных
- Ndarray - объект многомерного массива
- Математические и статистические операции
- Файловый ввод/вывод массивов
- Немного линейной алгебры
- Генерация случайных чисел.
- Практика: анализ двумерного массива
Занятие 4. Сбор и подготовка данных. Работа с XML, HTML и JSON. Автоматизация сбора данных
- Библиотека beautifulsoup для разбора HTML файлов
- Форматы структурированных данных JSON и XML. Примеры практической работы.
- Использование Splinter для автоматизации сбора данных
- Практика: получение данных от веб-сервисов прогноза погоды и расчет обобщенных показателей
Занятие 5. Визуализация данных в Python: matplotlib, plotly, bokeh
- API библиотеки matplotlib
- Линейные и столбчатые диаграммы
- Гистограммы и графики плотности
- Визуализация данных на карте
- Построение интерактивных диаграмм с помощью plotly и bokeh
Занятие 6. Библиотека pandas. Базовая функциональность
- Арифметические операции и выравнивание данных
- Редукция и вычисление описательных характеристик
- Обработка отсутствующих данных
- Практика: работа с набором данных рейтинга фильмов
Занятие 7. Переформатирование данных с помощью pandas
- Комбинирование и слияние наборов данных
- Изменение формы и поворот
- Устранение дубликатов и прочие преобразования данных
- Практика: работа с набором данных рейтинга фильмов
Занятие 8. Аггрегирование данных и групповые операции
- Группировка с помощью функций
- Группировка по уровням индекса
- Аггрегирование данных
- Групповые операци и ипреобразования
- Сводные таблицы
Занятие 9. Введение в машинное обучение. Модели, задачи классификации и библиотека SciKit
- Обзор задач машинного обучения и библиотек для их решения
- Построение классификаторов
- Методы кластеризации
- Практика: пример кластеризации сообщений
Занятие 10. Дополнительные возможности и библиотеки
- Дополнительные возможности NumPy и Pandas
- Обзор интересных сторонних библиотек
- Решение практических задач
- Выборочное повторение пройденного материала
свернуть
Закончил МФТИ, работал по научным направлениям в области моделирования сложных физических процессов.
Преподаватель
Михаил
Технический директор и Техлид в компании RILIO, которая занимается разработкой сложных информационных систем для больших и очень больших компаний.
Профессионально занимается информационными технологиями уже более 20 лет - как программист, аналитик, консультант и руководитель.
С 2007 года руководит собственной компанией по разработке программного обеспечения.
Кандидат технических наук в области информатики (Санкт-Петербургский Институт Информатики РАН). Область интересов - геоинформационные системы, СУБД, комплексные веб-приложения.
"Программирование само по себе - невероятно интересное занятие. Конечно, очень многое зависит от конкретной задачи, но не менее важен и выбор языка программирования.
Такой язык, как Python, позволяет использовать творческий подход даже в обычной, рутинной работе.
И наш учебный курс должен не только снабдить начинающего разработчика всеми необходимыми практическими приемами и навыками, но и раскрыть красоту и мощь этого языка" - говорит Михаил.
Руслан
Аналитик-разработчик в компании BIA Technologies.
Работал в нескольких крупных IT-компаниях Москвы и Санкт-Петербурга, занимался различными по размеру и сложности задачами, от генерирование картин распределения физических величин и чат-ботов до интегрированного комплекса ГИС для картографии и разработки IaaS (Infrastructure as a Service) AWS-подобной системы предоставления облачных услуг.
В настоящее время работает аналитиком-разработчиком в области систем автоматического решения задач управления перевозками. Python изучал для автоматизации рутинных действий, однако впоследствии язык показал себя как крайне гибкий и мощный инструмент. Его можно применять в системах произвольной сложности, и он позволяет максимально быстро получить работающее решение.
"Программирование - это не школьный набор знаний и навыков, это творчество, это структурирование мышления, это удовольствие от результата. И самое главное, это не требует ни специфического оборудования, ни особых талантов. Программирование в современном мире похоже на вторую грамотность, и каждый заинтересованный способен ей обучиться." - говорит Руслан.
Курсы программирования, тестирования, мобильных и веб-технологий от Level UP!
Учитесь с профессионалами в сфере IT-образования!