8 812 320 13 03
  • Новости
  • Расписание
  • Курсы
  • Организациям
  • Контакты
  • Перезвоните мне

    Курс Дата-инженер. Интенсив

    Курс Дата-инженер. Интенсив

    Курс Дата-инженер. Интенсив
    Начало курса
    26.06.2024
    Продолжительность
    4 месяца ()
    Расписание
    Ср 19:00 - 21:00
    Сб 11:00 - 13:00
    Онлайн
    (7 мест)
    Единовременно 72500 записаться
    В рассрочку / мес18000 записаться

    Описание курса

    Курс "Дата-инженер. Интенсив" ориентирован на начинающих программистов, людей из смежных IT-специальностей, а также на дата-сайнтистов, которые хотят больше разбираться в процессах, например, есть задачи на текущей работе, предстоит новый проект, и т.п.

    Целью курса является понимание и умение применять на практике все необходимые на позиции Дата-инженер технологии.
    При успешном прохождении курса студент может претендовать на позицию Младшего Дата-инженера (Junior Data Engineer).

    Каждая из тем курса содержит практические примеры, а каждое занятие сопровождается домашним заданием для закрепления материала.

    В конце курса разберем самые популярные вопросы на собеседованиях.


    В процессе курса участники: 

    • Познакомятся с языком python и его особенностями
    • Научатся работать с базами данных, понимать разницу между реляционными и nosql базами данных
    • Научатся разворачивать приложения на Docker
    • Узнают, что такое Kubernetes, и зачем он нужен в DE
    • Познакомятся с Hadoop и концепцией больших данных
    • Научатся писать spark jobs и оптимизировать их
    • Смогут проектировать парапланы по обработки данных при помощи airflow
    • Научатся мониторить и оптимизировать уже написанные обработки данных

    Практика:

    Практика организована как на занятиях, так и в виде домашних заданий. На практике мы вместе будем разворачивать Hadoop, Airflow, писать даги для обработки данных, обеспечивать их мониторинг и алерты в случае поломки, а также делать оптимизацию спарк-приложений и проектировать данные в БД.


    Требования к участникам курса:

    • Владение основами программирования на языке Python

    Программа

    развернуть

    Модуль 1. Повторяем основы Python

    • основы Python. Повторение
    • ООП классы
    • паттерны проектирования
    • продвинутые механизмы по типу yield, корутины 
    развернуть

    Модуль 2. Базы данных

    • Введение в БД, основные концепции
    • Реляционные базы данных на примере Postgres
    • SQL, PL/SQL
    • Нереляционные базы данных
    • Mongo DB. Clickhouse 
    развернуть

    Модуль 3. ETL

    • что такое ETL
    • в чем отличие ETL vs ELT
    • какие паттерны проектирования баз данных и работе с данными существуют 
    • инструменты для ETL процессов (Cron, Airflow, Luigi, Dagster)
    развернуть

    Модуль 4. DevOps для дата-инженеров

    • сети, прокидывание портов через ssh, rsa ключи
    • Docker, развертывание разных приложений через него в том числе Airflow
    • Kubernetes 
    развернуть

    Модуль 5. Hadoop

    • HDFS, Yarn, MapReduce
    • введение в Spark, преимущество над концепцией MapReduce 
    •  развертывание Hadoop кластера на базе HortonWorks и/или yandex.cloud 
    • основные способы хранения больших и не только данных
    • Parquet, Avro, ORC, CSV
    • оптимизация spark приложений 
    развернуть

    Модуль 6. ETL процессы с использованием Airflow и Spark

    • Повторение концепций Airflow
    • Написание дагов, хуков
    • Доступ к Hadoop из Airflow
    • Мониторинг работы spark-jobs
    развернуть

    Модуль 7. Итоги курса. Подготовка к собеседованию

    • Частые вопросы на собеседованиях
    • Ресурсы для подготовки
    • Итоги курса, вопрос / ответ
    • Что дальше?
    Сертификат после обучения
    По окончании обучения вы получите сертификат. Нас знают и ценят работодатели, поэтому сертификат станет вашим дополнительным преимуществом при трудоустройстве в IT-компанию. 


    Сертификат о прохождении курса мы отправим вам на почту. Вы легко сможете добавить ссылку на сертификат в резюме и подтвердить свой уровень подготовки.

    Фото с очных занятий в СПб

    Курсы программирования, тестирования, мобильных и веб-технологий от Level UP!
    Учитесь с профессионалами в сфере IT-образования!