8 812 320 13 03
  • Новости
  • Расписание
  • Курсы
  • Организациям
  • Контакты
  • Перезвоните мне

    Курс Data Engineer

    Курс Data Engineer

    Курс Data Engineer
    Начало курса
    18.01.2023
    Продолжительность
    4 месяца (72+ ак. часов)
    Расписание
    Ср 19:00 - 21:00
    Сб 11:00 - 13:00
    Онлайн
    (15 мест)
    Единовременно 72500 записаться
    В расроку / мес20350 записаться

    Описание курса

    Курс "Data Engineer" ориентирован на всех, кто хочет освоить новую профессию в интенсивном формате. Начальных знаний программирования на Python не требуется, всему обучаем с нуля.

    Курс ориентирован на начинающих программистов, людей из смежных специальностей, а также на дата-сайнтистов, которые хотят больше разбираться в процессах.

    Целью курса является понимание и умение применять на практике все необходимые на позиции Дата-инженер технологии.
    При успешном прохождении курса студент может претендовать на позицию Младшего Дата-инженера (Junior Data Engineer).

    Каждая из тем курса содержит практические примеры, а каждое занятие сопровождается домашним заданием для закрепления материала.

    В конце курса разберем самые популярные вопросы на собеседованиях.


    В процессе курса участники: 

    • Познакомятся с языком python и его особенностями
    • Научатся работать с базами данных, понимать разницу между реляционными и nosql базами данных
    • Научатся разворачивать приложения на Docker
    • Узнают, что такое Kubernetes, и зачем он нужен в DE
    • Познакомятся с Hadoop и концепцией больших данных
    • Научатся писать spark jobs и оптимизировать их
    • Смогут проектировать парапланы по обработки данных при помощи airflow
    • Научатся мониторить и оптимизировать уже написанные обработки данных

    Практика:

    Практика организована как на занятиях, так и в виде домашних заданий. На практике мы вместе будем разворачивать Hadoop, Airflow, писать даги для обработки данных, обеспечивать их мониторинг и алерты в случае поломки, а также делать оптимизацию спарк-приложений и проектировать данные в БД.


    Требования к участникам курса:

    • Начальных знаний не требуется, всему обучаем с нуля

    Программа

    развернуть

    Модуль 1. Программирование на языке Python

    • основы языка, переменные, циклы, операторы
    • ООП классы
    • паттерны проектирования
    • продвинутые механизмы по типу yield, корутины 
    развернуть

    Модуль 2. Базы данных

    • Введение в БД, основные концепции
    • Реляционные базы данных на примере Postgres
    • SQL, PL/SQL
    • Нереляционные базы данных
    • Mongo DB. Clickhouse 
    развернуть

    Модуль 3. ETL

    • что такое ETL
    • в чем отличие ETL vs ELT
    • какие паттерны проектирования баз данных и работе с данными существуют 
    • инструменты для ETL процессов (Cron, Airflow, Luigi, Dagster)
    развернуть

    Модуль 4. DevOps для дата-инженеров

    • сети, прокидывание портов через ssh, rsa ключи
    • Docker, развертывание разных приложений через него в том числе Airflow
    • Kubernetes 
    развернуть

    Модуль 5. Hadoop

    • HDFS, Yarn, MapReduce
    • введение в Spark, преимущество над концепцией MapReduce 
    •  развертывание Hadoop кластера на базе HortonWorks и/или yandex.cloud 
    • основные способы хранения больших и не только данных
    • Parquet, Avro, ORC, CSV
    • оптимизация spark приложений 
    развернуть

    Модуль 6. ETL процессы с использованием Airflow и Spark

    • Повторение концепций Airflow
    • Написание дагов, хуков
    • Доступ к Hadoop из Airflow
    • Мониторинг работы spark-jobs
    развернуть

    Модуль 7. Итоги курса. Подготовка к собеседованию

    • Частые вопросы на собеседованиях
    • Ресурсы для подготовки
    • Итоги курса, вопрос / ответ
    • Что дальше?
    Сертификат после обучения
    По окончании обучения вы получите сертификат. Нас знают и ценят работодатели, поэтому сертификат станет вашим дополнительным преимуществом при трудоустройстве в IT-компанию. 


    Сертификат о прохождении курса мы отправим вам на почту. Вы легко сможете добавить ссылку на сертификат в резюме и подтвердить свой уровень подготовки.

    Преподаватели

    Алик

    Data Engineer в компании Softline

    В начале своей профессиональной деятельности работал около года на позиции data scientist, и периодически решал задачи аналитика.
    Также некоторое время посчастливилось поработать на стыке DE, DS как MLOPS.:) 
    В своей работе использовал как on-premise решения, так и клауды, в частности AWS и Yandex.Cloud. 

    В данный момент работаю в стартапе для ритейла.

    "Любому IT-специалисту необходимо развиваться профессионально, постоянно читать, следить за тем, что происходит в сфере, учиться новому, только тогда знания и навыки могут оставаться востребованными на протяжении какого-то продолжительного времени. Именно поэтому и был разработан данный курс:) 
    Курс будет полезен для начинающих разработчиков, или тех кто хочет перейти в DE из бэкенда или DS" - говорит Алик.

    Фото с очных занятий в СПб

    Курсы программирования, тестирования, мобильных и веб-технологий от Level UP!
    Учитесь с профессионалами в сфере IT-образования!