Какие инструменты освоите

Python
SQL
Metabase
Airflow
PostgreSQL
MongoDB
Docker
Redis
Yandex.Cloud
Kafka
Hadoop
Apache Spark
Spark Streaming
NoSQL

Как вы будете учиться

YandexGPT помогает учиться

Когда в теории что-то непонятно, нейросеть объяснит это другими словами. А в конце каждого урока подготовит краткий пересказ о самом главном.

В качестве выпускной работы сможете выполнить пет‑проект — то есть сами выберете тему и пути решения

Такой проект может заметно усилить ваше портфолио

  • Он должен быть основан на открытых источниках, а тема — связана с инженерией данных
  • Будете использовать технологии, которые освоили на курсе, чтобы продемонстрировать свои знания
  • Представите результаты перед командой курса и другими студентами — расскажете о задумке и ценности своей работы

Программа курса «Инженер данных»

Курс длится 6,5 месяцев, учёбе нужно будет посвящать от 12 часов в неделю
Бесплатный модуль5 часов
Бесплатный вводный курс. Простая витрина данных
Устроитесь на работу в IT-компанию как начинающий инженер данных и попробуете выполнить своё первое задание — получите от лида требования и построите по ним витрину данных.

Технологии и инструменты:
MetabasePostgreSQLSQL и Python
1 модуль2 недели
Актуализация модели данных
Компания продолжает погружать вас в свои процессы. Данные, с которыми вы работали, обновились, поэтому необходимо изменить модель данных.

В этом курсе вы:
  • Разберётесь, как в компании строят БД
  • Обновите структуру текущей БД в соответствии с новыми требованиями бизнеса
  • Подготовите новые витрины и метрики для аналитиков и менеджеров

Технологии и инструменты:
PostgreSQL
+1 проект в портфолио
Построите витрину данных с инкрементальной загрузкой для аналитики аудитории интернет-магазина.
2 модуль3 недели
DWH: пересмотр модели данных
Компания растёт, архитектура данных усложняется. Вам дают задание — оптимизировать процессы с данными.

В этом курсе вы:
  • Продумаете процесс перехода со старой схемы БД на новую с минимизацией потерь для бизнеса (zero-downtime deployment)
  • Подготовите миграцию данных
  • Учтёте возможные проблемы и спроектируете вариант отката изменений
  • Реализуете новую структуру БД и адаптируете её под существующие процессы вокруг данных

Технологии и инструменты:
PythonPosgreSQL
+1 проект в портфолио
Приведёте в порядок модель данных и осуществите миграцию данных в рамках текущего хранилища интернет-магазина.
3 модуль3 недели
ETL: автоматизация подготовки данных
О хранилище данных компании вы теперь знаете почти всё. Пришло время пересмотреть ETL-процессы.

В этом курсе вы:
  • Автоматизируете пайплайн данных
  • Настроите автоматическую выгрузку данных из источников
  • Научитесь регулярно и инкрементально загружать данные в БД

Технологии и инструменты:
PythonAirflowPostgreSQL
+1 проект в портфолио
Построите для e-commerce-проекта пайплайн автоматизированного получения, обработки и загрузки данных от источников до витрины.
4 модуль1 неделя
Проверка качества данных
Вы хотите быть уверены, что ваши первые пайплайны работают нормально. Качество данных необходимо проверять, а поломки — вовремя отслеживать.

В этом курсе вы:
  • Поймёте, как пользоваться метаинформацией и документацией
  • Оцените качество данных
1 неделя
Каникулы
В это время вы сможете перевести дух, оценить свои результаты и настроиться на новый спринт.
5 модуль2 недели
DWH для нескольких источников
Вы продолжаете исследовать DWH, потому что развитие компании и, следовательно, увеличение объёма данных не остановить.

В этом курсе вы:
  • Построите DWH с нуля на реляционной СУБД
  • Познакомитесь с MongoDB в качестве источника данных

Технологии и инструменты:
NoSQLMongoDBPostgreSQL
+1 проект в портфолио
Спроектируете и реализуете DWH для инхаус-стартапа.
6 модуль2 недели
Аналитические базы данных
Специфичных неструктурированных данных, которые тоже надо хранить и обрабатывать, становится больше. Поэтому мы познакомим вас с концепцией аналитических баз данных на примере СУБД Vertica.

В этом курсе вы:
  • Изучите организацию хранилища в Vertica
  • Научитесь делать базовые операции с данными в Vertica
  • Построите простое хранилище данных в Vertica

Технологии и инструменты:
S3VerticaAirflowPostgreSQL
+1 проект в портфолио
Построите DWH для высоконагруженной системы малоструктурированных данных мессенджера с использованием Vertica.
7 модуль4 недели
Организация Data Lake
Классические решения не помогают справиться с объёмом данных. Чтобы справиться с новыми вызовами бизнеса, вы построите и наполните Data Lake.

В этом курсе вы:
  • Рассмотрите архитектуру Data Lake (пер. «озеро данных»)
  • Научитесь обрабатывать данные в MPP-системе
  • Наполните Data Lake данными из источников
  • Потренируетесь в обработке данных с помощью PySpark и Airflow

Технологии и инструменты:
HDFSHadoopMapReduceApache Spark (PySpark)
+1 проект в портфолио
Построите Data Lake, а также автоматизируете загрузку и обработку данных в нём.
1 неделя
Каникулы
В это время вы сможете перевести дух, оценить свои результаты и настроиться на новый спринт.
8 модуль3 недели
Потоковая обработка данных
Трудности с большим объёмом данных вы победили, но появилась новая задача — нужно помочь бизнесу быстрее принимать решения. Тут понадобятся знания потоковой обработки данных (англ. streaming).

В этом курсе вы:
  • Рассмотрите особенности потоковой обработки данных
  • Построите свою стриминговую систему
  • Построите витрину с использованием real-time данных

Технологии и инструменты:
KafkaSpark Streaming
+1 проект в портфолио
Разработаете систему real-time обработки данных.
9 модуль3 недели
Облачные технологии
Теперь вы умеете работать и с большими объёмами данных, и с потоками. Осталось только автоматизировать масштабирование систем с помощью облачных сервисов.

В этом курсе вы познакомитесь с тем, как реализовать уже изученные решения, но в облаке (на примере Яндекс Облака).

Технологии и инструменты:
RedisNoSQLkubectlKubernetesPostgreSQLЯндекс.Облако
+1 проект в портфолио
Разработаете инфраструктуры хранения и обработки данных в облаке.
10 модуль2 недели
Выпускной проект
Чтобы подтвердить, что вы освоили новые навыки, выполните 1 из вариантов итоговой работы:
  • Проект по разработке архитектуры данных на заданную тему
  • Пет-проект без заданных рамок, на любую интересную вам тему, связанную с инженерией данных

В выпускной работе вы сами выберете и реализуете решение для бизнес-задачи. Это поможет ещё раз закрепить использование изученных инструментов в самостоятельной практике. А после защиты проекта добавите готовый кейс в портфолио.

Отвечаем на вопросы

Подойдёт ли мне эта профессия?
Для тех, кто ещё нетвёрдо уверен в своём намерении, мы спроектировали бесплатную часть, которая поможет получить ответ на этот вопрос. Если вы убедитесь, что инженерия данных не для вас, это тоже положительный результат.
Подробнее о профессии инженера данных вы можете узнать из нашей статьи.
Можно ли обучиться профессии за 6,5 месяцев?
Думаем, что да. Для этого уделяйте занятиям в среднем от 12 часов в неделю: читайте теорию в тренажёре, выполняйте задания, разрабатывайте проекты и общайтесь с наставником.
Каким требованиям нужно соответствовать?
Для старта достаточно иметь законченное среднее образование и возможность заниматься в среднем 15 часов в неделю. Также нужно иметь базовые знания по Python и SQL, какие именно — смотрите в разделе «Какие знания потребуются, чтобы учиться на курсе»
Кто будет меня учить?
Программа составлена опытными преподавателями, методологами и действующими специалистами не только Яндекса, но и других лидеров технологической и образовательной индустрии.
Как и когда я буду учиться?
Обучение состоит из 3 больших частей: теории с закреплением в тренажёре, домашних заданий с самостоятельными проектами и вебинаров с наставниками и экспертами из индустрии.

Теория в тренажёре и домашние задания не привязаны к расписанию — можно учиться когда угодно. Главное — уложиться в дедлайн, обычно это спринт из 2 недель. Вебинары проходят в определённое время, о котором вам заранее скажет куратор.
Что делать, если я не справлюсь с нагрузкой?
В программе предусмотрены каникулы, во время которых можно отдохнуть или повторить сложные темы.

Если вам понадобится сделать паузу в учёбе или уделить больше времени закреплению материала, напишите своему куратору.
Смогу ли я найти работу после обучения?
Гарантий нет, но мы верим, что сможете. Работодателям важно, чтобы вы справлялись с реальными задачами, а не просто обладали набором знаний. Мы учим применять знания на практике, а также предлагаем помощь HR-специалистов из нашего карьерного центра. Но вам точно придётся приложить усилия, чтобы найти работу: активно откликаться на вакансии, проходить собеседования, показывать свои проекты и делать тестовые задания.

По данным исследования* Высшей школы экономики, 69% наших выпускников среди тех, кто хотел сменить профессию, начинают новую карьеру после обучения. Больше половины из них — во время учёбы и в первые 2 месяца после выпуска.

* Данные исследования ВШЭ основаны на опыте выпускников Яндекс Практикума на российском рынке труда.
А если я хочу работать в Яндексе?
Некоторые наши студенты работают в сервисах Яндекса, в том числе и в Практикуме. Но с нашей стороны было бы нечестно что-либо гарантировать и завышать ваши ожидания.

Без опыта попасть в крупную IT-компанию возможно, хотя и сложно. Программа составлена так, чтобы вы могли начать карьеру после выпуска и набраться первого опыта. С ним вам будет значительно проще претендовать на позицию в крупных компаниях.
Хорошо, а вы можете помочь с поиском работы?
Да. По желанию студенты могут попасть на программу трудоустройства, которая длится от 2 недель. С поддержкой карьерного центра Практикума студенты оформляют портфолио, проходят тренировочные собеседования с их последующим разбором и учатся писать сопроводительные письма.

Мы сотрудничаем с разными компаниями и регулярно предлагаем студентам партнёрские вакансии. Но важно помнить, что мы не ищем работу за вас, а помогаем её найти.
Если не понравится, я могу вернуть деньги?
Да, причём в любой момент. Если обучение в потоке уже началось, придётся оплатить прошедшие дни — но мы вернём деньги за оставшееся время обучения. Более подробно рассказываем об этом в седьмом пункте оферты.
Получу ли я какой-то документ после курса?
Да, вы получите сертификат о переподготовке.
Как можно оплатить?
Банковской картой: внести всю сумму сразу или платить ежемесячно.

Ежемесячные платежи работают так: вы вносите первую оплату, и в этот момент привязывается карта. С этой карты автоматически будут списываться следующие платежи каждые 30 календарных дней. Например, оплатили 25 марта — следующий платёж пройдёт 24 апреля. Обучение будет стоить меньше, если оплатить весь курс сразу.

Через компанию: юридические лица также могут оплатить обучение в Практикуме. Чтобы заказать счёт для оплаты, оставьте заявку на странице для корпоративных клиентов.
На каком языке проходит обучение?
Всё будет на русском: теория, практические задания и вебинары, а ещё чаты с куратором, наставником и другими студентами.

Давайте поможем

Мы работаем с 12:00 до 21:00 по Астане и связываемся в течение одного дня. Если оставите заявку сейчас, то перезвоним уже в рабочее время.