Пошаговые инструкции по настройке и эксплуатации Kafka-кластера
Интеграция с PostgreSQL через Kafka Connect
До 6 проектов с развивающей обратной связью от экспертов по Apache Kafka
Примеры кода и реализация задач на Java, Python и Go — выберете язык сами
Оптимизация производительности, мониторинг и визуализация метрик
1,5 или 3 месяца обучения — в зависимости от вашей цели
Курс для IT-специалистов, которые хотят узнать всё об Apache Kafka
От архитектуры и основных компонентов до реализации потоковой обработки данных
Освоить базу и начать работу с брокером сообщений можно за 1,5 месяца. Но если вам нужно взаимодействовать с Kafka в корпоративной инфраструктуре, то лучше пройти 3-месячный курс.
Курс подойдёт вам, если
Вы пишете код на Java, Python или Golang
Работаете в Linux на уровне пользователя
Имеете опыт в SQL и базах данных
Разбираетесь в базовой архитектуре распределённых систем
Запускаете приложения в контейнерах, используете Docker Compose
Знакомы с сетевой архитектурой: портами, IP, клиент-серверным взаимодействием
Компоненты Apache Kafka и инструменты, с которыми будете работать
Кластер
Producer
Consumer
Topic
Сериализация
Партиция
Репликация
ZooKeeper
Масштабирование
SSL/TLS
ACL
Grafana
Zabbix
Kafka Streams
CDC
Kafka Connect
ksqlDB
Goka
Faust
Debezium
Что вы сможете после курса
Развёртывать и конфигурировать Kafka‑кластеры
Обеспечивать их отказоустойчивость, масштабируемость и мониторинг
Настраивать доставку сообщений с нужными гарантиями
Понимать архитектуру Kafka
Разрабатывать продюсеры и консьюмеры на Java, Python или Go
Публиковать и читать события, обрабатывать ошибки
Работать с кейсами передачи данных между сервисами
Интегрировать Kafka с базами данных и внешними системами
Настраивать защищённый доступ к Kafka, улучшать производительность
Программа 2025 года
Рассчитана на 1,5 или 3 месяца, учёбе нужно уделять ~10 часов в неделю
~2 часа
Бесплатно
Знакомство и входной тест
В бесплатной части познакомитесь с учебной платформой и проверите свои знания
Знакомство с курсом
Платформа
Тестирование
Нагрузка
Как устроена учёба
Узнаете, как устроен курс, какая вас ждёт нагрузка и кто будет помогать вам учиться
Входной тест
Ответите на несколько вопросов и решите, подходит ли вам эта программа
Пройдёте входной тест и поймёте, подходит ли вам курс
1
1 проект・2 недели
Базовая эксплуатация Apache Kafka
Этот модуль входит как в курс «Основы Apache Kafka для разработчиков», так и в курс «Apache Kafka для разработки и архитектуры»
Кластер
ZooKeeper
Kraft
Consumer Groups
Сериализация
Партиция
Топик
Ключ партицирования
Масштабирование
Репликация
Основные концепции и терминология
Изучите ключевые понятия Kafka и устройство кластера
Архитектура Kafka
Разберётесь в компонентах Kafka и принципах построения кластера
Установка и настройка Kafka‑кластера
Развернёте кластер Kafka c ZooKeeper и Kraft в локальной среде
Продюсеры и консьюмеры
Создадите их и научитесь конфигурировать
Consumer Groups
Освоите настройку и работу с группами консьюмеров
Сериализация данных
Узнаете всё о сериализации и десериализации при обмене данными через Kafka
Развернёте Kafka‑кластер, настроите его с учётом масштабирования, надёжности и отказоустойчивости
2
1 проект・2 недели
Реализация потоковой обработки на базе Apache Kafka
Этот модуль входит как в курс «Основы Apache Kafka для разработчиков», так и в курс «Apache Kafka для разработки и архитектуры»
Kafka Streams
KSQL
Faust
Goka
Table
ksqlDB
Потоковая обработка данных
Освоите принципы потоковой обработки данных с Kafka Streams для Java, Faust для Python и Goka для Go
KSQL и ksqlDB
Освоите создание потоковых SQL‑запросов и поработаете с потоками Kafka через ksqlDB
Работа с данными
Научитесь применять агрегацию, фильтрацию и преобразование данных
Создадите систему потоковой обработки сообщений, реализуете кейсы цензуры сообщений и блокировки пользователей. Развернёте систему с использованием Docker Compose и настроите необходимые топики Kafka
3
1 проект・1 неделя
Администрирование Kafka
Этот модуль входит только в курс «Apache Kafka для разработки и архитектуры»
Мониторинг
Zabbix
Prometheus
Grafana
Администрирование Kafka
Изучите методы оптимизации производительности компонентов кластера
Балансировка
Научитесь использовать partition reassignment tools
Мониторинг
Узнаете, как следить за состоянием кластера Kafka с помощью Prometheus, Zabbix и Grafana
Научитесь балансировать нагрузку между брокерами при помощи Partition Reassignment Tools, находить и устранять проблемы в кластере Kafka, оптимизировать его производительность
4
1 проект・2 недели
Интеграция с внешними системами на примере Kafka Connect
Этот модуль входит как в курс «Основы Apache Kafka для разработчиков», так и в курс «Apache Kafka для разработки и архитектуры»
CDC
Kafka Connect
Debezium
Интеграция данных
Узнаете, как подключать внешние источники и системы к Kafka при помощи готовых и кастомных коннекторов
Kafka Connect
Научитесь создавать собственные коннекторы
Debezium PostgresConnector
Настроите Debezium для потоковой передачи изменений
Узнаете, как с помощью CDC и Debezium передавать изменения из PostgreSQL в Kafka
5
1 проект・1 неделя
Безопасность в Kafka
Этот модуль входит только в курс «Apache Kafka для разработки и архитектуры»
SSL/TLS
Аутентификация
ACL
Безопасность Kafka‑кластера
Изучите процесс аутентификации подключений к брокерам
Работа с внешними службами авторизации
Узнаете, как устроена интеграция Kafka с внешними механизмами авторизации
ACL
Научитесь управлять доступом к Kafka с помощью ACL: создадите правила для продюсеров и консьюмеров
Настроите защищённое SSL‑соединение для кластера Apache Kafka из 3 брокеров при помощи Docker Compose, создадите новый топик, протестируете отправку и получение зашифрованных сообщений
6
1 проект・2 недели
Kafka в production и интеграция Kafka с Big‑Data‑экосистемой
Этот модуль входит только в курс «Apache Kafka для разработки и архитектуры»
Резервирование
Масштабирование
Apache NiFi
Apache Spark
Apache Hadoop
Kafka в проде
Научитесь разворачивать кластер в production-среде
Kafka в облаке
Разберёте порядок работы в Yandex Cloud
Apache NiFi
Изучите, как использовать NiFi для обработки данных
Apache Spark
Научитесь подключать Spark для обработки потоков данных (Java, Python)
Apache Hadoop
Поймёте, как Kafka взаимодействует с HDFS и инструментами Hadoop
Развернёте кластер Kafka в Yandex Cloud, настроите репликацию и подключите внешнюю систему для интеграции
7
Дополнительно
Высоконагруженные системы: отказоустойчивость, кеширование и мониторинг
Это дополнительный модуль в курсе «Apache Kafka для разработки и архитектуры» — его можно пройти по желанию
HTTP‑кеширование
Backpressure
Circuit Breaker
Observability
Трейсинг
Отказоустойчивость приложения
Изучите ключевые принципы HTTP‑кеширования, популярные паттерны кеширования и способы инвалидации кеша. Познакомитесь с методами защиты системы от перегрузок — Backpressure и Circuit Breaker.
Повышение наблюдаемости
Разберёте, как обеспечивать прозрачность работы приложения, выявлять проблемы на ранних стадиях и всегда понимать, что происходит в системе. Изучите концепцию Observability, ключевые инструменты мониторинга и логирования, а также работу с трейсингом.
8
Дополнительно
Логирование и мониторинг ошибок
Это дополнительный модуль в курсе «Apache Kafka для разработки и архитектуры» — его можно пройти по желанию
Структурированные логи
Неструктурированные логи
Black Box
White Box
Prometheus
PromQL
Grafana
Логирование
Научитесь смотреть логи контейнеров и настраивать их вывод. Поймёте различия между структурированными и неструктурированными логами. Познакомитесь с разными уровнями журналирования.
Мониторинг
Изучите принципы мониторинга и подходы Black Box и White Box. Разберётесь в установке и настройке Prometheus для сбора метрик. Рассмотрите типы метрик и функций PromQL. Узнаете, когда и куда отправлять оповещения о состоянии системы, а также как выбирать метрики для настройки алертов.
9
2 недели
Итоговый проект курса «Apache Kafka для разработки и архитектуры»
Сконфигурируете сервис с использованием технологий, которые изучили на курсе
С наставником
Сессии Q&A
Как устроена учёба
Никаких давно снятых видео и длинных лекций
Вы проходите теорию и закрепляете её на практике в интерактивном тренажёре. Можно учиться во сколько и где удобно, главное — укладываться в дедлайны по проектам.
По расписанию только Q&A‑сессии с наставниками, остальное — в своём темпе
Расписание составлено так, чтобы вы могли совмещать учёбу с работой. Но даже если пропустите, всегда сможете посмотреть запись.
6 проектов, которые основаны на реальных задачах
Дедлайны по заданиям помогут сохранять темп в обучении, а советы от ревьюеров позволят перенять лучшие практики.
YandexGPT помогает учиться
Когда в теории что-то непонятно, нейросеть объяснит это другими словами. А в конце каждого урока подготовит краткий пересказ о самом главном.
Будете заниматься сами, но не в одиночестве — вас поддержит заботливая команда Практикума
Авторы делятся знаниями и лучшими практиками
Курс разработали специалисты с большим опытом внедрения и применения Apache Kafka.
Перенесём дедлайн или предложим перейти в следующий поток
Дедлайн сдачи проекта можно сдвинуть на неделю. Если нужно больше времени, куратор поможет перевестись в более поздний поток. Так вы сможете пройти темы и закончить проект в комфортном темпе.
Отвечаем на вопросы
Каким требованиям нужно соответствовать?
Курс подойдёт действующим специалистам, которые:
пишут код на Java, Python или Golang,
понимают, как устроены базы данных — SQL и NoSQL,
разбираются в архитектуре распределённых систем — на базовом уровне,
работают в Linux — на уровне пользователя,
запускают приложения в Docker‑контейнере и управляют ими.
Кто будет меня учить?
Все наставники — практикующие специалисты: сотрудники Яндекса и других крупных российских и международных компаний. Программу составляют опытные преподаватели и методисты, а ещё действующие специалисты Яндекса, Школы анализа данных и других лидеров технологической и образовательной индустрий.
Что делать, если я не справлюсь с нагрузкой?
Если случилось непредвиденное или понадобилось уделить больше времени закреплению материала, напишите своему куратору. Он поможет перенести дедлайн сдачи проекта или перевестись в более поздний поток. На общую стоимость курса это не повлияет.
Если не понравится, я могу вернуть деньги?
Конечно. Если поток ещё не стартовал, вернём всю сумму. Если учёба уже началась, придётся оплатить прошедшие дни со старта вашего первого потока — но мы вернём деньги за остаток курса. Более подробно рассказываем об этом в 7 пункте оферты.
Получу ли я какой-то документ после курса?
Да, для этого нужно закончить курс и успешно выполнить итоговый проект. Тогда выдадим вам сертификат о повышении квалификации в электронном виде.
А если не получится дойти до конца, по запросу выдадим электронную справку об обучении — с перечнем модулей, которые вы освоили.
Вы поможете сменить или найти работу?
На этом курсе не предусмотрена помощь с трудоустройством, поскольку он для действующих специалистов, у которых уже есть навыки поиска работы.
Но если у вас появится вопрос о карьерном развитии, обратитесь в нашу службу поддержки — постараемся ответить.
Как можно оплатить?
Банковской картой: внести всю сумму сразу или платить ежемесячно.
Ежемесячные платежи работают так: вы вносите первую оплату, и в этот момент привязывается карта. С этой карты автоматически будут списываться следующие платежи каждые 30 календарных дней. Например, оплатили 25 марта — следующий платёж пройдёт 24 апреля. Обучение будет стоить меньше, если оплатить весь курс сразу.
Через компанию: юридические лица также могут оплатить обучение в Практикуме. Чтобы заказать счёт для оплаты, оставьте заявку на странице для корпоративных клиентов.
На каком языке проходит обучение?
Всё будет на русском: теория, практические задания и вебинары, а ещё чаты с куратором, наставником и другими студентами.
Давайте поможем
Напишите, как вас зовут и по какому номеру можно связываться, — в течение 30 минут позвоним и расскажем всё про курсы