Модуль 1. Основы Apache Kafka (4 ак. ч.)
- Введение в ПО Apache Kafka. Область применения и примеры использования. Сравнение с Spark, Flint, Storm.
- Компоненты и архитектура Apache Kafka.
- Основные концепции Apache Kafka.
- Брокеры. Поставщики и потребители данных. Работа с сообщениями.
- Развертывание ПО Apache Kafka. Основные команды по настройке и администрированию сервера.
- Базовые операции Apache Kafka.
- Сценарии интеграции с Apache Kafka.
Модуль 2. Apache Kafka Streams — API для разработки распределенных приложений и микросервисов потоковой обработки событий в реальном времени (6 ак. ч.)
- Apache Kafka Streams — API для разработки распределенных приложений и микросервисов потоковой обработки событий в реальном времени
- Режимы работы Apache Kafka. Отличия и выбор режима работы.
- Управление и работа с Topic-ами сообщений. Использование API.
- Публикация и примем сообщений. Практические примеры.
- Общие понятия Kafka Stream. Работа с потоками.
- Kafka Stream DSL — язык для настройки потоков данных.
- Использование Processor API.
- Лабораторная работа: использование API поставщиков и потребителей для обмена сообщениями между распределенными приложениями.
Модуль 3. Выполнение REST-запросов для обмена данными с сервером (6 ак. ч.)
- Интеграция с внешними системами.
- Основные принципы Kafka Connect. Виды Connector-ов в Apache Kafka и их применения.
- Режимы работы и принципы применения.
- Конфигурирование Connector-ов. Использование REST API.
- Интеграция с системами: Apache Spark, Apache Storm, Amazon Web Services.
- Выполнение трансформации данных. Пересылка сообщений.