Data Engineering

Чтение CSV-файла стандартными средствами Python.

Поиск хита продаж с помощью функции

Apache Airflow + ClickHouse: поднимаем окружение через Docker Compose.

Два DAG-а и слои данных: один собирает координаты МКС, второй обогащает их страной.

Расписание раз в минуту, retry при ошибках, чтение логов.

SQL-аналитика: над какими странами МКС летит чаще всего и трек за 30 минут.

Дашборд на Streamlit: трек станции на карте и графики по странам.

Забираем реальный научный каталог GWTC от обсерватории LIGO - без ключей и регистрации.

Поднимаем ClickHouse в Docker одной командой и грузим данные Python-скриптом.

Обогащаем данные: классифицируем слияния по массам объектов (чёрные дыры / нейтронные звезды).

SQL-аналитика: типы слияний, рекорды каталога, связь массы и расстояния.

Дашборд на Streamlit: реальные события космического масштаба на графиках.

Поднимаем Kafka в Docker одной командой и разбираемся, почему ей больше не нужен ZooKeeper.

Топики, писатели и читатели: собираем поток событий в реальном времени.

Заглядываем на диск: где Kafka хранит сообщения и почему они не исчезают после прочтения.

Срок хранения: настраиваем, сколько живут сообщения, и смотрим, как Kafka удаляет старые.

Оффсеты и группы читателей: продолжаем чтение с того же места после сбоя, следим за отставанием (lag).

Партиции и ключи: делим топик на части и сохраняем порядок там, где он важен.

Практика на живых данных: пишем на Python писателя, который забирает в Kafka поток лайков соцсети Bluesky - около 300 в секунду.

Читатель-счётчик в реальном времени показывает топ постов за последнюю минуту и без потерь переживает перезапуск.

Сложный модуль: streaming на Kafka, ClickHouse и Metabase.

Продукт - EEG-датчик против засыпания (в каску, кепку, ободок) для автопарков, дальнобоя, горнодобычи и тяжёлых производств.

Строим облачный аналитический слой: устройства шлют поток ЭЭГ, а мы принимаем и обрабатываем его на сервере.

Эмулятор нейро-устройства пишет поток в Kafka; ClickHouse сам вычитывает его через Kafka engine.

Считаем фичу на лету в потоковом консьюмере (скользящие окна) и размечаем закрытие глаз с калибровкой.

Контроль качества данных, идемпотентность, consumer lag и надёжность потока.

Живой дашборд в Metabase поверх ClickHouse.

ClickHouse + DBeaver: поднимаем аналитическую БД в Docker.

Генерация и загрузка данных о поездках таксопарка.

SQL-аналитика: топ водителей по выручке без Excel.

Генерация синтетических данных и загрузка в ClickHouse.

Построение staging-слоя и витрин с помощью dbt.

Документация, lineage-граф и упаковка проекта в Git.

Оформление профиля: структура About, Headline, Featured, настройки Open to Work.

Развитие сети контактов: кого добавлять, как комментировать и разгонять профиль.

Посты: как показать, что ищешь работу, не говоря об этом прямо - 5 идей.

Структура поста для поиска работы и шаблон сопроводительного письма.

Аутрич и самопрезентация: как выходить на нужных людей напрямую.

Общие рекомендации по поиску работы

Наша сеть Telegram-каналов и чатов: вакансии и сообщества дата-инженеров по странам - Global, Кипр, Беларусь, Польша, Грузия, Казахстан, Кыргызстан, Узбекистан и др.

База из 100 компаний с корнями из СНГ - Fintech, AI/Data, DevTools, SaaS, Gaming, Health, EdTech и другие. Знакомый контекст как первый шаг на международный рынок.

Какие технологии и до какой глубины нужны, чтобы начать работать junior Data Engineer.

Что отличает middle от junior: оркестрация, моделирование данных, оптимизация.

Архитектура платформы, производительность и масштаб, надёжность, governance.