Стажировка Data Engineer | Осенний поток 2025

NovaData - образовательная платформа, которая осуществляет подготовку эффективных специалистов в области DE. Мы входим в топ 250 авторов Stepik и являемся единственным кооперативом DE на площадке. За время существования коллектива подготовлено более 15.000 студентов и оценка студентов > 4.9.

Продукт - стажировка!

Стажировка начинается 1 октября и продлится полгода!

Данный продукт является логическим продолжением курса «Data Engineer с нуля до junior», но при этом подходит и тем, кто уже имеет небольшой опыт в смежных областях (SQL, Python, аналитика) и хочет получить полноценный практический опыт и перейти на позицию Middle Data Engineer. Формат полностью онлайн, без привязки ко времени, за исключением вебинаров (будут записи).

Как проходит?

Вебинары проходят несколько раз в неделю!

Количество студентов на потоке — 60.
Количество групп — 2, по 30 студентов.

После покупки курса вас добавят в закрытый телеграм-канал, в котором будут описаны дальнейшие шаги. Есть возможность выбрать день недели, когда будет удобно посещать вебинары. В конце курса у Вас будет целое портфолио с множеством проектов.

В резюме смело сможете указать, что стажировались в NovaData целых полгода!

Если Вы знаете, что у вас слабый компьютер — мы готовы выдать вам настроенную виртуальную машину за доп плату.

Абсолютно все участники стажировки получают мерч и диплом!

Программа стажировки выглядит следующим образом :

1. Первые действия

2. Организация работы

3. Введение в проектную работу (Как устроена командная работа на стажировке, основы работы с Git и репозиториями)

4. Работа с базами данных (Работа с PostgreSQL, работа с ClickHouse, введение в NoSQL и практика)

5. Потоковая обработка данных + настройка алертов (Введение в стриминговую обработку данных, генерация данных в PostgreSQL и загрузка их в ClickHouse через Kafka, борьба с дубликатами в Kafka, настройка алертов и уведомлений, знакомство с Debezium (CDC для PostgreSQL), основы Spark Streaming: Stateful и Stateless задачи, вебинар по задачам стриминга)

6. Батчовая обработка данных + настройка Grafana (Основы HDFS и его особенности, объектные хранилища (например, Amazon S3) и работа с ними, создание дашбордов в Grafana, настройка мониторинга качества данных, индивидуальные задания по расширению функционала хранения, вебинар по ETL-процессам и мониторингу)

7. Работа с инструментами Big Data (Знакомство с Hive и его особенностями, знакомство с Iceberg и концепцией Slowly Changing Dimensions (SCD), установка и настройка Spark, работа с RDD: преобразования и действия, работа с DataFrame и SparkSQL, функции PySpark и оптимизация витрин, практика углубленного использования PySpark, вебинары по работе с Hive, PySpark и SparkSQL)

8. Практическое изучение Airflow и миграция данных (Основы оркестрации данных, переменные, таски и их виды, connections, XCom, sensors в Airflow, генерация DAGов и практика их настройки, миграция данных из PostgreSQL в ClickHouse, вебинары по практике работы с Airflow и миграции данных)

9. Парсинг, очистка и загрузка данных (Основы парсинга данных, работа с библиотеками Requests и BeautifulSoup, задания по созданию парсеров разного уровня сложности, введение в Scrapy и Selenium, очистка и загрузка данных с использованием SQL, Spark и Pandas, вебинар по парсингу и аналитике)

10. Реализация итогового проекта и его защита (Разработка командного или индивидуального проекта, подготовка к публичной защите, вебинары по обсуждению итоговых проектов, публичная защита проектов)

11. Дальнейшее трудоустройство (Составление резюме, презентация собственных навыков и проектов)

Если у Вас возникли вопросы, Вы можете задать их в телеграмм директору NovaData.