[МФТИ] Профессия Data Engineer (Гайк Инанц, Олег Ивченко)

Dr.Vatson · 26 фев 2023

Почему Data Engineering?

Спрос
Спрос на квалифицированных инженеров по обработке данных намного превышает предложение

Работа удаленно
Возможно работать как в офисе, так и удаленно

Математический барьер
Сильно ниже, чем в data science

Data engineering
– фундамент любой data-driven компании

Зарплаты
Одна из самых высоких заработных плат

Востребованность в будущем
Тренд на обработку больших данных усиливается - не будет проблем с трудоустройством

Чем занимается Data Engineer:

собирает информацию о продукте и/или клиентах из разных источников

сортирует и обрабатывает информацию так, чтобы с ней можно было работать дальше

организовывает безопасное хранение данных, на основании которых принимаются взвешенные бизнес-решения и создаются конкурентоспособные продукты

Для кого программа?

Для аналитиков
Освоите работу с большими данными, чтобы решать более сложные и интересные аналитические задачи, перейдете на более оплачиваемую работу

Для начинающих IT-специалистов
Освоите продвинутые инструменты работы с большими данными, прокачаете навыки и будете готовы для ускоренного карьерного роста

Для практикующих разработчиков
Расширите свои профессиональные возможности и получите новые навыки работы с большими данными, сможете перейти в востребованное направление и зарабатывать больше

Какие компетенции вы получите:

Настраивать и автоматизировать процессы сбора, трансформации, очистки, хранения и первичного анализа данных с помощью SQL и базового Python

Пользоваться высокоуровневыми языками программирования для BigData для обработки большого объема данных на вычислительном кластере

Анализировать проблемы, возникающие при решении задач извлечения данных, трансформации и очистки, и предложить пути их решения

Решать задачи статистики, задачи поиска и индексации, задачи машинного обучения на Hadoop кластере

Пользоваться распределенной файловой системой

Работать с большими объемами данных и располагать кругозором в выборе архитектурного решения поставленной задачи

Писать задачи для запуска на Hadoop кластере с помощью нативного Java-интерфейса, а также любого другого языка программирования (с помощью инструментария Hadoop streaming) и запускать

Курс: "Старт в Data Engineering" (3 месяца, 8 часов в неделю)

Автоматизируете процессы сбора, очистки и анализа реальных данных без разработчиков (ETL)

Освоите инструменты: Git, SQL, базовый Python

Научитесь работать с хранилищами данных (DWH)

Курс: "Python: основы языка" (1 месяц, 8 часов в неделю)

Освоите стартовые навыки программирования на языке Python

Далее сможете изучать необходимые вам библиотеки Python в зависимости от выбранной области

Курс: "Инструменты работы с большими данными" (2,5 месяца, 8 часов в неделю)
Освоите самые популярные инструменты для работы с большими данными

Apache Hadoop (HDFS, MapReduce, YARN)

Apache Hive

Apache Spark (в том числе технологии Streaming)

Apache Kafka

NoSQL в больших данных (Apache Cassandra, Apache HBase)

В ходе программы предусмотрен сбор профессионального портфолио. Вы не только набьете руку на новых проектах, но и сможете еще более качественно представить собственную кандидатуру на рынке труда.

Гайк Инанц
7 лет опыта работы в Big Data и разработки в веб на различных проектах (ВТБ, Райффайзен, Альфа).
На данный момент работает над проектом Ингосстраха, Лаборатории Инноватики и школы Феникс по подготовке middle fullstack разработчиков. Преподает в МФТИ и израильской школе программирования HackerU

Илья Склонин
Преподаватель курса "Python: основы языка".
МФТИ, аспирант кафедры информатики и вычислительной математики
работал в команде компьютерного зрения TCS Group, преподаватель курсов "Программирование на Python" , "Основные алгоритмы" и "Алгебра логики, комбинаторики и теория графов" в МФТИ

Олег Ивченко
Преподаватель курса "Инструменты работы с большими данными"
Разработчик системы HJudge - системы автоматизирванного тестирования Hadoop-приложений, системный администратор инфраструктуры больших данных в группе Яндекс-CERN, преподаватель курсов по обработке больших данных в МФТИ, ВШЭ, ШАД, Harbour.Space

Кто такой Data Engineer?

Скрытый текст. Доступен только зарегистрированным пользователям.

Скрытый текст. Доступен только зарегистрированным пользователям.Нажмите, чтобы раскрыть...