close facebook google+ habr instagram linkedin arrow-right phone telegram twitter user vk youtube upload close menu-stroke search lock

Разработка данных в Microsoft HDInsight

20775 A

34 000 руб

очно

30 600 руб

дистанционно
Очное обучение

Очное обучение – это обучение в одном из 13 городов России, где есть классы Учебного центра Softline (Москва, Санкт-Петербург, Владивосток, Екатеринбург, Казань, Красноярск, Нижний Новгород, Новосибирск, Омск, Ростов-на-Дону, Самара, Уфа, Хабаровск).

Вы приезжаете в указанное администратором время по нужному адресу и проходите обучение на наших ПК. Все лабораторные работы и/или практические задания будут заранее настроены нашими техническими специалистами и готовы к работе. В стоимость очного обучения входит блокнот, ручка, учебники и пособия, чай/кофе/вода/печеньки и обед. Иногородним слушателям, желающим обучаться в наших классах очно, мы помогаем с подбором и бронированием гостиницы (командировку вы оформляете за свой счёт).

Подробнее
Дистанционное обучение

Если в вашем городе нет класса, вы можете пройти обучение в дистанционном формате. Стоимость дистанционного курса на 10% меньше, чем очного.

Удалённый формат подразумевает подключение к очной группе во время проведения курса (ссылка для подключения будет выслана вам заранее). С вашей стороны нужен компьютер или ноутбук с устойчивым подключением к интернету и гарнитура с микрофоном и наушниками. Вы будете видеть презентацию преподавателя, слышать его, получите удалённый доступ к лабораторным работам (если курс подразумевает их использование), сможете задавать вопросы в групповом чате или голосом, общаться с другими слушателями, а по окончании обучения получите те же сертификаты (по электронной почте), что и очные слушатели (в сертификате не указано, в каком формате вы прошли обучение).

Подробнее

Основное назначение данного курса – это предоставление слушателям знаний и навыков, необходимых для планирования и применения рабочих потоков больших данных (Big Data) на HDInsight.

Подробнее

Производитель: Microsoft

Направление: Базы данных и СУБД
Продолжительность: 40 ак. часов
  • Расписание и цены
    13 — 17 мая 2019
    40 ак. часов
    Москва
    Дистанционный
    30 600 руб.
    13 — 17 мая 2019
    40 ак. часов
    Москва
    34 000 руб.
    26 — 30 августа 2019
    40 ак. часов
    Москва
    Дистанционный
    30 600 руб.
    26 — 30 августа 2019
    40 ак. часов
    Москва
    34 000 руб.
    25 — 29 ноября 2019
    40 ак. часов
    Москва
    Дистанционный
    30 600 руб.
    25 — 29 ноября 2019
    40 ак. часов
    Москва
    34 000 руб.
    Место обучения Формат Дата и время Стоимость
  • О курсе

    Профиль аудитории:

    • Основной аудиторией данного курса являются инженеры, архитекторы, научные сотрудники и разработчики, которые планируют использовать рабочие потоки больших данных (Big Data) на HDInsight.

    По окончании курса слушатели смогут:

    • Развертывать кластеры HDInsight.
    • Авторизовать пользователей на доступ к ресурсам.
    • Загружать данные в HDInsight.
    • Устранять неисправности HDInsight.
    • Применять пакетные решения.
    • Применять пакетные решения ETL для больших данных (Big Data) со Spark.
    • Анализировать данные при помощи Spark SQL.
    • Анализировать данные при помощи Hive и Phoenix.
    • Описать поточную аналитику.
    • Применять Spark Streaming при помощи DStream API.
    • Разрабатывать решения реального времени для больших данных (Big Data) с использованием Apache Storm.
    • Разрабатывать решения, которые используют Kafka и HBase.

    Программа курса:

    • Модуль 1: Введение в HDInsight.
      • Описание больших данных (Big Data).
      • Введение в Hadoop.
      • Работа с функцией MapReduce.
      • Введение в HDInsight.
      • Работа с HDInsight.
      • Развертывание кластера HDInsight.
      • Запуск заданий MapReduce.
    • Модуль 2: Развертывание кластеров HDInsight.
      • Определение типов кластеров HDInsight.
      • Управление кластерами HDInsight при помощи портала Azure.
      • Управление кластерами HDInsight при помощи Azure PowerShell.
      • Управление кластерами HDInsight при помощи портала Azure.
      • Создание кластера HDInsight с хранилищем Data Lake Store.
      • Настройка HDInsight при помощи действий скриптов.
      • Удаление кластера HDInsight.
    • Модуль 3 Авторизация пользователей на доступ к ресурсам.
      • Кластеры без подключения к домену.
      • Настройка подключенных к домену кластеров HDInsight.
      • Управление подключенными к домену кластерами HDInsight.
      • Авторизация пользователей на доступ к ресурсам.
      • Подготовка лабораторного окружения.
      • Управление кластером без подключения к домену.
    • Модуль 4: Загрузка данных в HDInsight.
      • Хранение данных для обработки HDInsight.
      • Использование инструментов загрузки данных.
      • Максимизация ценности от хранения данных.
      • Загрузка данных в учетную запись Azure.
      • Загрузка данных для использования с HDInsight.
    • Модуль 5: Устранение неисправностей HDInsight.
      • Анализ журналов HDInsight.
      • Журналы YARN.
      • Дампы кучи (Heap Dumps).
      • Operations Management Suite (OMS).
      • Устранение неисправностей HDInsight.
      • Анализ журналов HDInsight.
      • Анализ журналов YARN.
      • Мониторинг ресурсов при помощи Operations Management Suite (OMS).
    • Модуль 6: Применение пакетных решений.
      • Хранилище Apache Hive.
      • Запросы данных HDInsight при помощи Hive и Pig.
      • Ввод в эксплуатацию HDInsight.
      • Применение пакетных решений.
      • Развертывание кластера HDInsight и хранилища данных.
      • Использование перемещения данных с кластерами HDInsight.
      • Запрос данных кластера HDInsight.
    • Модуль 7: Проектирование пакетных решений ETL для больших данных (Big Data) со Spark.
      • Описание Spark.
      • ETL со Spark.
      • Производительность Spark.
      • Проектирование пакетных решений ETL для больших данных (Big Data) со Spark.
      • Создание кластера HDInsight с доступом к Data Lake Store.
      • Использование кластера HDInsight Spark для анализа данных в Data Lake Store.
      • Анализ журналов веб-сайта при помощи настраиваемой библиотеки с кластером Apache Spark на HDInsight.
      • Управление ресурсами кластера Apache Spark на Azure HDInsight.
    • Модуль 8: Анализ данных при помощи Spark SQL.
      • Применение итеративных и интерактивных запросов.
      • Выполнение исследовательского анализа данных.
      • Выполнение исследовательского анализа при помощи итеративных и интерактивных запросов.
      • Построение приложений машинного обучения.
      • Использование цепеллинов (Zeppelin) для интерактивного анализа данных.
      • Просмотр и управления сессиями Spark при помощи Livy.
    • Модуль 9: Анализ данных при помощи Hive и Phoenix.
      • Применение интерактивных запросов для больших данных (Big Data) с интерактивным ульем (Hive).
      • Выполнение исследовательского анализа данных при помощи улья (Hive).
      • Выполнение интерактивной обработки при помощи Apache Phoenix.
      • Анализ данных при помощи Hive и Phoenix.
      • Применение интерактивных запросов для больших данных (Big Data) с интерактивным ульем (Hive).
      • Выполнение исследовательского анализа данных при помощи улья (Hive).
      • Выполнение интерактивной обработки при помощи Apache Phoenix.
    • Модуль 10: Поточная аналитика.
      • Поточная аналитика.
      • Обработка поточных данных при помощи поточной аналитики.
      • Управление заданиями поточной аналитики.
      • Применение поточной аналитики.
      • Обработка поточных данных из поточной аналитики.
      • Управление заданиями поточной аналитики.
    • Модуль 11: Применение поточных решений с Kafka и HBase.
      • Построение и развертывание кластера Kafka.
      • Публикация, использование и обработка данных при помощи кластера Kafka.
      • Использование HBase для хранения данных запросов.
      • Применение поточных решений с Kafka и HBase.
      • Создание виртуальной сети и шлюза.
      • Создание кластера Kafka.
      • Создание производителя (Producer) Kafka.
      • Создание клиентской топологии поточного обработчика (Processor).
      • Создание дашборда Power BI и поточного набора данных.
      • Создание кластера HBase.
      • Создание поточного обработчика (Processor) для записи в HBase.
    • Модуль 12: Разработка решений обработки больших данных (Big Data) в реальном времени с использованием Apache Storm.
      • Сохранение долгосрочных данных.
      • Поточные данные со Storm.
      • Создание топологий Storm.
      • Настройка Apache Storm.
      • Разработка решений обработки больших данных (Big Data) в реальном времени с использованием Apache Storm.
      • Поточные данные со Storm.
      • Создание топологий Storm.
    • Модуль 13: Создание поточных приложений Spark.
      • Работа с поточной передачей Spark.
      • Создание поточных приложений, структурированных Spark.
      • Удержание и визуализация.
      • Построение поточных приложений Spark.
      • Установка необходимого программного обеспечения.
      • Построение инфраструктуры Azure.
      • Построение конвейера потока Spark.

    Предварительные требования:

    • Обладать опытом программирования с использованием R и иметь представление об основных пакетах R.
    • Обладать знаниями основных статистических методов и передового опыта в анализе данных.
    • Обладать базовыми знаниями операционной системы Microsoft Windows и ее основной функциональности.
    • Обладать опытом работы с реляционными базами данных.
  • Отзывы

    Ваш отзыв поможет кому-то сделать выбор. Спасибо, что делитесь опытом!

Связаться с менеджером

Настоящим в соответствии с Федеральным законом № 152-ФЗ «О персональных данных» от 27.07.2006, отправляя данную форму, вы подтверждаете свое согласие на обработку персональных данных. Мы, ЗАО «СофтЛайн Интернейшнл» и аффилированные к нему лица, гарантируем конфиденциальность получаемой нами информации. Обработка персональных данных осуществляется в целях эффективного исполнения заказов, договоров и пр. в соответствии с «Политикой конфиденциальности персональных данных».

Запрос

В данный момент курс не стоит в открытом расписании. Оставьте запрос на этот курс, и мы свяжемся с вами для согласования времени и места проведения обучения.

Настоящим в соответствии с Федеральным законом № 152-ФЗ «О персональных данных» от 27.07.2006, отправляя данную форму, вы подтверждаете свое согласие на обработку персональных данных. Мы, ЗАО «СофтЛайн Интернейшнл» и аффилированные к нему лица, гарантируем конфиденциальность получаемой нами информации. Обработка персональных данных осуществляется в целях эффективного исполнения заказов, договоров и пр. в соответствии с «Политикой конфиденциальности персональных данных».