close facebook google+ habr instagram linkedin arrow-right phone telegram twitter user vk youtube upload close menu-stroke search lock

Разработка данных в Microsoft HDInsight

20775 A

Основное назначение данного курса – это предоставление слушателям знаний и навыков, необходимых для планирования и применения рабочих потоков больших данных (Big Data) на HDInsight.

Подробнее

Разработка данных в Microsoft HDInsight

продвинутый

Уровень

40 ак. часа

Продолжительность
Производитель:
Направление:
Цена очного обучения:
34 000 руб.
Цена дист.анционного обучения:
30 600 руб.
  • Расписание и цены

    Формат, место и дата проведения обучения согласовываются индивидуально.

    Оставьте запрос на обучение, заполнив форму ниже. Менеджер Учебного центра свяжется с вами для согласования времени и места проведения курса.

    Настоящим в соответствии с Федеральным законом № 152-ФЗ «О персональных данных» от 27.07.2006, отправляя данную форму, вы подтверждаете свое согласие на обработку персональных данных. Мы, ЗАО «СофтЛайн Интернейшнл» и аффилированные к нему лица, гарантируем конфиденциальность получаемой нами информации. Обработка персональных данных осуществляется в целях эффективного исполнения заказов, договоров и пр. в соответствии с «Политикой конфиденциальности персональных данных».

  • О курсе

    Профиль аудитории:

    • Основной аудиторией данного курса являются инженеры, архитекторы, научные сотрудники и разработчики, которые планируют использовать рабочие потоки больших данных (Big Data) на HDInsight.

    По окончании курса слушатели смогут:

    • Развертывать кластеры HDInsight.
    • Авторизовать пользователей на доступ к ресурсам.
    • Загружать данные в HDInsight.
    • Устранять неисправности HDInsight.
    • Применять пакетные решения.
    • Применять пакетные решения ETL для больших данных (Big Data) со Spark.
    • Анализировать данные при помощи Spark SQL.
    • Анализировать данные при помощи Hive и Phoenix.
    • Описать поточную аналитику.
    • Применять Spark Streaming при помощи DStream API.
    • Разрабатывать решения реального времени для больших данных (Big Data) с использованием Apache Storm.
    • Разрабатывать решения, которые используют Kafka и HBase.

    Программа курса:

    • Модуль 1: Введение в HDInsight.
      • Описание больших данных (Big Data).
      • Введение в Hadoop.
      • Работа с функцией MapReduce.
      • Введение в HDInsight.
      • Работа с HDInsight.
      • Развертывание кластера HDInsight.
      • Запуск заданий MapReduce.
    • Модуль 2: Развертывание кластеров HDInsight.
      • Определение типов кластеров HDInsight.
      • Управление кластерами HDInsight при помощи портала Azure.
      • Управление кластерами HDInsight при помощи Azure PowerShell.
      • Управление кластерами HDInsight при помощи портала Azure.
      • Создание кластера HDInsight с хранилищем Data Lake Store.
      • Настройка HDInsight при помощи действий скриптов.
      • Удаление кластера HDInsight.
    • Модуль 3 Авторизация пользователей на доступ к ресурсам.
      • Кластеры без подключения к домену.
      • Настройка подключенных к домену кластеров HDInsight.
      • Управление подключенными к домену кластерами HDInsight.
      • Авторизация пользователей на доступ к ресурсам.
      • Подготовка лабораторного окружения.
      • Управление кластером без подключения к домену.
    • Модуль 4: Загрузка данных в HDInsight.
      • Хранение данных для обработки HDInsight.
      • Использование инструментов загрузки данных.
      • Максимизация ценности от хранения данных.
      • Загрузка данных в учетную запись Azure.
      • Загрузка данных для использования с HDInsight.
    • Модуль 5: Устранение неисправностей HDInsight.
      • Анализ журналов HDInsight.
      • Журналы YARN.
      • Дампы кучи (Heap Dumps).
      • Operations Management Suite (OMS).
      • Устранение неисправностей HDInsight.
      • Анализ журналов HDInsight.
      • Анализ журналов YARN.
      • Мониторинг ресурсов при помощи Operations Management Suite (OMS).
    • Модуль 6: Применение пакетных решений.
      • Хранилище Apache Hive.
      • Запросы данных HDInsight при помощи Hive и Pig.
      • Ввод в эксплуатацию HDInsight.
      • Применение пакетных решений.
      • Развертывание кластера HDInsight и хранилища данных.
      • Использование перемещения данных с кластерами HDInsight.
      • Запрос данных кластера HDInsight.
    • Модуль 7: Проектирование пакетных решений ETL для больших данных (Big Data) со Spark.
      • Описание Spark.
      • ETL со Spark.
      • Производительность Spark.
      • Проектирование пакетных решений ETL для больших данных (Big Data) со Spark.
      • Создание кластера HDInsight с доступом к Data Lake Store.
      • Использование кластера HDInsight Spark для анализа данных в Data Lake Store.
      • Анализ журналов веб-сайта при помощи настраиваемой библиотеки с кластером Apache Spark на HDInsight.
      • Управление ресурсами кластера Apache Spark на Azure HDInsight.
    • Модуль 8: Анализ данных при помощи Spark SQL.
      • Применение итеративных и интерактивных запросов.
      • Выполнение исследовательского анализа данных.
      • Выполнение исследовательского анализа при помощи итеративных и интерактивных запросов.
      • Построение приложений машинного обучения.
      • Использование цепеллинов (Zeppelin) для интерактивного анализа данных.
      • Просмотр и управления сессиями Spark при помощи Livy.
    • Модуль 9: Анализ данных при помощи Hive и Phoenix.
      • Применение интерактивных запросов для больших данных (Big Data) с интерактивным ульем (Hive).
      • Выполнение исследовательского анализа данных при помощи улья (Hive).
      • Выполнение интерактивной обработки при помощи Apache Phoenix.
      • Анализ данных при помощи Hive и Phoenix.
      • Применение интерактивных запросов для больших данных (Big Data) с интерактивным ульем (Hive).
      • Выполнение исследовательского анализа данных при помощи улья (Hive).
      • Выполнение интерактивной обработки при помощи Apache Phoenix.
    • Модуль 10: Поточная аналитика.
      • Поточная аналитика.
      • Обработка поточных данных при помощи поточной аналитики.
      • Управление заданиями поточной аналитики.
      • Применение поточной аналитики.
      • Обработка поточных данных из поточной аналитики.
      • Управление заданиями поточной аналитики.
    • Модуль 11: Применение поточных решений с Kafka и HBase.
      • Построение и развертывание кластера Kafka.
      • Публикация, использование и обработка данных при помощи кластера Kafka.
      • Использование HBase для хранения данных запросов.
      • Применение поточных решений с Kafka и HBase.
      • Создание виртуальной сети и шлюза.
      • Создание кластера Kafka.
      • Создание производителя (Producer) Kafka.
      • Создание клиентской топологии поточного обработчика (Processor).
      • Создание дашборда Power BI и поточного набора данных.
      • Создание кластера HBase.
      • Создание поточного обработчика (Processor) для записи в HBase.
    • Модуль 12: Разработка решений обработки больших данных (Big Data) в реальном времени с использованием Apache Storm.
      • Сохранение долгосрочных данных.
      • Поточные данные со Storm.
      • Создание топологий Storm.
      • Настройка Apache Storm.
      • Разработка решений обработки больших данных (Big Data) в реальном времени с использованием Apache Storm.
      • Поточные данные со Storm.
      • Создание топологий Storm.
    • Модуль 13: Создание поточных приложений Spark.
      • Работа с поточной передачей Spark.
      • Создание поточных приложений, структурированных Spark.
      • Удержание и визуализация.
      • Построение поточных приложений Spark.
      • Установка необходимого программного обеспечения.
      • Построение инфраструктуры Azure.
      • Построение конвейера потока Spark.

    Предварительные требования:

    • Обладать опытом программирования с использованием R и иметь представление об основных пакетах R.
    • Обладать знаниями основных статистических методов и передового опыта в анализе данных.
    • Обладать базовыми знаниями операционной системы Microsoft Windows и ее основной функциональности.
    • Обладать опытом работы с реляционными базами данных.
  • Отзывы
    Отзывов нет.
    Чтобы оставить отзыв, необходимо войти
Связаться с менеджером

Настоящим в соответствии с Федеральным законом № 152-ФЗ «О персональных данных» от 27.07.2006, отправляя данную форму, вы подтверждаете свое согласие на обработку персональных данных. Мы, ЗАО «СофтЛайн Интернейшнл» и аффилированные к нему лица, гарантируем конфиденциальность получаемой нами информации. Обработка персональных данных осуществляется в целях эффективного исполнения заказов, договоров и пр. в соответствии с «Политикой конфиденциальности персональных данных».

Заявка

Формат, место и дата проведения обучения согласовываются индивидуально.

Оставьте запрос на обучение, заполнив форму ниже. Менеджер Учебного центра свяжется с вами для согласования времени и места проведения курса.

Настоящим в соответствии с Федеральным законом № 152-ФЗ «О персональных данных» от 27.07.2006, отправляя данную форму, вы подтверждаете свое согласие на обработку персональных данных. Мы, ЗАО «СофтЛайн Интернейшнл» и аффилированные к нему лица, гарантируем конфиденциальность получаемой нами информации. Обработка персональных данных осуществляется в целях эффективного исполнения заказов, договоров и пр. в соответствии с «Политикой конфиденциальности персональных данных».