Звезды и С - Главная КУРСЫ ОБУЧЕНИЕ ВЕБИНАРЫ Тел: +7 495 363 36 86
e-mail: info@stars-s.ru
Москва, Ленинградский пр-кт, д. 5, стр. 2
План проезда
ВЕРСИЯ ДЛЯ СЛАБОВИДЯЩИХВЕРСИЯ ДЛЯ СЛАБОВИДЯЩИХ

О нас|ASTRA LINUX|KASPERSKY|CITRIX|MICROSOFT|POSTGRES|CISCO|≡ Вендоры|Поиск
MICROSOFT

Microsoft Windows Server 2022/2019/2016
Microsoft Windows 10
Облачные технологии: Azure, Microsoft 365
Microsoft Exchange Server 2016 / 2019
Microsoft System Center
Microsoft Skype for business 2019
Microsoft SQL Server 2014 / 2016
Microsoft SharePoint 2016 / 2019
Microsoft Visual Studio 2016
Авторские курсы Microsoft
Корпоративное обучение пользователей Microsoft Office
Более ранние версии программных продуктов Microsoft
Microsoft Business Applications

Курс M20775: Обработка Данных с Microsoft HDInsight

Цена для физических лиц, р.: 29900
Цена для юридических лиц, р.: 30900
Цена вебинара для физических лиц, р.: 28900
Цена вебинара для юридических лиц, р.: 28900

Продолжительность курса (дней): 5

Даты (день):

Даты (вечер):

Цель: Предоставить слушателям знания и навыки, необходимые для работы с массивами больших данных, планирования и внедрения рабочих потоков с помощью HDInsight.

Необходимая подготовка:

Формат обучения, регистрация на курс:

План курса:

20775A

Модуль 1: Начало работы с HDInsight

  • Большие данные
  • Hadoop
  • MapReduce
  • HDInsight
  • Лабораторная работа: Запросы к большим данным
    • Запросы к данным с Hive
    • Запросы к данным с Excel

Модуль 2: Развертывание кластеров HDInsight

  • Типы кластеров HDInsight
  • Управление кластерами HDInsight
  • Управление кластерами HDInsight с помощью PowerShell
  • Лабораторная работа: Управление кластерами HDInsight в Azure
    • Создать кластер Hadoop в HDInsight
    • Настроить HDInsight с помощью скрипта
    • Настроить HDInsight с помощью Bootstrap
    • Удалить кластер HDInsight

Модуль 3: Авторизация пользователей для доступа к ресурсам

  • Недоменные кластеры
  • Настройка кластера HDInsight, подключенного к домену
  • Управление подключенным к домену кластером HDInsight
  • Лабораторная работа: Авторизация пользователей для доступа к ресурсам
    • Настройка кластера HDInsight, подключенного к домену
    • Настроить политики Hive

Модуль 4: Загрузка данных в HDInsight

  • Хранилище HDInsigh
  • Средства загрузки данных
  • Производительность и надёжность
  • Лабораторная работа: Загрузка данных в HDInsight
    • Загрузка данных с помощью Sqoop
    • С помощью загрузка данных в AZcopy
    • Загрузка данных с помощью ADLcopy
    • Использовать HDInsight для сжатия данных

Модуль 5: Поиск и устранение неисправностей в HDInsight

  • Анализ журналов
  • Журналы YARN
  • Дампы кучи (Heap)
  • Operations management suite
  • Лабораторная работа: Поиск и устранение неисправностей в HDInsight
    • Анализ журналов HDInsight
    • Анализ журналов YARN
    • Мониторинг ресурсов с Operations management suite

Модуль 6: Внедрение пакетных решений

  • Хранилище Apache Hive
  • Запросы с Hive и Pig
  • Подключение HDInsight
  • Лабораторная работа: Резервное копирование баз данных SQL Server
    • Загрузка данных в таблицу Hive
    • Запрос данных в Hive и Pig

Модуль 7: Проектирование пакетных решений ETL для больших данных с помощью Spark

  • Что такое Spark?
  • ETL и Spark
  • Производительность Spark
  • Лабораторная работа: Проектирование пакетных решений ETL для больших данных с помощью Spark
    • Создание кластера HDInsight с доступом к хранилищу Data Lake
    • Использование кластера Spark в HDInsight для анализа данных в хранилище Data Lake
    • Анализ журналов сайта с помощью настраиваемой библиотеки кластера Apache Spark в HDInsight
    • Управление ресурсами кластера Apache Spark в Azure HDInsight

Модуль 8: Анализ данных со Spark SQL

  • Внедрение интерактивных запросов
  • Проведение исследовательского анализа данных
  • Лабораторная работа: Анализ данных со Spark SQL
    • Внедрение интерактивных запросов
    • Проведение исследовательского анализа данных

Модуль 9: Анализ данных с помощью Hive и Phoenix

  • Внедрение интерактивных запросов для больших данных с помощью Hive
  • Проведение исследовательского анализа данных с помощью Hive
  • Выполнение интерактивной обработки данных с помощью Apache Phoenix
  • Лабораторная работа: Анализ данных с помощью Hive и Phoenix
    • Внедрение интерактивных запросов для больших данных с помощью Hive
    • Проведение исследовательского анализа данных с помощью Hive
    • Выполнение интерактивной обработки данных с помощью Apache Phoenix

Модуль 10: Потоковая аналитика

  • Потоковая аналитика
  • Обработка потоковых данных из потоковой аналитики
  • Управление задачами потоковой аналитики
  • Лабораторная работа: Внедрение потоковой аналитики
    • Обработка потоковых данных из потоковой аналитики
    • Управление задачами потоковой аналитики

Mодуль 11: Spark Streaming using the DStream API

  • Dstream
  • Создание приложений для обработки структурированных потоков в Spark
  • Стабильность и визуализация
  • Лабораторная работа: Использование DStream API для создания приложений Spark Streaming
    • Создание приложения Spark Streaming с помощью DStream API
    • Создание приложения для обработки структурированных потоков в Spark

Модуль 12: Разработка решений обработки больших данных в режиме реального времени с помощью Apache Storm

  • Долго хранимые данные
  • Потоковые данные в Storm
  • Создание топологии Storm
  • Настройка Apache Storm
  • Лабораторная работа: Разработка решений обработки больших данных в режиме реального времени с помощью Apache Storm
    • Потоковые данные в Storm
    • Создание топологии Storm

Модуль 13: Анализ данных с помощью Spark SQL

  • Внедрение интерактивных запросов
  • Проведение исследовательского анализа данных
  • Лабораторная работа: Анализ данных с помощью Spark SQL
    • Внедрение интерактивных запросов
    • Проведение исследовательского анализа данных


  О нас|ASTRA LINUX|KASPERSKY|CITRIX|MICROSOFT|POSTGRES|CISCO|≡ Вендоры|Поиск

   Тел: +74953633686 email: info@stars-s.ru

   125040, Москва, Ленинградский проспект, д. 5, стр. 2, под. 5, офис "Звезды и С"

  © Учебный центр "Звезды и С", 1991-2023, Оферта