Разработка скриптов U-SQL с помощью средств Data Lake для Visual Studio

  • Статья

Важно!

Новые учетные записи azure Data Lake Analytics больше нельзя создавать, если ваша подписка не включена. Если вам нужно включить подписку, обратитесь в службу поддержки и предоставьте свой бизнес-сценарий.

Если вы уже используете azure Data Lake Analytics, необходимо создать план миграции для Azure Synapse Analytics для вашей организации до 29 февраля 2024 г.

Средства Azure Data Lake и Stream Analytics включают функции, близкие к функциям двух служб Azure: Azure Data Lake Analytics и Azure Stream Analytics. Подробнее о сценариях работы с Azure Stream Analytics см. в статье Установка средств Azure Stream Analytics для Visual Studio.

В этой статье описывается, как использовать Visual Studio для создания учетных записей Azure Data Lake Analytics. Задания можно определить в формате U-SQL и отправить в службу Data Lake Analytics. Дополнительные сведения о Data Lake Analytics см. в обзоре Azure Data Lake Analytics.

Важно!

Мы рекомендуем обновить средства Azure Data Lake для Visual Studio до версии 2.3.3000.4 или выше. Предыдущие версии являются устаревшими и недоступными для скачивания.

  1. Проверьте, не используете ли вы Средства Azure Data Lake для Visual Studio более ранней версии, чем 2.3.3000.4.

    Проверка версии средств

  2. Если у вас более ранняя версия, чем 2.3.3000.4, обновите Средства Azure Data Lake для Visual Studio, посетив сайт центра загрузки:

Предварительные требования

Установка средств Azure Data Lake для Visual Studio

Для работы с этим руководством необходимо установить Data Lake Tools для Visual Studio. Дополнительные сведения см. в статье Установка средств Data Lake для Visual Studio.

Подключение к учетной записи Azure Data Lake Analytics

  1. Запустите Visual Studio.

  2. Откройте Обозреватель Data Lake Analytics, выбрав Вид>Обозреватель Data Lake Analytics.

  3. Щелкните правой кнопкой Azure и выберите Подключиться к подписке Microsoft Azure. В разделе Вход в учетную запись следуйте инструкциям.

  4. В разделе Обозреватель серверов выберите Azure>Data Lake Analytics. Отобразится список учетных записей Data Lake Analytics.

Создание первого скрипта U-SQL

Ниже приводится простой скрипт U-SQL. Он определяет небольшой набор данных и по умолчанию записывает его в хранилище Data Lake Store как файл с именем /data.csv.

USE DATABASE master;
USE SCHEMA dbo;
@a  = 
    SELECT * FROM 
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS 
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

Отправка задания аналитики озера данных

  1. В Visual Studio выберите Файл>Создать>Проект.

  2. Выберите тип Проект U-SQL и нажмите кнопку Далее. В разделе Настроить новый проект нажмите кнопку Создать.

    В Visual Studio создастся решение, которое содержит файл Script.usql.

  3. Вставьте скрипт из раздела Создание первого скрипта U-SQL в окно Script.usql.

  4. В Обозревателе решений щелкните правой кнопкой Script.usql и выберите Отправить скрипт.

  5. В разделе Отправить задание выберите учетную запись Data Lake Analytics и нажмите кнопку Отправить.

    Отправка проекта U-SQL в Visual Studio

После отправки задания откроется вкладка Представление задания, на которой отображается ход выполнения задания.

  • В окне Сводные данные задания представлена сводка задания.
  • В окне Граф задания визуализируется ход выполнения задания.
  • В окне Операции с метаданными представлены сведения обо всех действиях, выполненных в каталоге U-SQL.
  • В окне Данные отображаются все входные и выходные данные.
  • Состояние журнала отображает сведения о временной шкале и состоянии.
  • Анализ AU показывает, сколько единиц AU (единиц аналитики) было использовано в задании, и изучить имитации различных стратегий распределения au.
  • В окне Диагностика представлены данные расширенного анализа для выполнения задания и оптимизации производительности.

График выполнения задания аналитики озера данных U-SQL в Visual Studio

Чтобы отобразить сведения о текущем состоянии задания и обновить экран, щелкните Обновить.

Проверка состояния задания

  1. В Data Lake Analytics Обозреватель выберите Data Lake Analytics.

  2. Разверните окно имени учетной записи Data Lake Analytics.

  3. Дважды щелкните Задания.

  4. Выберите задание, отправленное ранее.

Просмотр выходных данных задания

  1. В Data Lake Analytics Обозреватель перейдите к отправленной задаче.

  2. Выберите вкладку Данные в задании.

  3. На вкладке Job Outputs (Выходные данные задания) выберите файл "/data.csv".

Дальнейшие действия