Руководство. Копирование данных из хранилища BLOB-объектов Azure в базу данных SQL с помощью фабрики данных

Примечание

В этой статье рассматривается служба "Фабрика данных Azure" версии 1. Если вы используете текущую версию Фабрики данных, ознакомьтесь с руководством по применению действия копирования.

В этом пособии вы создадите фабрику данных с конвейером, чтобы скопировать данные из хранилища BLOB-объектов в базу данных SQL.

Действие копирования перемещает данные в фабрике данных Azure. Это действие выполняется с помощью глобально доступной службы, обеспечивающей безопасное, надежное и масштабируемое копирование данных между разными хранилищами. Дополнительные сведения о действии копирования см. в статье Перемещение данных с помощью действия копирования.

Примечание

Подробный обзор службы фабрики данных см. в статье Общие сведения о службе фабрики данных Azure, службе интеграции данных в облаке.

Предварительные требования для прохождения этого учебника

Для работы с этим учебником необходимо следующее:

  • Подписка Azure. Если у вас нет подписки, вы можете создать бесплатную пробную версию учетной записи всего за несколько минут. Дополнительные сведения см. в статье Бесплатная пробная версия.
  • Учетная запись хранения Azure. В этом учебнике в качестве источника будет использоваться хранилище BLOB-объектов. в статье Об учетных записях хранения Azure .
  • База данных SQL Azure. В этом пособии в качестве конечного хранилища данных используется База данных SQL Azure. Если у вас нет базы данных SQL Azure, которую можно использовать при работе с этим пособием, создайте ее с помощью статьи Как создать и настроить базу данных SQL Azure.
  • SQL Server 2012/2014 или Visual Studio 2013. Для создания образца базы данных и просмотра итоговых данных в базе данных используется SQL Server Management Studio или Visual Studio .

Получение имени и ключа учетной записи хранения BLOB-объектов

В ходе изучения этого учебника потребуются имя и ключ вашей учетной записи хранения Azure. Запишите имя и ключ учетной записи для своей учетной записи хранения Azure.

  1. Войдите на портал Azure.

  2. Щелкните Все службы в меню слева и выберите Учетные записи хранения.

    "Обзор" — "Учетные записи хранения"

  3. В колонке Учетные записи хранения выберите учетную запись хранения Azure, которая будет использоваться в ходе изучения этого учебника.

  4. В разделе Параметры выберите ссылку Ключи доступа.

  5. Нажмите кнопку Копировать (изображение) рядом с текстовым полем Имя учетной записи хранения, вставьте скопированный текст, например, в текстовый файл, и сохраните его.

  6. Повторите предыдущий шаг для ключа key1.

    Ключ доступа к хранилищу

  7. Закройте все колонки, нажав X.

Получение имени сервера SQL, имени базы данных и имени пользователя

В ходе изучения этого пособия вам потребуются имена логического сервера SQL Server, базы данных и пользователя. Запишите имена сервера, базы данных и пользователя для своей Базы данных SQL Azure.

  1. На портале Azure щелкните Все службы слева и выберите Базы данных SQL.
  2. В колонке баз данных SQL выберите базу данных, которую вы планируете использовать для этого учебника. Запишите имя базы данных.
  3. В колонке База данных SQL в разделе Параметры щелкните Свойства.
  4. Запишите значения параметров Имя сервера и Имя для входа администратора сервера.
  5. Закройте все колонки, нажав X.

Предоставление службам Azure доступа к серверу SQL

Убедитесь, что параметр Разрешить доступ к службам Azure для вашего сервера имеет состояние ВКЛ, чтобы у службы Фабрики данных был к нему доступ. Чтобы проверить и при необходимости включить этот параметр, сделайте следующее.

  1. Щелкните Все службы слева и выберите Серверы SQL.
  2. Выберите сервер и щелкните Брандмауэр в разделе Параметры.
  3. В колонке Параметры брандмауэра щелкните ВКЛ для параметра Разрешить доступ к службам Azure.
  4. Закройте все колонки, нажав X.

Подготовка хранилища BLOB-объектов и базы данных SQL

Теперь подготовьте к работе с этим пособием хранилище больших двоичных объектов Azure и базу данных SQL Azure, выполнив указанные ниже действия.

  1. Запустите Блокнот. Скопируйте следующий текст и сохраните его в файл emp.txt в папке C:\ADFGetStarted на диске.

    John, Doe
    Jane, Doe
    
  2. При помощи таких инструментов, как Azure Storage Explorer, создайте контейнер adftutorial и передайте файл emp.txt в этот контейнер.

  3. Используйте следующий скрипт SQL, чтобы создать таблицу emp в базе данных SQL Azure.

    CREATE TABLE dbo.emp
    (
        ID int IDENTITY(1,1) NOT NULL,
        FirstName varchar(50),
        LastName varchar(50),
    )
    GO
    
    CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);
    

    Если на вашем компьютере установлен SQL Server 2012 или 2014, выполните инструкции в статье Управление базой данных SQL Azure с помощью SQL Server Management Studio, чтобы подключиться к серверу и запустить скрипт SQL.

    Если клиенту не разрешен доступ к логическому серверу SQL Server, настройте брандмауэр сервера, чтобы разрешить к нему доступ с вашей машины (IP-адреса). В этой статье описано, как настроить брандмауэр для сервера.

Создание фабрики данных

Необходимые условия выполнены. Для создания фабрики данных можно использовать один из приведенных ниже способов. Выберите в раскрывающемся списке в верхней части страницы один из вариантов или щелкните одну из следующих ссылок, чтобы изучить руководство.

Примечание

В этом руководстве конвейер данных копирует данные из исходного хранилища данных в целевое. Он не преобразовывает входные данные в выходные. Инструкции по преобразованию данных с помощью фабрики данных Azure см. в учебнике по созданию первого конвейера для преобразования данных с помощью кластера Hadoop.

Можно объединить в цепочку два действия (выполнить одно действие вслед за другим), настроив выходной набор данных одного действия как входной набор данных другого действия. Подробные сведения см. в статье Планирование и исполнение с использованием фабрики данных.