Скопируйте данные из базы данных SQL Server в хранилище BLOB-объектов Azure с помощью средства копирования данных

Статья
08/10/2023

Область применения:Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

В этом руководстве вы создадите фабрику данных с помощью портала Azure. После этого примените средство копирования данных для создания конвейера, который будет копировать данные из базы данных SQL Server в хранилище BLOB-объектов Azure.

Примечание.

Если вы еще не работали с фабрикой данных Azure, ознакомьтесь со статьей Введение в фабрику данных Azure.

Вот какие шаги выполняются в этом учебнике:

Создали фабрику данных.
Создание конвейера с помощью средства копирования данных.
Мониторинг конвейера и выполнения действий.

Предварительные требования

Подписка Azure.

Если у вас еще нет подписки Azure, создайте бесплатную учетную запись Azure, прежде чем начинать работу.

Роли в Azure

Чтобы создать экземпляры фабрики данных, нужно назначить учетной записи пользователя, используемой для входа в Azure, роль участника, владельца либо администратора подписки Azure.

Чтобы просмотреть существующие разрешения в подписке, перейдите на портал Azure. В верхнем правом углу выберите имя пользователя, а затем Разрешения. Если у вас есть доступ к нескольким подпискам, выберите соответствующую подписку. Примеры инструкций по назначению пользователю роли см. в статье Назначение ролей Azure с помощью портала Azure.

SQL Server 2014, 2016 и 2017

В этом руководстве используйте базу данных SQL Server в качестве исходного хранилища данных. Конвейер фабрики данных, созданный в рамках этого руководства, копирует данные из этой базы данных SQL Server (источника) в хранилище BLOB-объектов (приемник). Затем создайте таблицу с именем emp в базе данных SQL Server и вставьте в нее несколько примеров записей.

Запустите SQL Server Management Studio. Если она еще не установлена на вашем компьютере, скачайте ее со страницы Скачивание SQL Server Management Studio (SSMS).
Подключитесь к экземпляру SQL Server с помощью учетных данных.
Создайте пример базы данных. В представлении в виде дерева щелкните правой кнопкой мыши элемент Базы данных и выберите пункт Новая база данных.
В окне Новая база данных введите имя базы данных и нажмите кнопку ОК.
Чтобы создать таблицу emp и вставить в нее примеры данных, запустите приведенный ниже сценарий запроса к базе данных. В представлении в виде дерева щелкните правой кнопкой мыши созданную базу данных и выберите пункт Новый запрос.
```
CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO

INSERT INTO emp (FirstName, LastName) VALUES ('John', 'Doe')
INSERT INTO emp (FirstName, LastName) VALUES ('Jane', 'Doe')
GO
```

Учетная запись хранения Azure

В этом руководстве используйте учетную запись хранения Azure общего назначения (хранилища BLOB-объектов) в качестве целевого (принимающего) хранилища данных. Если у вас нет учетной записи хранения общего назначения, изучите инструкции по созданию учетной записи хранения. Конвейер фабрики данных, созданный в рамках этого руководства, копирует данные из базы данных SQL Server (источника) в это хранилище BLOB-объектов (приемник).

Получение имени и ключа учетной записи хранения и ключа учетной записи

В этом руководстве вы будете использовать имя и ключ своей учетной записи хранения. Чтобы получить имя и ключ учетной записи хранения, сделайте следующее:

Войдите на портал Azure, используя имя пользователя и пароль Azure.
На панели слева выберите Все службы. Отфильтруйте содержимое по ключевому слову хранение, а затем выберите Учетные записи хранения.
В списке учетных записей хранения найдите с помощью фильтра свою учетную запись хранения (при необходимости). Затем выберите свою учетную запись хранения.
В окне Учетная запись хранения выберите параметр Ключи доступа.
Скопируйте значения полей Имя учетной записи хранения и key1. Затем вставьте их в Блокнот или другой редактор для дальнейшего использования в руководстве.

Создание фабрики данных

В меню слева выберите Создать ресурс>Интеграция>Фабрика данных.
На странице Новая фабрика данных в поле Имя введите ADFTutorialDataFactory.

Имя фабрики данных должно быть глобально уникальным. Если вы увидите следующее сообщение об ошибке для поля имени, введите другое имя фабрики данных (например, ваше_имя_ADFTutorialBulkCopyDF). Дополнительные сведения о правилах именования артефактов фабрики данных см. в статье Фабрика данных Azure — правила именования.
Выберите подписку Azure, в рамках которой вы хотите создать фабрику данных.
Для группы ресурсов выполните одно из следующих действий:
- Выберите Использовать существующуюи укажите существующую группу ресурсов в раскрывающемся списке.
- Выберите Создать новуюи укажите имя группы ресурсов.
  
  Сведения о группах ресурсов см. в статье Общие сведения об Azure Resource Manager.
В качестве версии выберите V2.
В качестве расположения выберите расположение фабрики данных. В раскрывающемся списке отображаются только поддерживаемые расположения. Хранилища данных (например, служба хранилища Azure и база данных SQL) и вычислительные ресурсы (например, Azure HDInsight), используемые фабрикой данных, могут находиться в других регионах или расположениях.
Нажмите кнопку создания.
Когда завершится создание, откроется страница Фабрика данных, как показано на рисунке ниже.
Нажмите кнопку Открыть на плитке Open Azure Data Factory Studio (Открыть Azure Data Factory Studio), чтобы запустить пользовательский интерфейс Фабрики данных на отдельной вкладке.

Создание конвейера с помощью средства копирования данных

На домашней странице Фабрики данных Azure выберите Принять, чтобы запустить инструмент копирования данных.
На странице Properties (Свойства) инструмента копирования данных в разделе Task type (Тип задачи) выберите Built-in copy task (Встроенная задача копирования). Затем в разделе Task cadence or task schedule (Периодичность или расписание задач) выберите Run once now (Запустить сейчас один раз), после чего щелкните Next (Далее).
На странице Source data store (Исходное хранилище данных) нажмите кнопку + Create new connection (+Создать новое подключение).
В разделе New connection (Новое подключение) выполните поиск по запросу SQL Server, а затем выберите Continue (Продолжить).
В диалоговом окне New connection (SQL server) (Новое подключение (SQL Server)) в поле Name (Имя) введите SqlServerLinkedService. В разделе Connect via integration runtime (Подключение через среду выполнения интеграции) выберите Создать. Вам следует создать локальную среду выполнения интеграции, скачать ее на локальный компьютер и зарегистрировать с использованием фабрики данных. Локальная среда выполнения интеграции копирует данные из локальной среды в облако и обратно.
В диалоговом окне Integration Runtime Setup (Настройка среды выполнения интеграции) выберите Self-Hosted (Локальная). Затем выберите Continue (Продолжить).
В диалоговом окне Integration Runtime Setup (Настройка среды выполнения интеграции) в поле Name (Имя) введите TutorialIntegrationRuntime. Затем выберите Создать.
В диалоговом окне Integration Runtime Setup (Настройка среды выполнения интеграции) выберите Click here to launch the express setup for this computer (Щелкните здесь, чтобы запустить экспресс-установку для этого компьютера). Это действие устанавливает среду выполнения интеграции на локальном компьютере и регистрирует ее с использованием фабрики данных. Кроме того, вы можете использовать режим установки вручную: скачайте файл установки, запустите его и примените ключ для регистрации среды выполнения интеграции.
Запустите загруженное приложение. В окне будет отображаться "текущее состояние" экспресс-установки.
Убедитесь, что в диалоговом окне New Connection (SQL Server) (Новое подключение (SQL Server)) для поля Connect via integration runtime (Подключение через среду выполнения интеграции) выбран параметр TutorialIntegrationRuntime. Затем выполните следующие действия:

a. В поле Имя введите SqlServerLinkedService.

b. В поле Имя серверавведите имя экземпляра SQL Server.

c. В поле Имя базы данных введите имя локальной базы данных.

d. В поле Тип проверки подлинности выберите нужный вариант аутентификации.

д) В поле Имя пользователя введите имя пользователя, имеющего доступ к SQL Server.

е) Введите пароль для этого пользователя.

ж. Проверьте подключение и нажмите кнопку Создать.
На странице Source data store (Исходное хранилище данных) убедитесь, что в блоке Connection (Подключение) выбрано только что созданное подключение SQL Server. В разделе Source tables (Исходные таблицы) выберите EXISTING TABLES (Существующие таблицы), выберите из списка таблицу dbo.emp и щелкните Next (Далее). Можно выбрать любую другую таблицу в зависимости от базы данных.
На странице Apply filter (Применение фильтра) можно просмотреть данные и схему входных данных, нажав кнопку Preview data (Предварительный просмотр данных). Затем выберите Далее.
На странице Destination data store (Целевое хранилище данных) выберите Create new connection (Создать подключение).
На странице New connection (Новое подключение) найдите и выберите Azure Blob Storage (Хранилище BLOB-объектов Azure), после чего щелкните Continue (Продолжить).
В диалоговом окне New connection (Azure Blob Storage) (Новое подключение (Хранилище BLOB-объектов Azure)) сделайте следующее.

a. В поле Имя введите AzureStorageLinkedService.

b. В разделе Connect via integration runtime (Подключение через среду выполнения интеграции) выберите TutorialIntegrationRuntime, затем в разделе Authentication method (Способ проверки подлинности) выберите Account key (Ключ учетной записи).

c. В разделе Azure subscription (Подписка Azure) из раскрывающегося списка выберите свою подписку Azure.

d. В раскрывающемся списке Имя учетной записи хранения выберите учетную запись хранения.

д) Проверьте подключение и нажмите кнопку Создать.
В диалоговом окне Destination data store (Целевое хранилище данных) убедитесь, что в блоке Connection (Подключение) выбрано только что созданное подключение Azure Blob Storage (Хранилище BLOB-объектов Azure). Затем в поле Folder path (Путь к папке) введите adftutorial/fromonprem. Для работы с этим руководством вы ранее создали контейнер adftutorial. Если указанной папки выходных данных (в этом случае fromonprem) не существует, Фабрика данных создаст ее автоматически. Вы также можете нажать кнопку Обзор, чтобы открыть хранилище BLOB-объектов и просмотреть в нем контейнеры и папки. Если не указать значение в поле имени файла, по умолчанию будет использоваться имя источника (в этом случае dbo.emp).
В диалоговом окне File format settings (Параметры формата файла) выберите Далее.
В диалоговом окне Settings (Параметры) в поле Task name (Имя задачи) введите CopyFromOnPremSqlToAzureBlobPipeline и щелкните Next (Далее). Средство копирования данных создаст конвейер с именем, которое вы ввели в этом поле.
В диалоговом окне Сводка проверьте значения всех параметров и нажмите кнопку Далее.
На странице Развертывание выберите Мониторинг, чтобы отслеживать созданный конвейер (задачу).
Когда выполнение конвейера завершится, вы сможете просмотреть состояние созданного контейнера.
На странице "Pipeline runs" (Запуски конвейера) выберите Refresh (Обновить), чтобы обновить список. Щелкните ссылку в разделе Имя конвейера, чтобы просмотреть сведения о выполнении действия или перезапустить конвейер.
На странице "Activity runs" (Запуски действия) щелкните ссылку Details (Сведения) (значок очков) в столбце Activity name (Имя действия), чтобы получить дополнительные сведения об операции копирования. Чтобы вернуться к представлению "Pipeline runs" (Запуски конвейера), в меню навигации щелкните ссылку All pipeline runs (Все запуски конвейера). Чтобы обновить список, нажмите кнопку Обновить.
Убедитесь, что целевой файл появился в папке fromonprem конвейера adftutorial.
Выберите вкладку Автор слева, чтобы переключиться в режим правки. В этом редакторе вы можете изменять параметры связанных служб, наборов данных и конвейеров, созданных с помощью средства. Выберите Код, чтобы просмотреть код JSON для сущности, открытой в редакторе. Сведения о том, как редактировать эти сущности с помощью пользовательского интерфейса фабрики данных, см. в версии этого руководства для портала Azure.