Прием данных в хранилище с помощью инструкции COPY

  • Статья

Область применения: хранилище в Microsoft Fabric

Инструкция COPY — это основной способ приема данных в таблицы хранилища. COPY выполняет прием данных высокой пропускной способности из внешней учетной записи хранения Azure с гибкостью настройки параметров формата исходного файла, расположения для хранения отклоненных строк, пропуска строк заголовков и других параметров.

В этом руководстве показаны примеры приема данных для таблицы Warehouse с помощью инструкции T-SQL COPY. В нем используются примеры данных Bing COVID-19 из открытых наборов данных Azure. Дополнительные сведения об этих данных, включая ее схемы и права на использование, см. в разделе Bing COVID-19.

Примечание.

Дополнительные сведения об инструкции T-SQL COPY, включая дополнительные примеры и полный синтаксис, см. в разделе COPY (Transact-SQL).

Создание таблицы

Перед использованием инструкции COPY необходимо создать целевую таблицу. Чтобы создать целевую таблицу для этого примера, выполните следующие действия.

  1. В рабочей области Microsoft Fabric найдите и откройте хранилище.

  2. Перейдите на вкладку "Главная" и выберите "Создать SQL-запрос".

    Снимок экрана: верхний раздел рабочей области пользователя с кнопкой

  3. Чтобы создать таблицу, используемую в качестве назначения в этом руководстве, выполните следующий код:

    CREATE TABLE [dbo].[bing_covid-19_data]
(
    [id] [int] NULL,
    [updated] [date] NULL,
    [confirmed] [int] NULL,
    [confirmed_change] [int] NULL,
    [deaths] [int] NULL,
    [deaths_change] [int] NULL,
    [recovered] [int] NULL,
    [recovered_change] [int] NULL,
    [latitude] [float] NULL,
    [longitude] [float] NULL,
    [iso2] [varchar](8000) NULL,
    [iso3] [varchar](8000) NULL,
    [country_region] [varchar](8000) NULL,
    [admin_region_1] [varchar](8000) NULL,
    [iso_subdivision] [varchar](8000) NULL,
    [admin_region_2] [varchar](8000) NULL,
    [load_time] [datetime2](6) NULL
);

Прием данных Parquet с помощью инструкции COPY

В первом примере мы загружаем данные с помощью источника Parquet. Так как эти данные общедоступны и не требуют проверки подлинности, можно легко скопировать эти данные, указав источник и назначение. Никаких сведений о проверке подлинности не требуется. Вам потребуется только указать FILE_TYPE аргумент.

Используйте следующий код для запуска инструкции COPY с источником Parquet:

COPY INTO [dbo].[bing_covid-19_data]
FROM 'https://pandemicdatalake.blob.core.windows.net/public/curated/covid-19/bing_covid-19_data/latest/bing_covid-19_data.parquet'
WITH (
    FILE_TYPE = 'PARQUET'
);

Прием данных CSV с помощью инструкции COPY и пропуск строки заголовка

Обычно для файлов с разделиющими запятыми (CSV) используется строка заголовка, которая предоставляет имена столбцов, представляющих таблицу в CSV-файле. Инструкция COPY может копировать данные из CSV-файлов и пропускать одну или несколько строк из заголовка исходного файла.

Если вы выполнили предыдущий пример для загрузки данных из Parquet, рассмотрите возможность удаления всех данных из таблицы:

DELETE FROM [dbo].[bing_covid-19_data];

Чтобы загрузить данные из CSV-файла, пропуская строку заголовка, используйте следующий код:

COPY INTO [dbo].[bing_covid-19_data]
FROM 'https://pandemicdatalake.blob.core.windows.net/public/curated/covid-19/bing_covid-19_data/latest/bing_covid-19_data.csv'
WITH (
    FILE_TYPE = 'CSV', 
    FIRSTROW = 2
);

Проверка результатов

Инструкция COPY завершается приемом 4766 736 строк в новую таблицу. Вы можете подтвердить успешное выполнение операции, выполнив запрос, возвращающий общее количество строк в таблице:

SELECT COUNT(*) FROM [dbo].[bing_covid-19_data];

Если вы выполнили оба примера, не удаляя строки между выполнением, результат этого запроса будет отображаться в два раза больше строк. Хотя это работает для приема данных в этом случае, рассмотрите возможность удаления всех строк и приема данных только один раз, если вы собираетесь дополнительно поэкспериментировать с данными.

Связанный контент