Kopírování dat z SQL Server databáze do úložiště objektů blob v Azure pomocí nástroje Kopírování dat

Článek
09/13/2021
7 min ke čtení

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

V tomto kurzu pomocí webu Azure Portal vytvoříte datovou továrnu. Pak pomocí nástroje Kopírování dat vytvoříte kanál, který kopíruje data z SQL Server databáze do úložiště objektů blob v Azure.

Poznámka

Pokud se službou Azure Data Factory teprve začínáte, přečtěte si téma Seznámení se službou Data Factory.

V tomto kurzu budete provádět následující kroky:

Vytvoření datové továrny
Vytvoření kanálu pomocí nástroje pro kopírování dat
Monitorování spuštění aktivit a kanálu

Požadavky

Předplatné Azure

Pokud ještě nemáte předplatné Azure, vytvořte si bezplatný účet před tím, než začnete.

Role Azure

Pokud chcete vytvářet instance datové továrny, musí mít uživatelský účet, který používáte pro přihlášení k Azure, přiřazenou roli Přispěvatel nebo Vlastník nebo musí být správcem předplatného Azure.

Pokud chcete zobrazit oprávnění, která v předplatném máte, přejděte na web Azure Portal. V pravém horním rohu vyberte své uživatelské jméno a pak vyberte Oprávnění. Pokud máte přístup k několika předplatným, vyberte odpovídající předplatné. Ukázkové pokyny k přidání uživatele k roli najdete v tématu Přiřazení rolí Azure pomocí Azure Portal.

SQL Server 2014, 2016 a 2017

V tomto kurzu použijete databázi SQL Server jako zdrojové úložiště dat. Kanál v datové továrně, který vytvoříte v tomto kurzu, kopíruje data z této SQL Server databáze (zdroj) do úložiště objektů blob (jímka). Pak vytvoříte tabulku emp ve vaší SQL Server databázi a vložíte do tabulky několik ukázkových položek.

Spusťte aplikaci SQL Server Management Studio. Pokud na vašem počítači ještě není nainstalovaná, přejděte na stránku pro stažení aplikace SQL Server Management Studio.
Pomocí svých přihlašovacích údajů se přihlaste ke své instanci SQL Serveru.
Vytvořte ukázkovou databázi. Ve stromovém zobrazení klikněte pravým tlačítkem na Databáze a pak vyberte Nová databáze.
V okně Nová databáze zadejte název databáze a pak vyberte OK.

Vytvořte tabulku emp a vložte do ní nějaká ukázková data spuštěním následujícího skriptu dotazu proti databázi. Ve stromovém zobrazení klikněte pravým tlačítkem na databázi, kterou jste vytvořili, a pak vyberte Nový dotaz.

CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO

INSERT INTO emp (FirstName, LastName) VALUES ('John', 'Doe')
INSERT INTO emp (FirstName, LastName) VALUES ('Jane', 'Doe')
GO

Účet služby Azure Storage

V tomto kurzu použijete účet úložiště Azure (konkrétně úložiště objektů blob) pro obecné účely jako cílové úložiště dat nebo úložiště dat jímky. Pokud účet úložiště pro obecné účely nemáte, přečtěte si téma Vytvoření účtu úložiště, kde najdete pokyny k jeho vytvoření. Kanál v datové továrně, který vytvoříte v tomto kurzu, kopíruje data z SQL Server databáze (zdroj) do tohoto úložiště objektů blob (jímka).

Získání názvu a klíče účtu úložiště

V tomto kurzu použijete název a klíč svého účtu úložiště. Název a klíč svého účtu úložiště získáte pomocí následujícího postupu:

Přihlaste se k webu Azure Portal pomocí svého uživatelského jména a hesla Azure.
V levém podokně vyberte Všechny služby. Proveďte filtrování pomocí klíčového slova úložiště a pak vyberte Účty úložiště.
V seznamu účtů úložiště v případě potřeby vyfiltrujte váš účet úložiště. Pak vyberte svůj účet úložiště.
V okně Účet úložiště vyberte Přístupové klíče.
Zkopírujte hodnoty polí Název účtu úložiště a klíč1 a vložte je do Poznámkového bloku nebo jiného editoru pro pozdější použití v rámci kurzu.

Vytvoření datové továrny

V nabídce na levé straně vyberte Vytvořit prostředek Integration > > Data Factory.
Do pole Název na stránce Nová datová továrna zadejte ADFTutorialDataFactory.

Název datové továrny musí být globálně jedinečný. Pokud se u pole s názvem zobrazí následující chybová zpráva, tak název datové továrny změňte (třeba na vaše_jméno_ADFTutorialDataFactory). Pravidla pro pojmenovávání artefaktů služby Data Factory najdete v tématu Data Factory – pravidla pojmenování.
Vyberte předplatné Azure, v rámci kterého chcete datovou továrnu vytvořit.
U položky Skupina prostředků proveďte jeden z následujících kroků:
- Vyberte Použít existující a z rozevíracího seznamu vyberte existující skupinu prostředků.
- Vyberte Vytvořit novou a zadejte název skupiny prostředků.
  
  Informace o skupinách prostředků najdete v tématu Použití skupin prostředků ke správě prostředků Azure.
Jako Verzi vyberte V2.
V části Umístění vyberte umístění datové továrny. V rozevíracím seznamu se zobrazí pouze podporovaná umístění. Úložiště dat (například služby Azure Storage a SQL Database) a výpočetní prostředí (například Azure HDInsight) používané datovou továrnou můžou být v jiných umístěních nebo oblastech.
Vyberte Vytvořit.
Po vytvoření se zobrazí stránka Datová továrna, jak je znázorněno na obrázku.
Na dlaždici Open Azure Data Factory Studio (Otevřít Azure Data Factory Studio) otevřete na samostatné Data Factory uživatelské rozhraní.

Vytvoření kanálu pomocí nástroje pro kopírování dat

Na Azure Data Factory domovské stránce vyberte Ingest (Ingestování) a spusťte Kopírování dat.
Na stránce Vlastnosti nástroje Kopírování dat v části Typ úlohy zvolte Integrovaná úloha kopírování, v části Frekvence úkolů nebo Plán úlohy zvolte Spustit jednou a pak vyberte Další.
Na stránce Zdrojové úložiště dat vyberte + Vytvořit nové připojení.
V části Nové připojení vyhledejte SQL Server a pak vyberte Pokračovat.
V dialogovém okně Nové připojení (SQL serveru) v části Název zadejte SqlServerLinkedService. V části Připojení prostřednictvím prostředí Integration Runtime vyberte + Nový. Musíte vytvořit místní prostředí Integration Runtime, stáhnout ho na svůj počítač a zaregistrovat ho ve službě Data Factory. Místní prostředí Integration Runtime kopíruje data mezi vaším místním prostředím a cloudem.
V dialogovém okně Instalace prostředí Integration Runtime vyberte Možnost V vlastním prostředí. Potom vyberte Pokračovat.
V dialogovém okně Instalace prostředí Integration Runtime v části Název zadejte TutorialIntegrationRuntime. Potom vyberte Vytvořit.
V dialogovém okně Instalace prostředí Integration Runtime vyberte Kliknutím sem spustíte expresní instalaci pro tento počítač. Tato akce nainstaluje prostředí Integration Runtime na vašem počítači a zaregistruje ho ve službě Data Factory. Případně můžete využít možnost ruční instalace a stáhnout instalační soubor, spustit ho a použít klíč k registraci prostředí Integration Runtime.
Spusťte staženou aplikaci. V okně se zobrazí stav expresní instalace.
V dialogovém okně Nové připojení (SQL Server) ověřte, že je v části Připojení prostřednictvím prostředí Integration Runtime vybraná možnost TutorialIntegrationRuntime. Pak postupujte následovně:

a. V části Název zadejte SqlServerLinkedService.

b. V části Název serveru zadejte název vaší instance SQL Serveru.

c. V části Název databáze zadejte název vaší místní databáze.

d. V části Typ ověřování vyberte odpovídající typ ověřování.

e. V části uživatelské jméno zadejte jméno uživatele s přístupem k SQL Server.

f. Zadejte heslo pro uživatele.

například Otestujte připojení a vyberte vytvořit.
na stránce zdrojové úložiště dat se ujistěte, že je v bloku připojení vybraná možnost nově vytvořené SQL Server připojení. V části zdrojové tabulky vyberte možnost existující tabulky a v seznamu vyberte tabulku dbo. EMP a vyberte možnost Další. Můžete vybrat jakoukoli jinou tabulku, která je založená na vaší databázi.
Na stránce použít filtr můžete zobrazit náhled dat a kliknutím na tlačítko Náhled dat Zobrazit schéma vstupních dat. Pak vyberte Další.
Na stránce cílové úložiště dat vyberte + vytvořit nové připojení .
v nové připojení vyhledejte a vyberte Azure Blob Storage a pak vyberte pokračovat.
v dialogovém okně nové připojení (Azure Blob Storage) proveďte následující kroky:

a. Do pole název zadejte AzureStorageLinkedService.

b. v části Připojení prostřednictvím prostředí integration runtime vyberte TutorialIntegrationRuntime a v části metoda ověřování vyberte klíč účtu .

c. V části předplatné Azure v rozevíracím seznamu vyberte své předplatné Azure.

d. V části Název účtu úložiště vyberte z rozevíracího seznamu svůj účet úložiště.

e. Otestujte připojení a vyberte vytvořit.
v dialogu cílové úložiště dat se ujistěte, že je v bloku připojení vybraná možnost nově vytvořené připojení k Azure Blob Storage . Pak v části cesta ke složce zadejte adftutorial/fromonprem. Kontejner adftutorial jste vytvořili jako součást požadavků. Pokud výstupní složka neexistuje (v tomto případě fromonprem), služba Data Factory ji automaticky vytvoří. Pomocí tlačítka Procházet můžete také procházet úložiště objektů BLOB a jeho kontejnery/složky. Pokud do pole File name (Název souboru) nezadáte žádnou hodnotu, použije se ve výchozím nastavení název ze zdroje (v tomto případě dbo.emp).
V dialogovém okně File format settings (Nastavení formátu souboru) vyberte Next (Další).
v dialogovém okně Nastavení v části název úlohy zadejte CopyFromOnPremSqlToAzureBlobPipeline a pak vyberte další. Nástroj pro kopírování dat vytvoří kanál s názvem, který zadáte do tohoto pole.
V dialogovém okně Summary (Souhrn) zkontrolujte hodnoty všech nastavení a vyberte Next (Další).
Na stránce nasazení vyberte monitorovat a monitorujte kanál (úlohu).
Po dokončení spuštění kanálu můžete zobrazit stav kanálu, který jste vytvořili.
Na stránce spuštění kanálu vyberte aktualizovat , aby se seznam aktualizoval. Pokud chcete zobrazit podrobnosti o spuštění aktivit nebo znovu spustit kanál, vyberte odkaz v části název kanálu .
Na stránce spuštění aktivit vyberte odkaz Podrobnosti (ikona brýlí) ve sloupci název aktivity , kde najdete další podrobnosti o operaci kopírování. Pokud se chcete vrátit na stránku spuštění kanálu, vyberte odkaz všechny spuštěné kanály v nabídce s popisem cesty. Jestliže chcete zobrazení aktualizovat, vyberte Aktualizovat.
Ověřte, že složka fromonprem kontejneru adftutorial obsahuje výstupní soubor.
Výběrem karty Autor na levé straně přepněte do režimu úprav. Pomocí editoru můžete aktualizovat propojené služby, datové sady a kanály vytvořené nástrojem. Vyberte Kód a zobrazte kód JSON přidružený k entitě otevřené v editoru. Podrobnosti o úpravách těchto entit v uživatelském rozhraní služby Data Factory najdete ve verzi tohoto kurzu pro Azure Portal.