kopírování dat z úložiště objektů Blob v Azure do SQL Database pomocí nástroje Kopírování dat

Článek
09/13/2021
5 min ke čtení

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

V tomto kurzu pomocí webu Azure Portal vytvoříte datovou továrnu. Pak použijete nástroj Kopírování dat k vytvoření kanálu, který kopíruje data ze služby Azure Blob Storage do SQL Database.

Poznámka

Pokud se službou Azure Data Factory začínáte, přečtěte si téma Seznámení se službou Azure Data Factory.

V tomto kurzu budete provádět následující kroky:

Vytvoření datové továrny
Vytvoření kanálu pomocí nástroje pro kopírování dat
Monitorování spuštění aktivit a kanálu

Požadavky

Předplatné Azure: Pokud ještě nemáte předplatné Azure, vytvořte si bezplatný účet před tím, než začnete.
účet Azure Storage: jako zdrojové úložiště dat použijte úložiště objektů Blob. pokud nemáte účet Azure Storage, přečtěte si pokyny v tématu vytvoření účtu úložiště.
Azure SQL Database: jako úložiště dat jímky použijte SQL Database. pokud nemáte SQL Database, přečtěte si pokyny v tématu vytvoření SQL Database.

Vytvoření objektu blob a tabulky SQL

provedením těchto kroků připravte úložiště objektů Blob a SQL Database pro tento kurz.

Vytvoření zdrojového objektu blob

spusťte Poznámkový blok. Zkopírujte následující text a uložte ho na disk do souboru inputEmp.txt:
```
FirstName|LastName
John|Doe
Jane|Doe
```
Vytvořte kontejner adfv2tutorial a nahrajte do něj soubor inputEmp.txt. k provedení těchto úloh můžete použít Azure Portal nebo různé nástroje, jako je Průzkumník služby Azure Storage .

Vytvoření tabulky SQL jímky

pomocí následujícího skriptu SQL vytvořte v SQL Database tabulku s názvem dbo. emp :

CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO
CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);

Povolte službám Azure přístup k SQL Serveru. Ověřte, že nastavení Povolit službám a prostředkům Azure pro přístup k tomuto serveru je povolené pro váš server, na kterém běží SQL Database. Toto nastavení umožní službě Data Factory zapisovat data do vaší instance databáze. pokud chcete toto nastavení ověřit a zapnout, přejděte na logické SQL server > zabezpečení > brány firewall a virtuální sítě > nastavte možnost povolit službám a prostředkům Azure přístup k tomuto serveru na zapnuto.

Poznámka

možnost povolit službám a prostředkům azure přístup k tomuto serveru umožňuje přístup k síti SQL Server z jakéhokoli prostředku azure, nikoli jenom těch v rámci vašeho předplatného. další informace najdete v tématu pravidla brány Firewall pro Azure SQL Server. Místo toho můžete pomocí soukromých koncových bodů připojit se ke službám Azure PaaS bez použití veřejných IP adres.

Vytvoření datové továrny

V nabídce vlevo vyberte vytvořit data Factory pro > integraci prostředků > :
Do pole Název na stránce Nová datová továrna zadejte ADFTutorialDataFactory.

Název datové továrny musí být globálně jedinečný. Možná se zobrazí následující chybová zpráva:

Pokud se zobrazí chybová zpráva týkající se hodnoty názvu, zadejte jiný název datové továrny. Použijte například název vaše_jménoADFTutorialDataFactory. Pravidla pojmenování artefaktů služby Data Factory najdete v tématu Data Factory – pravidla pojmenování.
Vyberte předplatné Azure, v rámci kterého se má nová datová továrna vytvořit.
U položky Skupina prostředků proveďte jeden z následujících kroků:

a. Vyberte Použít existující a z rozevíracího seznamu vyberte existující skupinu prostředků.

b. Vyberte vytvořit novou a zadejte název skupiny prostředků.

Informace o skupinách prostředků najdete v tématu Použití skupin prostředků ke správě prostředků Azure.
V části Verze vyberte V2.
V části umístění vyberte umístění pro datovou továrnu. V rozevíracím seznamu se zobrazí pouze podporovaná umístění. Úložiště dat (například služby Azure Storage a SQL Database) a výpočetní prostředí (například Azure HDInsight) používané datovou továrnou můžou být v jiných umístěních a oblastech.
Vyberte Vytvořit.
Po vytvoření se zobrazí domovská stránka Datová továrna.
Pokud chcete na samostatné kartě spustit Azure Data Factory uživatelské rozhraní (UI), vyberte otevřít na dlaždici otevřít Azure Data Factory Studio .

Vytvoření kanálu pomocí nástroje pro kopírování dat

Na domovské stránce Azure Data Factory Vyberte dlaždici ingestovat a spusťte nástroj kopírování dat.
Na stránce vlastnosti nástroje kopírování dat zvolte v části typ úlohy předdefinovaná úloha kopírování a pak vyberte Další.
Na stránce Source data store (Zdrojové úložiště dat) proveďte následující kroky:

a. Vyberte + vytvořit nové připojení a přidejte připojení.

b. z galerie vyberte Azure Blob Storage a pak vyberte pokračovat.

c. na stránce nové připojení (Azure Blob Storage) vyberte předplatné azure ze seznamu předplatných azure a vyberte svůj účet úložiště ze seznamu Storage název účtu . Otestujte připojení a pak vyberte vytvořit.

d. V bloku připojení vyberte nově vytvořenou propojenou službu jako zdroj.

e. V části soubor nebo složka vyberte Procházet a přejděte do složky adfv2tutorial , vyberte soubor inputEmp.txt a pak vyberte OK.

f. Kliknutím na tlačítko Další přejděte na další krok.
Na stránce Nastavení formátu souboru zaškrtněte políčko pro první řádek jako záhlaví. Všimněte si, že nástroj automaticky rozpoznává oddělovače sloupců a řádků a můžete zobrazit náhled dat a zobrazit schéma vstupních dat výběrem tlačítka Náhled dat na této stránce. Pak vyberte Další.
Na stránce Destination data store (Cílové úložiště dat) proveďte následující kroky:

a. Vyberte + vytvořit nové připojení a přidejte připojení.

b. v galerii vyberte Azure SQL Database a pak vyberte pokračovat.

c. na stránce nové připojení (Azure SQL Database) vyberte v rozevíracím seznamu své předplatné Azure, název serveru a název databáze. pak v části typ ověřování vyberte SQL ověřování , zadejte uživatelské jméno a heslo. Otestujte připojení a vyberte vytvořit.

d. Vyberte nově vytvořenou propojenou službu jako jímku a pak vyberte Další.
Na stránce cílové úložiště dat vyberte použít existující tabulku a vyberte tabulku dbo. EMP . Pak vyberte Další.
Na stránce mapování sloupců si všimněte, že druhý a třetí sloupec ve vstupním souboru jsou namapovány na sloupce FirstName a LastName tabulky EMP . Upravte mapování tak, aby se zajistilo, že nedochází k žádné chybě, a pak vyberte Další.
na stránce Nastavení v části název úlohy zadejte CopyFromBlobToSqlPipeline a pak vyberte další.
Na stránce Souhrn zkontrolujte nastavení a pak vyberte Další.
Na stránce nasazení vyberte monitorovat a monitorujte kanál (úlohu).
Na stránce spuštění kanálu vyberte aktualizovat , aby se seznam aktualizoval. Pokud chcete zobrazit podrobnosti o spuštění aktivit nebo znovu spustit kanál, vyberte odkaz v části název kanálu .
Na stránce spuštění aktivit klikněte na odkaz Podrobnosti (ikona brýlí) ve sloupci název aktivity , kde najdete další podrobnosti o operaci kopírování. Pokud se chcete vrátit do zobrazení "spuštění kanálu", vyberte odkaz všechny spuštění kanálu v nabídce s popisem cesty. Jestliže chcete zobrazení aktualizovat, vyberte Aktualizovat.
Ověřte, že jsou data do tabulky dbo. EMP v SQL Database vložena.
Výběrem karty Autor na levé straně přepněte do režimu úprav. Pomocí editoru můžete aktualizovat propojené služby, datové sady a kanály vytvořené nástrojem. Podrobnosti o úpravách těchto entit v uživatelském rozhraní služby Data Factory najdete ve verzi tohoto kurzu pro Azure Portal.