Bezpečné kopírování dat z Azure Blob Storage do databáze SQL pomocí privátních koncových bodů

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte Službu Data Factory v Microsoft Fabric, analytické řešení typu vše v jednom pro podniky. Microsoft Fabric pokrývá všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak zdarma začít používat novou zkušební verzi .

V tomto kurzu vytvoříte datovou továrnu pomocí uživatelského rozhraní služby Azure Data Factory. Kanál v této datové továrně bezpečně kopíruje data ze služby Azure Blob Storage do Azure SQL databáze (obě umožňují přístup pouze k vybraným sítím) pomocí privátních koncových bodů ve službě Azure Data Factory Managed Virtual Network. Schéma konfigurace v tomto kurzu se vztahuje na kopírování z úložiště dat založeného na souborech do relačního úložiště dat. Seznam úložišť dat podporovaných jako zdroje a jímky najdete v tabulce Podporovaná úložiště dat a formáty .

Poznámka

Pokud se službou Data Factory teprve začínáte, přečtěte si téma Úvod do Azure Data Factory.

V tomto kurzu provedete následující kroky:

• Vytvoření datové továrny
• Vytvoření kanálu s aktivitou kopírování

Požadavky

• Předplatné Azure. Pokud ještě nemáte předplatné Azure, vytvořte si bezplatný účet Azure před tím, než začnete.
• Účet úložiště Azure. Blob Storage použijete jako zdrojové úložiště dat. Pokud účet úložiště nemáte, přečtěte si téma Vytvoření účtu služby Azure Storage, kde najdete postup jeho vytvoření. Ujistěte se, že účet úložiště umožňuje přístup jenom z vybraných sítí.
• Azure SQL Database. Tuto databázi použijete jako úložiště dat jímky. Pokud nemáte databázi Azure SQL, přečtěte si téma Vytvoření databáze SQL, kde najdete postup, jak databázi vytvořit. Ujistěte se, že účet SQL Database umožňuje přístup pouze z vybraných sítí.

Vytvoření objektu blob a tabulky SQL

Teď připravte úložiště objektů blob a databázi SQL na kurz provedením následujících kroků.

Vytvoření zdrojového objektu blob

1. Otevřete Poznámkový blok. Zkopírujte následující text a uložte si ho na disk jako soubor emp.txt:

   FirstName,LastName
   John,Doe
   Jane,Doe
   

2. Ve svém úložišti objektů blob vytvořte kontejner s názvem adftutorial . V tomto kontejneru vytvořte složku input. Pak do složky input nahrajte soubor emp.txt. K provedení těchto úloh použijte Azure Portal nebo nástroj, jako je například Průzkumník služby Azure Storage.

Vytvoření tabulky SQL jímky

Použitím následujícího skriptu SQL si v databázi SQL Database vytvořte tabulku emp:

CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO

CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);

Vytvoření datové továrny

V tomto kroku vytvoříte datovou továrnu a spustíte uživatelské rozhraní služby Data Factory, ve kterém v této datové továrně vytvoříte kanál.

1. Otevřete Microsoft Edge nebo Google Chrome. Uživatelské rozhraní služby Data Factory v současné době podporují jenom webové prohlížeče Microsoft Edge a Google Chrome.

2. V nabídce vlevo vyberte Vytvořit datovou továrnu proanalýzu> prostředků.>

3. Do pole Název na stránce Nová datová továrna zadejte ADFTutorialDataFactory.

   Název objektu pro vytváření dat Azure musí být globálně jedinečný. Pokud se zobrazí chybová zpráva o hodnotě názvu, zadejte pro datovou továrnu jiný název (například vaše jménoADFTutorialDataFactory). Pravidla pro pojmenovávání artefaktů služby Data Factory najdete v tématu Data Factory – pravidla pojmenování.

4. Vyberte předplatné Azure, v rámci kterého chcete datovou továrnu vytvořit.

5. U položky Skupina prostředků proveďte jeden z následujících kroků:

   • Vyberte Použít existující a z rozevíracího seznamu vyberte existující skupinu prostředků.
   • Vyberte Vytvořit novou a zadejte název skupiny prostředků.

   Informace o skupinách prostředků najdete v tématu Použití skupin prostředků ke správě prostředků Azure.

6. Jako Verzi vyberte V2.

7. V části Umístění vyberte umístění datové továrny. V rozevíracím seznamu se zobrazí jenom podporovaná umístění. Úložiště dat (například Azure Storage a SQL Database) a výpočetní prostředí (například Azure HDInsight) používaná datovou továrnou můžou být v jiných oblastech.

8. Vyberte Vytvořit.

9. Po vytvoření se oznámení zobrazí v Centru oznámení. Vyberte Přejít k prostředku a přejděte na stránku Data Factory .

10. Výběrem možnosti Otevřít na dlaždici Otevřít Azure Data Factory Studio spusťte uživatelské rozhraní služby Data Factory na samostatné kartě.

Vytvoření prostředí Azure Integration Runtime ve službě Data Factory Managed Virtual Network

V tomto kroku vytvoříte prostředí Azure Integration Runtime a povolíte službu Data Factory Managed Virtual Network.

1. Na portálu Data Factory přejděte na Spravovat a vyberte Nový a vytvořte nové prostředí Azure Integration Runtime.

   

2. Na stránce Instalace prostředí Integration Runtime zvolte, jaké prostředí Integration Runtime se má vytvořit na základě požadovaných funkcí. V tomto kurzu vyberte Azure, Self-Hosted (V místním prostředí) a pak klikněte na Continue (Pokračovat).

3. Vyberte Azure a pak kliknutím na Pokračovat vytvořte prostředí Azure Integration Runtime.

   

4. V části Konfigurace virtuální sítě (Preview) vyberte Povolit.

   

5. Vyberte Vytvořit.

Vytvoření kanálu

V tomto kroku vytvoříte v datové továrně kanál s aktivitou kopírování. Aktivita kopírování kopíruje data z úložiště Blob Storage do databáze SQL Database. V kurzu Rychlý start jste vytvořili kanál pomocí tohoto postupu:

1. Vytvoření propojené služby
2. Vytvoření vstupní a výstupní datové sady
3. Vytvoření kanálu

V tomto kurzu začnete vytvořením kanálu. Potom vytvoříte propojené služby a datové sady, které budete potřebovat ke konfiguraci kanálu.

1. Na domovské stránce vyberte Orchestrovat.

   

2. V podokně vlastností kanálu jako název kanálu zadejte CopyPipeline .

3. V okně Nástroje Aktivity rozbalte kategorii Přesunout a transformovat a přetáhněte aktivitu Kopírování dat z pole nástroje na plochu návrháře kanálu. Jako název zadejte CopyFromBlobToSql .

   

Konfigurace zdroje

Tip

V tomto kurzu použijete jako typ ověřování pro zdrojové úložiště dat klíč účtu . V případě potřeby můžete také zvolit další podporované metody ověřování, jako je identifikátor URI SAS, instanční objekt a spravovaná identita . Další informace najdete v příslušných částech článku Kopírování a transformace dat ve službě Azure Blob Storage pomocí Azure Data Factory.

Pokud chcete bezpečně ukládat tajné kódy pro úložiště dat, doporučujeme také použít Azure Key Vault. Další informace a ilustrace najdete v tématu Ukládání přihlašovacích údajů v Azure Key Vault.

Vytvoření zdrojové datové sady a propojené služby

1. Přejděte na kartu Zdroj . Výběrem + Nová vytvořte zdrojovou datovou sadu.

2. V dialogovém okně Nová datová sada vyberte Azure Blob Storage a pak vyberte Pokračovat. Zdrojová data jsou v úložišti Blob Storage, takže jako zdrojovou datovou sadu vyberete Azure Blob Storage.

3. V dialogovém okně Vybrat formát vyberte typ formátu dat a pak vyberte Pokračovat.

4. V dialogovém okně Nastavit vlastnosti jako Název zadejte SourceBlobDataset. Zaškrtněte políčko První řádek jako záhlaví. V textovém poli Propojená služba vyberte + Nová.

5. V dialogovém okně Nová propojená služba (Azure Blob Storage) jako Název zadejte AzureStorageLinkedService a v seznamu Název účtu úložiště vyberte svůj účet úložiště.

6. Ujistěte se, že jste povolili interaktivní vytváření. Povolení může trvat přibližně minutu.

   

7. Vyberte Test připojení. Měl by selhat, pokud účet úložiště umožňuje přístup jenom z vybraných sítí a vyžaduje, aby služba Data Factory vytvořila privátní koncový bod, který by měl být před použitím schválen. V chybové zprávě by se měl zobrazit odkaz na vytvoření privátního koncového bodu, pomocí kterého můžete vytvořit spravovaný privátní koncový bod. Alternativou je přejít přímo na kartu Správa a podle pokynů v další části vytvořit spravovaný privátní koncový bod.

   Poznámka

   Karta Spravovat nemusí být dostupná pro všechny instance datové továrny. Pokud ho nevidíte, můžete k privátním koncovým bodům přistupovat výběrem možnosti Vytvořit>privátní koncový bodpřipojení>.

8. Nechte dialogové okno otevřené a pak přejděte do svého účtu úložiště.

9. Podle pokynů v této části schvalte privátní propojení.

10. Zpět do dialogového okna. Znovu vyberte Test připojení a výběrem vytvořit nasaďte propojenou službu.

11. Po vytvoření se propojená služba vrátí na stránku Nastavit vlastnosti . Vedle pole Cesta k souboru vyberte Procházet.

12. Přejděte do složky adftutorial/input , vyberte souboremp.txt a pak vyberte OK.

13. Vyberte OK. Automaticky přejde na stránku kanálu. Na kartě Zdroj ověřte, že je vybraná sada SourceBlobDataset . Pokud se na této stránce chcete podívat na náhled dat, vyberte Náhled dat.

    

Vytvoření spravovaného privátního koncového bodu

Pokud jste při testování připojení nevybrali hypertextový odkaz, postupujte podle této cesty. Teď musíte vytvořit spravovaný privátní koncový bod, který se připojíte k propojené službě, kterou jste vytvořili.

1. Přejděte na kartu Spravovat .

   Poznámka

   Karta Spravovat nemusí být dostupná pro všechny instance služby Data Factory. Pokud ho nevidíte, můžete k privátním koncovým bodům přistupovat výběrem možnosti Vytvořit>privátní koncový bodpřipojení>.

2. Přejděte do části Spravované privátní koncové body .

3. V části Spravované privátní koncové body vyberte + Nový.

   

4. Vyberte dlaždici Azure Blob Storage ze seznamu a vyberte Pokračovat.

5. Zadejte název účtu úložiště, který jste vytvořili.

6. Vyberte Vytvořit.

7. Po několika sekundách byste měli vidět, že vytvořené privátní propojení vyžaduje schválení.

8. Vyberte privátní koncový bod, který jste vytvořili. Zobrazí se hypertextový odkaz, který vás povede ke schválení privátního koncového bodu na úrovni účtu úložiště.

   

Schválení privátního propojení v účtu úložiště

1. V účtu úložiště přejděte do části Připojení privátního koncového bodu v části Nastavení .

2. Zaškrtněte políčko u privátního koncového bodu, který jste vytvořili, a vyberte Schválit.

   

3. Přidejte popis a vyberte Ano.

4. Zpět do části Spravované privátní koncové body na kartě Správa ve službě Data Factory.

5. Přibližně po jedné nebo dvou minutách by se mělo v uživatelském rozhraní služby Data Factory zobrazit schválení vašeho privátního koncového bodu.

Konfigurace jímky

Tip

V tomto kurzu použijete ověřování SQL jako typ ověřování pro úložiště dat jímky. Můžete také zvolit další podporované metody ověřování, jako je instanční objekt a spravovaná identita v případě potřeby. Další informace najdete v odpovídajících částech článku Kopírování a transformace dat v Azure SQL Database pomocí Azure Data Factory.

Pokud chcete bezpečně ukládat tajné kódy pro úložiště dat, doporučujeme také použít Azure Key Vault. Další informace a ilustrace najdete v tématu Ukládání přihlašovacích údajů v Azure Key Vault.

Vytvoření datové sady jímky a propojené služby

1. Přejděte na kartu Jímka, vyberte + Nová a vytvořte datovou sadu jímky.

2. V dialogovém okně Nová datová sada zadejte do vyhledávacího pole SQL a vyfiltrujte konektory. Vyberte Azure SQL Databáze a pak vyberte Pokračovat. V tomto kurzu zkopírujte data do databáze SQL Database.

3. V dialogovém okně Nastavit vlastnosti jako Název zadejte OutputSqlDataset. V rozevíracím seznamu Propojená služba vyberte + Nová. Datová sada musí být přidružená k propojené službě. Propojená služba obsahuje připojovací řetězec, který služba Data Factory používá pro připojení k databázi SQL Database za běhu. Datová sada určuje kontejner, složku a soubor (volitelné), do kterého se data kopírují.

4. V dialogovém okně Nová propojená služba (Azure SQL databáze) proveďte následující kroky:

   1. Do pole Název zadejte AzureSqlDatabaseLinkedService.
   2. V rozevíracím seznamu Název serveru vyberte příslušný název instance SQL Serveru.
   3. Ujistěte se, že jste povolili interaktivní vytváření.
   4. V rozevíracím seznamu Název databáze vyberte svoji databázi SQL Database.
   5. Do pole Uživatelské jméno zadejte jméno uživatele.
   6. Do pole Heslo zadejte heslo pro tohoto uživatele.
   7. Vyberte Test připojení. Měl by selhat, protože SQL Server umožňuje přístup jenom z vybraných sítí a vyžaduje, aby pro ně služba Data Factory vytvořila privátní koncový bod, který by měl být před použitím schválen. V chybové zprávě by se měl zobrazit odkaz na vytvoření privátního koncového bodu, pomocí kterého můžete vytvořit spravovaný privátní koncový bod. Alternativou je přejít přímo na kartu Správa a podle pokynů v další části vytvořit spravovaný privátní koncový bod.
   8. Nechte dialogové okno otevřené a přejděte na vybraný SQL Server.
   9. Podle pokynů v této části schvalte privátní propojení.
   10. Zpět do dialogového okna. Znovu vyberte Test připojení a výběrem vytvořit nasaďte propojenou službu.

5. Automaticky přejde do dialogového okna Nastavit vlastnosti . V části Tabulka vyberte [dbo].[emp]. Pak vyberte OK.

6. Přejděte na kartu s kanálem a v datové sadě jímky ověřte, že je vybraná sada OutputSqlDataset .

   

Volitelně můžete mapovat schéma zdroje na odpovídající schéma cíle pomocí mapování schématu v aktivitě kopírování.

Vytvoření spravovaného privátního koncového bodu

Pokud jste při testování připojení nevybrali hypertextový odkaz, postupujte podle této cesty. Teď musíte vytvořit spravovaný privátní koncový bod, který se připojíte k propojené službě, kterou jste vytvořili.

1. Přejděte na kartu Spravovat .

2. Přejděte do části Spravované privátní koncové body .

3. V části Spravované privátní koncové body vyberte + Nový.

   

4. V seznamu vyberte dlaždici Azure SQL Database (Databáze) a vyberte Continue (Pokračovat).

5. Zadejte název sql serveru, který jste vybrali.

6. Vyberte Vytvořit.

7. Po několika sekundách byste měli vidět, že vytvořené privátní propojení vyžaduje schválení.

8. Vyberte privátní koncový bod, který jste vytvořili. Zobrazí se hypertextový odkaz, který vás povede ke schválení privátního koncového bodu na úrovni SQL Serveru.

Schválení privátního propojení v SQL Server

1. Na SQL Serveru přejděte v části Nastavení na Připojení privátního koncového bodu.
2. Zaškrtněte políčko u privátního koncového bodu, který jste vytvořili, a vyberte Schválit.
3. Přidejte popis a vyberte Ano.
4. Zpět do části Spravované privátní koncové body na kartě Správa ve službě Data Factory.
5. Mělo by trvat jednu nebo dvě minuty, než se schválení zobrazí pro váš privátní koncový bod.

Ladění a publikování kanálu

Před publikováním artefaktů (propojených služeb, datových sad a kanálu) do služby Data Factory nebo vlastního úložiště Gitu Azure Repos můžete kanál odladit.

1. K ladění kanálu vyberte na panelu nástrojů Ladit. Na kartě Výstup v dolní části okna se zobrazí stav spuštění kanálu.
2. Po úspěšném spuštění kanálu na horním panelu nástrojů vyberte Publikovat vše. Tato akce publikuje entity (datové sady a kanály), které jste vytvořili, do služby Data Factory.
3. Počkejte, dokud se nezobrazí zpráva Publikování proběhlo úspěšně. Pokud chcete zobrazit zprávy s oznámeními, vyberte Zobrazit oznámení v pravém horním rohu (tlačítko zvonku).

Souhrn

Kanál v této ukázce kopíruje data z úložiště objektů blob do SQL Database pomocí privátních koncových bodů ve spravované službě Data Factory Virtual Network. Naučili jste se:

• Vytvoření datové továrny
• Vytvoření kanálu s aktivitou kopírování