bezpečné kopírování dat z úložiště objektů Blob v Azure do databáze SQL pomocí privátních koncových bodů

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

V tomto kurzu vytvoříte datovou továrnu pomocí uživatelského rozhraní služby Azure Data Factory. kanál v této datové továrně kopíruje data z úložiště objektů Blob v azure do databáze Azure SQL (povoluje přístup pouze k vybraným sítím) pomocí privátních koncových bodů v Azure Data Factory spravovaných Virtual Network. Schéma konfigurace v tomto kurzu se vztahuje na kopírování z úložiště dat založeného na souborech do relačního úložiště dat. Seznam úložišť dat podporovaných jako zdroje a jímky najdete v tabulce podporovaná úložiště dat a formáty .

Poznámka

Pokud se službou Data Factory teprve začínáte, přečtěte si téma Úvod do Azure Data Factory.

V tomto kurzu provedete následující kroky:

  • Vytvoření datové továrny
  • Vytvoření kanálu s aktivitou kopírování

Požadavky

  • Předplatné Azure. Pokud ještě nemáte předplatné Azure, vytvořte si bezplatný účet Azure před tím, než začnete.
  • Účet služby Azure Storage. Blob Storage použijete jako zdrojové úložiště dat. Pokud účet úložiště nemáte, přečtěte si téma Vytvoření účtu služby Azure Storage, kde najdete postup jeho vytvoření. Ujistěte se, že účet úložiště povoluje přístup jenom z vybraných sítí.
  • Azure SQL Database. Tuto databázi použijete jako úložiště dat jímky. pokud nemáte databázi Azure SQL, přečtěte si téma vytvoření databáze SQL pro kroky, jak je vytvořit. ujistěte se, že účet SQL Database povoluje přístup pouze z vybraných sítí.

Vytvoření objektu blob a tabulky SQL

teď připravte úložiště objektů blob a SQL databázi pro kurz provedením následujících kroků.

Vytvoření zdrojového objektu blob

  1. otevřete Poznámkový blok. Zkopírujte následující text a uložte si ho na disk jako soubor emp.txt:

    FirstName,LastName
    John,Doe
    Jane,Doe
    
  2. V úložišti objektů BLOB vytvořte kontejner s názvem adftutorial . V tomto kontejneru vytvořte složku input. Pak do složky input nahrajte soubor emp.txt. K provedení těchto úloh použijte Azure Portal nebo nástroj, jako je například Průzkumník služby Azure Storage.

Vytvoření tabulky SQL jímky

Použitím následujícího skriptu SQL si v databázi SQL Database vytvořte tabulku emp:

CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO

CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);

Vytvoření datové továrny

V tomto kroku vytvoříte datovou továrnu a spustíte uživatelské rozhraní služby Data Factory, ve kterém v této datové továrně vytvoříte kanál.

  1. otevřete Microsoft Edge nebo Google Chrome. v současné době Data Factory uživatelské rozhraní podporuje pouze Microsoft Edge a webové prohlížeče Google Chrome.

  2. V nabídce vlevo vyberte vytvořit > > Data Factory analýzy prostředků.

  3. Do pole Název na stránce Nová datová továrna zadejte ADFTutorialDataFactory.

    Název objektu pro vytváření dat Azure musí být globálně jedinečný. Pokud se zobrazí chybová zpráva s názvem hodnota, zadejte jiný název objektu pro vytváření dat (například yournameADFTutorialDataFactory). Pravidla pro pojmenovávání artefaktů služby Data Factory najdete v tématu Data Factory – pravidla pojmenování.

  4. Vyberte předplatné Azure, v rámci kterého chcete datovou továrnu vytvořit.

  5. U položky Skupina prostředků proveďte jeden z následujících kroků:

    • Vyberte Použít existující a z rozevíracího seznamu vyberte existující skupinu prostředků.
    • Vyberte vytvořit novou a zadejte název skupiny prostředků.

    Informace o skupinách prostředků najdete v tématu Použití skupin prostředků ke správě prostředků Azure.

  6. Jako Verzi vyberte V2.

  7. V části Umístění vyberte umístění datové továrny. V rozevíracím seznamu se zobrazí pouze podporovaná umístění. Úložiště dat (například Azure Storage a SQL Database) a výpočetní prostředí (například Azure HDInsight) používaná datovou továrnou můžou být v jiných oblastech.

  8. Vyberte Vytvořit.

  9. Po dokončení vytváření se zobrazí oznámení v centru oznámení. Vyberte Přejít k prostředku a přejít na stránku Data Factory .

  10. Vyberte otevřít na dlaždici otevřít Azure Data Factory Studio a spusťte Data Factory uživatelské rozhraní na samostatné kartě.

Vytvoření prostředí Azure Integration runtime v Data Factory spravovaném Virtual Network

V tomto kroku vytvoříte prostředí Azure Integration runtime a povolíte Data Factory spravované Virtual Network.

  1. Na portálu Data Factory klikněte na Správa a vyberte Nový a vytvořte nový prostředí Azure Integration runtime.

    Snímek obrazovky, který ukazuje vytvoření nového prostředí Azure Integration runtime.

  2. Na stránce instalace prostředí Integration runtime vyberte, který modul runtime integrace se má vytvořit na základě požadovaných možností. V tomto kurzu vyberte Azure, v místním prostředí a potom klikněte na pokračovat.

  3. Vyberte Azure a potom kliknutím na pokračovat vytvořte prostředí Azure Integration runtime.

    Snímek obrazovky, který ukazuje nový prostředí Azure Integration runtime.

  4. V části Konfigurace virtuální sítě (Preview) vyberte Povolit.

    Snímek obrazovky, který ukazuje povolení nového prostředí Azure Integration runtime.

  5. Vyberte Vytvořit.

Vytvoření kanálu

V tomto kroku vytvoříte v datové továrně kanál s aktivitou kopírování. Aktivita kopírování kopíruje data z úložiště Blob Storage do databáze SQL Database. V kurzu Rychlý start jste vytvořili kanál pomocí tohoto postupu:

  1. Vytvoření propojené služby
  2. Vytvoření vstupní a výstupní datové sady
  3. Vytvoření kanálu

V tomto kurzu začnete vytvořením kanálu. Potom vytvoříte propojené služby a datové sady, které budete potřebovat ke konfiguraci kanálu.

  1. Na domovské stránce vyberte orchestrace.

    Snímek obrazovky, který zobrazuje domovskou stránku ADF.

  2. V podokně vlastnosti kanálu zadejte CopyPipeline pro název kanálu.

  3. V poli nástroje aktivity rozbalte kategorii přesunout a transformovat a přetáhněte aktivitu Kopírovat data z panelu nástrojů na plochu návrháře kanálu. Jako název zadejte CopyFromBlobToSql .

    Snímek obrazovky zobrazující aktivitu kopírování

Konfigurace zdroje

Tip

V tomto kurzu použijete klíč účtu jako typ ověřování pro zdrojové úložiště dat. V případě potřeby můžete také zvolit jiné podporované metody ověřování, jako je URI SAS,instanční objekt a spravovaná identita . Další informace najdete v odpovídajících částech v tématu kopírování a transformace dat v úložišti objektů BLOB v Azure pomocí Azure Data Factory.

K bezpečnému ukládání tajných kódů pro úložiště dat doporučujeme také použití Azure Key Vault. Další informace a ilustrace najdete v tématu uložení přihlašovacích údajů v Azure Key Vault.

Vytvoření zdrojové datové sady a propojené služby

  1. Přejít na kartu zdroj . Vyberte + Nová a vytvořte zdrojovou datovou sadu.

  2. v dialogovém okně nová datová sada vyberte Azure Blob Storage a pak vyberte pokračovat. Zdrojová data jsou v úložišti Blob Storage, takže jako zdrojovou datovou sadu vyberete Azure Blob Storage.

  3. V dialogovém okně Vybrat formát vyberte typ formátu dat a pak vyberte pokračovat.

  4. V dialogovém okně nastavit vlastnosti zadejte SourceBlobDataset do pole název. Zaškrtněte políčko pro první řádek jako záhlaví. V textovém poli propojená služba vyberte + Nová.

  5. v dialogovém okně nová propojená služba (Azure Blob Storage) zadejte AzureStorageLinkedService jako název a vyberte svůj účet úložiště ze seznamu Storage název účtu .

  6. Ujistěte se, že jste povolili interaktivní vytváření. Povolení může trvat přibližně jednu minutu.

    Snímek obrazovky zobrazující interaktivní vytváření obsahu

  7. Vyberte Test připojení. Měla by selhat, pokud účet úložiště povoluje přístup pouze z vybraných sítí a vyžaduje Data Factory k vytvoření privátního koncového bodu, který by měl být před jeho použitím schválen. V chybové zprávě byste měli vidět odkaz pro vytvoření privátního koncového bodu, pomocí kterého můžete vytvořit spravovaný privátní koncový bod. Alternativou je přejít přímo na kartu Správa a postupovat podle pokynů v Další části a vytvořit spravovaný privátní koncový bod.

    Poznámka

    Karta Spravovat nemusí být k dispozici pro všechny instance služby Data Factory. Pokud ho nevidíte, můžete získat přístup k privátním koncovým bodům výběrem možnosti vytvořit > připojení > soukromý koncový bod.

  8. Nechejte dialogové okno otevřené a pak na svém účtu úložiště.

  9. Postupujte podle pokynů v této části pro schválení privátního odkazu.

  10. Vraťte se do dialogového okna. Znovu vyberte Test připojení a vyberte vytvořit a nasaďte propojenou službu.

  11. Po vytvoření propojené služby se tato propojená služba vrátí zpět na stránku vlastností set . Vedle pole Cesta k souboru vyberte Procházet.

  12. Přejít do složky adftutorial/Input , vyberte soubor emp.txt a pak vyberte OK.

  13. Vyberte OK. Automaticky přejde na stránku kanálu. Na kartě zdroj potvrďte, že je vybraná možnost SourceBlobDataset . Pokud se na této stránce chcete podívat na náhled dat, vyberte Náhled dat.

    Snímek obrazovky zobrazující zdrojovou datovou sadu

Vytvoření spravovaného privátního koncového bodu

Pokud jste nevybrali hypertextový odkaz při testování připojení, postupujte podle cesty. Teď je potřeba vytvořit spravovaný privátní koncový bod, ke kterému se připojíte, abyste se připojili k propojené službě, kterou jste vytvořili.

  1. Přejít na kartu Spravovat .

    Poznámka

    Karta Spravovat nemusí být k dispozici pro všechny instance Data Factory. Pokud ho nevidíte, můžete získat přístup k privátním koncovým bodům výběrem možnosti vytvořit > připojení > soukromý koncový bod.

  2. Přejít do oddílu spravované privátní koncové body .

  3. V části spravované privátní koncové body vyberte + Nový .

    Snímek obrazovky, který zobrazuje nové tlačítko spravované soukromé koncové body.

  4. v seznamu vyberte dlaždici Azure Blob Storage a vyberte pokračovat.

  5. Zadejte název účtu úložiště, který jste vytvořili.

  6. Vyberte Vytvořit.

  7. Po několika sekundách byste měli vidět, že vytvoření privátního odkazu vyžaduje schválení.

  8. Vyberte privátní koncový bod, který jste vytvořili. Zobrazí se hypertextový odkaz, který vás provede schválením privátního koncového bodu na úrovni účtu úložiště.

    Snímek obrazovky, který zobrazuje podokno spravovaného privátního koncového bodu.

  1. v účtu úložiště v části Nastavení přejít na připojení privátního koncového bodu .

  2. Zaškrtněte políčko u privátního koncového bodu, který jste vytvořili, a vyberte schválit.

    Snímek obrazovky, který zobrazuje tlačítko pro schválení privátního koncového bodu.

  3. Přidejte popis a vyberte Ano.

  4. Vraťte se do části spravované soukromé koncové body na kartě Spravovat v Data Factory.

  5. Po jedné nebo dvou minutách byste měli vidět, že se schválení privátního koncového bodu zobrazí v uživatelském rozhraní Data Factory.

Konfigurace jímky

Tip

v tomto kurzu použijete SQL ověřování jako typ ověřování pro úložiště dat jímky. V případě potřeby můžete také zvolit jiné podporované metody ověřování, například instanční objekt a spravovanou identitu . další informace najdete v tématu odpovídající části v tématu kopírování a transformace dat v Azure SQL Database pomocí Azure Data Factory.

K bezpečnému ukládání tajných kódů pro úložiště dat doporučujeme také použití Azure Key Vault. Další informace a ilustrace najdete v tématu uložení přihlašovacích údajů v Azure Key Vault.

Vytvoření datové sady jímky a propojené služby

  1. Přejděte na kartu Jímka, vyberte + Nová a vytvořte datovou sadu jímky.

  2. v dialogovém okně nová datová sada zadejte do vyhledávacího pole SQL , aby se konektory vyfiltroval. vyberte Azure SQL Database a pak vyberte pokračovat. V tomto kurzu zkopírujte data do databáze SQL Database.

  3. V dialogovém okně nastavit vlastnosti zadejte OutputSqlDataset do pole název. V rozevíracím seznamu propojená služba vyberte + Nová. Datová sada musí být přidružená k propojené službě. Propojená služba obsahuje připojovací řetězec, který služba Data Factory používá pro připojení k databázi SQL Database za běhu. Datová sada určuje kontejner, složku a soubor (volitelné), do kterého se data kopírují.

  4. v dialogovém okně nová propojená služba (Azure SQL Database) proveďte následující kroky:

    1. Do pole Název zadejte AzureSqlDatabaseLinkedService.
    2. V rozevíracím seznamu Název serveru vyberte příslušný název instance SQL Serveru.
    3. Ujistěte se, že jste povolili interaktivní vytváření.
    4. V rozevíracím seznamu Název databáze vyberte svoji databázi SQL Database.
    5. Do pole Uživatelské jméno zadejte jméno uživatele.
    6. Do pole Heslo zadejte heslo pro tohoto uživatele.
    7. Vyberte Test připojení. nemělo by to selhat, protože server SQL umožňuje přístup pouze z vybraných sítí a vyžaduje Data Factory k vytvoření privátního koncového bodu, který by měl být před jeho použitím schválen. V chybové zprávě byste měli vidět odkaz pro vytvoření privátního koncového bodu, pomocí kterého můžete vytvořit spravovaný privátní koncový bod. Alternativou je přejít přímo na kartu Správa a postupovat podle pokynů v další části a vytvořit spravovaný privátní koncový bod.
    8. nechejte dialogové okno otevřené a pak klikněte na vybraný SQL server.
    9. Postupujte podle pokynů v této části pro schválení privátního odkazu.
    10. Vraťte se do dialogového okna. Znovu vyberte Test připojení a vyberte vytvořit a nasaďte propojenou službu.
  5. Automaticky přejde do dialogového okna nastavit vlastnosti . V části Tabulka vyberte [dbo].[emp]. Pak vyberte OK.

  6. V kanálu klikněte na kartu a v datové sadě jímky potvrďte, že je vybraná možnost OutputSqlDataset .

    Snímek obrazovky zobrazující kartu kanálu

Podle mapování schématu v aktivitě kopírovánímůžete volitelně namapovat schéma zdroje na odpovídající schéma cílového umístění.

Vytvoření spravovaného privátního koncového bodu

Pokud jste nevybrali hypertextový odkaz při testování připojení, postupujte podle cesty. Teď je potřeba vytvořit spravovaný privátní koncový bod, ke kterému se připojíte, abyste se připojili k propojené službě, kterou jste vytvořili.

  1. Přejít na kartu Spravovat .

  2. Přejít do oddílu spravované privátní koncové body .

  3. V části spravované privátní koncové body vyberte + Nový .

    Snímek obrazovky, který zobrazuje nové tlačítko spravované soukromé koncové body.

  4. v seznamu vyberte dlaždici Azure SQL Database a vyberte pokračovat.

  5. zadejte název serveru SQL, který jste vybrali.

  6. Vyberte Vytvořit.

  7. Po několika sekundách byste měli vidět, že vytvoření privátního odkazu vyžaduje schválení.

  8. Vyberte privátní koncový bod, který jste vytvořili. zobrazí se hypertextový odkaz, který vás provede schválením privátního koncového bodu na úrovni serveru SQL.

  1. v SQL serveru v části Nastavení pokračujte na připojení privátního koncového bodu .
  2. Zaškrtněte políčko u privátního koncového bodu, který jste vytvořili, a vyberte schválit.
  3. Přidejte popis a vyberte Ano.
  4. Vraťte se do části spravované soukromé koncové body na kartě Spravovat v Data Factory.
  5. Pro zobrazení souhlasu s Vaším privátním koncovým bodem by mělo trvat jednu nebo dvě minuty.

Ladění a publikování kanálu

Před publikováním artefaktů (propojených služeb, datových sad a kanálu) do služby Data Factory nebo vlastního úložiště Gitu Azure Repos můžete kanál odladit.

  1. K ladění kanálu vyberte na panelu nástrojů Ladit. Na kartě Výstup v dolní části okna se zobrazí stav spuštění kanálu.
  2. Po úspěšném spuštění kanálu vyberte na horním panelu nástrojů Publikovat vše. Tato akce publikuje entity (datové sady a kanály), které jste vytvořili Data Factory.
  3. Počkejte, dokud se nezobrazí zpráva Publikování proběhlo úspěšně. Pokud chcete zobrazit zprávy s oznámeními, vyberte Zobrazit oznámení v pravém horním rohu (tlačítko zvonku).

Souhrn

Kanál v této ukázce kopíruje data z úložiště objektů blob do SQL Database pomocí privátních koncových bodů v Data Factory Managed Virtual Network. Naučili jste se:

  • Vytvoření datové továrny
  • Vytvoření kanálu s aktivitou kopírování