Veri Kopyalama aracını kullanarak Azure Blob depolamadan SQL Veritabanı veri kopyalama

Makale
11/02/2023

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bahşiş

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu öğreticide, Azure portalını kullanarak bir veri fabrikası oluşturursunuz. Ardından Verileri Kopyala aracını kullanarak Verileri Azure Blob depolamadan SQL Veritabanı kopyalayan bir işlem hattı oluşturursunuz.

Dekont

Azure Data Factory kullanmaya yeni başlıyorsanız bkz. Azure Data Factory'ye giriş.

Bu öğreticide, aşağıdaki adımları gerçekleştireceksiniz:

Veri fabrikası oluşturma.
Veri Kopyalama aracını kullanarak bir işlem hattı oluşturun.
İşlem hattı ve etkinlik çalıştırmalarını izleme.

Önkoşullar

Azure aboneliği: Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun.
Azure Depolama hesabı: Kaynak veri deposu olarak Blob depolamayı kullanın. Azure Depolama hesabınız yoksa Depolama hesabı oluşturma başlığındaki yönergelere bakın.
Azure SQL Veritabanı: Havuz veri deposu olarak bir SQL Veritabanı kullanın. SQL Veritabanı yoksa SQL Veritabanı oluşturma başlığındaki yönergelere bakın.

SQL veritabanını hazırlama

Azure hizmetlerinin Azure SQL Veritabanı mantıksal SQL Server'a erişmesine izin verin.

Azure hizmetlerinin ve kaynaklarının bu sunucuya erişmesine izin ver ayarının SQL Veritabanı çalıştıran sunucunuz için etkinleştirildiğini doğrulayın. Bu ayar, Data Factory’nin veritabanı örneğinize veri yazmasına imkan tanır. Bu ayarı doğrulamak ve açmak için mantıksal SQL sunucusu > Güvenlik > Güvenlik Duvarları ve sanal ağlar'a > gidin ve Azure hizmetlerinin ve kaynaklarının bu sunucuya erişmesine izin ver seçeneğini AÇI olarak ayarlayın.

Dekont

Azure hizmetlerinin ve kaynaklarının bu sunucuya erişmesine izin ver seçeneği, yalnızca aboneliğinizdekiler değil, herhangi bir Azure kaynağından SQL Server'ınıza ağ erişimi sağlar. Tüm ortamlar için uygun olmayabilir, ancak bu sınırlı öğretici için uygundur. Daha fazla bilgi için bkz . Azure SQL Server Güvenlik Duvarı kuralları. Bunun yerine, genel IP'leri kullanmadan Azure PaaS hizmetlerine bağlanmak için Özel uç noktaları kullanabilirsiniz.

Bir blob ve SQL tablosu oluşturma

Bu adımları uygulayarak Blob depolama alanınızı ve SQL Veritabanı öğreticiye hazırlayın.

Kaynak blob oluşturma

Not Defteri'ni başlatın. Aşağıdaki metni kopyalayıp diskinizde inputEmp.txt adlı bir dosyaya kaydedin:
```
FirstName|LastName
John|Doe
Jane|Doe
```
adfv2tutorial adlı bir kapsayıcı oluşturun ve inputEmp.txt dosyasını kapsayıcıya yükleyin. Bu görevleri gerçekleştirmek için Azure portalını veya Azure Depolama Gezgini gibi çeşitli araçları kullanabilirsiniz.

Havuz SQL tablosu oluşturma

SQL Veritabanı adlı dbo.emp bir tablo oluşturmak için aşağıdaki SQL betiğini kullanın:

CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO
CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);

Veri fabrikası oluşturma

Sol menüde Kaynak>oluştur Integration>Data Factory'yi seçin:
Yeni veri fabrikası sayfasında Ad bölümüne ADFTutorialDataFactory girin.

Veri fabrikanızın adı genel olarak benzersiz olmalıdır. Aşağıdaki hata iletisini alabilirsiniz:

Ad değeriyle ilgili bir hata iletisi alırsanız, veri fabrikası için farklı bir ad girin. Örneğin, adınızADFTutorialDataFactory adını kullanın. Data Factory yapıtlarını adlandırma kuralları için bkz. Data Factory adlandırma kuralları.
Yeni veri fabrikasının oluşturulacağı Azure aboneliğini seçin.
Kaynak Grubu için aşağıdaki adımlardan birini uygulayın:

a. Var olanı kullan’ı seçin ve ardından açılır listeden var olan bir kaynak grubu belirleyin.

b. Yeni oluştur’u seçin ve bir kaynak grubunun adını girin.

Kaynak grupları hakkında daha fazla bilgi için bkz. Azure kaynaklarınızı yönetmek için kaynak gruplarını kullanma.
Sürüm bölümünde V2'yi seçin.
Konum bölümünde veri fabrikasının konumunu seçin. Açılan listede yalnızca desteklenen konumlar görüntülenir. Veri fabrikanız tarafından kullanılan veri depoları (örneğin, Azure Depolama ve SQL Veritabanı) ve işlemler (örneğin, Azure HDInsight) başka konumlarda ve bölgelerde olabilir.
Oluştur seçeneğini belirleyin.
Oluşturma işlemi tamamlandıktan sonra Data Factory giriş sayfası görüntülenir.
Azure Data Factory kullanıcı arabirimini (UI) ayrı bir sekmede başlatmak için Azure Data Factory Studio'yu Aç kutucuğunda Aç'ı seçin.

Veri Kopyalama aracını kullanarak işlem hattı oluşturma

Azure Data Factory'nin giriş sayfasında Veri Kopyalama aracını başlatmak için Alma kutucuğunu seçin.
Veri Kopyala aracının Özellikler sayfasında, Görev türü altında Yerleşik kopyalama görevi'ni ve ardından İleri'yi seçin.
Kaynak veri deposu sayfasında aşağıdaki adımları tamamlayın:

a. Bağlantı eklemek için + Yeni bağlantı oluştur'u seçin.

b. Galeriden Azure Blob Depolama'i ve ardından Devam'ı seçin.

c. Yeni bağlantı (Azure Blob Depolama) sayfasında, Azure aboneliği listesinden Azure aboneliğinizi seçin ve Depolama hesap adı listesinden depolama hesabınızı seçin. Bağlantıyı test edin ve oluştur'u seçin.

d. yeni oluşturulan bağlı hizmeti Bağlan bloğunda kaynak olarak seçin.

e. Dosya veya klasör bölümünde Gözat'ı seçerek adfv2tutorial klasörüne gidin, inputEmp.txt dosyasını ve ardından Tamam'ı seçin.

f. Sonraki adıma geçmek için İleri'yi seçin.
Dosya biçimi ayarları sayfasında, İlk satır üst bilgi olarak onay kutusunu etkinleştirin. Aracın sütun ve satır sınırlayıcılarını otomatik olarak algıladığına ve bu sayfadaki Verileri önizle düğmesini seçerek verileri önizleyebileceğinize ve giriş verilerinin şemasını görüntüleyebileceğinize dikkat edin. Ardından İleri'yi seçin.
Hedef veri deposu sayfasında aşağıdaki adımları tamamlayın:

a. Bağlantı eklemek için + Yeni bağlantı oluştur'u seçin.

b. Galeriden Azure SQL Veritabanı'yi ve ardından Devam'ı seçin.

c. Yeni bağlantı (Azure SQL Veritabanı) sayfasında, açılan listeden Azure aboneliğinizi, sunucu adınızı ve veritabanı adınızı seçin. Ardından Kimlik doğrulama türü altında SQL kimlik doğrulaması'nı seçin, kullanıcı adını ve parolayı belirtin. Bağlantıyı test edin ve Oluştur'u seçin.

d. Yeni oluşturulan bağlı hizmeti havuz olarak seçin ve ardından İleri'yi seçin.
Hedef veri deposu sayfasında Varolan tabloyu kullan'ı seçin ve tabloyu seçindbo.emp. Ardından İleri'yi seçin.
Sütun eşleme sayfasında, giriş dosyasındaki ikinci ve üçüncü sütunların emp tablosunun FirstName ve LastName sütunlarıyla eşlendiğine dikkat edin. Hata olmadığından emin olmak için eşlemeyi ayarlayın ve İleri'yi seçin.
Ayarlar sayfasında, Görev adı'nın altında CopyFromBlobToSqlPipeline yazın ve İleri'yi seçin.
Özet sayfasında ayarları gözden geçirin ve İleri’yi seçin.
Dağıtım sayfasında, işlem hattını (görev) izlemek için İzleyici’yi seçin.
İşlem hattı çalıştırmaları sayfasında Yenile'yi seçerek listeyi yenileyin. Etkinlik çalıştırması ayrıntılarını görüntülemek veya işlem hattını yeniden çalıştırmak için İşlem hattı adı altındaki bağlantıyı seçin.
Kopyalama işlemi hakkında daha fazla ayrıntı için "Etkinlik çalıştırmaları" sayfasında Etkinlik adı sütununun altındaki Ayrıntılar bağlantısını (gözlük simgesi) seçin. "İşlem hattı çalıştırmaları" görünümüne dönmek için içerik haritası menüsünde Tüm işlem hattı çalıştırmaları bağlantısını seçin. Görünümü yenilemek için Yenile’yi seçin.
Verilerin SQL Veritabanı dbo.emp tablosuna eklendiğini doğrulayın.
Düzenleyici moduna geçmek için soldaki Yazar sekmesini seçin. Düzenleyici kullanılarak araç üzerinden oluşturulan bağlı hizmetleri, veri kümelerini ve işlem hatlarını güncelleştirebilirsiniz. Bu varlıkları Data Factory kullanıcı arabiriminde düzenlemeyle ilgili ayrıntılar için bu öğreticinin Azure portalı sürümüne bakın.