Azure Data Factory ve Synapse Analytics'te Veri Kopyalama aracı
UYGULANANLAR:
Azure Data Factory Azure Synapse Analytics
Bahşiş
Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!
Veri Kopyalama aracı, genellikle uçtan uca veri tümleştirme senaryosunun ilk adımı olan veri gölüne veri alma sürecini kolaylaştırır ve iyileştirir. Özellikle hizmeti kullanarak bir veri kaynağından ilk kez veri aldığınızda zaman kazandırır. Bu aracı kullanmanın avantajlarından bazıları şunlardır:
- Veri Kopyalama aracını kullanırken bağlı hizmetler, veri kümeleri, işlem hatları, etkinlikler ve tetikleyiciler için hizmet tanımlarını anlamanız gerekmez.
- Veri Kopyalama aracının akışı, verileri bir veri gölüne yüklemek için sezgiseldir. Araç, seçilen kaynak veri deposundan seçilen hedef/havuz veri deposuna veri kopyalamak için gerekli tüm kaynakları otomatik olarak oluşturur.
- Veri Kopyalama aracı, yazma sırasında alınan verileri doğrulamanıza yardımcı olur ve bu da başlangıçtaki olası hataları önlemenize yardımcı olur.
- Bir veri gölüne veri yüklemek için karmaşık iş mantığı uygulamanız gerekiyorsa, kullanıcı arabirimindeki etkinlik başına yazma işlemini kullanarak Veri Kopyalama aracı tarafından oluşturulan kaynakları düzenlemeye devam edebilirsiniz.
Aşağıdaki tabloda, kullanıcı arabiriminde Etkinlik başına yazma ile Veri Kopyalama aracının ne zaman kullanılacağına ilişkin yönergeler sağlanmaktadır:
| Veri Kopyalama aracı | Etkinlik başına (Kopyalama etkinliği) yazma |
|---|---|
| Varlıklar (bağlı hizmetler, veri kümeleri, işlem hatları vb.) hakkında bilgi edinmeden kolayca veri yükleme görevi oluşturmak istiyorsunuz. | Verileri göle yüklemek için karmaşık ve esnek mantık uygulamak istiyorsunuz. |
| Çok sayıda veri yapıtını hızla bir veri gölüne yüklemek istiyorsunuz. | Verileri temizlemeye veya işlemeye yönelik sonraki etkinliklerle Kopyalama etkinliği zincirleme yapmak istiyorsunuz. |
Veri Kopyalama aracını başlatmak için Data Factory veya Synapse Studio kullanıcı arabiriminin giriş sayfasındaki Alma kutucuğuna tıklayın.
Veri kopyalama aracını başlattıktan sonra iki tür görev görürsünüz: biri yerleşik kopyalama görevi, diğeri meta veri temelli kopyalama görevidir. Yerleşik kopyalama görevi, varlıklar hakkında bilgi edinmeden verileri çoğaltmak için beş dakika içinde bir işlem hattı oluşturmanıza yol açar. Büyük miktarlardaki nesneleri (örneğin, binlerce tablo) büyük ölçekte kopyalamayı yönetmek için parametreli işlem hatları ve dış denetim tablosu oluşturma yolculuğunuzu kolaylaştırmak için meta veri temelli kopyalama görevi. Meta veri temelli kopyalama verilerinde daha fazla ayrıntı görebilirsiniz.
Veri gölüne veri yüklemek için sezgisel akış
Bu araç, sezgisel bir akışla çok çeşitli kaynaklardan gelen verileri dakikalar içinde kolayca hedeflere taşımanızı sağlar:
Kaynak ayarlarını yapılandırın.
Hedef için ayarları yapılandırın.
Sütun eşleme, performans ayarları ve hataya dayanıklılık ayarları gibi kopyalama işlemi için gelişmiş ayarları yapılandırın.
Veri yükleme görevi için bir zamanlama belirtin.
Oluşturulacak varlıkların özetini gözden geçirin.
Kopyalama etkinliğinin ayarlarını gerektiği gibi güncelleştirmek için işlem hattını düzenleyin .
Araç, başlangıçtan itibaren büyük veriler göz önünde bulundurularak ve çeşitli veri ve nesne türleri desteğiyle tasarlanmıştır. Yüzlerce klasör, dosya veya tabloyu taşımak için bunu kullanabilirsiniz. Araç otomatik veri önizlemeyi, şema yakalamayı ve otomatik eşlemeyi ve veri filtrelemeyi de destekler.
Otomatik veri önizlemesi
Seçilen kaynak veri deposundaki verilerin bir kısmını önizleyebilirsiniz. Bu sayede kopyalanan verileri doğrulayabilirsiniz. Ayrıca, kaynak veriler bir metin dosyasındaysa, Veri Kopyala aracı metin dosyasını ayrıştırarak satır ve sütun sınırlayıcılarını ve şemayı otomatik olarak algılar.
Algılamadan sonra Verileri önizleme'yi seçin:
Şema yakalama ve otomatik eşleme
Veri kaynağının şeması çoğu durumda veri hedefinin şemasıyla aynı olmayabilir. Bu senaryoda, kaynak şemadaki sütunları hedef şemadaki sütunlara eşlemeniz gerekir.
Veri Kopyalama aracı, kaynak ve hedef depolar arasında sütunları eşlerken davranışlarınızı izler ve öğrenir. Kaynak veri deposundan bir veya birkaç sütun seçtikten ve bunları hedef şemaya eşledikten sonra, Veri Kopyalama aracı her iki taraftan seçtiğiniz sütun çiftleri için deseni analiz etmeye başlar. Ardından, sütunların geri kalanına aynı deseni uygular. Bu nedenle, tüm sütunların birkaç tıklamadan hemen sonra istediğiniz şekilde hedefe eşlendiğini görürsünüz. Veri Kopyalama aracı tarafından sağlanan sütun eşleme seçeneğinden memnun değilseniz, bunu yoksayabilir ve sütunları el ile eşlemeye devam edebilirsiniz. Bu arada, Veri Kopyalama aracı deseni sürekli olarak öğrenir ve güncelleştirir ve sonuçta elde etmek istediğiniz sütun eşlemesi için doğru desene ulaşır.
Dekont
SQL Server'dan veya Azure SQL Veritabanı Azure Synapse Analytics'e veri kopyalarken, tablo hedef depoda yoksa, Veri Kopyalama aracı kaynak şemayı kullanarak tablonun otomatik olarak oluşturulmasını destekler.
Veri filtreleme
Yalnızca havuz veri deposuna kopyalanması gereken verileri seçmek için kaynak verileri filtreleyebilirsiniz. Filtreleme, havuz veri deposuna kopyalanacak verilerin hacmini azaltır ve bu nedenle kopyalama işleminin aktarım hızını artırır. Veri Kopyalama aracı, SQL sorgu dilini veya bir Azure blob klasöründeki dosyaları kullanarak ilişkisel veritabanındaki verileri filtrelemek için esnek bir yol sağlar.
Veritabanındaki verileri filtreleme
Aşağıdaki ekran görüntüsünde verileri filtrelemek için bir SQL sorgusu gösterilmektedir.
Azure blob klasöründeki verileri filtreleme
Klasör yolundaki değişkenleri kullanarak bir klasörden veri kopyalayabilirsiniz. Desteklenen değişkenler şunlardır: {year}, {month}, {day}, {hour}ve {minute}. Örneğin: inputfolder/{year}/{month}/{day}.
Aşağıdaki biçimde giriş klasörleriniz olduğunu varsayalım:
2016/03/01/01
2016/03/01/02
2016/03/01/03
...
Dosya veya klasör için Gözat düğmesine tıklayın, bu klasörlerden birine göz atın (örneğin, 2016-03-01-02>>>) ve Seç'e tıklayın. Metin kutusunda 2016/03/01/02 ifadesini görmeniz gerekir.
Ardından, 2016'yı {year}, 03'i{month}, 01'i {day} ve 02'yi {hour} ile değiştirin ve Sekme tuşuna basın. Dosya yükleme davranışı bölümünde Artımlı yükleme: zaman bölümlenmiş klasör/dosya adları'nı seçip Özellikler sayfasında Zamanlama veya Atlayan pencere'yi seçtiğinizde, bu dört değişkenin biçimini seçmek için açılan listeler görmeniz gerekir:
Veri Kopyalama aracı, işlem hattı oluştururken {year}, {month}, {day}, {hour} ve {minute} öğelerini temsil etmek için kullanılabilecek ifadeler, işlevler ve sistem değişkenleriyle parametreler oluşturur.
Planlama seçenekleri
Kopyalama işlemini bir kez veya bir zamanlamaya göre (saatlik, günlük vb.) çalıştırabilirsiniz. Bu seçenekler şirket içi, bulut ve yerel masaüstü gibi farklı ortamlardaki bağlayıcılar için kullanılabilir.
Tek seferlik kopyalama işlemi, bir kaynaktan hedefe veri taşımayı yalnızca bir kez etkinleştirir. Her boyuttaki veriler ve desteklenen biçimler için geçerlidir. Zamanlanan kopya, belirttiğiniz bir yinelemedeki verileri kopyalamanıza olanak tanır. Zamanlanmış kopyayı yapılandırmak için zengin ayarları (yeniden deneme, zaman aşımı ve uyarılar gibi) kullanabilirsiniz.
İlgili içerik
Veri Kopyalama aracını kullanan şu öğreticileri deneyin: