Azure Veri Gezgini verileri almak için Lightınest kullanın

Lightınest, Azure Veri Gezgini 'ye geçici veri alımı için bir komut satırı yardımcı programıdır. Yardımcı program, kaynak verilerini yerel bir klasörden veya bir Azure Blob depolama kapsayıcısından alabilir. Alma süresinde zaman kısıtlaması olmadığından, açık bir miktarda veri almak istediğinizde, en çok yararlı olur. Daha sonra kayıtları oluşturuldukları zamana göre sorgulamak istediğinizde ve bu süre içinde oluşturulduklarında da yararlıdır.

Bir Lightınest komutunu otomatik olarak oluşturmak için, bkz. ınestion alma Sihirbazı 'Nı açık alma ile geçmiş verilerin tek seferlik alımı Için kullanma.

Önkoşullar

• lightınest- Microsoft. Azure. Kusto. Tools NuGet paketinin bir parçası olarak indirin

  

• WinRAR-www.win-rar.com/'tan indirin download.html

Lightınest 'yi yükler

1. Bilgisayarınızda Lightınest 'yi indirdiğiniz konuma gidin.
2. WinRAR kullanarak, Araçlar dizinini bilgisayarınıza ayıklayın.

Lightınest çalıştırma

1. Bilgisayarınızda ayıklanan Araçlar dizinine gidin.

2. Mevcut konum bilgilerini konum çubuğundan silin.

   

3. Yazın cmd ve ENTER cmdtuşuna basın.

4. Komut isteminde, LightIngest.exe ardından ilgili komut satırı bağımsız değişkenini yazın.

   İpucu

   Desteklenen komut satırı bağımsız değişkenlerinin listesi için, girin LightIngest.exe /help .

   

5. Alımı ingest- yönetecek Azure Veri Gezgini kümesine bağlantı dizesi tarafından izlenen girin. Bağlantı dizesini çift tırnak içine alın ve kusto bağlantı dizeleri belirtiminiizleyin.

   Örnek:

   ingest-{Cluster name and region}.kusto.windows.net;AAD Federated Security=True -db:{Database} -table:Trips -source:"https://{Account}.blob.core.windows.net/{ROOT_CONTAINER};{StorageAccountKey}" -pattern:"*.csv.gz" -format:csv -limit:2 -ignoreFirst:true -cr:10.0 -dontWait:true
   

Öneriler

• Önerilen yöntem, ' deki alma uç noktasıyla birlikte çalışmak için açık bir yöntemdir https://ingest-{yourClusterNameAndRegion}.kusto.windows.net . Bu şekilde, Azure Veri Gezgini hizmeti alma yükünü yönetebilir ve geçici hatalardan kolayca kurtarma yapabilirsiniz. Bununla birlikte, doğrudan motor uç noktası () ile çalışmak üzere açık alma 'yı da yapılandırabilirsiniz https://{yourClusterNameAndRegion}.kusto.windows.net .

  Not

  Doğrudan motor uç noktasıyla karşılaşırsanız, dahil etmeniz gerekmez ingest- . Ancak, altyapıyı korumak için bir DM özelliği olmayacaktır ve alma başarı oranını iyileştirmez.

• En iyi alım performansı için, ham veri boyutu gereklidir, bu nedenle açık alma yerel dosyaların sıkıştırılmamış boyutunu tahmin edebilir. Ancak, Lightınest, sıkıştırılmış Blobların ham boyutunu önce indirmeden doğru şekilde tahmin edemeyebilir. Bu nedenle, sıkıştırılmış blob 'ları alırken rawSizeBytes BLOB meta verilerindeki özelliği, bayt olarak sıkıştırılmamış veri boyutu olarak ayarlayın.

Komut satırı bağımsız değişkenleri

Azure bloba özgü özellikler

LightIngest, Azure blobları ile birlikte kullanılırken, veri alımı işlemini artırmak için belirli blob meta veri özelliklerini kullanır.

Kullanım örnekleri

CreationTime kullanarak veri toplama

Geçmiş verileri mevcut sistemden bir Azure Veri Gezgini, tüm kayıtlar aynı alma tarihini alır. Verilerinizi veri alımı zamanını değil oluşturma zamanını kullanarak bölümlemesi için bağımsız değişkenini -creationTimePattern kullanabilirsiniz. bağımsız -creationTimePattern değişkeni, özelliği CreationTime dosyadan veya blob yolundan ayıklar. Desenin öğe yolunun tamamını yansıtması değil, yalnızca kullanmak istediğiniz zaman damgasını kapsayan bölümü yansıtması gerekir.

Bağımsız değişken değerleri şunları içermeli:

• Zaman damgası biçiminden hemen önce gelen, tek tırnak içine alınmış sabit metin (ön ek)
• Standart .NET DateTime notasyonunda zaman damgası biçimi
• Zaman damgasının (sonek) hemen ardından sabit metin.

Örnekler

• Datetime'ı içeren blob adı: (zaman damgası yıl için dört basamak, ay için iki basamak ve ayın günü için iki historicalvalues19840101.parquet basamaktır)

  bağımsız değişkeninin -creationTimePattern değeri dosya adını içerir: -creationTimePattern

  ingest-{Cluster name and region}.kusto.windows.net;AAD Federated Security=True -db:{Database} -table:Trips -source:"https://{Account}.blob.core.windows.net/{ROOT_CONTAINER};{StorageAccountKey}" -creationTimePattern:"'historicalvalues'yyyyMMdd'.parquet'"
   -pattern:"*.parquet" -format:parquet -limit:2 -cr:10.0 -dontWait:true
  

• gibi hiyerarşik klasör yapısına başvuran bir blob URI'sı için https://storageaccount/container/folder/2002/12/01/blobname.extension

  bağımsız değişkeninin -creationTimePattern değeri klasör yapısının bir bölümüdür: -creationTimePattern

    ingest-{Cluster name and region}.kusto.windows.net;AAD Federated Security=True -db:{Database} -table:Trips -source:"https://{Account}.blob.core.windows.net/{ROOT_CONTAINER};{StorageAccountKey}" -creationTimePattern:"'folder/'yyyy/MM/dd'/blob'"
     -pattern:"*.csv.gz" -format:csv -limit:2 -ignoreFirst:true -cr:10.0 -dontWait:true
  

Depolama hesabı anahtarı veya SAS belirteci kullanarak blobları almak

• Belirtilen depolama hesabı altında, klasöründe, kapsayıcının altında ve desenle eşleşen 10 ACCOUNTDIRCONT blobu *.csv.gz
• Hedef DB veritabanı, tablosu TABLE ve veri alımı MAPPING eşlemesi hedefte önceden oluştur
• Araç, işlem tamamlanana kadar bekler
• Hedef veritabanını ve depolama hesabı anahtarını ve SAS belirteci ile belirtmeye yönelik farklı seçenekleri not alın

LightIngest.exe "https://ingest-{ClusterAndRegion}.kusto.windows.net;Fed=True"
  -database:DB
  -table:TABLE
  -source:"https://ACCOUNT.blob.core.windows.net/{ROOT_CONTAINER};{StorageAccountKey}"
  -prefix:"DIR"
  -pattern:*.csv.gz
  -format:csv
  -mappingRef:MAPPING
  -limit:10

LightIngest.exe "https://ingest-{ClusterAndRegion}.kusto.windows.net;Fed=True;Initial Catalog=DB"
  -table:TABLE
  -source:"https://ACCOUNT.blob.core.windows.net/{ROOT_CONTAINER}?{SAS token}"
  -prefix:"DIR"
  -pattern:*.csv.gz
  -format:csv
  -mappingRef:MAPPING
  -limit:10

Üst bilgi satırları dahil değil kapsayıcıdaki tüm blobları alır

• Belirtilen depolama hesabı altındaki tüm blobları , ACCOUNT klasöründe, DIR1/DIR2 kapsayıcının altında ve CONT desenle eşleşen tüm blobları *.csv.gz
• Hedef DB veritabanı, tablosu TABLE ve veri alımı MAPPING eşlemesi hedefte önceden oluştur
• Kaynak bloblar üst bilgi satırı içerdiği için aracın her blob için ilk kaydı bırakması istildi
• Araç verileri veri alımı için yayınlar ve veri alımı işlemlerinin tamamlandıktan sonra beklemez

LightIngest.exe "https://ingest-{ClusterAndRegion}.kusto.windows.net;Fed=True"
  -database:DB
  -table:TABLE
  -source:"https://ACCOUNT.blob.core.windows.net/{ROOT_CONTAINER}?{SAS token}"
  -prefix:"DIR1/DIR2"
  -pattern:*.csv.gz
  -format:csv
  -mappingRef:MAPPING
  -ignoreFirstRow:true

Bir yoldan tüm JSON dosyalarını alan

• yolu altındaki tüm dosyaları, PATH desenle eşleşen olarakestin *.json
• Hedef DB veritabanı, tablosu TABLE ve veri alımı eşlemesi yerel dosyada tanımlanır MAPPING_FILE_PATH
• Araç verileri veri alımı için yayınlar ve veri alımı işlemlerinin tamamlandıktan sonra beklemez

LightIngest.exe "https://ingest-{ClusterAndRegion}.kusto.windows.net;Fed=True"
  -database:DB
  -table:TABLE
  -source:"PATH"
  -pattern:*.json
  -format:json
  -mappingPath:"MAPPING_FILE_PATH"

Dosyaları alan ve tanılama izleme dosyaları yazan

• yolu altındaki tüm dosyaları, PATH desenle eşleşen olarakestin *.json
• Hedef DB veritabanı, tablosu TABLE ve veri alımı eşlemesi yerel dosyada tanımlanır MAPPING_FILE_PATH
• Araç verileri veri alımı için yayınlar ve veri alımı işlemlerinin tamamlandıktan sonra beklemez
• Tanılama izleme dosyaları klasör altında yerel olarak yazılır LOGS_PATH

LightIngest.exe "https://ingest-{ClusterAndRegion}.kusto.windows.net;Fed=True"
  -database:DB
  -table:TABLE
  -source:"PATH"
  -pattern:*.json
  -format:json
  -mappingPath:"MAPPING_FILE_PATH"
  -trace:"LOGS_PATH"