Azure Bilişsel Arama'de bilgi Azure Bilişsel Arama

Bilgi deposu, bağımsız analiz veya bilgi madenciliği gibi arama dışı senaryolarda aşağı akış işleme için Zenginleştirilmiş içeriği Azure Depolama'daki tablolarda ve blob kapsayıcılarında depolar ve Bilişsel Arama AI zenginleştirme işlem hattı tarafından oluşturulan bir veri havuzudur.

Geçmişte bilişsel becerileri kullandıysanız, beceri kümelerin bir belgeyi varlıkları tanıma veya metin çevirileri gibi atomik dönüşümleri çağıran bir zenginleştirme dizisi aracılığıyla taşımış olduğunu zaten biliyorsunuz. Sonuç bir arama dizini veya bilgi deposu projeksiyonları olabilir. Arama dizini ve bilgi deposu gibi iki çıkış birbirini dışlar ve aynı işlem hattının ürünleridir; aynı girişlerden türetilen, ancak farklı uygulamalarda yapılandırılmış, depolanan ve kullanılan çıkışa neden olur.

Beceri kümesi ile işlem hattı

Fiziksel olarak, bilgi deposu Azure Depolama, Azure Tablo Depolama, Azure Blob Depolama veya her ikisi de olabilir. Azure Depolama bağlanan herhangi bir araç veya işlem, bilgi deposu içeriğini kullanabilir.

Depolama Browser aracılığıyla görünen bilgi deposu diğer tablo, nesne veya dosya koleksiyonlarına benzer. Aşağıdaki örnekte, veri kaynağından ileriye doğru yürütülen veya zenginleştirmeler aracılığıyla oluşturulan üç tablodan oluşan bir bilgi deposu (bkz. "yaklaşım puanı" ve "yaklaşım puanı" translated_text)..

Zenginleştirme ağacından okuma ve yazma becerileri

Bilgi deposu avantajları

Bilgi deposunın başlıca avantajları iki kattır: içeriğe esnek erişim ve verileri şekillendirme olanağı.

Yalnızca Bilişsel Arama'daki sorgular aracılığıyla erişilebilen bir arama dizininden farklı olarak, bir bilgi deposuna Azure Depolama bağlantılarını destekleyen herhangi bir araç, uygulama veya işlem Depolama. Bu esneklik, bir zenginleştirme işlem hattı tarafından üretilen analiz ve zenginleştirilmiş içeriği tüketmek için yeni senaryolar sunar.

Verileri zenginleştiren beceri kümesi, verileri şekillendirmek için de kullanılabilir. Veri bilimi Power BI daha iyi çalışsa da, veri bilimi iş yükü blob biçiminde karmaşık bir veri yapısına ihtiyaç depolar. Beceri kümesine Şekilleyici becerisi eklemek, verilerinizin şekli üzerinde denetime sahip olur. Ardından, verilerin kullanım amacına uygun fiziksel veri yapıları oluşturmak için bu şekilleri tablolara veya bloblara geçebilirsiniz.

Aşağıdaki videoda bu avantajların her ikisi ve daha fazlası açık bulunmaktadır.

Bilgi deposu tanımı

Bilgi deposu bir beceri kümesi tanımı içinde tanımlanır ve iki bileşeni vardır:

  • Azure Depolama'a bağlantı dizesi

  • Bilgi depolarının tablolardan, nesnelerden veya dosyalardan mı olduğunu belirleyen projeksiyonlar.

Projeksiyonlar öğesi bir dizidir. Bir bilgi deposu içinde birden çok tablo-nesne-dosyası bileşimi kümesi oluşturabilirsiniz.

"knowledgeStore": {
   "storageConnectionString":"<YOUR-AZURE-STORAGE-ACCOUNT-CONNECTION-STRING>",
   "projections":[
      {
         "tables":[ ],
         "objects":[ ],
         "files":[ ]
      }
   }

Bu yapıda belirttiğiniz projeksiyon türü, bilgi deposu tarafından kullanılan depolama türünü belirler.

  • tableszenginleştirilmiş içeriği Tablo tablosuna Depolama. Analitik araçlara yönelik girişler için tablosal raporlama yapılarına ihtiyacınız olduğunda veya veri çerçeveleri olarak diğer veri depolarına dışarı aktarmaya ihtiyacınız olduğunda bir tablo projeksiyonu tanımlayın. Zenginleştirilmiş belgelerin bir tables alt kümesini veya çapraz bölümünü almak için aynı projeksiyon grubunda birden çok belirtebilirsiniz. Aynı projeksiyon grubunda tablo ilişkileri korunur, böylece bunların hepsiyle çalışabilirsiniz.

    Tahmin edilmiş içerik toplanmaz veya normalleştirilmiş değildir. Aşağıdaki ekran görüntüsünde, anahtar tümceciğine göre sıralanmış ve bitişik sütunda üst belgeyi gösteren bir tablo yer alır. Dizin oluşturma sırasında veri alımının aksine, dilsel analiz veya içerik toplaması yoktur. Çoğul formlar ve büyük/küçük farklılıklar benzersiz örnekler olarak kabul edilir.

    Tablodaki anahtar ifadelerin ve belgelerin ekran görüntüsü

  • objects JSON belgesini Blob depolamaya proje. bir fiziksel object gösterimi, zenginleştirilmiş bir belgeyi temsil eden hiyerarşik bir JSON yapısıdır.

  • files görüntü dosyalarını Blob depolamaya proje. , file bir belgeden ayıklanan ve Blob depolamaya olduğu gibi aktarılan bir resimdir. "dosyalar" olarak adlandırılmış olsa da, dosya depolama alanında Depolama Blob depolama alanında gösterir.

Bilgi deposu oluşturma

Bilgi deposu oluşturmak için portalı veya API'yi kullanın. Azure Depolama,beceri kümesi vedizin oluşturma gerekir. Dizinciler bir arama dizini gerektirmesi nedeniyle, bir dizin tanımı da sağlamanız gerekir.

Bitmiş bir bilgi deposuna giden en hızlı yol için portal yaklaşımıyla gidin. Ya da nesnelerin REST API ve ilişkili olduğunu daha iyi anlamak için temel bilgileri seçin.

Verileri içeri aktarma sihirbazını kullanarak dört adımda ilk bilgi depolarınızı oluşturun.

  1. Veri kaynağınızı tanımlama

  2. Beceri kümesinizi tanımlayın ve bir bilgi deposu belirtin.

  3. Dizin şeması tanımlama. Sihirbaz bunu gerektirir ve sizin için bir tane çıkarabilirsiniz.

  4. Sihirbazı çalıştırın. Ayıklama, zenginleştirme ve depolama bu son adımda gerçekleşir.

Sihirbaz, aksi takdirde el ile işlemeniz gereken görevleri otomatik haleler. Özellikle, hem şekillendirme hem de projeksiyonlar (Azure Depolama fiziksel veri yapılarının tanımları) sizin için oluşturulur.

Bağlan ile uygulama kullanma

Zenginleştirmeler depolamada mevcut olduktan sonra, Azure Blob veya Tablo Depolama'ya Depolama tüm araç veya teknolojiler içeriği keşfetmek, analiz etmek veya kullanmak için kullanılabilir. Aşağıdaki liste bir başlangıçtır:

  • Depolama belge yapısını ve içeriğini görüntülemek için Tarayıcı'ya tıklayın. Bilgi deposu içeriklerini görüntülemek için bunu temel aracınız olarak düşünün.

  • Power BI ve analiz için kullanılır.

  • Azure Data Factory işleme için kullanılabilir.

İçerik yaşam döngüsü

Dizin oluşturma ve beceri kümesi her çalıştırsanız, beceri kümesi veya temel alınan kaynak veriler değişirse bilgi deposu güncelleştirilir. Dizin sağlayıcı tarafından alınan tüm değişiklikler zenginleştirme işlemi aracılığıyla bilgi deposundaki projeksiyonlara yayma yoluyla, tahmini verilerinizin kaynak veri kaynağındaki içeriğin geçerli bir gösterimi olmasını sağlar.

Not

Tahminlerde verileri düzenleyebilirsiniz ancak kaynak verilerde belgenin güncelleştirilmesi varsayıldığında, sonraki işlem hattı çağrılarında tüm düzenlemelerin üzerine yazılır.

Kaynak verilerde yapılan değişiklikler

Değişiklik izlemesini destekleyen veri kaynakları için dizin oluşturma işlemi yeni ve değiştirilmiş belgeleri işler ve zaten işlenmiş mevcut belgeleri atlar. Zaman damgası bilgileri veri kaynağına göre değişir, ancak bir blob kapsayıcısı içinde dizin oluşturma, hangi blobların alındıklarını belirlemek için lastmodified tarihe bakmalıdır.

Beceri kümesinde yapılan değişiklikler

Beceri kümesinde değişiklik yapıyorsanız, mümkün olduğunca mevcut zenginleştirmeleri yeniden kullanmak için zenginleştirilmiş belgelerin önbelleğe alınmasını etkinleştirmeniz gerekir.

Artımlı önbelleğe alma olmadan, dizin oluşturma işlemi belgeleri her zaman yüksek su işaretine göre ve geriye doğru işlemeye gerek kalmadan işler. Dizin oluşturma ayarlarında veya beceri kümesinde yapılan değişikliklerden bağımsız olarak, bloblar için dizin dizine göre sıralanmış blobları lastModified işler. Beceri kümesi değiştirirsanız, önceden işlenmiş belgeler yeni beceri kümesine yansıtacak şekilde güncelleştirilmez. Beceri kümesi değişikliğinin ardından işlenen belgeler yeni beceri kümesi kullanır ve bu da dizin belgelerinin eski ve yeni beceri kümeleri arasında bir karışımına neden olur.

Artımlı önbelleğe alma ile ve bir beceri kümesi güncelleştirmesi sonrasında dizinleştirici, beceri kümesi değişikliğinin etkilenmemiş tüm zenginleştirmelerini yeniden kullanmalıdır. Yukarı akış zenginleştirmeleri, değiştirilen beceriden bağımsız ve yalıtılmış tüm zenginleştirmeler gibi önbellekten çekilir.

Silme

Dizin oluşturan ve Azure Depolama içeriği oluşturan ve Depolama, bunları silemez. Dizinleyici veya beceri kümesi silindiğinde bile projeksiyonlar mevcut olmaya devam eder. Depolama hesabının sahibi olarak, artık gerekli olmadığı sürece bir projeksiyonu silmeniz gerekir.

Sonraki adımlar

Bilgi deposu zenginleştirilmiş belgelerin kalıcılığı, beceri kümesi tasarlarken veya Bir Azure Depolama hesabına erişebilecek tüm istemci uygulamaları tarafından tüketilen yeni yapılar ve içerikler oluşturulmasında faydalıdır.

Zenginleştirilmiş belgeler oluşturmak için en basit yaklaşım portalaracılığıyladır, ancak nesnelerin program aracılığıyla oluşturulma ve başvurulma hakkında içgörüler elde etmek için Postman ve REST API'ı da kullanabilirsiniz.