Azure Bilişsel Arama blob içeriğini işlemek ve analiz etmek için AI kullanma
Azure Blob 'daki içerikler, görüntülerden veya uzun değerde olmayan bir metinle oluşturulan Depolama, aşağı akış uygulamaları için yararlı bilgiler elde etmek ve çıkarmak üzere derin öğrenme analizine sahip olabilir. AI zenginleştirmekullanarak şunları yapabilirsiniz:
- Optik karakter tanıma özelliğini kullanarak görüntülerden metin ayıklama (OCR)
- Fotoğraftan bir sahne açıklaması veya etiketleri üretme
- Dili algıla ve metni farklı dillere çevir
- Kişilere, tarihlere, yerlere veya kuruluşlara yönelik başvuruları bularak yapıyı varlık tanıma aracılığıyla çıkarçıkar
Bu AI özelliklerinden yalnızca birine ihtiyacınız olabilir, ancak birden çok aynı işlem hattına (örneğin, taranmış bir görüntüden metin ayıklanarak ve bu konumda başvurulan tüm tarihleri ve yerleri buluyor) daha yaygın olarak vardır. Ayrıca, önde gelen kenar harici paketleri veya verilerinize ve gereksinimlerinize uygun şirket içi modellere göre özel AI veya makine öğrenimi işlemesini dahil etmek de yaygındır.
Bir arama Dizin Oluşturucu tarafından desteklenen herhangi bir veri kaynağına AI zenginleştirme uygulayabilseniz de, Bloblar bir enzenginleştirme ardışık düzeninde en sık kullanılan yapılardır. sonuçlar, tam metin araması için bir arama dizinine çekilir veya bulma veya analiz senaryoları için verileri araştırmayı kapsayan yeni uygulama deneyimlerini Azure Depolama yeniden yönlendirilir.
Bu makalede, Bloblar içindeki ham verileri bir arama dizininde veya bilgi deposunda sorgulanabilir bilgilere dönüştürmek için, tüm süreci hızlı bir şekilde bir lens aracılığıyla bir çok lens aracılığıyla inceleyeceğiz.
AI ile "zenginleştirme" blobu verilerinin ne anlama geldiğini
AI zenginleştirme , Microsoft 'tan veya sağladığınız özel öğrenme modellerinden makine öğrenimi modellerini tümleştiren Azure bilişsel arama 'in dizin oluşturma mimarisinin bir parçasıdır. Blob 'ları (varsa veya güncelleştirdikleri gibi mevcut olanları ve yeni olanları) işlemek için tüm dosya biçimlerini açmak, çeşitli AI yeteneklerini kullanarak istenen bilgileri ayıklamak ve hızlı arama, alma ve keşfetme için bir arama dizininde dizin oluşturmanız gereken uçtan uca senaryolar uygulamanıza yardımcı olur.
Azure blob Depolama, tek bir kapsayıcıda bulunan bloblardır. Blob 'lar neredeyse her türlü metin veya resim verisi olabilir.
Çıktı, istemci uygulamalarında hızlı metin arama, alma ve araştırma için kullanılan her zaman bir arama dizinidir. ayrıca, çıktı ayrıca, belgeleri azure blob 'larına veya Power BI ya da veri bilimi iş yükleri gibi araçlarla aşağı akış analizi için azure tablolarına zenginleştiren bir bilgi deposu da olabilir.
Between, ardışık düzen mimarisinin kendisidir. İşlem hattı, AI sağlayan bir veya daha fazla becerilerden oluşan bir beceriatayabileceğiniz Dizin oluşturucularadayalıdır. İşlem hattının amacı, ardışık düzeni ham içerik olarak girebileceğiniz ancak ardışık düzen boyunca geçiş yaparken ek yapıyı, bağlamı ve bilgileri alan, zenginleştirilmiş belgeler oluşturmak için kullanılır. Zenginleştirilmiş belgeler, tam metin aramasında veya araştırmayla ve analizte kullanılan ters dizinler ve diğer yapılar oluşturmak için dizin oluşturma sırasında tüketilecektir.
Gerekli kaynaklar
azure Blob Depolama ve azure Bilişsel Arama ek olarak, aı sağlayan üçüncü bir hizmet veya mekanizmaya ihtiyacınız vardır:
Yerleşik AI için Bilişsel Arama Azure bilişsel hizmetler Vision ve doğal dil işleme API 'Leri ile tümleşir. Optik karakter tanıma (OCR), görüntü analizi veya doğal dil işleme (dil algılama, metin çevirisi, varlık tanıma, anahtar tümceciği ayıklama) eklemek için bilişsel Hizmetler kaynağı ekleyebilirsiniz.
Azure kaynaklarını kullanan özel AI için, kullanmak istediğiniz dış işlevi veya modeli sarmalayan özel bir yetenek tanımlayabilirsiniz. özel yetenekler , azure işlevleri, Azure Machine Learning, azure Form tanıyıcı veya HTTPS üzerinden erişilebilen başka bir kaynak tarafından sunulan kodu kullanabilir.
Özel Azure dışı AI için, modelinize veya modülünüzün HTTP üzerinden bir Dizin Oluşturucu tarafından erişilebilir olması gerekir.
tüm hizmetleri kullanıma hazır değilse, doğrudan Depolama hesap portalı sayfanızda başlatın. Sol Gezinti sayfasında, BLOB hizmeti altında Azure bilişsel arama Ekle ' ye tıklayarak yeni bir hizmet oluşturun veya var olan bir hizmeti seçin.
Depolama hesabınıza Azure Bilişsel Arama eklediğinizde, herhangi bir Azure veri kaynağındaki verileri zenginleştirmek için standart işlemi izleyebilirsiniz. AI zenginleştirme 'ya kolay bir başlangıç için Azure Bilişsel Arama veri alma Sihirbazı 'nı öneririz. İş akışı sırasında bilişsel hizmetler kaynağı iliştirebilirsiniz. Bu hızlı başlangıçta, portalda BIR AI zenginleştirme işlem hattı oluşturmaadımları anlatılmaktadır.
Aşağıdaki bölümler bileşenlere ve iş akışına daha yakından göz atalım.
Blob Dizin Oluşturucu kullanma
AI zenginleştirme, dizin oluşturma işlem hattının bir eklentisi ve Azure Bilişsel Arama, bu işlem hatları bir dizin oluşturucunun üzerine kurulmuştur. Dizin Oluşturucu, verileri örnekleme, meta veri verileri okuma, verileri alma ve yerel biçimlerdeki verileri, sonraki içeri aktarma için JSON belgelerine serileştirmede iç mantığa sahip olan veri kaynağı kullanan bir alt hizmettir. Dizin oluşturucular genellikle AI tarafından içeri aktarma için kullanılır, ancak bir AI zenginleştirme işlem hattı oluşturmak istiyorsanız, bir Dizin Oluşturucu ve bir beceri ile birlikte çalışmak için bir gerekir. Bu bölüm, Dizin oluşturucuyu vurgular; sonraki bölüm becerileri 'e odaklanır.
Azure Depolama blob 'ları, blob ındexerkullanılarak dizine alınır. Bu dizin oluşturucuyu, verileri Içeri aktarma Sihirbazı 'nı, bir REST API veya bir SDK 'yı kullanarak çağırabilirsiniz. Dizin Oluşturucu tarafından kullanılan veri kaynağı bir Azure Blob kapsayıcısıdır blob Indexer çağrılır. Bir sanal dizin oluşturarak bloblarınızın bir alt kümesini dizinleyerek bir parametre olarak geçirebilmeniz veya bir dosya türü uzantısı üzerinde filtreleyerek.
Bir Dizin Oluşturucu, içeriği incelemek için bir blob açan "bir belgeyiister. Veri kaynağına bağlandıktan sonra, işlem hattının ilk adımı vardır. Blob verileri için PDF, Office belgeleri, görüntü ve diğer içerik türlerinin algılandığı yerdir. Metin ayıklama ile belge çözme ücretsizdir. Görüntü ayıklama ile belge çözme, fiyatlandırma sayfasındabulabileceğiniz oranlar üzerinden ücretlendirilir.
Tüm belgelerin kırdığı halde, zenginleştirme yalnızca açıkça bunu yapmak için becerileri sağladığınızda oluşur. Örneğin, işlem hattınız yalnızca görüntü analizini içeriyorsa, kapsayıcıınızdaki veya belgelerinizdeki metin yok sayılır.
Blob Indexer yapılandırma parametreleriyle birlikte gelir ve temel alınan veriler yeterli bilgi sağlıyorsa değişiklik izlemeyi destekler. BLOB Dizin oluşturucuyu yapılandırma hakkındadaha fazla bilgi edinebilirsiniz.
AI bileşenleri ekleme
AI zenginleştirme, desenleri veya özellikleri belirten modüller anlamına gelir ve ardından bir işlem gerçekleştirir. Fotoğraflarda yüz tanıma, fotoğrafların metin açıklamaları, bir belgedeki anahtar tümceleri algılama ve OCR (ya da ikili dosyalardaki yazdırılmış veya el ile yazılmış metinleri tanıma) tanım örnekleri verilmiştir.
Azure Bilişsel Arama, beceriler tek başına kullanabileceğiniz veya diğer becerilerle birlikte tek tek tekil AI işleme bileşenleridir.
Yerleşik yetenekler bilişsel hizmetler tarafından desteklenir, Görüntü İşleme dayalı görüntü analizi ve Metin Analizi temelinde doğal dil işleme. Tam liste için bkz. içerik zenginleştirme Için yerleşik yetenekler.
Özel yetenekler, işlem hattına tümleştirmeye izin veren bir arabirim tanımına Sarmalanan özel koddur. Müşteri çözümlerinde, açık kaynaklı, üçüncü taraf veya birinci taraf AI modülleri sağlayan özel yetenekler ile her ikisini de kullanmak yaygın bir uygulamadır.
Beceri , bir işlem hattında kullanılan yeteneklerin koleksiyonudur ve belge çözme aşaması içeriği kullanılabilir hale getirdikten sonra çağrılır. Bir Dizin Oluşturucu tam olarak bir beceri tüketebilir, ancak diğer senaryolarda yeniden kullanabilmeniz için bu beceri bir dizin oluşturucudan bağımsız olarak mevcuttur.
Özel yetenekler karmaşık olabilir, ancak uygulama bakımından basit ve kolay olabilir. Model eşleştirme veya sınıflandırma modelleri sağlayan mevcut Paketleriniz varsa, bloblardan ayıklamanız gereken içerik işlenmek üzere bu modellere geçirilebilir. AI zenginleştirme, Azure tabanlı olduğundan modelinize Azure 'da da sahip olmanız gerekir. Bazı yaygın barındırma yöntemleri Azure işlevleri veya kapsayıcılarıkullanmayı içerir.
Bilişsel hizmetler tarafından desteklenen yerleşik yetenekler, kaynağa erişmenizi sağlayan, bağlı bilişsel hizmetlerin hepsi bir arada bir abonelik anahtarı gerektirir. Hepsi bir arada anahtar, görüntü analizi, dil algılama, metin çevirisi ve metin analizi sağlar. Diğer yerleşik yetenekler Azure Bilişsel Arama özelliklerdir ve ek hizmet veya anahtar gerektirmez. Shaper, Splitter ve birleşme, işlem hattı tasarlarken bazen gerekli olan yardımcı beceriler örnekleridir.
Yalnızca özel yetenekler ve yerleşik yardımcı program becerileri kullanıyorsanız, bilişsel hizmetlerle ilgili bağımlılık veya maliyet yoktur.
Aşağı akış çözümlerinde AI zenginleştirme çıkışı kullanma
aı zenginleştirme çıktısı, azure Bilişsel Arama 'de bir arama dizini veya azure Depolama bilgi deposu .
Azure Bilişsel Arama 'de, bir istemci uygulamasında ücretsiz metin ve filtrelenmiş sorgular kullanan etkileşimli araştırma için bir arama dizini kullanılır. AI aracılığıyla oluşturulan zenginleştirilmiş belgeler, bir dizin oluşturucunun sağladığı avantajlardan yararlanarak Azure Bilişsel Arama 'de tüm belgelerin dizinlendiği şekilde JSON ve dizinli olarak biçimlendirilir. Örneğin, dizin oluşturma sırasında, blob Indexer herhangi bir alan eşlemelerini kullanmak veya algılama mantığını değiştirmek için yapılandırma parametreleri ve ayarları anlamına gelir. Bu ayarlar, normal dizin oluşturma ve yapay zeka zenginleştirilmiş iş yükleri için tamamen kullanılabilir. Dizin oluşturma sonrası, içerik Azure Bilişsel Arama 'da depolandığında, içeriğinizi anlamak için zengin sorgular ve filtre ifadeleri oluşturabilirsiniz.
Azure Depolama, bir bilgi deposunda iki bildirim bulunur: bir blob kapsayıcısı veya tablo depolamadaki tablolar.
Blob kapsayıcısı, zenginleştirilmiş belgeleri tamamen yakalar ve diğer işlemlere akış yapmak istiyorsanız yararlı olur.
Buna karşılık tablo depolama, zenginleştirilmiş belgelerin fiziksel projeksiyonlarını kapsayabilmelidir. Belirli kısımları dahil eden veya hariç tutkaya ait belgelerin dilimlerini veya katmanlarını oluşturabilirsiniz. Power BI analize yönelik olarak, Azure tablosundaki tablolar Depolama daha fazla görselleştirme ve araştırma için veri kaynağı haline gelir.
İşlem hattının sonunda zenginleştirilmiş bir belge, zenginleştirme sırasında ayıklanan veya oluşturulan yeni bilgileri içeren ek alanların varlığına göre orijinal giriş sürümünden farklıdır. Bu nedenle, kullandığınız çıkış yapısını ne olursa olsun, orijinal ve oluşturulmuş içeriğin bir bileşimiyle çalışabilirsiniz.
Sonraki adımlar
farklı yollarla bilişsel hizmetler 'i birleştirme ve senaryo için mevcut bilişsel hizmet olmadığı durumlar için özel yetenekler yazma dahil olmak üzere, Azure Depolama 'daki verilerden en iyi şekilde yararlanmak için, aı zenginleştirmesiyle ilgili çok daha fazla şey vardır. Aşağıdaki bağlantıları izleyerek daha fazla bilgi edinebilirsiniz.