Azure AI Search'te artımlı zenginleştirme için önbelleğe almayı etkinleştirme

Makale
03/05/2024

Önemli

Bu özellik, ek kullanım koşulları altında genel önizleme aşamasındadır. Önizleme REST API'si bu özelliği destekler.

Bu makalede, her seferinde tam olarak yeniden derlemek zorunda kalmadan aşağı akış zenginleştirme adımlarını değiştirebilmeniz için bir zenginleştirme işlem hattına önbelleğe alma ekleme işlemi açıklanır. Varsayılan olarak, beceri kümesi durum bilgisi yoktur ve oluşturma işleminin herhangi bir bölümünü değiştirmek için dizin oluşturucunun tam olarak yeniden çalıştırılması gerekir. Zenginleştirme önbelleğiyle, dizin oluşturucu beceri kümesi veya dizin oluşturucu tanımlarında algılanan değişikliklere göre belge ağacının hangi bölümlerinin yenilenmesi gerektiğini belirleyebilir. Mevcut işlenmiş çıkış, mümkün olan her yerde korunur ve yeniden kullanılır.

Önbelleğe alınan içerik, sağladığınız hesap bilgileri kullanılarak Azure Depolama yerleştirilir. adlı ms-az-search-indexercache-<alpha-numerc-string>kapsayıcı, dizin oluşturucuyu çalıştırdığınızda oluşturulur. Arama hizmetiniz tarafından yönetilen bir iç bileşen olarak kabul edilmeli ve değiştirilmemelidir.

Önkoşullar

Önbelleğe alınmış zenginleştirmeleri depolamak için Azure Depolama. Depolama hesabı genel amaçlı v2 olmalıdır.
Yalnızca blob dizin oluşturma için, bloblar veri kaynağınızdan silindiğinde hem önbellekten hem de dizinden eşitlenmiş belge kaldırmaya ihtiyacınız varsa, dizin oluşturucuda silme ilkesini etkinleştirin. Bu ilke olmadan, önbellekten belge silme desteklenmez.

Dizin oluşturucuları ayarlama konusunda bilgi sahibi olmanız gerekir. Dizin oluşturucuya genel bakış ile başlayın ve zenginleştirme işlem hatları hakkında bilgi edinmek için beceri kümelerine geçin. Temel kavramlar hakkında daha fazla arka plan için bkz . artımlı zenginleştirme.

Dikkat

SharePoint Online dizin oluşturucusunu (Önizleme) kullanıyorsanız artımlı zenginleştirmeden kaçınmanız gerekir. Belirli durumlarda önbellek geçersiz hale gelir ve yeniden yüklemeyi seçerseniz dizin oluşturucu sıfırlaması ve çalıştırması gerekir.

Yeni dizin oluşturucularda etkinleştir

Dizin oluşturucuda zenginleştirme önbelleğini etkinleştirmek için Azure portalını, önizleme API'lerini veya beta Azure SDK'larını kullanabilirsiniz.

Azure portalı
REST

Sol tarafta Dizin Oluşturucular'ı ve ardından Dizin oluşturucu ekle'yi seçin.
Bir dizin oluşturucu adı ve mevcut bir dizin, veri kaynağı ve beceri kümesi sağlayın.
Artımlı önbelleğe almayı etkinleştirin ve Azure Depolama hesabını ayarlayın.

Yeni dizin oluşturucularda, Dizin Oluşturucu Oluştur veya Güncelleştir (2021-04-30-Preview) çağrılırken dizin oluşturucu tanımı yüküne "cache" özelliğini ekleyin. Ayrıca önceki önizleme API'sinin 2020-06-30-Preview sürümünü de kullanabilirsiniz.

POST https://[service name].search.windows.net/indexers?api-version=2021-04-30-Preview
    {
        "name": "<YOUR-INDEXER-NAME>",
        "targetIndexName": "<YOUR-INDEX-NAME>",
        "dataSourceName": "<YOUR-DATASOURCE-NAME>",
        "skillsetName": "<YOUR-SKILLSET-NAME>",
        "cache" : {
            "storageConnectionString" : "<YOUR-STORAGE-ACCOUNT-CONNECTION-STRING>",
            "enableReprocessing": true
        },
    "fieldMappings" : [],
    "outputFieldMappings": [],
    "parameters": []
    }

Mevcut dizin oluşturucularda etkinleştir

Zaten bir beceri kümesine sahip olan mevcut dizin oluşturucular için önbelleğe alma eklemek için aşağıdaki adımları kullanın. Tek seferlik bir işlem olarak, önbelleği yüklemek için dizin oluşturucuyu tam olarak sıfırlayın ve yeniden çalıştırın.

1. Adım: Dizin oluşturucu tanımını alma

Şu bileşenlere sahip geçerli bir iş dizin oluşturucuyla başlayın: veri kaynağı, beceri kümesi, dizin. API istemcisi kullanarak dizin oluşturucuyu almak için bir GET Indexer isteği gönderin. GET dizin oluşturucusunun önizleme API'sini kullandığınızda, tanıma otomatik olarak null olarak ayarlanmış bir "cache" özelliği eklenir.

GET https://[YOUR-SEARCH-SERVICE].search.windows.net/indexers/[YOUR-INDEXER-NAME]?api-version=2021-04-30-Preview
    Content-Type: application/json
    api-key: [YOUR-ADMIN-KEY]

2. Adım: Önbellek özelliğini ayarlama

Dizin tanımında, "cache" öğesini aşağıdaki gerekli ve isteğe bağlı özellikleri içerecek şekilde değiştirin:

(Gerekli) storageConnectionString bir Azure Depolama bağlantı dizesi olarak ayarlanmalıdır.
(İsteğe bağlı) enableReprocessing boole özelliği (true varsayılan olarak), artımlı zenginleştirmenin etkinleştirildiğini gösterir. false Yeni belgeleri dizine alma gibi yoğun kaynak gerektiren diğer işlemler devam ederken artımlı işlemeyi askıya almak istiyorsanız olarak ayarlayın ve sonra daha sonraya true geri dönün.

POST https://[service name].search.windows.net/indexers?api-version=2021-04-30-Preview
    {
        "name": "<YOUR-INDEXER-NAME>",
        "targetIndexName": "<YOUR-INDEX-NAME>",
        "dataSourceName": "<YOUR-DATASOURCE-NAME>",
        "skillsetName": "<YOUR-SKILLSET-NAME>",
        "cache" : {
            "storageConnectionString" : "<YOUR-STORAGE-ACCOUNT-CONNECTION-STRING>",
            "enableReprocessing": true
        },
        "fieldMappings" : [],
        "outputFieldMappings": [],
        "parameters": []
    }

3. Adım: Dizin oluşturucuyu sıfırlama

Tüm belgelerin tutarlı bir durumda olduğundan emin olmak için mevcut dizin oluşturucular için artımlı zenginleştirme ayarlanırken Dizin Oluşturucu'yu sıfırlamak gerekir. Bu görev için portalı veya API istemcisini kullanabilirsiniz.

POST https://[YOUR-SEARCH-SERVICE].search.windows.net/indexers/[YOUR-INDEXER-NAME]/reset?api-version=2021-04-30-Preview
    Content-Type: application/json
    api-key: [YOUR-ADMIN-KEY]

4. Adım: Dizin oluşturucuyu kaydetme

dizin oluşturucuyu (2021-04-30-Preview) put isteğiyle güncelleştirin; burada isteğin gövdesi "önbellek" içerir.

PUT https://[YOUR-SEARCH-SERVICE].search.windows.net/indexers/[YOUR-INDEXER-NAME]?api-version=2021-04-30-Preview
    Content-Type: application/json
    api-key: [YOUR-ADMIN-KEY]
    {
        "name" : "<YOUR-INDEXER-NAME>",
        ...
        "cache": {
            "storageConnectionString": "<YOUR-STORAGE-ACCOUNT-CONNECTION-STRING>",
            "enableReprocessing": true
        }
    }

Dizin oluşturucuda başka bir GET isteği yayınlarsanız, hizmetten gelen yanıt önbellek nesnesinde bir ID özellik içerir. Alfasayısal dize, bu dizin oluşturucu tarafından işlenen her belgenin önbelleğe alınmış tüm sonuçlarını ve ara durumunu içeren kapsayıcının adına eklenir. Kimlik, Blob depolamada önbelleği benzersiz olarak adlandırmak için kullanılır.

    "cache": {
        "ID": "<ALPHA-NUMERIC STRING>",
        "enableReprocessing": true,
        "storageConnectionString": "DefaultEndpointsProtocol=https;AccountName=<YOUR-STORAGE-ACCOUNT>;AccountKey=<YOUR-STORAGE-KEY>;EndpointSuffix=core.windows.net"
    }

5. Adım: Dizin oluşturucuyu çalıştırma

Dizin oluşturucuyu çalıştırmak için portalı veya API'yi kullanabilirsiniz. Portalda, dizin oluşturucular listesinden dizin oluşturucuyu ve ardından Çalıştır'ı seçin. Portalı kullanmanın bir avantajı, dizin oluşturucu durumunu izleyebilmek, işin süresini ve kaç belgenin işlendiğini not etmektir. Portal sayfaları birkaç dakikada bir yenilenir.

Alternatif olarak, dizin oluşturucuyu çalıştırmak için REST kullanabilirsiniz:

POST https://[YOUR-SEARCH-SERVICE].search.windows.net/indexers/[YOUR-INDEXER-NAME]/run?api-version=2020-06-30-Preview
Content-Type: application/json
api-key: [YOUR-ADMIN-KEY]

Not

Dizin oluşturucunun sıfırlanması ve yeniden çalıştırılması, içeriğin önbelleğe alınabilmesi için tam yeniden derlemeyle sonuçlanır. Tüm bilişsel zenginleştirmeler tüm belgelerde yeniden çalıştırılır. Zenginleştirilmiş içeriğin önbellekten yeniden kullanılmaya başlanması, önbellek yüklendikten sonra başlar.

Önbelleğe alınmış çıkışı denetleme

Önbelleği Azure Depolama'da Blob kapsayıcısı altında bulun. Kapsayıcı adı şeklindedir ms-az-search-indexercache-<some-alphanumeric-string>.

Dizin oluşturucu tarafından önbellek oluşturulur ve kullanılır. İçeriği okunabilir değil.

Önbelleğin çalışır durumda olup olmadığını doğrulamak için beceri kümesini değiştirin ve dizin oluşturucuyu çalıştırın, ardından yürütme süresi ve belge sayıları için öncesi ve sonrası ölçümlerini karşılaştırın.

Taranan belgelerin görüntü analizi ve Optik Karakter Tanıma (OCR) içeren beceri kümeleri iyi test çalışmaları yapar. Aşağı akış metin becerisini veya görüntüyle ilgili olmayan herhangi bir beceriyi değiştirirseniz, dizin oluşturucu önceden işlenen tüm görüntüyü ve OCR içeriğini önbellekten alabilir, yalnızca düzenlemeleriniz tarafından belirtilen metinle ilgili değişiklikleri güncelleştirebilir ve işleyebilir. Dizin oluşturucu yürütme belgesi sayısı içinde daha az belge, daha kısa yürütme süreleri ve faturanızda daha az ücret görmeyi bekleyebilirsiniz.

Cog-search-demo öğreticilerinde kullanılan dosya kümesi JPG, PNG, HTML, DOCX, PPTX ve diğer biçimlerde 14 dosya içerdiğinden yararlı bir test çalışmasıdır. es Artımlı zenginleştirmenin kavram kanıtı testi için metin çevirisi becerisinde veya başka bir dile geçinen.

Sık karşılaşılan hatalar

İstekte bir önizleme API sürümü belirtmeyi unutursanız aşağıdaki hata oluşur:

"The request is invalid. Details: indexer : A resource without a type name was found, but no expected type was specified. To allow entries without type information, the expected type must also be specified when the model is specified."

Dizin oluşturucu gereksiniminiz eksikse 400 Hatalı İstek hatası da oluşur. Hata iletisi eksik bağımlılıkları belirtir.

Sonraki adımlar

Artımlı zenginleştirme beceri kümeleri içeren dizin oluşturucularda geçerlidir ve hem dizinler hem de bilgi depoları için yeniden kullanılabilir içerik sağlar. Aşağıdaki bağlantılar önbelleğe alma ve beceri kümeleri hakkında daha fazla bilgi sağlar.

Share via