Gerçek zamanlı çıkarım için akışı yönetilen çevrimiçi uç nokta olarak dağıtma

Akışı derleyip düzgün bir şekilde test ettikten sonra, gerçek zamanlı çıkarım için uç noktayı çağırabilmek için uç nokta olarak dağıtmak isteyebilirsiniz.

Bu makalede, gerçek zamanlı çıkarım için bir akışı yönetilen çevrimiçi uç nokta olarak dağıtmayı öğreneceksiniz. Uygulayabileceğiniz adımlar şunlardır:

Önemli

Bu makalede işaretlenen (önizleme) öğeler şu anda genel önizleme aşamasındadır. Önizleme sürümü bir hizmet düzeyi sözleşmesi olmadan sağlanır ve üretim iş yükleri için önerilmez. Bazı özellikler desteklenmiyor olabileceği gibi özellikleri sınırlandırılmış da olabilir. Daha fazla bilgi için bkz. Microsoft Azure Önizlemeleri Ek Kullanım Koşulları.

Önkoşullar

  • İstem akışında akış oluşturmayı ve test etmeyi öğrenin.

  • Yönetilen çevrimiçi uç noktalar hakkında temel bilgilere sahip olmanız gerekir. Yönetilen çevrimiçi uç noktalar Azure'daki güçlü CPU ve GPU makineleriyle, temel dağıtım altyapısını ayarlama ve yönetme ek yükünden sizi kurtaran ölçeklenebilir, tam olarak yönetilen bir şekilde çalışır. Yönetilen çevrimiçi uç noktalar hakkında daha fazla bilgi için bkz . Gerçek zamanlı çıkarım için çevrimiçi uç noktalar ve dağıtımlar.

  • Azure Machine Learning’deki işlemlere erişim vermek için Azure rol tabanlı erişim denetimleri (Azure RBAC) kullanılır. İstem akışında bir uç nokta dağıtabilmek için kullanıcı hesabınıza Azure Machine Learning çalışma alanı için daha fazla ayrıcalıkla AzureML Veri bilimcisi veya rolü atanmalıdır.

  • Yönetilen kimlikler hakkında temel bilgilere sahip olun. Yönetilen kimlikler hakkında daha fazla bilgi edinin.

Akışı oluşturma ve dağıtıma hazırlama

Kullanmaya başlama öğreticisini zaten tamamladıysanız toplu çalıştırma göndererek ve sonuçları değerlendirerek akışı düzgün bir şekilde test ettiniz.

Öğreticiyi tamamlamadıysanız bir akış oluşturmanız gerekir. Dağıtımdan önce toplu çalıştırma ve değerlendirme yoluyla akışın düzgün bir şekilde test edilmesi önerilen en iyi yöntemdir.

Akışın nasıl dağıtılacağına örnek olarak örnek akış Web Sınıflandırmasını kullanacağız. Bu örnek akış standart bir akıştır. Sohbet akışlarını dağıtmak benzerdir. Değerlendirme akışı dağıtımı desteklemez.

Dağıtım tarafından kullanılan ortamı tanımlama

kullanıcı arabiriminde yönetilen çevrimiçi uç noktaya istem akışı dağıttığınızda, dağıtım varsayılan olarak akışta requirements.txt belirtilen en son istem akışı görüntüsüne ve bağımlılıklarına göre oluşturulan ortamı kullanır. içinde requirements.txtihtiyacınız olan ek paketleri belirtebilirsiniz. Akış klasörünüzün kök klasöründe bulabilirsiniz requirements.txt .

Akış gereksinimleri metninin ekran görüntüsü.

İşlem örneği çalışma zamanı oluşturmak için müşteri ortamını kullanıyorsanız, görüntüyü Azure Machine Learning stüdyosu'deki ortam ayrıntıları sayfasında bulabilirsiniz. Daha fazla bilgi edinmek için bkz . Çalışma zamanı için docker bağlamı ile ortamı özelleştirme.

Ortam ayrıntı sayfasındaki görüntü adının ekran görüntüsü.

Ardından, in flow klasöründe öğesinin flow.dag.yaml görüntüsünü environment de belirtmeniz gerekir.

Akış sayfasındaki otomatik çalışma zamanı için ortamı özelleştirmenin ekran görüntüsü.

Not

Azure devops'ta özel akışlar kullanıyorsanız, önce görüntüyü özel akışlarla oluşturmanız ve kullanıcı arabiriminde dağıtmak için özel ortam seçmeniz gerekir.

Çevrimiçi dağıtım oluşturma

Artık bir akış oluşturup doğru şekilde test ettiğinize göre, gerçek zamanlı çıkarım için çevrimiçi uç noktanızı oluşturmanın zamanı geldi.

İstem akışı, uç noktaları bir akıştan veya toplu çalıştırmadan dağıtmanızı destekler. Dağıtımdan önce akışınızı test etme en iyi yöntem önerilir.

Akış yazma sayfasında veya çalıştırma ayrıntıları sayfasında Dağıt'ı seçin.

Akış yazma sayfası:

Akış yazma sayfasındaki Web Sınıflandırması'nın ekran görüntüsü.

Çalıştırma ayrıntıları sayfası:

Çalıştırma ayrıntıları sayfasındaki Web Sınıflandırması'nın ekran görüntüsü.

Uç noktayı yapılandırmanız için bir sihirbaz oluşur ve aşağıdaki adımları içerir.

Temel ayarlar

Uç nokta sayfasındaki dağıtma sihirbazının ekran görüntüsü.

Bu adım, dağıtımın temel ayarlarını yapılandırmanıza olanak tanır.

Özellik Açıklama
Uç nokta Yeni bir uç nokta dağıtmak mı yoksa var olan bir uç noktayı güncelleştirmek mi istediğinizi seçebilirsiniz.
Yeni'yi seçerseniz uç nokta adını belirtmeniz gerekir.
Dağıtım adı - Aynı uç nokta içinde dağıtım adı benzersiz olmalıdır.
- Mevcut bir uç noktayı seçip var olan bir dağıtım adını girdiğinizde, yeni yapılandırmalarla bu dağıtımın üzerine yazılır.
Sanal makine Dağıtım için kullanılacak VM boyutu. Desteklenen boyutların listesi için bkz . Yönetilen çevrimiçi uç noktalar SKU listesi.
Örnek sayısı Dağıtım için kullanılacak örnek sayısı. Beklediğiniz iş yükündeki değeri belirtin. Yüksek kullanılabilirlik için değeri en az 3 olarak ayarlamanızı öneririz. Yükseltmeleri gerçekleştirmek için fazladan %20 ayırıyoruz. Daha fazla bilgi için bkz. yönetilen çevrimiçi uç nokta kotaları
Çıkarım verisi toplama Bunu etkinleştirirseniz akış girişleri ve çıkışları bir Azure Machine Learning veri varlığında otomatik olarak toplanır ve daha sonra izlemek için kullanılabilir. Daha fazla bilgi edinmek için bkz . Üretici yapay zeka uygulamalarını izleme.
Application Insights tanılama Bunu etkinleştirirseniz çıkarım süresindeki sistem ölçümleri (belirteç sayısı, akış gecikme süresi, akış isteği vb.) çalışma alanı varsayılan Uygulama Analizler toplanır. Daha fazla bilgi edinmek için bkz . ölçüm sunan istem akışı.

Temel ayarları tamamladıktan sonra doğrudan Gözden Geçir+Oluştur'u seçerek oluşturma işlemini tamamlayabilir veya İleri'yi seçerek Gelişmiş ayarları yapılandırabilirsiniz.

Gelişmiş ayarlar - Uç nokta

Uç nokta için aşağıdaki ayarları belirtebilirsiniz.

Dağıtım sihirbazı uç noktası ayarlarının ekran görüntüsü.

Authentication type

Uç nokta için kimlik doğrulama yöntemi. Anahtar tabanlı kimlik doğrulaması süresi dolmayan bir birincil ve ikincil anahtar sağlar. Azure Machine Learning belirteç tabanlı kimlik doğrulaması, düzenli aralıklarla otomatik olarak yenilenen bir belirteç sağlar. Kimlik doğrulaması hakkında daha fazla bilgi için bkz . Çevrimiçi uç noktada kimlik doğrulaması yapma.

Kimlik türü

Uç noktanın çıkarım için Azure Container Registry veya çalışma alanı bağlantıları gibi Azure kaynaklarına erişmesi gerekir. Yönetilen kimliğine izin vererek uç noktanın Azure kaynaklarına erişmesine izin vekleyebilirsiniz.

Sistem tarafından atanan kimlik, uç noktanız oluşturulduktan sonra otomatik olarak oluşturulurken, kullanıcı tarafından atanan kimlik kullanıcı tarafından oluşturulur. Yönetilen kimlikler hakkında daha fazla bilgi edinin.

Sistem tarafından atanan

Bağlantı gizli dizilerine erişimi zorunlu kılma (önizleme) seçeneğinin olduğunu fark edeceksiniz. Akışınız bağlantılar kullanıyorsa, çıkarım gerçekleştirmek için uç noktanın bağlantılara erişmesi gerekir. Seçenek varsayılan olarak etkindir; bağlantı gizli dizileri okuyucu izniniz varsa bağlantılara otomatik olarak erişmek için uç noktaya Azure Machine Learning Çalışma Alanı Bağlan ion Gizli Dizi Okuyucusu rolü verilir. Bu seçeneği devre dışı bırakırsanız, bu rolü sistem tarafından atanan kimliğe kendiniz vermeniz veya yöneticinizden yardım istemeniz gerekir. Uç nokta kimliğine izin verme hakkında daha fazla bilgi edinin.

Kullanıcı Tarafından Atanan

Dağıtımı oluştururken Azure, çalışma alanı Azure Container Registry'den (ACR) kullanıcı kapsayıcısı görüntüsünü çekmeye ve kullanıcı modeli ile kod yapıtlarını çalışma alanı depolama hesabından kullanıcı kapsayıcısına bağlamaya çalışır.

Kullanıcı Tarafından Atanan Kimlik ile ilişkili uç noktayı oluşturduysanız, dağıtım oluşturmadan önce kullanıcı tarafından atanan kimliğe aşağıdaki rollerin verilmesi gerekir; aksi takdirde dağıtım oluşturma başarısız olur.

Kapsam Rol Neden gereklidir?
Azure Machine Learning Çalışma Alanı Azure Machine Learning Çalışma Alanı Bağlantı Gizli Dizi Okuyucusu rolü VEYA "Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action" ile özelleştirilmiş bir rol Çalışma alanı bağlantılarını alın
Çalışma alanı kapsayıcı kayıt defteri ACR çekme Kapsayıcı görüntüsünü çekme
Çalışma alanı varsayılan depolama alanı Depolama Blob Verileri Okuyucusu Modeli depolama alanından yükleme
(İsteğe Bağlı) Azure Machine Learning Çalışma Alanı Çalışma alanı ölçümleri yazıcısı Uç noktayı dağıttığınızda CPU/GPU/Disk/Bellek kullanımı gibi uç noktayla ilgili ölçümleri izlemek istiyorsanız kimlik için bu izni vermeniz gerekir.

Uç noktaya izin verme bölümünde uç nokta kimliğine izin verme hakkında ayrıntılı yönergelere bakın.

Gelişmiş ayarlar - Dağıtım

Bu adımda, etiketler dışında dağıtım tarafından kullanılan ortamı da belirtebilirsiniz.

Dağıtım ortamının ekran görüntüsü.

Geçerli akış tanımının ortamını kullanma

Varsayılan olarak dağıtım, içinde belirtilen ve bağımlılıklarında flow.dag.yamlrequirements.txtbelirtilen temel görüntüye göre oluşturulan ortamı kullanır.

  • akışı seçerek Raw file mode içindeki flow.dag.yaml temel görüntüyü belirtebilirsiniz. Herhangi bir görüntü belirtilmemişse, varsayılan temel görüntü en son istem akışı temel görüntüsüdür.

    Akışın ham yaml dosyasında temel görüntü belirtme işleminin ekran görüntüsü.

  • Akış klasörünüzün kök klasöründe bulabilir requirements.txt ve içindeki bağımlılıkları ekleyebilirsiniz.

    Akış gereksinimleri metninin ekran görüntüsü.

Özelleştirilmiş ortamı kullanma

Ayrıca özelleştirilmiş ortam oluşturabilir ve bunu dağıtım için kullanabilirsiniz.

Not

Özel ortamınız aşağıdaki gereksinimleri karşılamalıdır:

  • docker görüntüsü, istem akışı temel görüntüsüne mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:<newest_version>göre oluşturulmalıdır. En yeni sürümü burada bulabilirsiniz.
  • ortam tanımının öğesini içermesi inference_configgerekir.

Aşağıda özelleştirilmiş ortam tanımı örneği verilmiştir.

$schema: https://azuremlschemas.azureedge.net/latest/environment.schema.json
name: pf-customized-test
build:
  path: ./image_build
  dockerfile_path: Dockerfile
description: promptflow customized runtime
inference_config:
  liveness_route:
    port: 8080
    path: /health
  readiness_route:
    port: 8080
    path: /health
  scoring_route:
    port: 8080
    path: /score

Gelişmiş ayarlar - Çıkışlar ve Bağlan ions

Bu adımda, tüm akış çıkışlarını görüntüleyebilir ve dağıttığınız uç noktanın yanıtına hangi çıkışların dahil olacağını belirtebilirsiniz. Varsayılan olarak tüm akış çıkışları seçilir.

Çıkarım gerçekleştirirken uç nokta tarafından kullanılan bağlantıları da belirtebilirsiniz. Bunlar varsayılan olarak akıştan devralınır.

Yukarıdaki tüm adımları yapılandırıp gözden geçirdikten sonra, oluşturma işlemini tamamlamak için Gözden Geçir+Oluştur'u seçebilirsiniz.

Not

Uç nokta oluşturma, modeli kaydetme, dağıtım oluşturma gibi çeşitli aşamalar içerdiğinden uç nokta oluşturma işleminin yaklaşık 15 dakikadan uzun sürmesini bekleyebilirsiniz.

Akış dağıtımı istemiyle başlayan bildirim aracılığıyla dağıtım oluşturma işleminin ilerleme durumunu anlayabilirsiniz. Dağıtım bildiriminin ekran görüntüsü.

Uç noktaya izin verme

Önemli

İzin verme (rol ataması ekleme) yalnızca belirli Azure kaynaklarının Sahibi için etkinleştirilir. BT yöneticinizden yardım istemeniz gerekebilir. Dağıtım oluşturmadan önce kullanıcı tarafından atanan kimliğe rol verilmesi önerilir. Verilen iznin geçerlilik kazanması 15 dakikadan uzun sürer.

Aşağıdaki adımları izleyerek Azure portal kullanıcı arabirimindeki tüm izinleri verilmektedir.

  1. Azure portalında Azure Machine Learning çalışma alanına genel bakış sayfasına gidin.

  2. Erişim denetimi'ni ve ardından Rol ataması ekle'yi seçin. Rol ataması ekle seçeneğinin vurgulandığı Erişim denetiminin ekran görüntüsü.

  3. Azure Machine Learning Çalışma Alanı Bağlan Ion Gizli Dizi okuyucusu'na tıklayın ve İleri'ye gidin.

    Not

    Azure Machine Learning Çalışma Alanı Bağlan ion Gizli Dizi okuyucusu, çalışma alanı bağlantılarını alma izni olan yerleşik bir roldür.

    Özelleştirilmiş rol kullanmak istiyorsanız, özelleştirilmiş rolün "Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action" iznine sahip olduğundan emin olun. Özel roller oluşturma hakkında daha fazla bilgi edinin.

  4. Yönetilen kimlik'i ve ardından üyeleri seçin.

    Sistem tarafından atanan kimlik için Sistem tarafından atanan yönetilen kimlik'in altında Makine öğrenmesi çevrimiçi uç noktasını seçin ve uç nokta adına göre arama yapın.

    Kullanıcı tarafından atanan kimlik için Kullanıcı tarafından atanan yönetilen kimlik'i seçin ve kimlik adına göre arama yapın.

  5. Kullanıcı tarafından atanan kimlik için çalışma alanı kapsayıcı kayıt defterine ve depolama hesabına da izin vermeniz gerekir. Kapsayıcı kayıt defteri ve depolama hesabını Azure portalındaki çalışma alanına genel bakış sayfasında bulabilirsiniz.

    Depolama ve kapsayıcı kayıt defterinin vurgulandığı genel bakış sayfasının ekran görüntüsü.

    Çalışma alanı kapsayıcısı kayıt defterine genel bakış sayfasına gidin, Erişim denetimi'ni ve rol ataması ekle'yi seçin ve ACR çekmesi atayın |Kapsayıcı görüntüsünü uç nokta kimliğine çekin.

    Çalışma alanı varsayılan depolamaya genel bakış sayfasına gidin, Erişim denetimi'ni seçin ve Rol ataması ekle'yi seçin ve uç nokta kimliğine Depolama Blob Veri Okuyucusu atayın.

  6. (isteğe bağlı) Kullanıcı tarafından atanan kimlik için CPU/GPU/Disk/Bellek kullanımı gibi uç noktayla ilgili ölçümleri izlemek istiyorsanız, kimliğe çalışma alanının Çalışma Alanı ölçüm yazıcı rolünü de vermeniz gerekir.

Uç noktanın durumunu denetleme

Dağıtım sihirbazını tamamladıktan sonra bildirimler olacaktır. Uç nokta ve dağıtım başarıyla oluşturulduktan sonra, uç noktaya bildirim ayrıntı sayfasında Ayrıntıları dağıt'ı seçebilirsiniz.

Ayrıca doğrudan stüdyodaki Uç Noktalar sayfasına gidebilir ve dağıtılan uç noktanın durumunu de kontrol edebilirsiniz.

Başarılı bir dağıtımı gösteren uç nokta ayrıntıları sayfasının ekran görüntüsü.

Uç noktayı örnek verilerle test edin

Uç nokta ayrıntı sayfasında Test sekmesine geçin.

Değerleri girip Test düğmesini seçebilirsiniz.

Test sonucu aşağıdaki gibi gösterilir:

Test sekmesindeki bitiş noktası ayrıntı sayfasının ekran görüntüsü.

Sohbet akışından dağıtılan uç noktayı test edin

Sohbet akışından dağıtılan uç noktalar için bunu çevreleyici bir sohbet penceresinde test edebilirsiniz.

Sohbet akışından dağıtılan uç noktanın ekran görüntüsü.

, chat_input sohbet akışının geliştirilmesi sırasında ayarlanmıştır. İletiyi chat_input giriş kutusuna girebilirsiniz. Sağ taraftaki Girişler paneli, yanında diğer girişlerin değerlerini belirtmenize yöneliktirchat_input. Sohbet akışı geliştirme hakkında daha fazla bilgi edinin.

Uç noktayı kullanma

Uç nokta ayrıntı sayfasında, Tüket sekmesine geçin. Uç noktanızı kullanmak için REST uç noktasını ve anahtarı/belirteci bulabilirsiniz. Uç noktayı farklı dillerde kullanmanız için örnek kod da vardır.

Veri değerlerini akış girişlerinize göre doldurmanız gerektiğini unutmayın. Bu makalenin Web Sınıflandırması makalesinde kullanılan örnek akışı örnek olarak alın; örnek tüketim kodunda anahtarı veya belirteci belirtmeniz data = {"url": "<the_url_to_be_classified>"} ve doldurmanız gerekir.

Tüketim kodu içeren uç nokta ayrıntı sayfasının ekran görüntüsü.

Uç nokta ölçümlerini görüntüleme

Azure İzleyici'yi kullanarak yönetilen çevrimiçi uç noktaların yaygın ölçümlerini görüntüleme (isteğe bağlı)

Çevrimiçi uç nokta ve dağıtımları için çeşitli ölçümleri (istek numaraları, istek gecikme süresi, ağ baytları, CPU/GPU/Disk/Bellek kullanımı ve daha fazlası) stüdyodaki uç noktanın Ayrıntılar sayfasından bağlantıları izleyerek görüntüleyebilirsiniz. Bu bağlantıların ardından uç nokta veya dağıtım için Azure portalındaki tam ölçümler sayfasına yönlendirilirsiniz.

Not

Uç noktanız için kullanıcı tarafından atanan kimlik belirtirseniz, kullanıcı tarafından atanan kimliğinize Azure Machine Learning Çalışma Alanı Çalışma Alanı ölçüm yazıcısı atadığınızdan emin olun. Aksi takdirde uç nokta ölçümleri günlüğe kaydedemez.

Ölçümleri görüntüle seçeneğinin vurgulandığı uç nokta ayrıntı sayfasının ekran görüntüsü.

Çevrimiçi uç nokta ölçümlerini görüntüleme hakkında daha fazla bilgi için bkz . Çevrimiçi uç noktaları izleme.

İstem akışı uç noktalarına özgü ölçümleri görüntüleme (isteğe bağlı)

Kullanıcı arabirimi dağıtım sihirbazında Uygulama Analizler tanılamasını etkinleştirirseniz veya kod kullanarak dağıtım tanımında ayarlarsanızapp_insights_enabled=true, çalışma alanında varsayılan Uygulama Analizler toplanan istem akışı uç noktalarına özgü ölçümler izlenir.

Ölçüm Adı Tür Boyutlar Açıklama
token_consumption counter -Akışı
-Düğüm
- llm_engine
- token_type: prompt_tokens: LLM API giriş belirteçleri; completion_tokens: LLM API yanıt belirteçleri ; total_tokens = prompt_tokens + completion tokens
openai belirteci tüketim ölçümleri
flow_latency Histogram akış,response_code,akış,response_type istek yürütme maliyeti, response_type tam/firstbyte/lastbyte olup olmadığı anlamına gelir
flow_request counter akış,response_code,özel durum,akış akış isteği sayısı
node_latency Histogram akış,düğüm,run_status düğüm yürütme maliyeti
node_request counter akış,düğüm,özel durum,run_status düğüm yürütme sayısı
rpc_latency Histogram akış,düğüm,api_call rpc maliyeti
rpc_request counter akış,düğüm,api_call,özel durum rpc sayısı
flow_streaming_response_duration Histogram akış ilk bayt göndermeden son bayt göndermeye kadar akış yanıtı gönderme maliyeti

Çalışma alanı varsayılan Uygulama Analizler Azure portalındaki çalışma alanı sayfanızda bulabilirsiniz.

Çalışma alanı varsayılan Uygulama Analizler ekran görüntüsü.

Uygulama Analizler açın ve sol gezinti bölmesinden Kullanım ve tahmini maliyetler'i seçin. Özel ölçümler (Önizleme) seçeneğini belirleyin ve Boyutlarla seçeneğini belirleyin ve değişikliği kaydedin.

Çok boyutlu ölçümleri etkinleştirme seçeneğinin ekran görüntüsü.

Sol gezinti bölmesinde Ölçümler sekmesini seçin. Ölçüm Ad Alanı'ndan istem akışı standart ölçümlerini seçin; Ölçüm açılan listesinden ölçümleri farklı toplama yöntemleriyle inceleyebilirsiniz.

İstem akışı uç noktası ölçümlerinin ekran görüntüsü.

İstem akışından dağıtılan uç noktaların sorunlarını giderme

"Microsoft.MachineLearningService/workspaces/datastores/read" eylemini gerçekleştirme yetkisi yok

Akışınızda Dizin Arama aracı varsa, akışı dağıtdıktan sonra uç noktanın öbekler ve eklemeler içeren MLIndex yaml dosyasını veya FAISS klasörünü okumak için çalışma alanı veri deposuna erişmesi gerekir. Bu nedenle, bunu yapmak için uç nokta kimliğine el ile izin vermeniz gerekir.

Çalışma alanı kapsamında AzureML Veri Bilimci uç nokta kimliğine veya "MachineLearningService/workspace/datastore/reader" eylemini içeren özel bir rol verebilirsiniz.

MissingDriverProgram Hatası

Akışınızı özel bir ortamla dağıtırsanız ve aşağıdaki hatayla karşılaşırsanız, bunun nedeni özel ortam tanımınızda öğesini inference_config belirtmemiş olmanız olabilir.

'error': 
{
    'code': 'BadRequest', 
    'message': 'The request is invalid.', 
    'details': 
         {'code': 'MissingDriverProgram', 
          'message': 'Could not find driver program in the request.', 
          'details': [], 
          'additionalInfo': []
         }
}

Bu hatayı düzeltmenin 2 yolu vardır.

  • (Önerilen) Özel ortam ayrıntı sayfanızda kapsayıcı görüntüsü uri'sini bulabilir ve flow.dag.yaml dosyasında akış temel görüntüsü olarak ayarlayabilirsiniz. Akışı kullanıcı arabiriminde dağıttığınızda Geçerli akış tanımının ortamını kullan'ı seçmeniz gerekir. Arka uç hizmeti, bu temel görüntüyü temel alarak ve requirement.txt dağıtımınız için özelleştirilmiş ortamı oluşturur. Akış tanımında belirtilen ortam hakkında daha fazla bilgi edinin.

    Özel ortam ayrıntı sayfasının ekran görüntüsü.

    Akışın ham yaml dosyasında temel görüntü belirtme işleminin ekran görüntüsü.

  • Özel ortam tanımınıza ekleyerek inference_config bu hatayı düzeltebilirsiniz. Özelleştirilmiş ortamı kullanma hakkında daha fazla bilgi edinin.

    Aşağıda özelleştirilmiş ortam tanımı örneği verilmiştir.

$schema: https://azuremlschemas.azureedge.net/latest/environment.schema.json
name: pf-customized-test
build:
  path: ./image_build
  dockerfile_path: Dockerfile
description: promptflow customized runtime
inference_config:
  liveness_route:
    port: 8080
    path: /health
  readiness_route:
    port: 8080
    path: /health
  scoring_route:
    port: 8080
    path: /score

Model yanıtı çok uzun sürüyor

Bazen dağıtımın yanıt vermenin çok uzun sürdüğünü fark edebilirsiniz. Bunun gerçekleşmesi için çeşitli olası faktörler vardır.

  • Model yeterince güçlü değil (örn. text-ada üzerinden gpt kullanın)
  • Dizin sorgusu iyileştirilmemiş ve çok uzun sürüyor
  • Flow'un işlemek için birçok adımı vardır

Modelin performansını geliştirmek için uç noktayı yukarıda dikkate alınacak noktalara göre iyileştirmeyi göz önünde bulundurun.

Dağıtım şeması getirilemiyor

Uç noktayı dağıttıktan ve uç nokta ayrıntı sayfasındaki Test sekmesinde test etmek istiyorsanız, Test sekmesinde aşağıdaki gibi dağıtım şeması getirilemiyor gösteriliyorsa, bu sorunu azaltmak için aşağıdaki 2 yöntemi deneyebilirsiniz:

Uç nokta ayrıntı sayfasındaki Test sekmesinde dağıtım şeması getirilemedi hatasının ekran görüntüsü.

  • Uç nokta kimliğine doğru izni verdiğinden emin olun. Uç nokta kimliğine izin verme hakkında daha fazla bilgi edinin.
  • Bunun nedeni, akışınızı eski bir sürüm çalışma zamanında çalıştırmanız ve ardından akışı dağıtmanız, dağıtımın eski sürümde olan çalışma zamanının ortamını da kullanmanız olabilir. Bu kılavuzu izleyerek çalışma zamanını güncelleştirin ve akışı en son çalışma zamanında yeniden çalıştırın ve sonra akışı yeniden dağıtın.

Çalışma alanı gizli dizisini listelemek için erişim reddedildi

"Çalışma alanı gizli dizisini listelemeye erişim reddedildi" gibi bir hatayla karşılaşırsanız uç nokta kimliğine doğru izni verip vermediğinizden emin olun. Uç nokta kimliğine izin verme hakkında daha fazla bilgi edinin.

Kaynakları temizleme

Bu öğreticiyi tamamladıktan sonra uç noktayı kullanmayacaksanız uç noktayı silmeniz gerekir.

Not

Silme işleminin tamamlanması yaklaşık 20 dakika sürebilir.

Sonraki Adımlar