Model Sunma'ya Geçiş

Makale
03/22/2024

Bu makalede, çalışma alanınızda Model Sunma'yı etkinleştirme ve modellerinizi sunucusuz işlem üzerinde oluşturulan yeni Model Sunma deneyimine değiştirme işlemleri gösterilmektedir.

Gereksinimler

MLflow Model Kayıt Defteri'nde kayıtlı model.
Erişim denetimi kılavuzunda açıklandığı gibi kayıtlı modellerdeki izinler.
Çalışma alanınızda sunucusuz işlem özelliğini etkinleştirin.

Önemli değişiklikler

Model Sunma'da uç noktaya isteğin biçimi ve uç noktadan gelen yanıt, Eski MLflow Model Sunma'dan biraz farklıdır. Yeni biçim protokolüyle ilgili ayrıntılar için bkz . Model uç noktasını puanlama.
Model Sunma'da uç nokta URL'si yerine modelöğesini içerirserving-endpoints.
Model Sunma, API iş akışlarıyla kaynakları yönetmeye yönelik tam destek içerir.
Model Sunma, üretime hazır ve Azure Databricks SLA tarafından desteklenir.

Hizmet veren eski MLflow Model Sunum modellerini Model Sunma'ya geçirme

Eski MLflow Model Sunum'u devre dışı bırakmadan model sunma uç noktası oluşturabilir ve iş akışlarını sunan modeli esnek bir şekilde geçirebilirsiniz.

Aşağıdaki adımlarda bunun kullanıcı arabirimiyle nasıl gerçekleştirilir gösterilmektedir. Eski MLflow Model Sunma özelliğini etkinleştirdiğiniz her model için:

Makine öğrenmesi çalışma alanınızın kenar çubuğunda Uç noktaları sunma bölümüne gidin.
Modelinizle bir sunum uç noktası oluşturma konusunda Özel model sunan uç noktalar oluşturma başlığında açıklanan iş akışını izleyin.
Uygulamanızı, yeni puanlama biçimiyle birlikte modeli sorgulamak için sunum uç noktası tarafından sağlanan yeni URL'yi kullanacak şekilde geçirin.
Modelleriniz devredildiğinde makine öğrenmesi çalışma alanınızın kenar çubuğundaKi Modeller'e gidebilirsiniz.
Eski MLflow Model Sunumunu devre dışı bırakmak istediğiniz modeli seçin.
Sunum sekmesinde Durdur'u seçin.
Onaylamak için bir ileti görüntülenir. Sunulmasını Durdur'u seçin.

Dağıtılan model sürümlerini Model Sunma'ya geçirme

Model Sunma işlevinin önceki sürümlerinde, sunum uç noktası kayıtlı model sürümünün aşamasına göre oluşturulmuştur: Staging veya Production. Sunulan modellerinizi bu deneyimden geçirmek için bu davranışı yeni Model Sunma deneyiminde çoğaltabilirsiniz.

Bu bölümde, model sürümleri ve Production model sürümleri için Staging ayrı model sunum uç noktalarının nasıl oluşturulacağı gösterilmektedir. Aşağıdaki adımlar, sunulan modellerinizin her biri için hizmet veren uç noktalar API'siyle bunu nasıl gerçekleştireceğini gösterir.

Örnekte, kayıtlı model adının modelA model aşamasında sürüm 1 ve model aşamasında Production 2 Stagingsürümü vardır.

Kayıtlı modeliniz için biri model sürümleri, diğeri Staging de model sürümleri için Production iki uç nokta oluşturun.

Model sürümleri için Staging :

POST /api/2.0/serving-endpoints
  {
     "name":"modelA-Staging"
     "config":{
        "served_entities":[
           {
              "entity_name":"model-A",
              "entity_version":"2",  // Staging Model Version
              "workload_size":"Small",
              "scale_to_zero_enabled":true
           },
        ],
     },
  }

Model sürümleri için Production :

POST /api/2.0/serving-endpoints
  {
     "name":"modelA-Production"
     "config":{
        "served_entities":[
           {
              "entity_name":"model-A",
              "entity_version":"1",   // Production Model Version
              "workload_size":"Small",
              "scale_to_zero_enabled":true
           },
        ],
     },
  }

Uç noktaların durumunu doğrulayın.

Hazırlama uç noktası için: GET /api/2.0/serving-endpoints/modelA-Staging

Üretim uç noktası için: GET /api/2.0/serving-endpoints/modelA-Production
Uç noktalar hazır olduktan sonra aşağıdakileri kullanarak uç noktayı sorgula:

Hazırlama uç noktası için: POST /serving-endpoints/modelA-Staging/invocations

Üretim uç noktası için: POST /serving-endpoints/modelA-Production/invocations
Uç noktayı model sürümü geçişlerine göre güncelleştirin.

Yeni model sürüm 3'in oluşturulduğu senaryoda, model sürüm 2'ye Productiongeçiş yapabilirken model sürüm 3'e Staging geçiş yapabilir ve model sürüm 1'e Archivedgeçebilirsiniz. Bu değişiklikler, uç noktaları sunan ayrı bir modele aşağıdaki gibi yansıtılabilir:

Uç nokta için Staging uç noktayı içindeki yeni model sürümünü kullanacak şekilde güncelleştirin Staging.
```
PUT /api/2.0/serving-endpoints/modelA-Staging/config
{
   "served_entities":[
      {
         "entity_name":"model-A",
         "entity_version":"3",  // New Staging model version
         "workload_size":"Small",
         "scale_to_zero_enabled":true
      },
   ],
}
```
Uç nokta için Production uç noktayı içindeki yeni model sürümünü kullanacak şekilde güncelleştirin Production.
```
PUT /api/2.0/serving-endpoints/modelA-Production/config
{
   "served_entities":[
      {
         "entity_name":"model-A",
         "entity_version":"2",  // New Production model version
         "workload_size":"Small",
         "scale_to_zero_enabled":true
      },
   ],
}
```

MozaikML çıkarım iş akışlarını Model Sunma'ya geçirme

Bu bölüm, MozaikML çıkarım dağıtımlarınızı Databricks Model Sunma'ya geçirme konusunda rehberlik sağlar ve bir not defteri örneği içerir.

Aşağıdaki tabloda, MozaikML çıkarımı ile Azure Databricks'te hizmet veren model arasındaki eşlik özetlemektedir.

MozaikML Çıkarımı	Databricks Model Sunma
create_inference_deployment	Uç nokta sunan bir model oluşturma
update_inference_deployment	Uç noktaya hizmet veren modeli güncelleştirme
delete_inference_deployment	Model sunma uç noktasını silme
get_inference_deployment	Uç noktaya hizmet veren bir modelin durumunu alma

Aşağıdaki not defteri, modeli MozaikML'den Databricks Model Sunma'ya geçirmenin kılavuzlu bir llama-13b örneğini sağlar.

MozaikML çıkarımından Databricks Model Sunma not defterine geçiş

Not defterini alma

Aracılığıyla paylaş