Share via

Azure Databricks ile model sunma

  • Makale

Bu makalede, avantajları ve sınırlamaları dahil olmak üzere Azure Databricks Model Sunma açıklanmaktadır.

Model Sunma nedir?

Databricks Model Sunma, yapay zeka modellerini dağıtmak, yönetmek ve sorgulamak için birleşik bir arabirim sağlar. Hizmet ettiğiniz her model, web veya istemci uygulamanızla tümleştirebileceğiniz bir REST API olarak kullanılabilir.

Model Sunma, modelleri dağıtmak için yüksek oranda kullanılabilir ve düşük gecikme süreli bir hizmet sağlar. Hizmet, talep değişikliklerini karşılamak için ölçeği otomatik olarak artırıp azaltır ve altyapı maliyetlerinden tasarruf ederken gecikme süresi performansını da en iyi duruma getirir. Bu işlev sunucusuz işlem kullanır. Daha fazla ayrıntı için Model Sunma fiyatlandırma sayfasına bakın.

Model sunma, aşağıdakilerin sunulmasını destekler:

  • Özel modeller. Bunlar MLflow biçiminde paketlenmiş Python modelleridir. Bunlar Unity Kataloğu'na veya çalışma alanı modeli kayıt defterine kaydedilebilir. Örnek olarak scikit-learn, XGBoost, PyTorch ve Hugging Face transformatör modelleri verilebilir.
  • Temel Model API'leri tarafından kullanıma sunulan en yeni açık modeller. Bu modeller, iyileştirilmiş çıkarımları destekleyen, seçilmiş temel model mimarileridir. Llama-2-70B-chat, BGE-Large ve Mistral-7B gibi temel modeller, belirteç başına ödeme fiyatlandırmasıyla anında kullanılabilir ve performans garantileri ve ince ayarlı model varyasyonları gerektiren iş yükleri sağlanan aktarım hızıyla dağıtılabilir.
  • Dış modeller. Bunlar Databricks dışında barındırılan modellerdir. Dış modellere hizmet veren uç noktalar merkezi olarak yönetilebilir ve müşteriler bunlar için hız sınırları ve erişim denetimi oluşturabilir. Örnek olarak OpenAI GPT-4, Anthropic'in Claude ve diğerleri gibi temel modeller verilebilir.

Not

AI Playground'i kullanarak desteklenen büyük dil modelleriyle etkileşim kurabilirsiniz. AI Playground, LLM'leri test edebileceğiniz, sorabileceğiniz ve karşılaştırabileceğiniz sohbet benzeri bir ortamdır. Bu işlev Azure Databricks çalışma alanınızda kullanılabilir.

Model sunma, CRUD ve sorgulama görevleri için birleşik bir REST API ve MLflow Dağıtım API'sini sunar. Buna ek olarak, tüm modellerinizi ve ilgili hizmet uç noktalarını yönetmek için tek bir kullanıcı arabirimi sağlar. Analiz iş akışlarına kolay tümleştirme için yapay zeka işlevlerini kullanarak modellere doğrudan SQL'den de erişebilirsiniz.

Azure Databricks'te özel modeller sunma hakkında giriş niteliğinde bir öğretici için bkz . Öğretici: Özel model dağıtma ve sorgulama.

Databricks'te temel modeli sorgulamaya yönelik başlangıç öğreticisi için bkz . Databricks'te LLM'leri sorgulamaya başlama.

Model Sunma neden kullanılır?

  • Herhangi bir modeli dağıtma ve sorgulama: Model Sunma, Databricks'te veya harici olarak barındırılmalarından bağımsız olarak tüm modelleri tek bir konumda yönetebileceğiniz ve tek bir API ile sorgulayabileceğiniz birleşik bir arabirim sağlar. Bu yaklaşım, çeşitli bulutlar ve sağlayıcılar arasında üretimde modelleri deneme, özelleştirme ve dağıtma sürecini basitleştirir.

  • Özel verilerinizle modelleri güvenli bir şekilde özelleştirme: Veri Zekası Platformu üzerinde oluşturulan Model Sunma, Databricks Özellik Deposu ve Databricks Vektör Arama ile yerel tümleştirme aracılığıyla özelliklerin ve eklemelerin modellere tümleştirilmesini kolaylaştırır. Daha da iyi doğruluk ve bağlamsal anlayış için modeller özel verilerle ince ayar yapabilir ve Model Sunma'ya zahmetsizce dağıtılabilir.

  • Modelleri yönetme ve izleme: Sunum Kullanıcı Arabirimi, şirket dışında barındırılanlar da dahil olmak üzere tüm model uç noktalarını tek bir yerde merkezi olarak yönetmenizi sağlar. İzinleri yönetebilir, kullanım sınırlarını izleyebilir ve ayarlayabilir ve tüm model türlerinin kalitesini izleyebilirsiniz. Bu sayede SaaS'ye erişimi demokratikleştirebilir ve kuruluşunuzdaki LLM'leri açabilir ve uygun korumaların yerinde olduğundan emin olursunuz.

  • İyileştirilmiş çıkarım ve hızlı ölçeklendirme ile maliyeti azaltın: Databricks, büyük modeller için en iyi aktarım hızını ve gecikme süresini elde etmek için bir dizi iyileştirme gerçekleştirmiştir. Uç noktalar, talep değişikliklerini karşılamak için ölçeği otomatik olarak artırıp azaltarak altyapı maliyetlerinden tasarruf sağlarken gecikme süresi performansını da en iyi duruma getirir.

  • Model Sunma için güvenilirlik ve güvenlik getirme: Model Sunma, yüksek kullanılabilirlik ve düşük gecikme süreli üretim kullanımı için tasarlanmıştır ve ek yük gecikme süresi 50 ms'den kısa olan saniyede 25 binden fazla sorgu destekleyebilir. Hizmet veren iş yükleri birden çok güvenlik katmanıyla korunarak en hassas görevler için bile güvenli ve güvenilir bir ortam sağlar.

Gereksinim -leri

  • Unity Kataloğu'nda veya Çalışma Alanı Modeli Kayıt Defteri'nde kayıtlı model.
  • Uç nokta ACL'lerini sunma bölümünde açıklandığı gibi kayıtlı modellerdeki izinler.
  • MLflow 1.29 veya üzeri

Çalışma alanınız için Model Sunma'yı etkinleştirme

Çalışma alanınızda Model Sunma'yı etkinleştirmek için ek adım gerekmez.

Sınırlamalar ve bölge kullanılabilirliği

Databricks Model Sunma, güvenilir performans sağlamak için varsayılan sınırlar uygular. Bkz. Model Sunma sınırları ve bölgeleri. Bu sınırlar veya desteklenmeyen bir bölgedeki bir uç nokta hakkında geri bildiriminiz varsa Databricks hesap ekibinize ulaşın.

Model Sunma'da veri koruması

Databricks, veri güvenliğini ciddiye alır. Databricks, Databricks Model Sunumunu kullanarak analiz ettiğiniz verilerin önemini anlar ve verilerinizi korumak için aşağıdaki güvenlik denetimlerini uygular.

  • Model Sunma için her müşteri isteği mantıksal olarak yalıtılmış, kimliği doğrulanmış ve yetkilendirilmiştir.
  • Databricks Model Sunma, bekleyen (AES-256) ve aktarımdaki (TLS 1.2+) tüm verileri şifreler.

Tüm ücretli hesaplarda Databricks Model Sunma, herhangi bir modeli eğitmek veya databricks hizmetlerini geliştirmek için hizmete gönderilen kullanıcı girişlerini veya hizmetten çıkışları kullanmaz.

Databricks Foundation Model API'leri için, hizmeti sağlamanın bir parçası olarak Databricks, uygunsuz kullanımları veya zararlı kullanımları önleme, algılama ve azaltma amacıyla girişleri ve çıkışları geçici olarak işleyebilir ve depolayabilir. Giriş ve çıkışlarınız diğer müşterilerinkilerden yalıtılır, otuz (30) güne kadar çalışma alanınızla aynı bölgede depolanır ve yalnızca güvenlik veya uygunsuz kullanım sorunlarını algılamak ve yanıtlamak için erişilebilir.

Ek kaynaklar