Databricks'te Yapay Zeka ve Makine Öğrenmesi

  • Makale

Bu makalede, Azure Databricks'in yapay zeka ve ML iş akışlarını oluşturmanıza ve izlemenize yardımcı olmak için sunduğu araçlar açıklanmaktadır. Diyagramda, model geliştirme ve dağıtım sürecinizi uygulamanıza yardımcı olmak için bu bileşenlerin birlikte nasıl çalıştığı gösterilmektedir.

Makine öğrenmesi diyagramı: Databricks'te model geliştirme ve dağıtım

Makine öğrenmesi ve derin öğrenme için Databricks neden kullanılır?

Azure Databricks ile ML işlem hattı genelinde uçtan uca idare ile tek bir platformda ml yaşam döngüsünün tamamını uygulayabilirsiniz. Azure Databricks, ML iş akışlarını desteklemek için aşağıdaki yerleşik araçları içerir:

Databricks hakkında derin öğrenme

Derin öğrenme uygulamaları için altyapıyı yapılandırmak zor olabilir.

TensorFlow, PyTorch ve Keras gibi en yaygın derin öğrenme kitaplıklarının yerleşik uyumlu sürümlerine sahip kümeler ve Petastorm, Hyperopt ve Horovod gibi destekleyici kitaplıklarla Machine Learning için Databricks Runtime bunu sizin için halleder. Databricks Runtime ML kümeleri ayrıca sürücüler ve destekleyici kitaplıklarla önceden yapılandırılmış GPU desteği içerir. Ayrıca, ML iş akışlarını ve yapay zeka uygulamalarını ölçeklendirmek için işlem işlemeyi paralel hale getirmek için Ray gibi kitaplıkları da destekler.

Databricks Runtime ML kümeleri ayrıca sürücüler ve destekleyici kitaplıklarla önceden yapılandırılmış GPU desteği içerir. Databricks Model Sunma , ek yapılandırma olmadan derin öğrenme modelleri için ölçeklenebilir GPU uç noktalarının oluşturulmasını sağlar.

Databricks, makine öğrenmesi uygulamaları için Machine Learning için Databricks Runtime çalıştıran bir küme kullanılmasını önerir. Bkz . Databricks Runtime ML kullanarak küme oluşturma.

Databricks'te derin öğrenmeye başlamak için bkz:

Databricks'te büyük dil modelleri (LLM' ler) ve üretken yapay zeka

Machine Learning için Databricks Runtime, önceden eğitilmiş mevcut modelleri veya diğer açık kaynak kitaplıkları iş akışınızla tümleştirmenize olanak sağlayan Hugging Face Transformers ve LangChain gibi kitaplıklar içerir. Databricks MLflow tümleştirmesi, MLflow izleme hizmetini transformatör işlem hatları, modeller ve işleme bileşenleriyle kullanmayı kolaylaştırır. Ayrıca John Snow Labs gibi iş ortaklarının OpenAI modellerini veya çözümlerini Azure Databricks iş akışlarınızda tümleştirebilirsiniz.

Azure Databricks ile verilerinizdeki LLM'yi özel göreviniz için özelleştirebilirsiniz. Yüz Tanıma ve DerinSpeed gibi açık kaynak araçlarının desteğiyle, bir temel LLM'yi verimli bir şekilde alabilir ve kendi verilerinizle eğiterek kendi etki alanınız ve iş yükünüz için doğruluğunu geliştirebilirsiniz. Ardından, üretken yapay zeka uygulamalarınızda özel LLM'yi kullanabilirsiniz.

Buna ek olarak Databricks, bir sunum uç noktasından en yeni açık modellere erişmenizi ve bu modelleri sorgulamanızı sağlayan Temel Model API'leri ve dış modeller sağlar. Geliştiriciler, Temel Model API'lerini kullanarak kendi model dağıtımlarını korumadan yüksek kaliteli üretken bir yapay zeka modelinden yararlanan uygulamaları hızlı ve kolay bir şekilde oluşturabilir.

Databricks, SQL kullanıcıları için, SQL veri analistlerinin doğrudan veri işlem hatları ve iş akışları içinde OpenAI dahil olmak üzere LLM modellerine erişmek için kullanabileceği yapay zeka işlevleri sağlar. Bkz . Azure Databricks'te Yapay Zeka İşlevleri.

Machine Learning için Databricks Runtime

Machine Learning için Databricks Runtime (Databricks Runtime ML), en yaygın ML ve DL kitaplıkları dahil olmak üzere önceden oluşturulmuş makine öğrenmesi ve derin öğrenme altyapısı ile küme oluşturmayı otomatikleştirir. Databricks Runtime ML'nin her sürümündeki kitaplıkların tam listesi için sürüm notlarına bakın.

Makine öğrenmesi iş akışları için Unity Kataloğu'ndaki verilere erişmek için kümenin erişim modu tek kullanıcı (atanmış) olmalıdır. Paylaşılan kümeler Machine Learning için Databricks Runtime ile uyumlu değildir. Ayrıca Databricks Runtime ML, olarak ayarlanmış trueTableACLs kümelerinde veya kümelerinde spark.databricks.pyspark.enableProcessIsolation config desteklenmez.

Databricks Runtime ML kullanarak küme oluşturma

Küme oluşturduğunuzda Databricks çalışma zamanı sürümü açılan menüsünden bir Databricks Runtime ML sürümü seçin. Hem CPU hem de GPU özellikli ML çalışma zamanları kullanılabilir.

Databricks Runtime ML'yi seçin

Not defterindeki açılan menüden bir küme seçerseniz, küme adının sağ tarafında Databricks Runtime sürümü görüntülenir:

Databricks Runtime ML sürümünü görüntüleme

GPU özellikli bir ML çalışma zamanı seçerseniz uyumlu bir Sürücü türü ve Çalışan türü seçmeniz istenir. Uyumsuz örnek türleri açılan menüde gri gösterilir. GPU özellikli örnek türleri, GPU hızlandırılmış etiketi altında listelenir.

Not

Makine öğrenmesi iş akışları için Unity Kataloğu'ndaki verilere erişmek için kümenin erişim modu tek kullanıcı (atanmış) olmalıdır. Paylaşılan kümeler Machine Learning için Databricks Runtime ile uyumlu değildir.

Databricks Runtime ML'de bulunan kitaplıklar

Databricks Runtime ML, çeşitli popüler ML kitaplıkları içerir. Kitaplıklar her sürümle birlikte yeni özellikler ve düzeltmeler içerecek şekilde güncelleştirilir.

Databricks, desteklenen kitaplıkların bir alt kümesini üst katman kitaplıkları olarak belirlemiştir. Bu kitaplıklar için Databricks, her çalışma zamanı sürümüyle (bağımlılık çakışmalarını engelleme) en son paket sürümlerine güncelleştirerek daha hızlı bir güncelleştirme temposu sağlar. Databricks ayrıca en üst katman kitaplıklar için gelişmiş destek, test ve tümleşik iyileştirmeler sağlar.

En üst katman ve sağlanan diğer kitaplıkların tam listesi için Databricks Runtime ML sürüm notlarına bakın.

Sonraki adımlar

Başlamak için bkz:

Databricks Machine Learning'de önerilen MLOps iş akışı için bkz:

Önemli Databricks Machine Learning özellikleri hakkında bilgi edinmek için bkz: