ML ve DL için veri ve ortam hazırlama

Bu bölümde verilerinizin ve Azure Databricks ortamınızın makine öğrenmesi ve derin öğrenme için nasıl hazırlandığı açıklanmaktadır.

Verileri hazırlama

Bu bölümdeki makaleler, ML ve DL uygulamalarına özgü verileri yükleme ve ön işleme özelliklerini kapsar.

• Makine öğrenmesi ve derin öğrenme için veri yükleme
• Makine öğrenmesi ve derin öğrenme için verileri ön işleme

Ortamı hazırlama

Machine Learning için Databricks Runtime (Databricks Runtime ML), makine öğrenmesi ve veri bilimi için iyileştirilmiş kullanıma hazır bir ortamdır. TensorFlow, PyTorch, Horovod, scikit-learn ve XGBoost gibi birçok dış kitaplık içeren Databricks Runtime ML, performansı artırmak amacıyla XGBoost'ta GPU hızlandırma, HorovodRunner kullanarak dağıtılmış derin öğrenme ve Databricks File System (DBFS) FUSE bağlaması kullanarak model denetim noktası oluşturma gibi uzantılar sağlar.

Databricks Runtime ML'yi kullanmak için kümenizi oluştururken çalışma zamanının ML sürümünü seçin.

Not

Makine öğrenmesi iş akışları için Unity Kataloğu'ndaki verilere erişmek için kümenin erişim modu tek kullanıcı (atanmış) olmalıdır. Paylaşılan kümeler Machine Learning için Databricks Runtime ile uyumlu değildir.

Kitaplıkları yükleme

Not defteriniz veya kümeniz için özel bir ortam oluşturmak üzere ek kitaplıklar yükleyebilirsiniz.

• Bir kitaplığı kümede çalışan tüm not defterlerinde kullanılabilir hale getirmek için bir küme kitaplığı oluşturun. Ayrıca, oluşturma işleminden sonra kümelere kitaplık yüklemek için bir init betiği de kullanabilirsiniz.
• Yalnızca belirli bir not defteri oturumu için kullanılabilen bir kitaplık yüklemek için Not Defteri kapsamlı Python kitaplıklarını kullanın.

GPU kümelerini kullanma

Derin öğrenme görevlerini hızlandırmak için GPU kümeleri oluşturabilirsiniz. Azure Databricks GPU kümeleri oluşturma hakkında bilgi için bkz . GPU özellikli işlem. Databricks Runtime ML, GPU donanım sürücülerini ve CUDA gibi NVIDIA kitaplıklarını içerir.