Azure Data Factory sürüm 1'de verileri dönüştürme

Önemli

Machine Learning Stüdyosu (klasik) desteği 31 Ağustos 2024'te sona erecektir. Bu tarihe kadar Azure Machine Learning'e geçmenizi öneririz.

1 Aralık 2021'de yeni Machine Learning Studio (klasik) kaynakları (çalışma alanı ve web hizmeti planı) oluşturamayacaksınız. 31 Ağustos 2024'e kadar mevcut Machine Learning Studio (klasik) denemelerini ve web hizmetlerini kullanmaya devam edebilirsiniz.

ML Stüdyosu (klasik) belgeleri kullanımdan kaldırılacak ve gelecekte güncelleştirilmeyecektir.

Genel Bakış

Not

Bu makale, Data Factory’nin 1. sürümü için geçerlidir. Data Factory hizmetinin geçerli sürümünü kullanıyorsanız bkz. Data Factory'de veri dönüştürme etkinlikleri.

Bu makalede, Azure Data Factory ham verilerinizi tahminlere ve içgörülere dönüştürmek ve işlerken kullanabileceğiniz veri dönüştürme etkinlikleri açıklanmaktadır. Dönüştürme etkinliği, Azure HDInsight kümesi veya Azure Batch gibi bir bilgi işlem ortamında yürütülür. Her dönüştürme etkinliği hakkında ayrıntılı bilgi içeren makalelere bağlantılar sağlar.

Data Factory, işlem hatlarına tek tek veya başka bir etkinlikle zincirleme olarak eklenebilen aşağıdaki veri dönüştürme etkinliklerini destekler.

Not

Adım adım yönergeler içeren bir izlenecek yol için Hive dönüştürme ile işlem hattı oluşturma makalesine bakın.

HDInsight Hive etkinliği

Data Factory işlem hattındaki HDInsight Hive etkinliği, Hive sorgularını kendi veya isteğe bağlı Windows/Linux tabanlı HDInsight kümenizde yürütür. Bu etkinlikle ilgili ayrıntılar için Hive Etkinliği makalesine bakın.

HDInsight Pig etkinliği

Data Factory işlem hattındaki HDInsight Pig etkinliği, Pig sorgularını kendi Windows/Linux tabanlı HDInsight kümenizde yürütür. Bu etkinlikle ilgili ayrıntılar için Pig Etkinliği makalesine bakın.

HDInsight MapReduce etkinliği

Data Factory işlem hattındaki HDInsight MapReduce etkinliği, MapReduce programları kendi veya isteğe bağlı Windows/Linux tabanlı HDInsight kümenizde yürütür. Bu etkinlikle ilgili ayrıntılar için MapReduce Etkinlik makalesine bakın.

HDInsight Akış etkinliği

Data Factory işlem hattındaki HDInsight Akış Etkinliği Hadoop Akış programlarını kendi veya isteğe bağlı Windows/Linux tabanlı HDInsight kümenizde yürütür. Bu etkinlikle ilgili ayrıntılar için bkz. HDInsight Akış etkinliği.

HDInsight Spark Etkinliği

Data Factory işlem hattındaki HDInsight Spark etkinliği Spark programlarını kendi HDInsight kümenizde yürütür. Ayrıntılar için bkz. Azure Data Factory Spark programlarını çağırma.

ML Studio (klasik) etkinlikleri

Önemli

Machine Learning Stüdyosu (klasik) desteği 31 Ağustos 2024'te sona erecektir. Bu tarihe kadar Azure Machine Learning'e geçmenizi öneririz.

1 Aralık 2021'de yeni Machine Learning Studio (klasik) kaynakları (çalışma alanı ve web hizmeti planı) oluşturamayacaksınız. 31 Ağustos 2024'e kadar mevcut Machine Learning Studio (klasik) denemelerini ve web hizmetlerini kullanmaya devam edebilirsiniz.

ML Stüdyosu (klasik) belgeleri kullanımdan kaldırılacak ve gelecekte güncelleştirilmeyecektir.

Azure Data Factory, tahmine dayalı analiz için yayımlanmış bir ML Studio (klasik) web hizmetini kullanan işlem hatlarını kolayca oluşturmanıza olanak tanır. batch yürütme etkinliğini bir Azure Data Factory işlem hattında kullanarak, toplu verilerle ilgili tahminler yapmak için bir Studio (klasik) web hizmeti çağırabilirsiniz.

Zaman içinde, Studio (klasik) puanlama denemelerindeki tahmine dayalı modellerin yeni giriş veri kümeleri kullanılarak yeniden eğitilmesi gerekir. Yeniden eğitme işlemini tamamladıktan sonra puanlama web hizmetini yeniden eğitilen makine öğrenmesi modeliyle güncelleştirmek istiyorsunuz. Web hizmetini yeni eğitilen modelle güncelleştirmek için Kaynak Güncelleştirme Etkinliğini kullanabilirsiniz.

Bu Studio (klasik) etkinlikleriyle ilgili ayrıntılar için bkz. ML Studio (klasik) etkinliklerini kullanma.

Saklı yordam etkinliği

Data Factory işlem hattındaki SQL Server Saklı Yordam etkinliğini kullanarak aşağıdaki veri depolarından birinde saklı yordamı çağırabilirsiniz: Azure SQL Veritabanı, Azure Synapse Analytics, SQL Server Veritabanı kuruluşunuzda veya Azure VM'nizde. Ayrıntılar için Saklı Yordam Etkinliği makalesine bakın.

Data Lake Analytics U-SQL etkinliği

Data Lake Analytics U-SQL Etkinliği, Azure Data Lake Analytics kümesinde bir U-SQL betiği çalıştırır. Ayrıntılar için Veri Analizi U-SQL Etkinliği makalesine bakın.

.NET özel etkinliği

Verileri Data Factory tarafından desteklenmeyen bir şekilde dönüştürmeniz gerekiyorsa, kendi veri işleme mantığınızla özel bir etkinlik oluşturabilir ve işlem hattındaki etkinliği kullanabilirsiniz. Özel .NET etkinliğini bir Azure Batch hizmeti veya Azure HDInsight kümesi kullanarak çalışacak şekilde yapılandırabilirsiniz. Ayrıntılar için Özel etkinlikler kullanma makalesine bakın.

R yüklü HDInsight kümenizde R betiklerini çalıştırmak için özel bir etkinlik oluşturabilirsiniz. Bkz. Azure Data Factory kullanarak R Betiği çalıştırma.

İşlem ortamları

İşlem ortamı için bağlı bir hizmet oluşturur ve ardından bir dönüştürme etkinliği tanımlarken bağlı hizmeti kullanırsınız. Data Factory tarafından desteklenen iki tür işlem ortamı vardır.

  1. İsteğe Bağlı: Bu durumda bilgi işlem ortamı Data Factory tarafından tamamen yönetilir. Verileri işlemek üzere bir iş gönderilmeden ve iş tamamlandığında kaldırılmadan önce Data Factory hizmeti tarafından otomatik olarak oluşturulur. İş yürütme, küme yönetimi ve önyükleme eylemleri için isteğe bağlı işlem ortamının ayrıntılı ayarlarını yapılandırabilir ve denetleyebilirsiniz.
  2. Kendi Cihazını Getir: Bu durumda, Data Factory'de bağlı hizmet olarak kendi bilgi işlem ortamınızı (örneğin HDInsight kümesi) kaydedebilirsiniz. Bilgi işlem ortamı sizin tarafınızdan yönetilir ve Data Factory hizmeti bu ortamı kullanarak etkinlikleri yürütür.

Data Factory tarafından desteklenen işlem hizmetleri hakkında bilgi edinmek için bkz. İşlem Bağlı Hizmetleri makalesi.

Özet

Azure Data Factory, etkinlikler için aşağıdaki veri dönüştürme etkinliklerini ve işlem ortamlarını destekler. Dönüştürme etkinlikleri tek tek veya başka bir etkinlikle zincirlenmiş işlem hatlarına eklenebilir.

Veri dönüştürme etkinliği İşlem ortamı
Hive HDInsight [Hadoop]
Domuz HDInsight [Hadoop]
MapReduce HDInsight [Hadoop]
Hadoop Akışı HDInsight [Hadoop]
ML Studio (klasik) etkinlikleri: Toplu Yürütme ve Kaynağı Güncelleştirme Azure VM
Saklı Yordam Azure SQL, Azure Synapse Analytics veya SQL Server
Data Lake Analytics U-SQL Azure Data Lake Analytics
Dotnet HDInsight [Hadoop] veya Azure Batch