HDInsight'ta Apache Hadoop üzerinde MapReduce akışı ile C# kullanma
HDInsight'ta MapReduce çözümü oluşturmak için C# kullanmayı öğrenin.
Apache Hadoop akışı, bir betik veya yürütülebilir dosya kullanarak MapReduce işlerini çalıştırmanıza olanak tanır. Burada bir sözcük sayısı çözümü için eşleyiciyi ve azaltıcıyı uygulamak için .NET kullanılır.
HDInsight üzerinde .NET
HDInsight kümeleri .NET uygulamalarını çalıştırmak için Mono (https://mono-project.com) kullanır. Mono sürüm 4.2.1, HDInsight sürüm 3.6'ya dahildir. HDInsight ile birlikte gelen Mono sürümü hakkında daha fazla bilgi için bkz . HDInsight sürümleriyle kullanılabilen Apache Hadoop bileşenleri.
.NET Framework sürümleriyle Mono uyumluluğu hakkında daha fazla bilgi için bkz . Mono uyumluluğu.
Hadoop akışı nasıl çalışır?
Bu belgede akış için kullanılan temel işlem aşağıdaki gibidir:
- Hadoop verileri STDIN'deki eşleyiciye (bu örnekte mapper.exe ) geçirir.
- Eşleyici verileri işler ve sekmeyle ayrılmış anahtar/değer çiftlerini STDOUT'a yayar.
- Çıktı Hadoop tarafından okunur ve stdin üzerindeki azaltıcıya (bu örnekte reducer.exe ) geçirilir.
- Azaltıcı sekmeyle ayrılmış anahtar/değer çiftlerini okur, verileri işler ve ardından sonucu STDOUT'ta sekmeyle ayrılmış anahtar/değer çiftleri olarak yayar.
- Çıktı Hadoop tarafından okunur ve çıkış dizinine yazılır.
Akış hakkında daha fazla bilgi için bkz . Hadoop Akış.
Önkoşullar
Visual Studio.
.NET Framework 4.5'i hedefleyen C# kodu yazma ve derleme hakkında bilgi.
.exe dosyaları kümeye yüklemenin bir yolu. Bu belgedeki adımlar, dosyaları kümenin birincil depolama alanına yüklemek için Visual Studio için Data Lake Araçları'nı kullanır.
PowerShell kullanıyorsanız Az Modülü gerekir.
HDInsight üzerinde bir Apache Hadoop kümesi. Bkz . Linux'ta HDInsight'ı kullanmaya başlama.
Kümelerinizin birincil depolama alanı için URI şeması. Bu şema Azure Depolama,
abfs://Azure Data Lake Storage 2. Nesil veyaadl://Azure Data Lake Storage 1. Nesil için olabilirwasb://. Azure Depolama veya Data Lake Storage 2. Nesil için güvenli aktarım etkinleştirildiyse, URI sırasıyla veyaabfss://olurwasbs://.
Eşleyiciyi oluşturma
Visual Studio'da mapper adlı yeni bir .NET Framework konsol uygulaması oluşturun. Uygulama için aşağıdaki kodu kullanın:
using System;
using System.Text.RegularExpressions;
namespace mapper
{
class Program
{
static void Main(string[] args)
{
string line;
//Hadoop passes data to the mapper on STDIN
while((line = Console.ReadLine()) != null)
{
// We only want words, so strip out punctuation, numbers, etc.
var onlyText = Regex.Replace(line, @"\.|;|:|,|[0-9]|'", "");
// Split at whitespace.
var words = Regex.Matches(onlyText, @"[\w]+");
// Loop over the words
foreach(var word in words)
{
//Emit tab-delimited key/value pairs.
//In this case, a word and a count of 1.
Console.WriteLine("{0}\t1",word);
}
}
}
}
}
Uygulamayı oluşturduktan sonra proje dizininde /bin/Debug/mapper.exe dosyasını oluşturmak için oluşturun.
Azaltıcıyı oluşturma
Visual Studio'da reducer adlı yeni bir .NET Framework konsol uygulaması oluşturun. Uygulama için aşağıdaki kodu kullanın:
using System;
using System.Collections.Generic;
namespace reducer
{
class Program
{
static void Main(string[] args)
{
//Dictionary for holding a count of words
Dictionary<string, int> words = new Dictionary<string, int>();
string line;
//Read from STDIN
while ((line = Console.ReadLine()) != null)
{
// Data from Hadoop is tab-delimited key/value pairs
var sArr = line.Split('\t');
// Get the word
string word = sArr[0];
// Get the count
int count = Convert.ToInt32(sArr[1]);
//Do we already have a count for the word?
if(words.ContainsKey(word))
{
//If so, increment the count
words[word] += count;
} else
{
//Add the key to the collection
words.Add(word, count);
}
}
//Finally, emit each word and count
foreach (var word in words)
{
//Emit tab-delimited key/value pairs.
//In this case, a word and a count of 1.
Console.WriteLine("{0}\t{1}", word.Key, word.Value);
}
}
}
}
Uygulamayı oluşturduktan sonra proje dizininde /bin/Debug/reducer.exe dosyasını oluşturmak için oluşturun.
Depolama alanına yükleme
Ardından eşleştirici ve azaltıcı uygulamalarını HDInsight depolama alanına yüklemeniz gerekir.
Visual Studio'da Sunucu Gezginini Görüntüle'yi>seçin.
Azure'a sağ tıklayın, Microsoft Azure Aboneliğine Bağlan... öğesini seçin ve oturum açma işlemini tamamlayın.
Bu uygulamayı dağıtmak istediğiniz HDInsight kümesini genişletin. (Varsayılan Depolama Hesabı) metnini içeren bir girdi listelenir.
(Varsayılan Depolama Hesabı) girişi genişletilebilirse, küme için varsayılan depolama alanı olarak bir Azure Depolama Hesabı kullanıyorsunuz demektir. Kümenin varsayılan depolama alanı üzerindeki dosyaları görüntülemek için girdiyi genişletin ve ardından (Varsayılan Kapsayıcı) öğesine çift tıklayın.
(Varsayılan Depolama Hesabı) girişi genişletilemiyorsa, küme için varsayılan depolama alanı olarak Azure Data Lake Depolama kullanıyorsunuz demektir. Küme için varsayılan depolamadaki dosyaları görüntülemek için (Varsayılan Depolama Hesabı) girdisine çift tıklayın.
.exe dosyalarını karşıya yüklemek için aşağıdaki yöntemlerden birini kullanın:
Azure Depolama Hesabı kullanıyorsanız Blobu Karşıya Yükle simgesini seçin.
Yeni Dosyayı Karşıya Yükle iletişim kutusundaki Dosya adı'nın altında Gözat'ı seçin. Blobu Karşıya Yükle iletişim kutusunda, eşleyici projesinin bin\debug klasörüne gidin ve mapper.exe dosyasını seçin. Son olarak, karşıya yüklemeyi tamamlamak için Aç'ı ve ardından Tamam'ı seçin.
Azure Data Lake Depolama için dosya listesinde boş bir alana sağ tıklayın ve karşıya yükle'yi seçin. Son olarak, mapper.exe dosyasını ve ardından Aç'ı seçin.
mapper.exe karşıya yükleme işlemi tamamlandıktan sonra reducer.exe dosyası için karşıya yükleme işlemini yineleyin.
İş çalıştırma: SSH oturumu kullanma
Aşağıdaki yordamda SSH oturumu kullanarak MapReduce işinin nasıl çalıştırıldığı açıklanmaktadır:
Kümenize bağlanmak için ssh komutunu kullanın. CLUSTERNAME değerini kümenizin adıyla değiştirerek aşağıdaki komutu düzenleyin ve komutunu girin:
ssh sshuser@CLUSTERNAME-ssh.azurehdinsight.netMapReduce işini başlatmak için aşağıdaki komutlardan birini kullanın:
Varsayılan depolama Azure Depolama ise:
yarn jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-streaming.jar \ -files wasbs:///mapper.exe,wasbs:///reducer.exe \ -mapper mapper.exe \ -reducer reducer.exe \ -input /example/data/gutenberg/davinci.txt \ -output /example/wordcountoutVarsayılan depolama Data Lake Storage 1. Nesil:
yarn jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-streaming.jar \ -files adl:///mapper.exe,adl:///reducer.exe \ -mapper mapper.exe \ -reducer reducer.exe \ -input /example/data/gutenberg/davinci.txt \ -output /example/wordcountoutVarsayılan depolama Data Lake Storage 2. Nesil:
yarn jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-streaming.jar \ -files abfs:///mapper.exe,abfs:///reducer.exe \ -mapper mapper.exe \ -reducer reducer.exe \ -input /example/data/gutenberg/davinci.txt \ -output /example/wordcountout
Aşağıdaki listede her parametre ve seçeneğin neyi temsil ettiği açıklanmaktadır:
Parametre Açıklama hadoop-streaming.jar MapReduce akış işlevini içeren jar dosyasını belirtir. -Dosyaları Bu iş için mapper.exe ve reducer.exe dosyalarını belirtir. wasbs:///Her dosyadan önceki ,adl:///veyaabfs:///protokol bildirimi, küme için varsayılan depolamanın kök yoludur.-Eşleştiricisi Eşleyiciyi uygulayan dosyayı belirtir. -Redüktör Azaltıcıyı uygulayan dosyayı belirtir. -Giriş Giriş verilerini belirtir. -Çıkış Çıkış dizinini belirtir. MapReduce işi tamamlandıktan sonra sonuçları görüntülemek için aşağıdaki komutu kullanın:
hdfs dfs -text /example/wordcountout/part-00000Aşağıdaki metin, bu komut tarafından döndürülen verilerin bir örneğidir:
you 1128 young 38 younger 1 youngest 1 your 338 yours 4 yourself 34 yourselves 3 youth 17
İş çalıştırma: PowerShell kullanma
MapReduce işini çalıştırmak ve sonuçları indirmek için aşağıdaki PowerShell betiğini kullanın.
# Login to your Azure subscription
$context = Get-AzContext
if ($context -eq $null)
{
Connect-AzAccount
}
$context
# Get HDInsight info
$clusterName = Read-Host -Prompt "Enter the HDInsight cluster name"
$creds=Get-Credential -Message "Enter the login for the cluster"
# Path for job output
$outputPath="/example/wordcountoutput"
# Progress indicator
$activity="C# MapReduce example"
Write-Progress -Activity $activity -Status "Getting cluster information..."
#Get HDInsight info so we can get the resource group, storage, etc.
$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroup = $clusterInfo.ResourceGroup
$storageActArr=$clusterInfo.DefaultStorageAccount.split('.')
$storageAccountName=$storageActArr[0]
$storageType=$storageActArr[1]
# Progress indicator
#Define the MapReduce job
# Note: using "/mapper.exe" and "/reducer.exe" looks in the root
# of default storage.
$jobDef=New-AzHDInsightStreamingMapReduceJobDefinition `
-Files "/mapper.exe","/reducer.exe" `
-Mapper "mapper.exe" `
-Reducer "reducer.exe" `
-InputPath "/example/data/gutenberg/davinci.txt" `
-OutputPath $outputPath
# Start the job
Write-Progress -Activity $activity -Status "Starting MapReduce job..."
$job=Start-AzHDInsightJob `
-ClusterName $clusterName `
-JobDefinition $jobDef `
-HttpCredential $creds
#Wait for the job to complete
Write-Progress -Activity $activity -Status "Waiting for the job to complete..."
Wait-AzHDInsightJob `
-ClusterName $clusterName `
-JobId $job.JobId `
-HttpCredential $creds
Write-Progress -Activity $activity -Completed
# Download the output
if($storageType -eq 'azuredatalakestore') {
# Azure Data Lake Store
# Fie path is the root of the HDInsight storage + $outputPath
$filePath=$clusterInfo.DefaultStorageRootPath + $outputPath + "/part-00000"
Export-AzDataLakeStoreItem `
-Account $storageAccountName `
-Path $filePath `
-Destination output.txt
} else {
# Az.Storage account
# Get the container
$container=$clusterInfo.DefaultStorageContainer
#NOTE: This assumes that the storage account is in the same resource
# group as HDInsight. If it is not, change the
# --ResourceGroupName parameter to the group that contains storage.
$storageAccountKey=(Get-AzStorageAccountKey `
-Name $storageAccountName `
-ResourceGroupName $resourceGroup)[0].Value
#Create a storage context
$context = New-AzStorageContext `
-StorageAccountName $storageAccountName `
-StorageAccountKey $storageAccountKey
# Download the file
Get-AzStorageBlobContent `
-Blob 'example/wordcountoutput/part-00000' `
-Container $container `
-Destination output.txt `
-Context $context
}
Bu betik, HDInsight küme adıyla birlikte küme oturum açma hesabı adını ve parolasını ister. İş tamamlandıktan sonra çıktı output.txt adlı bir dosyaya indirilir. Aşağıdaki metin, dosyadaki output.txt verilerin bir örneğidir:
you 1128
young 38
younger 1
youngest 1
your 338
yours 4
yourself 34
yourselves 3
youth 17
Sonraki adımlar
- HDInsight üzerinde Apache Hadoop'ta MapReduce kullanın.
- Apache Hive ve Apache Pig ile C# kullanıcı tanımlı bir işlev kullanın.
- Java MapReduce programları geliştirme