SCP gebruiken met Apache Hadoop in Azure HDInsight
Dit artikel bevat informatie over het veilig overdragen van bestanden met uw HDInsight-cluster.
Bestanden kopiëren
Het hulpprogramma scp kan worden gebruikt om bestanden te kopiëren naar en van afzonderlijke knooppunten in het cluster. De volgende opdracht kopieert bijvoorbeeld de map test.txt uit het lokale systeem naar het primaire hoofdknooppunt:
scp test.txt sshuser@clustername-ssh.azurehdinsight.net:
Omdat er geen pad is opgegeven na de :, wordt het bestand geplaatst in de basismap sshuser.
In het volgende voorbeeld wordt het bestand test.txt uit de basismap sshuser op het primaire hoofdknooppunt gekopieerd naar het lokale systeem:
scp sshuser@clustername-ssh.azurehdinsight.net:test.txt .
scp heeft alleen toegang tot het bestandssysteem van afzonderlijke knooppunten in het cluster. Het kan niet worden gebruikt voor toegang tot gegevens in de HDFS-compatibele opslag voor het cluster.
Gebruik scp wanneer u een resource moet uploaden voor gebruik in een SSH-sessie. Upload bijvoorbeeld van een Python-script en voer het script uit in een SSH-sessie.
Zie de volgende documenten voor informatie over het rechtstreeks laden van gegevens in de Hadoop Distributed File System-compatibele opslag: