Fouten opsporen in WASB-bestandsbewerkingen in Azure HDInsight

  • Artikel

Er zijn momenten waarop u mogelijk wilt begrijpen welke bewerkingen het WASB-stuurprogramma is gestart met Azure Storage. Voor de clientzijde produceert het WASB-stuurprogramma logboeken voor elke bestandssysteembewerking op FOUTOPSPORINGsniveau . HET WASB-stuurprogramma maakt gebruik van log4j om het logboekregistratieniveau te beheren en de standaardwaarde is INFO-niveau . Zie Logboekregistratie van Azure Storage-analyses voor azure Storage-logboeken voor analyse aan de serverzijde.

Een geproduceerd logboek ziet er ongeveer als volgt uit:

18/05/13 04:15:55 DEBUG NativeAzureFileSystem: Moving wasb://xxx@yyy.blob.core.windows.net/user/livy/ulysses.txt/_temporary/0/_temporary/attempt_20180513041552_0000_m_000000_0/part-00000 to wasb://xxx@yyy.blob.core.windows.net/user/livy/ulysses.txt/part-00000

WASB-foutopsporingslogboek inschakelen voor bestandsbewerkingen

  1. Navigeer in een webbrowser naar https://CLUSTERNAME.azurehdinsight.net/#/main/services/SPARK2/configs, waar CLUSTERNAME is de naam van uw Spark-cluster.

  2. Navigeer naar geavanceerde spark2-log4j-properties.

    1. Wijzigen log4j.appender.console.Threshold=INFO in log4j.appender.console.Threshold=DEBUG.

    2. Toevoegen log4j.logger.org.apache.hadoop.fs.azure.NativeAzureFileSystem=DEBUG.

  3. Navigeer naar Advanced livy2-log4j-properties.

    Toevoegen log4j.logger.org.apache.hadoop.fs.azure.NativeAzureFileSystem=DEBUG.

  4. Wijzigingen opslaan.

Aanvullende logboekregistratie

De bovenstaande logboeken moeten een goed beeld bieden van de bestandssysteembewerkingen. Als de bovenstaande logboeken nog steeds geen nuttige informatie bieden of als u blob storage-API-aanroepen wilt onderzoeken, voegt u deze toe fs.azure.storage.client.logging=true aan de core-site. Met deze instelling kunt u de Java SDK-logboeken voor wasb-opslagstuurprogramma's gebruiken en elke aanroep naar de blobopslagserver afdrukken. Verwijder de instelling na onderzoek omdat deze de schijf snel kan vullen en het proces kan vertragen.

Als de back-end is gebaseerd op Azure Data Lake, gebruikt u de volgende log4j-instelling voor het onderdeel (bijvoorbeeld spark/tez/hdfs):

log4j.logger.com.microsoft.azure.datalake.store=ALL,adlsFile
log4j.additivity.com.microsoft.azure.datalake.store=true
log4j.appender.adlsFile=org.apache.log4j.FileAppender
log4j.appender.adlsFile.File=/var/log/adl/adl.log
log4j.appender.adlsFile.layout=org.apache.log4j.PatternLayout
log4j.appender.adlsFile.layout.ConversionPattern=%p\t%d{ISO8601}\t%r\t%c\t[%t]\t%m%n

Zoek naar de logboeken /var/log/adl/adl.log voor de logboeken.

Volgende stappen

Als u uw probleem niet hebt gezien of uw probleem niet kunt oplossen, gaat u naar een van de volgende kanalen voor meer ondersteuning:

  • Krijg antwoorden van Azure-experts via de ondersteuning van De Azure-community.

  • Verbinding maken met @AzureSupport: het officiële Microsoft Azure-account voor het verbeteren van de klantervaring. Verbinding maken de Azure-community naar de juiste resources: antwoorden, ondersteuning en experts.

  • Als u meer hulp nodig hebt, kunt u een ondersteuningsaanvraag indienen via Azure Portal. Selecteer Ondersteuning in de menubalk of open de Help + ondersteuningshub . Raadpleeg hoe u een ondersteuning voor Azure aanvraag maakt voor meer informatie. Toegang tot abonnementsbeheer en factuurbeheer is in uw Microsoft Azure-abonnement inbegrepen, en technische ondersteuning wordt verstrekt via een van de Azure-ondersteuningsplannen.