Analizowanie danych na koncie magazynu

  • Artykuł

Z tego samouczka dowiesz się, jak analizować dane znajdujące się na koncie magazynu.

Omówienie

Do tej pory omówiliśmy scenariusze, w których dane znajdują się w bazach danych w obszarze roboczym. Teraz pokażemy, jak pracować z plikami na kontach magazynu. W tym scenariuszu użyjemy podstawowego konta magazynu obszaru roboczego i kontenera określonego podczas tworzenia obszaru roboczego.

  • Nazwa konta magazynu: contosolake
  • Nazwa kontenera na koncie magazynu: użytkownicy

Tworzenie plików CSV i Parquet na koncie magazynu

Uruchom następujący kod w notesie w nowej komórce kodu. Tworzy plik CSV i plik parquet na koncie magazynu.

%%pyspark
df = spark.sql("SELECT * FROM nyctaxi.passengercountstats")
df = df.repartition(1) # This ensures we'll get a single file during write()
df.write.mode("overwrite").csv("/NYCTaxi/PassengerCountStats_csvformat")
df.write.mode("overwrite").parquet("/NYCTaxi/PassengerCountStats_parquetformat")

Analizowanie danych na koncie magazynu

Możesz analizować dane na domyślnym koncie usługi ADLS Gen2 obszaru roboczego lub połączyć konto usługi ADLS Gen2 lub Blob Storage z obszarem roboczym za pomocą polecenia "Zarządzaj" > "Połączone usługi" "Nowe" > (poniższe kroki odnoszą się do podstawowego konta usługi ADLS Gen2).

  1. W Synapse Studio przejdź do centrum danych, a następnie wybierz pozycję Połączone.

  2. Przejdź do Azure Data Lake Storage Gen2>myworkspace (Primary — contosolake).

  3. Wybierz użytkowników (podstawowy). Powinien zostać wyświetlony folder NYCTaxi . Wewnątrz powinny być widoczne dwa foldery o nazwie PassengerCountStats_csvformat i PassengerCountStats_parquetformat.

  4. Otwórz folder PassengerCountStats_parquetformat . W środku zobaczysz plik parquet o nazwie takiej jak part-00000-2638e00c-0790-496b-a523-578da9a15019-c000.snappy.parquet.

  5. Kliknij prawym przyciskiem myszy plik parquet, a następnie wybierz pozycję Nowy notes, a następnie wybierz pozycję Załaduj do ramki danych. Zostanie utworzony nowy notes z komórką podobną do następującej:

    %%pyspark
abspath = 'abfss://users@contosolake.dfs.core.windows.net/NYCTaxi/PassengerCountStats_parquetformat/part-00000-1f251a58-d8ac-4972-9215-8d528d490690-c000.snappy.parquet'
df = spark.read.load(abspath, format='parquet')
display(df.limit(10))

  6. Dołącz do puli Spark o nazwie Spark1. Uruchom komórkę. Jeśli wystąpi błąd związany z brakiem rdzeni, ta pula platformy Spark może być używana przez inną sesję. Anuluj wszystkie istniejące sesje i ponów próbę.

  7. Wybierz ponownie folder users . Ponownie kliknij prawym przyciskiem myszy plik parquet, a następnie wybierz pozycję Nowy skrypt> SQLWYBIERZ 100 pierwszych wierszy. Spowoduje to utworzenie skryptu SQL w następujący sposób:

    SELECT 
    TOP 100 *
FROM OPENROWSET(
    BULK 'https://contosolake.dfs.core.windows.net/users/NYCTaxi/PassengerCountStats_parquetformat/part-00000-1f251a58-d8ac-4972-9215-8d528d490690-c000.snappy.parquet',
    FORMAT='PARQUET'
) AS [result]

    W oknie skryptu upewnij się, że pole Połącz z jest ustawione na wbudowaną bezserwerową pulę SQL.

  8. Uruchom skrypt.

Następne kroki

Organizowanie działań za pomocą potoków