Compute

Środowisko obliczeniowe usługi Azure Databricks odnosi się do wyboru zasobów obliczeniowych, które można aprowizować w obszarze roboczym usługi Azure Databricks. Zasoby obliczeniowe usługi Azure Databricks obejmują wszystkie przeznaczenie i obliczenia zadań (nazywane również klastrami), pule wystąpień, bezserwerowe magazyny SQL i klasyczne magazyny SQL.

Potrzebujesz obliczeń, aby uruchamiać obciążenia inżynierii danych, nauki o danych i analizy danych, takie jak produkcyjne potoki ETL, analiza przesyłania strumieniowego, analiza ad hoc i uczenie maszynowe. Zasoby obliczeniowe obszaru roboczego można tworzyć i zarządzać nimi przy użyciu sekcji Obliczenia obszaru roboczego:

All-purpose compute page in Databricks workspace

Są to typy zasobów obliczeniowych dostępnych w usłudze Azure Databricks:

  • Obliczenia typu All-Purpose: służy do wspólnego analizowania danych przy użyciu interaktywnego notesu. Możesz utworzyć, zakończyć i ponownie uruchomić to środowisko obliczeniowe przy użyciu interfejsu użytkownika, interfejsu wiersza polecenia lub interfejsu API REST.

  • Obliczenia zadań: służy do uruchamiania szybkich i niezawodnych zadań automatycznych. Harmonogram zadań usługi Azure Databricks tworzy obliczenia zadania podczas uruchamiania zadania w ramach nowego obliczenia. Obliczenia kończą się po zakończeniu zadania. Nie można ponownie uruchomić obliczeń zadania. Zobacz Use Azure Databricks compute with your jobs (Używanie obliczeń usługi Azure Databricks z zadaniami).

  • Pule wystąpień: obliczenia z bezczynnymi, gotowymi do użycia wystąpieniami służącymi do skrócenia czasu uruchamiania i skalowania automatycznego. To środowisko obliczeniowe można utworzyć przy użyciu interfejsu użytkownika, interfejsu wiersza polecenia lub interfejsu API REST.

  • Bezserwerowe magazyny SQL: elastyczne obliczenia na żądanie używane do uruchamiania poleceń SQL na obiektach danych w edytorze SQL lub notesach interaktywnych. Magazyny SQL można tworzyć przy użyciu interfejsu użytkownika, interfejsu wiersza polecenia lub interfejsu API REST.

  • Klasyczne magazyny SQL: zaaprowizowane zasoby obliczeniowe używane do uruchamiania poleceń SQL na obiektach danych w edytorze SQL lub w notesach interaktywnych. Magazyny SQL można tworzyć przy użyciu interfejsu użytkownika, interfejsu wiersza polecenia lub interfejsu API REST.

W artykułach w tej sekcji opisano sposób pracy z zasobami obliczeniowymi przy użyciu interfejsu użytkownika usługi Azure Databricks. Inne metody można znaleźć w temacie Use the command line and the Databricks REST API reference (Używanie wiersza polecenia i dokumentacji interfejsu API REST usługi Databricks).

Databricks Runtime

Środowisko Databricks Runtime to zestaw podstawowych składników uruchamianych na obliczeniach. Każda wersja środowiska Databricks Runtime zawiera aktualizacje, które zwiększają użyteczność, wydajność i bezpieczeństwo analizy danych big data. Środowisko Databricks Runtime w środowisku obliczeniowym dodaje wiele funkcji, w tym:

  • Usługa Delta Lake, warstwa magazynu nowej generacji oparta na platformie Apache Spark, która zapewnia transakcje ACID, zoptymalizowane układy i indeksy oraz ulepszenia aparatu wykonywania dla tworzenia potoków danych. Zobacz Co to jest usługa Delta Lake?.
  • Zainstalowane biblioteki Java, Scala, Python i R.
  • Ubuntu i towarzyszące mu biblioteki systemowe.
  • Biblioteki procesora GPU dla klastrów z obsługą procesora GPU.
  • Usługi Azure Databricks, które integrują się z innymi składnikami platformy, takimi jak notesy, zadania i zarządzanie klastrami.

Aby uzyskać informacje o zawartości każdej wersji środowiska uruchomieniowego, zobacz informacje o wersji.

Przechowywanie wersji środowiska uruchomieniowego

Wersje środowiska Databricks Runtime są regularnie wydawane:

  • Wersje wsparcia długoterminowego są reprezentowane przez kwalifikator LTS (na przykład 3,5 LTS). Dla każdej wersji głównej deklarujemy "kanoniczną" wersję funkcji, dla której zapewniamy trzy pełne lata pomocy technicznej. Aby uzyskać więcej informacji, zobacz Cykle wsparcia środowiska uruchomieniowego usługi Databricks.
  • Wersje główne są reprezentowane przez przyrost do numeru wersji, który poprzedza punkt dziesiętny (na przykład skok z 3,5 do 4,0). Są one zwalniane, gdy występują poważne zmiany, z których niektóre mogą nie być zgodne z poprzednimi wersjami.
  • Wersje funkcji są reprezentowane przez przyrost do numeru wersji, który następuje po przecinku dziesiętnym (na przykład skok z 3.4 do 3.5). Każda główna wersja zawiera wiele wersji funkcji. Wersje funkcji są zawsze wstecznie zgodne z poprzednimi wersjami w ramach wersji głównej.