Szybki start: tworzenie obszaru roboczego usługi Azure Databricks we własnej sieci wirtualnej

Domyślne wdrożenie usługi Azure Databricks tworzy nową sieć wirtualną zarządzaną przez usługę Databricks. W tym przewodniku Szybki start pokazano, jak utworzyć obszar roboczy usługi Azure Databricks we własnej sieci wirtualnej. Utworzysz również klaster Apache Spark w tym obszarze roboczym.

Aby uzyskać więcej informacji na temat tego, dlaczego możesz wybrać tworzenie obszaru roboczego usługi Azure Databricks we własnej sieci wirtualnej, zobacz Wdrażanie usługi Azure Databricks w usłudze Azure Virtual Network (iniekcja sieci wirtualnej).

Wymagania wstępne

  • Jeśli nie masz subskrypcji platformy Azure, utwórz bezpłatne konto. Nie można przeprowadzić tego samouczka przy użyciu subskrypcji bezpłatnej wersji próbnej platformy Azure. Jeśli masz bezpłatne konto, przejdź do swojego profilu i zmień subskrypcję na płatność zgodnie z rzeczywistym użyciem. Aby uzyskać więcej informacji, zobacz Bezpłatne konto platformy Azure. Następnie usuń limit wydatków i zażądaj zwiększenia limitu przydziału dla procesorów wirtualnych w Twoim regionie. Podczas tworzenia obszaru roboczego usługi Azure Databricks możesz wybrać warstwę cenową Wersja próbna (Premium — 14-dniowa bezpłatna jednostka DBU), aby zapewnić obszarowi roboczemu dostęp do bezpłatnych jednostek DBU usługi Azure Databricks w warstwie Premium przez 14 dni.

  • Musisz być współautorem lub właścicielem platformy Azure albo dostawca zasobów Microsoft.ManagedIdentity musi być zarejestrowany w subskrypcji. Aby uzyskać instrukcje, postępuj zgodnie z instrukcjami, postępuj zgodnie z instrukcjami, aby zarejestrować dostawcę zasobów.

Zaloguj się do witryny Azure Portal.

Zaloguj się w witrynie Azure Portal.

Uwaga

Jeśli chcesz utworzyć obszar roboczy usługi Azure Databricks w chmurze komercyjnej Azure, która przechowuje certyfikaty zgodności dla instytucji rządowych USA, takie jak FedRAMP High, skontaktuj się z zespołem ds. konta firmy Microsoft lub usługi Databricks, aby uzyskać dostęp do tego środowiska.

Tworzenie sieci wirtualnej

  1. W menu portalu Azure wybierz polecenie Utwórz zasób. Następnie wybierz pozycję Sieć wirtualna>.

    Tworzenie sieci wirtualnej w witrynie Azure Portal

  2. W obszarze Tworzenie sieci wirtualnej zastosuj następujące ustawienia:

    Ustawienie Sugerowana wartość opis
    Subskrypcja <Twoja subskrypcja> Wybierz subskrypcję platformy Azure, której chcesz użyć.
    Grupa zasobów databricks — szybki start Wybierz pozycję Utwórz nowy i wprowadź nową nazwę grupy zasobów dla swojego konta.
    Nazwisko databricks — szybki start Wybierz nazwę sieci wirtualnej.
    Region (Region) <Wybierz region, który jest najbliżej Twoich użytkowników> Wybierz lokalizację geograficzną, w której możesz hostować sieć wirtualną. Użyj lokalizacji znajdującej się najbliżej użytkowników.

    Podstawowe informacje dotyczące sieci wirtualnej w witrynie Azure Portal

  3. Wybierz pozycję Dalej: adresy > IP i zastosuj następujące ustawienia. Następnie wybierz pozycję Przejrzyj i utwórz.

    Ustawienie Sugerowana wartość opis
    Przestrzeń adresowa IPv4 10.2.0.0/16 Zakres adresów sieci wirtualnej w notacji CIDR. Zakres CIDR musi należeć do zakresu od /16 do /24
    Nazwa podsieci domyślna Wybierz nazwę domyślnej podsieci w sieci wirtualnej.
    Zakres adresów podsieci 10.2.0.0/24 Zakres adresów podsieci w notacji CIDR. Musi ona być zawarta w przestrzeni adresowej sieci wirtualnej. Nie można edytować zakresu adresów podsieci, która jest używana.

    Ustawianie konfiguracji adresów IP dla sieci wirtualnej w witrynie Azure Portal

  4. Na karcie Przeglądanie + tworzenie wybierz pozycję Utwórz, aby wdrożyć sieć wirtualną. Po zakończeniu wdrażania przejdź do sieci wirtualnej i wybierz pozycję Przestrzeń adresowa w obszarze Ustawienia. W polu z tekstem Dodaj dodatkowy zakres adresów wstaw 10.179.0.0/16 i wybierz pozycję Zapisz.

    Przestrzeń adresowa sieci wirtualnej platformy Azure

Tworzenie obszaru roboczego usługi Azure Databricks

  1. W menu portalu Azure wybierz polecenie Utwórz zasób. Następnie wybierz pozycję Analiza > usługi Databricks.

    Tworzenie obszaru roboczego usługi Azure Databricks w witrynie Azure Portal

  2. W obszarze Azure Databricks Service zastosuj następujące ustawienia:

    Ustawienie Sugerowana wartość opis
    Nazwa obszaru roboczego databricks — szybki start Wybierz nazwę obszaru roboczego usługi Azure Databricks.
    Subskrypcja <Twoja subskrypcja> Wybierz subskrypcję platformy Azure, której chcesz użyć.
    Grupa zasobów databricks — szybki start Wybierz tę samą grupę zasobów używaną dla sieci wirtualnej.
    Lokalizacja <Wybierz region, który jest najbliżej Twoich użytkowników> Wybierz tę samą lokalizację co sieć wirtualna.
    Warstwa cenowa Wybierz warstwę Standardowa lub Premium. Aby uzyskać więcej informacji na temat warstw cenowych, zobacz stronę cennika usługi Databricks.

    Podstawy tworzenia obszaru roboczego usługi Azure Databricks

  3. Po zakończeniu wprowadzania ustawień na stronie Podstawowe wybierz pozycję Dalej: Sieć > i zastosuj następujące ustawienia:

    Ustawienie Sugerowana wartość opis
    Wdrażanie obszaru roboczego usługi Azure Databricks w sieci wirtualnej Tak To ustawienie umożliwia wdrożenie obszaru roboczego usługi Azure Databricks w sieci wirtualnej.
    Virtual Network databricks — szybki start Wybierz sieć wirtualną utworzoną w poprzedniej sekcji.
    Nazwa podsieci publicznej podsieć publiczna Użyj domyślnej nazwy podsieci publicznej.
    Zakres ciDR podsieci publicznej 10.179.64.0/18 Użyj zakresu CIDR w górę do /26 i w tym /26.
    Nazwa podsieci prywatnej podsieć prywatna Użyj domyślnej nazwy podsieci prywatnej.
    Zakres CIDR podsieci prywatnej 10.179.0.0/18 Użyj zakresu CIDR w górę do /26 i w tym /26.

    Dodawanie informacji o sieci wirtualnej do obszaru roboczego usługi Azure Databricks w witrynie Azure Portal

  4. Po zakończeniu wdrażania przejdź do zasobu usługi Azure Databricks. Zauważ, że komunikacja równorzędna sieci wirtualnych jest wyłączona. Zwróć również uwagę na grupę zasobów i zarządzaną grupę zasobów na stronie przeglądu.

    Omówienie usługi Azure Databricks w witrynie Azure Portal

    Zarządzana grupa zasobów nie jest modyfikowalna i nie jest używana do tworzenia maszyn wirtualnych. Maszyny wirtualne można tworzyć tylko w zarządzanej grupie zasobów.

    Zarządzana grupa zasobów usługi Azure Databricks

    W przypadku niepowodzenia wdrożenia obszaru roboczego obszar roboczy jest nadal tworzony w stanie niepowodzenia. Usuń nieudanych obszarów roboczych i utwórz nowy obszar roboczy, który usuwa błędy wdrażania. Po usunięciu zakończonego niepowodzeniem obszaru roboczego zarządzana grupa zasobów i wszystkie pomyślnie wdrożone zasoby również zostaną usunięte.

Tworzenie klastra

Uwaga

Aby użyć bezpłatnego konta do utworzenia klastra usługi Azure Databricks, przed utworzeniem klastra przejdź do swojego profilu i zmień swoją subskrypcję na płatność zgodnie z rzeczywistym użyciem. Aby uzyskać więcej informacji, zobacz Bezpłatne konto platformy Azure.

  1. Wróć do usługi Azure Databricks i wybierz pozycję Uruchom obszar roboczy na stronie Przegląd .

  2. Wybierz pozycję Klastry>+ Utwórz klaster. Następnie utwórz nazwę klastra, taką jak databricks-quickstart-cluster, i zaakceptuj pozostałe ustawienia domyślne. Wybierz pozycję Utwórz klaster.

    Tworzenie klastra usługi Azure Databricks

  3. Po uruchomieniu klastra wróć do zarządzanej grupy zasobów w witrynie Azure Portal. Zwróć uwagę na nowe maszyny wirtualne, dyski, adres IP i interfejsy sieciowe. Interfejs sieciowy jest tworzony w każdej z podsieci publicznych i prywatnych z adresami IP.

    Zarządzana grupa zasobów usługi Azure Databricks po utworzeniu klastra

  4. Wróć do obszaru roboczego usługi Azure Databricks i wybierz utworzony klaster. Następnie przejdź do karty Funkcje wykonawcze na stronie interfejsu użytkownika platformy Spark. Zwróć uwagę, że adresy sterownika i funkcji wykonawczych znajdują się w zakresie podsieci prywatnej. W tym przykładzie sterownik to 10.179.0.6, a funkcje wykonawcze to 10.179.0.4 i 10.179.0.5. Twoje adresy IP mogą być inne.

    Funkcje wykonawcze interfejsu użytkownika platformy Spark w usłudze Azure Databricks

Czyszczenie zasobów

Gdy skończysz korzystać z tego artykułu, możesz zakończyć działanie klastra. Aby to zrobić, w obszarze roboczym usługi Azure Databricks wybierz pozycję Klastry w lewym okienku. W obszarze klastra, którego działanie chcesz zakończyć, przesuń kursor na wielokropek w kolumnie Akcje, a następnie wybierz ikonę Zakończ. Spowoduje to zatrzymanie klastra.

Jeśli nie zakończysz działania klastra ręcznie, zostanie on automatycznie zatrzymany, o ile podczas tworzenia klastra zaznaczono pole wyboru Zakończ po __ min aktywności. W takim przypadku nieaktywny klaster automatycznie zatrzymuje się po określonym czasie.

Jeśli nie chcesz ponownie używać klastra, możesz usunąć grupę zasobów utworzoną w witrynie Azure Portal.

Następne kroki

W tym artykule utworzono klaster Spark w usłudze Azure Databricks wdrożony w sieci wirtualnej. Przejdź do następnego artykułu, aby dowiedzieć się, jak wykonywać zapytania dotyczące kontenera platformy Docker w systemie Linux programu SQL Server w sieci wirtualnej przy użyciu protokołu JDBC z notesu usługi Azure Databricks.