Egycsomópontos fürtök

  • Cikk
  • 2 perc alatt elolvasható

Az egycsomópontos fürt egy Apache Spark-illesztőből álló fürt, és nincs Spark-feldolgozó. Egy csomópontos fürt támogatja a Spark-feladatokat és az összes Spark-adatforrást, beleértve a Delta Lake-t is. A Standard fürtökhöz legalább egy Spark-feldolgozó szükséges a Spark-feladatok futtatásához.

Az egycsomópontos fürtök a következőkhöz hasznosak:

  • Egycsomópontos gépi tanulási számítási feladatok, amelyek a Spark használatával töltik be és mentik az adatokat
  • Egyszerűsített feltáró jellegű adatelemzés

Egycsomópontos fürt létrehozása

Egycsomópontos fürt létrehozásához állítsa a fürt üzemmódotegyetlen csomópontra a fürt konfigurálásakor.

Single Node cluster mode

Egycsomópontos fürt tulajdonságai

Egy csomópontos fürt a következő tulajdonságokkal rendelkezik:

  • Helyileg futtatja a Sparkot.
  • Az illesztőprogram főként és feldolgozóként is működik, munkavégző csomópontok nélkül.
  • Logikai magonként egy végrehajtó szálat hoz ki a fürtben, mínusz 1 magot az illesztőprogramhoz.
  • Az összes stderr, stdoutés log4j a napló kimenete az illesztőprogram naplójába lesz mentve.
  • Egyetlen csomópontos fürt nem konvertálható standard fürtté. Standard fürt használatához hozza létre a fürtöt, és csatolja hozzá a jegyzetfüzetet.

Korlátozások

  • A nagy léptékű adatfeldolgozás kimeríti az egyetlen csomópontos fürt erőforrásait. Ezekhez a számítási feladatokhoz a Databricks standard módú fürt használatát javasolja.

  • Az egycsomópontos fürtök nem oszthatók meg. Az erőforrás-ütközések elkerülése érdekében a Databricks standard módú fürt használatát javasolja, amikor a fürtöt meg kell osztani.

  • A Standard módú fürtök nem méretezhetők 0 feldolgozóra. Használjon inkább egy csomópontos fürtöt.

  • Az egycsomópontos fürtök nem kompatibilisek a folyamatelkülönítéssel.

  • A GPU-ütemezés nincs engedélyezve az egycsomópontos fürtökön.

  • Egycsomópontos fürtökön a Spark nem tudja olvasni az UDT-oszlopot tartalmazó Parquet-fájlokat. A következő hibaüzenet eredménye:

    The Spark driver has stopped unexpectedly and is restarting. Your notebook will be automatically reattached.

    A probléma megkerüléséhez tiltsa le a natív Parquet-olvasót:

    spark.conf.set("spark.databricks.io.parquet.nativeReader.enabled", False)

REST API

A Clusters API-val egyetlen csomópontos fürtöt hozhat létre.

Egycsomópontos fürtszabályzat

A fürtszabályzatok leegyszerűsítik az egycsomópontos fürtök fürtkonfigurációját.

Vegyük példaként azt az adatelemzési csapatot, amelynek tagjai nem rendelkeznek engedéllyel a fürtök létrehozásához. A rendszergazdák létrehozhatnak egy fürtszabályzatot, amely engedélyezi a csapattagoknak, hogy legfeljebb egycsomópontos fürtöket hozzanak létre készletek és fürtszabályzatok használatával:

  1. Készlet létrehozása:

    1. Állítsa a maximális kapacitást a következőre 10: .
    2. Az Autopilot beállításaiban engedélyezze az automatikus skálázást a helyi tárterületen.
    3. Állítsa a példány típusátegycsomópontos fürtre.
    4. Válasszon egy Azure Databricks-verziót. A Databricks a legújabb verzió használatát javasolja, ha lehetséges.
    5. Kattintson a Létrehozás lehetőségre.

    Megjelenik a készlet tulajdonságainak lapja. Jegyezze fel az újonnan létrehozott készlet készletazonosítóját és példánytípus-azonosítóját.

  2. Fürtszabályzat létrehozása:

    • Állítsa be a készlet azonosítóját és a példánytípus azonosítóját a készlet tulajdonságaiból.
    • Szükség szerint adja meg a korlátozásokat .

  3. Adja meg a fürtszabályzatot a csapattagok számára. A felhasználók és csoportok kezelése szolgáltatással egyszerűbbé teheti a felhasználók kezelését.

    {
  "spark_conf.spark.databricks.cluster.profile": {
    "type": "fixed",
    "value": "singleNode",
    "hidden": true
  },
  "instance_pool_id": {
    "type": "fixed",
    "value": "singleNodePoolId1",
    "hidden": true
  },
  "spark_version": {
    "type": "fixed",
    "value": "7.3.x-cpu-ml-scala2.12",
    "hidden": true
  },
  "autotermination_minutes": {
    "type": "fixed",
    "value": 120,
    "hidden": true
  },
  "num_workers": {
    "type": "fixed",
    "value": 0,
    "hidden": true
  },
  "docker_image.url": {
    "type": "forbidden",
    "hidden": true
  }
}

Egycsomópontos feladat fürtszabályzata

A feladatok fürtszabályzatának beállításához definiálhat egy hasonló fürtszabályzatot. Állítsa be a cluster_type.type következőt fixed : cluster_type.valuejob. Távolítsa el a hivatkozásokat.auto_termination_minutes

{
  "cluster_type": {
    "type": "fixed",
    "value": "job"
  },
  "spark_conf.spark.databricks.cluster.profile": {
    "type": "fixed",
    "value": "singleNode",
    "hidden": true
  },
  "instance_pool_id": {
    "type": "fixed",
    "value": "singleNodePoolId1",
    "hidden": true
  },
  "num_workers": {
    "type": "fixed",
    "value": 0,
    "hidden": true
  },
  "spark_version": {
    "type": "fixed",
    "value": "7.3.x-cpu-ml-scala2.12",
    "hidden": true
  },
  "docker_image.url": {
    "type": "forbidden",
    "hidden": true
  }
}