Az Azure Databricks architektúrája áttekintése
Ez a cikk magas szintű áttekintést nyújt az Azure Databricks architektúrájáról, beleértve a vállalati architektúrát is, az Azure-ral kombinálva.
Vezérlősík és számítási sík
Az Azure Databricks úgy van felépítve, hogy biztonságos, többfunkcionális csapatmunkát biztosítson, miközben az Azure Databricks által felügyelt háttérszolgáltatások jelentős részét megtartja, így továbbra is az adatelemzési, adatelemzési és adatmérnöki feladatokra összpontosíthat.
Az Azure Databricks vezérlősíkon és számítási síkon kívül működik.
A vezérlősík tartalmazza az Azure Databricks által az Azure Databricks-fiókban kezelt háttérszolgáltatásokat. A jegyzetfüzet-parancsok és sok más munkaterület-konfiguráció a vezérlősíkban van tárolva, és inaktív állapotban titkosítva vannak.
A számítási síkon dolgozzák fel az adatokat.
- A legtöbb Azure Databricks-számítás esetében a számítási erőforrások az Azure-előfizetésben találhatók a klasszikus számítási síkban. Ez az Azure-előfizetésben lévő hálózatra és annak erőforrásaira vonatkozik. Az Azure Databricks a klasszikus számítási síkot használja jegyzetfüzeteihez, feladataihoz, valamint profi és klasszikus Databricks SQL-raktárakhoz.
- Kiszolgáló nélküli SQL-raktárak vagy modellszolgáltatás esetén a kiszolgáló nélküli számítási erőforrások kiszolgáló nélküli számítási síkon futnak az Azure Databricks-fiókban. További architektúrainformációkért lásd : Kiszolgáló nélküli számítás.
Feljegyzés
Az Azure Databricks korábban adatsíkként hivatkozott a számítási síkra.
Az Azure Databricks-összekötőkkel fürtöket csatlakoztathat az Azure-előfizetésen kívüli külső adatforrásokhoz adatok betöltéséhez vagy tároláshoz. Külső streamelési adatforrásokból is betölthet adatokat, például eseményadatokat, streamelési adatokat, IoT-adatokat stb. Lásd az adatforrások Csatlakozás.
A klasszikus számítási sík hálózatainak konfigurálásához tekintse meg a klasszikus számításisík-hálózatkezelést.
A data lake-t az Azure-előfizetésében és saját adatforrásaiban tárolja a rendszer, így ön felügyelheti és birtokolhatja az adatokat.
A feladatok eredményei az Azure-előfizetés tárterületében találhatók. Az interaktív jegyzetfüzetek eredményeihez a tárolás a vezérlősík (a felhasználói felületen való megjelenítés részleges eredményei) és az Azure Storage kombinációja. Ha csak az Azure-előfizetésében szeretné tárolni az interaktív jegyzetfüzetek eredményeit, konfigurálhatja a tárolóhelyet az interaktív jegyzetfüzetek eredményeihez. Lásd: A tárolóhely konfigurálása interaktív jegyzetfüzet-eredményekhez. Vegye figyelembe, hogy az eredmények metaadatai, például a diagramoszlopok nevei továbbra is a vezérlősíkon vannak tárolva.
Magas szintű architektúra
Bár az architektúrák az egyéni konfigurációktól függően változhatnak (például amikor üzembe helyezett egy Azure Databricks-munkaterületet a saját virtuális hálózatára, más néven VNet-injektálásra), az alábbi architektúradiagram az Azure Databricks leggyakoribb struktúráját és adatáramlását mutatja be.
Az alábbi ábra az általános architektúrát ismerteti. A kiszolgáló nélküli SQL-raktárakhoz használt kiszolgáló nélküli számítási síkkal kapcsolatos részletekért lásd : Kiszolgáló nélküli számítás.
