Monitorování Azure Databricks

  • Článek

Azure Databricks je výkonná analytická služba založená na Apache Sparku, která usnadňuje rychlý vývoj a nasazení řešení umělé inteligence (AI) a velkých objemů dat. Celá řada uživatelů ve svých řešeních Azure Databricks využívá jednoduchost poznámkových bloků. Pro uživatele, kteří vyžadují robustnější výpočetní možnosti, Azure Databricks podporuje distribuované spouštění vlastního aplikačního kódu.

Monitorování je zásadní součástí jakéhokoli řešení na provozní úrovni a Azure Databricks nabízí robustní funkce pro sledování metrik vlastních aplikací, událostí dotazů streamování a zpráv aplikačních protokolů. Azure Databricks může tato monitorovací data odesílat do různých protokolovacích služeb.

Následující článek ukazuje, jak odesílat data z Azure Databricks do Azure Monitoru, platformy dat monitorování pro Azure.

Knihovna kódu, která doprovází tyto články, rozšiřuje základní monitorovací funkce Azure Databricks a do Azure Monitoru odesílá informace o protokolování, událostech a metrikách Sparku.

Tyto články a doprovodná knihovna kódu jsou určené pro vývojáře řešení Azure Databricks a Apache Spark. Kód musí být začleněný do souborů JAR (Java Archive) a potom nasazený do clusteru Azure Databricks. Kód je kombinací Scaly a Javy, s odpovídající sadou souborů POM (Project Object Model) Mavenu pro sestavení výstupních souborů JAR. Jako předpoklad se doporučuje porozumění Javě, Scale a Mavenu.

Další kroky

Začněte sestavováním knihovny kódu a jejím nasazením do clusteru Azure Databricks.

Odesílání protokolů aplikací Azure Databricks do Azure Monitoru