Проектирование данных Databricks

  • Статья

Функции проектирования данных Databricks — это надежная среда для совместной работы между специалистами по обработке и анализу данных, инженерами и аналитиками данных. Задачи проектирования данных также являются основой решений машинного обучения Databricks.

Примечание.

Если вы являетесь аналитиком данных, который работает в основном с sql-запросами и инструментами бизнес-аналитики, вы можете использовать Databricks SQL.

Имя. Предназначение
Разностные динамические таблицы Узнайте, как создавать конвейеры данных для приема и преобразования с помощью Databricks Delta Live Tables.
Структурированная потоковая передача Сведения о потоковой передаче, добавочной и рабочей нагрузке в режиме реального времени, на основе структурированной потоковой передачи в Databricks.
Apache Spark Узнайте, как Apache Spark работает с Databricks и платформой Databricks.
Среда выполнения приложений Узнайте о кластерах Databricks и их создании и управлении ими.
Записные книжки Узнайте, что такое записная книжка Databricks, а также как использовать записные книжки и управлять ими для обработки, анализа и визуализации данных.
Бизнес-процессы Узнайте, как управлять рабочими процессами обработки данных, машинного обучения и анализа данных на платформе Databricks.
Библиотеки Узнайте, как сделать сторонний или пользовательский код доступным в Databricks с помощью библиотек. Узнайте о различных режимах установки библиотек в Databricks.
Папки Git Узнайте, как использовать Git для управления версиями записных книжек и других файлов для разработки в Databricks.
DBFS Сведения о файловой системе Databricks (DBFS), распределенной файловой системе, подключенной к рабочей области Databricks и доступной в кластерах Databricks
Файлы Узнайте о вариантах работы с файлами в Databricks.
Миграция Узнайте, как перенести такие приложения данных, как задания ETL, корпоративные хранилища данных, машинное обучение, обработка и анализ данных в Databricks.
Оптимизация и производительность Узнайте об оптимизации и рекомендациях по производительности databricks.