Поддерживаемые хранилища данных в Azure Data Share
Azure Data Share предоставляет открытые и гибкие возможности общего доступа к данным, в том числе возможность использования данных совместно с другими хранилищами данных. Поставщики данных могут обмениваться данными из хранилищ данных одного типа, а потребители данных могут выбрать хранилище для получения данных.
В этой статье вы узнаете о наборе хранилищ данных Azure, поддерживаемых Azure Data Share. Вы также узнаете, как поставщики и потребители данных могут комбинировать различные хранилища данных.
Поддерживаемые хранилища данных
В следующей таблице описаны хранилища данных, которые поддерживает Azure Data Share.
| Хранилище данных | Общий доступ на основе полных моментальных снимков | Общий доступ на основе добавочных моментальных снимков | Общий доступ на месте |
|---|---|---|---|
| Хранилище BLOB-объектов Azure | ✓ | ✓ | |
| Хранилище Azure Data Lake Storage 1-го поколения | ✓ | ✓ | |
| Azure Data Lake Storage 2-го поколения | ✓ | ✓ | |
| База данных SQL Azure | ✓ | ||
| Azure Synapse Analytics (прежнее название: Хранилище данных SQL Azure) | ✓ | ||
| Выделенный пул SQL в Azure Synapse Analytics (рабочая область) | ✓ | ||
| Azure Data Explorer | ✓ |
Матрица поддержки хранилища данных
Azure Data Share позволяет потребителям данных выбирать хранилище для приема данных. Например, совместно используемые данные Базы данных SQL Azure, можно получить в Azure Data Lake Storage 2-го поколения, Базе данных SQL Azure или Azure Synapse Analytics. После настройки общего ресурса данных для получения потребители могут выбрать формат для получения данных.
В следующей таблице описаны сочетания и варианты, которые потребители данных могут выбирать при принятии и настройке общего ресурса данных. Дополнительные сведения см. в статье о настройке сопоставления наборов данных.
| Хранилище данных | Хранилище BLOB-объектов | Azure Data Lake Storage 1-го поколения | Data Lake Storage 2-го поколения | База данных SQL | Synapse Analytics (прежнее название — Хранилище данных SQL) | Выделенный пул SQL в Synapse Analytics (рабочая область) | Обозреватель данных |
|---|---|---|---|---|---|---|---|
| Хранилище BLOB-объектов | ✓ | ✓ | |||||
| Azure Data Lake Storage 1-го поколения | ✓ | ✓ | |||||
| Data Lake Storage 2-го поколения | ✓ | ✓ | |||||
| База данных SQL | ✓ | ✓ | ✓ | ✓ | ✓ | ||
| Synapse Analytics (прежнее название — Хранилище данных SQL) | ✓ | ✓ | ✓ | ✓ | ✓ | ||
| Выделенный пул SQL в Synapse Analytics (рабочая область) | ✓ | ✓ | ✓ | ✓ | ✓ | ||
| Обозреватель данных | ✓ |
Предоставление общего доступа к данным из учетной записи хранения
Azure Data Share поддерживает совместное использование файлов, папок и файловых систем из Azure Data Lake Storage 1-го поколения и Azure Data Lake Storage 2-го поколения. Эта служба также поддерживает совместное использование BLOB-объектов, папок и контейнеров из Хранилища BLOB-объектов Azure. Вы можете предоставить общий доступ к блоку, добавлению или страничных BLOB-объектам и получать их в виде блочных BLOB-объектов.
При совместном использовании файловых систем, контейнеров или папок на основе моментальных снимков потребители данных могут создать полную копию совместно используемых данных. Они также могут использовать добавочные моментальные снимки для копирования только новых или обновленных файлов.
Добавочный моментальный снимок создается на основе времени последнего изменения файлов. Имеющиеся файлы, имена которых совпадают с именами файлов в полученных данных, перезаписываются в моментальном снимке. Файлы, удаленные из источника, не удаляются в целевом хранилище.
Если моментальный снимок прерван и завершается сбоем, например из-за действия отмены, проблемы сети или аварии, следующий добавочный моментальный снимок копирует файлы с последним измененным временем больше времени последнего успешного моментального снимка.
Дополнительные сведения см. в статье о совместном использовании и получении данных из Хранилище BLOB-объектов Azure и Azure Data Lake служба хранилища.
Предоставление общего доступа к данным из источника на основе SQL
Azure Data Share поддерживает общий доступ к таблицам и представлениям из Базы данных SQL Azure и Azure Synapse Analytics (прежнее название — Хранилище данных SQL Azure). Эта служба поддерживает общий доступ к таблицам из выделенного пула SQL Azure в Azure Synapse Analytics (рабочая область). Совместное использование из бессерверного пула SQL в Azure Synapse Analytics (рабочая область) в настоящее время не поддерживается.
Потребители данных могут на выбор принимать данные в Azure Data Lake Storage 2-го поколения или Хранилище BLOB-объектов Azure в виде CSV-файла или файла Parquet. Они также могут принимать данные в виде таблиц в Базе данных SQL Azure и Azure Synapse Analytics.
Когда потребители принимают данные в Azure Data Lake Storage 2-го поколения или Хранилище BLOB-объектов Azure, полные моментальные снимки перезаписывают содержимое целевого файла, если он уже существует. Если при получении данных для таблицы целевая таблица еще не существует, Azure Data Share создает таблицу SQL с использованием схемы источника. Если целевая таблица уже существует и имеет то же имя, она удаляется и перезаписывается последним полным моментальным снимком. Добавочные моментальные снимки сейчас не поддерживаются.
Если моментальный снимок прерван и завершается сбоем, например из-за действия отмены, проблемы с сетью или аварии, следующий моментальный снимок копирует всю таблицу или представление снова.
Дополнительные сведения см. в статье о совместном использовании и получении данных из База данных SQL Azure и Azure Synapse Analytics.
Предоставление общего доступа к данным из Data Explorer
Azure Data Share поддерживает возможность совместного использования баз данных на месте из кластеров Azure Data Explorer. Поставщик данных может совместно использоваться на уровне базы данных или кластера. Если вы используете API для общего доступа к данным, вы также можете предоставить общий доступ к определенным таблицам.
Если данные используются совместно на уровне базы данных, их потребители могут получить доступ только к тем базам данных, к которым поставщик данных предоставил общий доступ. Когда поставщик предоставляет общий доступ к данным на уровне кластера, потребители данных могут получить доступ ко всем базам данных из кластера поставщика, в том числе любым базам данных, которые будут созданы поставщиком данных в будущем.
Для доступа к общим базам данных потребителям данных требуется собственный кластер Azure Data Explorer. Их кластер должен находиться в том же центре обработки данных Azure, что и кластер Azure Data Explorer поставщика данных.
Если установлено отношение общего доступа, Azure Data Share создает символьную ссылку между кластером поставщика и кластером потребителя. Данные, принимаемые исходным кластером с использованием пакетного режима, отображаются в целевом кластере в течение нескольких минут.
Дополнительные сведения см. в статье о совместном использовании и получении данных из Обозреватель данных Azure.
Следующие шаги
Чтобы узнать, как приступить к обмену данными, перейдите учебнику по совместному использованию данных.