Часто задаваемые вопросы об Azure Synapse Link для Azure Cosmos DB

Область применения: Nosql Mongodb Гремлин

Решение Azure Synapse Link для Azure Cosmos DB обеспечивает тесную интеграцию между Azure Cosmos DB и Azure Synapse Analytics. Оно позволяет клиентам выполнять аналитику операционных данных почти в реальном времени с полной изоляцией выполнения от транзакционных рабочих нагрузок и без применения конвейера извлечения, преобразования и загрузки. В этой статье даны ответы на часто задаваемые вопросы об Azure Synapse Link для Azure Cosmos DB.

Общие вопросы и ответы

Azure Synapse Link поддерживается для API Azure Cosmos DB для NoSQL и ДЛЯ API Azure Cosmos DB для MongoDB. Поддержка API Azure Cosmos DB для Gremlin теперь доступна в предварительной версии.

Да, для учетных записей Azure Cosmos DB с несколькими регионами данные, хранящиеся в аналитическом хранилище, также распределяются по всему миру. Аналитическое хранилище будет существовать во всех регионах, где также есть хранилище транзакций. Независимо от количества регионов записи (один или несколько), аналитические запросы, выполненные из Azure Synapse Analytics, могут обрабатываться из ближайших локальных регионов.

Если Azure Synapse Link включена для учетной записи с несколькими регионами, аналитическое хранилище создается во всех регионах, выбранных клиентами для реплика транзакций. Базовые данные оптимизированы для обеспечения согласованности пропускной способности и транзакций в хранилище транзакций.

Поддерживается ли аналитическое хранилище во всех регионах Azure Cosmos DB?

Да.

В настоящее время после включения функции Synapse Link на уровне учетной записи его нельзя отключить. Нет никаких последствий для выставления счетов, если функция Synapse Link включена на уровне учетной записи, а контейнеры с поддержкой аналитического хранилища отсутствуют.

Если необходимо отключить эту возможность, удалите и повторно создайте новую учетную запись Azure Cosmos DB, перенося данные при необходимости.

Влияет ли аналитическое хранилище на транзакционные соглашения об уровне обслуживания Azure Cosmos DB?

Нет, нет никакого влияния.

Да, для учетных записей баз данных MongoDB и NoSQLs. Используйте интерфейс командной строки или PowerShell для учетных записей MongoDB.

Вам нужна роль участника, чтобы включить Synapse Link на уровне учетной записи.

Аналитическое хранилище Azure Cosmos DB

Можно ли включить аналитическое хранилище для имеющихся контейнеров?

Да. В настоящее время можно использовать пакеты SDK портал Azure, Azure CLI, PowerShell или Azure Cosmos DB, чтобы включить аналитическое хранилище для существующих контейнеров API для NoSQL. И вы можете использовать Azure CLI или PowerShell для существующих коллекций API для MongoDB.

Можно ли просматривать файлы аналитического хранилища с помощью Обозреватель данных Azure?

№ Аналитическое хранилище сохраняется в учетной записи хранения, расположенной во внутренней подписке Cosmos DB. Клиенты не имеют доступа к этой учетной записи хранения и должны использовать среды выполнения Azure Synapse для чтения данных.

Можно ли отключить аналитическое хранилище для контейнеров Azure Cosmos DB?

Да, аналитическое хранилище можно отключить в контейнерах API для NoSQL и в коллекциях API для MongoDB с помощью PowerShell или CLI. В настоящее время это действие не может быть отменено.

Поддерживается ли аналитическое хранилище для контейнеров Azure Cosmos DB с подготовленной пропускной способностью с возможностью автомасштабирования?

Да, аналитическое хранилище можно включить для контейнеров с подготовленной пропускной способностью с возможностью автомасштабирования.

Влияет ли эта возможность на количество подготовленных единиц запросов для хранилища транзакций Azure Cosmos DB?

Azure Cosmos DB гарантирует изолированное выполнение транзакционных и аналитических рабочих нагрузок. Включение аналитического хранилища в контейнере не влияет на ЕЗ/с Azure Cosmos DB. Плата за транзакции (чтение и запись) и затраты на хранение для аналитического хранилища взимается отдельно. Дополнительные сведения см. в разделе цен статьи об аналитическом хранилище Azure Cosmos DB.

Можно ли ограничить сетевой доступ к аналитическому хранилищу Azure Cosmos DB?

Да, вы можете настроить управляемую частную конечную точку и ограничить сетевой доступ аналитического хранилища к управляемой виртуальной сети Azure Synapse. Управляемые частные конечные точки позволяют создать приватный канал к аналитическому хранилищу.

Вы можете добавить частные конечные точки хранилища транзакций и аналитического хранилища в одну учетную запись Azure Cosmos DB в рабочей области Azure Synapse Analytics. Если вы хотите выполнять только аналитические запросы, возможно, потребуется только включить в рабочей области Synapse Analytics частную конечную точку аналитики.

Можно ли использовать управляемые клиентом ключи с аналитическим хранилищем Azure Cosmos DB?

Можно легко, автоматически и прозрачно шифровать данные в транзакционных и аналитических хранилищах, используя одни и те же ключи, управляемые клиентом. Чтобы использовать управляемые клиентом ключи в аналитическом хранилище, необходимо использовать управляемое системой удостоверение учетной записи Azure Cosmos DB в политике доступа Azure Key Vault. После этого вы сможете включить аналитическое хранилище в своей учетной записи. Щелкните здесь для получения дополнительных сведений.

Отражаются ли в аналитическом хранилище операции удаления и обновления в хранилище транзакций?

Да, удаления и обновления данных в хранилище транзакций отражаются в аналитическом хранилище. Настроив для контейнера срок жизни, можно включить в него данные за предыдущие периоды, чтобы в аналитическом хранилище содержались все версии элементов, удовлетворяющие критериям аналитического срока жизни. Дополнительные сведения см. в обзор аналитического срока жизни.

Можно ли подключиться к аналитическому хранилищу из модулей аналитики, отличных от Azure Synapse Analytics?

Вы можете получать доступ к аналитическому хранилищу и отправлять в него запросы только с помощью различных сред выполнения, предоставляемых Azure Synapse Analytics. Отправлять запросы в аналитическое хранилище и анализировать его можно с помощью следующих средств:

  • Synapse Spark с полной поддержкой Scala, Python, SparkSQL и C# (Synapse Spark — это основное средство для инжиниринга, обработки и анализа данных);
  • Бессерверный пул SQL с языком T-SQL и поддержкой знакомых средств бизнес-аналитики (например, Power BI Premium и т. п.)

Можно ли подключиться к аналитическому хранилищу из подготовленной системы Synapse SQL?

В настоящее время аналитическое хранилище не может быть доступ к подготовленному из Synapse SQL.

Можно ли записать результаты агрегирования запросов из Synapse в аналитическое хранилище?

Нет, аналитическое хранилище доступно только для чтения.

Как выполняется автосинхронизируемая репликация из хранилища транзакций в аналитическое хранилище (асинхронно или синхронно) и каковы при этом задержки?

Задержка автоматической синхронизации обычно составляет менее 2 минут. В случае базы данных с общей пропускной способностью с большим количеством контейнеров задержка автоматической синхронизации отдельных контейнеров может быть дольше и составлять до 5 минут.

Существуют ли сценарии, в которых элементы из хранилища транзакций не распространяются автоматически в аналитическое хранилище?

Если определенные элементы в контейнере нарушают четко определенную схему для аналитики, они не включены в аналитическое хранилище.

Можно ли по-разному секционировать данные в аналитическом хранилище и хранилища транзакций?

По умолчанию аналитическое хранилище не секционируется. Если аналитические запросы часто используют фильтры, используйте настраиваемое секционирование для повышения производительности. Щелкните здесь для получения дополнительных сведений.

Можно ли настроить или переопределить способ преобразования данных о транзакциях в формат столбцов в аналитическом хранилище?

В настоящее время невозможно преобразовать элементы данных при автоматическом распространении из хранилища транзакций в аналитическое хранилище. При наличии сценариев, блокируемых этим ограничением, отправьте сообщение электронной почты команде Azure Cosmos DB.

Можно ли получить доступ к аналитическому хранилищу с помощью пакетов SDK для Azure Cosmos DB?

Нет, у вас нет доступа к аналитическому хранилищу с помощью пакетов SDK для Azure Cosmos DB. Необходимо использовать бессерверные пулы Azure Synapse Analytics, Spark или SQL Serverless.

Можно ли получить доступ к аналитическому хранилищу с помощью REST API для Azure Cosmos DB?

Нет, у вас нет доступа к аналитическому хранилищу с помощью API-интерфейсов для Azure Cosmos DB. Необходимо использовать бессерверные пулы Azure Synapse Analytics, Spark или SQL Serverless.

Поддерживается ли в Terraform аналитическое хранилище?

В настоящее время Terraform не поддерживает контейнеры аналитических хранилищ. Дополнительные сведения см . в сведениях о проблемах Terraform GitHub.

Чтобы включить Synapse Link, необходимо по крайней мере роль оператора, чтобы включить аналитическое хранилище на уровне контейнера или коллекции.

Аналитический срок жизни

Поддерживается ли срок жизни для аналитических данных на уровне контейнеров и элементов одновременно?

В настоящее время TTL для аналитических данных можно настроить только на уровне контейнера, и не поддерживается настройка аналитического TTL на уровне элемента.

Могу ли я изменить значение для аналитического срока жизни на уровне контейнера для уже настроенного контейнера Azure Cosmos DB?

Да, аналитический срок жизни можно обновить любым допустимым значением. Дополнительные сведения см. в разделе об аналитическом сроке жизни.

Можно ли обновить или удалить элемент из аналитического хранилища после истечения их срока жизни в хранилище транзакций?

Все обновления транзакций и удаления копируются в аналитическое хранилище, но если элемент был удален из хранилища транзакций, он не может быть обновлен в аналитическом хранилище. Дополнительные сведения см. в разделе об аналитическом сроке жизни.

Выставление счетов

Модель выставления счетов по Azure Synapse Link включает в себя затраты, связанные с использованием аналитического хранилища Azure Cosmos DB и среды выполнения Synapse. Дополнительные сведения см. в статьях Цены на аналитическое хранилище Azure Cosmos DB и Цены на Azure Synapse Analytics.

Нет. Плата возникает только при создании контейнера с включенным аналитическим хранилищем и начале загрузки данных.

Безопасность

Какие способы проверки подлинности применяются в аналитическом хранилище?

Проверка подлинности в аналитическом хранилище такая же, как и в хранилище транзакций. Для конкретной базы данных можно выполнить проверку подлинности с помощью первичного или доступного только для чтения ключа. Связанные службы можно использовать в Azure Synapse Studio, чтобы предотвратить вставку ключей Azure Cosmos DB в записные книжки Spark. Доступ к этой связанной службе предоставляется всем, у кого есть доступ к рабочей области. При использовании бессерверных пулов SQL Synapse можно запрашивать аналитическое хранилище Azure Cosmos DB, предварительно создавая и ссылаясь на учетные данные SQL в функции OPENROWSET. Дополнительные сведения см. в статье Запрос с использованием бессерверного пула SQL Azure Synapse Link.

Да, Azure Synapse Link поддерживает настройку ключей, управляемых клиентом, с помощью управляемого удостоверения учетной записи Azure Cosmos DB. Можно легко, автоматически и прозрачно шифровать данные в транзакционных и аналитических хранилищах, используя одни и те же ключи, управляемые клиентом. Дополнительные сведения см. в статье Настройка ключей, управляемых клиентом, с помощью управляемых удостоверений учетных записей Azure Cosmos DB.

Да, сетевым доступом к данным в транзакционных хранилищах и хранилищах аналитических данных можно управлять независимо друг от друга. Сетевая изоляция выполняется с помощью отдельных управляемых частных конечных точек для каждого хранилища в пределах управляемых виртуальных сетей в рабочих областях Azure Synapse. Дополнительные сведения см. в статье Настройка частных конечных точек для хранилища аналитических данных.

Я получаю ошибку 403 (не удалось получить состояние аналитического хранилища для одного или нескольких кодов состояния ответа на ответ не указывает на успех: 403 (запрещено)) после включения Приватный канал Azure для учетной записи базы данных. Что происходит?

Как правило, 403s связаны с параметрами сети или брандмауэра, которые не позволяют пользователям получать доступ к определенным данным, даже с портала. Наиболее распространенной причиной этой проблемы является то, что шаг 1 процесса включения сетевой изоляции с помощью частных конечных точек не был выполнен с помощью Azure CLI или PowerShell. Дополнительные сведения см. здесь.

Среды выполнения Synapse

Использование каких сред выполнения Synapse для доступа к аналитическому хранилищу Azure Cosmos DB поддерживается в настоящее время?

Среда выполнения Azure Synapse Текущая поддержка
Пулы Azure Synapse Spark Чтение, запись (с помощью хранилища транзакций), таблица, временное представление
Бессерверный пул SQL в Azure Synapse Чтение, просмотр
Подготовленная среда Azure Synapse SQL Недоступно

Синхронизируются ли таблицы Spark с бессерверными таблицами SQL Server так же, как и с Azure Data Lake?

В настоящее время эта функция недоступна.

Можно ли осуществлять структурированную потоковую передачу Spark из аналитического хранилища?

В настоящее время поддержка структурированной потоковой передачи Spark для Azure Cosmos DB реализуется с помощью функциональности канала изменений в хранилище транзакций, однако в аналитическом хранилище она еще не поддерживается.

Поддерживается ли потоковая передача?

Мы не поддерживаем потоковую передачу данных из аналитического хранилища.

Azure Synapse Studio

Как в Azure Synapse Studio узнать, подключен ли контейнер Azure Cosmos DB с поддержкой аналитического хранилища?

Контейнер Azure Cosmos DB с поддержкой аналитического хранилища обозначается следующим значком:

Azure Cosmos DB container enabled with analytical store- icon

Контейнер хранилища транзакций представлен следующим значком:

Azure Cosmos DB container enabled with transactional store- icon

Как передаются учетные данные Azure Cosmos DB из Azure Synapse Studio?

В настоящее время учетные данные Azure Cosmos DB передаются при создании связанной службы пользователем, имеющим доступ к базам данных Azure Cosmos DB. Доступ к этому хранилищу предоставляется другим пользователям, имеющим доступ к рабочей области.

Можно ли использовать SQL Server Management Studio для выполнения запросов по аналитическому хранилищу с использованием бессерверного пула SQL Synapse?

Да.

Следующие шаги