Spark на HDInsight с поддержкой DirectQuerySpark on HDInsight with DirectQuery

Служба Spark на Azure HDInsight с поддержкой DirectQuery позволяет создавать динамические отчеты на основе уже имеющихся данных и метрик из кластера Spark.Spark on Azure HDInsight with DirectQuery allows you to create dynamic reports based on data and metric you already have in your Spark cluster. При использовании технологии DirectQuery запросы, формируемые при просмотре данных в представлении отчетов, отправляются обратно в кластер Azure HDInsight Spark.With DirectQuery, queries are sent back to your Azure HDInsight Spark cluster as you explore the data in the report view. Этот тип взаимодействия рекомендуется пользователям, знакомым с сущностями, к которым они подключаются.This experience is suggested for users who are familiar with the entities they connect to.

Предупреждение

Для плиток панели мониторинга, которые используют наборы данных Spark, автоматическое обновление отключено.Automatic tile refresh has been disabled for dashboard tiles built on Spark based datasets. Их можно обновлять вручную с помощью команды Обновить плитки панелей мониторинга.You can select Refresh Dashboard Tiles to refresh manually. Отключение автоматического обновления не касается отчетов — в них всегда отображается актуальная информация.Reports are not impacted and should remain up-to-date.

Ниже представлены действия для подключения к источнику данных в Spark на Azure HDInsight с помощью DirectQuery в службе Power BI.You can use the following steps to connect to your Spark on Azure HDInsight data source using DirectQuery within the Power BI service.

  1. Нажмите кнопку Получить данные в нижней части левой панели навигации.Select Get Data at the bottom of the left navigation pane.

  2. Щелкните Базы данных и другое.Select Databases & More.

  3. Щелкните соединитель со Spark в HDInsight и нажмите кнопку Подключить.Select the Spark on HDInsight connector and choose Connect.

  4. Введите имя сервера, к которому требуется подключиться, а также ваше имя пользователя и пароль.Enter the name of the server you want to connect to, as well as your username and password. Сервер всегда указывается в формате <имя_кластера>.azurehdinsight.net, см. дополнительные сведения о поиске этих значений ниже.The server is always in the form <clustername>.azurehdinsight.net, see more details about finding these values below.

  5. После подключения вы увидите новый набор данных с именем SparkDataset.Once connected, you'll see a new dataset with named “SparkDataset”. Обращаться к набору данных можно посредством созданной плитки-заполнителя.You can also access the dataset through the placeholder tile that is created.

  6. Детализируя набор данных, можно просмотреть все таблицы и столбцы в базе данных.Drilling into the dataset, you can explore all of the tables and columns in your database. При выборе столбца источнику отправляется запрос, при этом динамически создается визуальный элемент.Selecting a column will send a query back to the source, dynamically creating your visual. Эти визуальные элементы можно сохранить в новом отчете и закрепить на панели мониторинга.These visuals can be saved in a new report, and pinned back to your dashboard.

Поиск параметров Spark в HDInsightFinding your Spark on HDInsight parameters

Сервер всегда указывается в формате <имя_кластера>.azurehdinsight.net, и его можно найти на портале Azure.The server is always in the form <clustername>.azurehdinsight.net, and can be found in the Azure portal.

Имя пользователя и пароль можно также найти на портале Azure.The username and password can also be found in the Azure portal.

ОграниченияLimitations

Эти ограничения и примечания могут быть изменены по мере улучшения службы.These restrictions and notes may change as we continue to improve the experiences. Дополнительную документацию можно найти в разделе Использование средств бизнес-аналитики с Apache Spark в Azure HDInsight.Additional documentation can be found at Use BI tools with Apache Spark on Azure HDInsight

  • Служба Power BI поддерживает только конфигурации Spark 2.0 и HDInsight 3.5.The Power BI service only supports a configuration of Spark 2.0 and HDInsight 3.5.
  • Каждое действие, например выбор столбца или добавление фильтра, отправляет запрос обратно в базу данных, поэтому перед выбором очень больших полей выберите соответствующий тип визуального элемента.Every action such as selecting a column or adding a filter will send a query back to the database – before selecting very large fields, consider choosing an appropriate visual type.
  • Функция вопросов и ответов для наборов данных DirectQuery недоступна.Q&A is not available for DirectQuery datasets.
  • Изменения схемы не извлекаются автоматически.Schema changes are not picked up automatically.
  • Служба Power BI поддерживает 16 000 столбцов во всех таблицах в наборе данных.Power BI supports 16,000 columns across all tables within a dataset. Она также включает внутренний столбец номеров строк на таблицу.Power BI also includes an internal row number column per table. Это значит, что если у вас, к примеру, 100 таблиц в наборе данных, доступное число столбцов будет 15 900.This means if you have 100 tables in the dataset, the available number of columns would be 15,900. В зависимости от объема данных, с которыми вы работаете в источнике данных Spark, вы можете столкнуться с этим ограничением.Depending on the amount of data you are working with from your Spark data source, you may encounter this limitation.

Устранение неполадокTroubleshooting

Если при выполнении запросов к кластеру встретились проблемы, убедитесь, что приложение по-прежнему выполняется, и при необходимости перезапустите его.If you're hitting issues executing queries against your cluster, verify the application is still running and restart if necessary.

Вы также можете выделить дополнительные ресурсы на портале Azure в разделе Конфигурация > Изменить масштаб кластера:You can also allocate additional resources within the Azure portal under Configuration > Scale Cluster:

Дальнейшие действияNext steps

Начало работы. Создание кластера Apache Spark в HDInsight на платформе Linux и выполнение интерактивных запросов с помощью SQL SparkGet started: Create Apache Spark cluster on HDInsight Linux and run interactive queries using Spark SQL
Приступая к работе с Power BIGet started with Power BI
Получение данных для Power BIGet Data for Power BI
Появились дополнительные вопросы?More questions? Ответы на них см. в сообществе Power BI.Try the Power BI Community